将LLM整合到EFL写作教学中：对写作分数、自我调节学习策略和动机的影响是什么？

大家好。我是博士课程一年级的田中。
在此介绍我在前几天的英语文献研讨会上阅读的论文。

论文标题：Integrating large language models into EFL writing instruction: effects on performance, self-regulated learning strategies, and motivation
作者名：Ze-Min Liu, Gwo-Jen Hwang, Chuang-Qi Chen, Xiang-Dong Chen & Xin-Dong Ye
期刊：Computer Assisted Language Learning
出版年份：2024

【引言】
对于非英语母语的英语学习者来说，写作是难以掌握的技能之一，但近年来，引入了使用自我调节学习（Self-Regulated Learning: SRL）策略的教学方法（Teng, 2022）。SRL被定义为“学习者为了实现自身目标，自主控制动机、认知、元认知和行为的过程（Zimmerman, 2000）”。
认知学术语言学习方法（Cognitive Academic Language Learning Approach: CALLA）作为一种促进SRL培养的策略教学模型被广泛使用，但一直被指出存在教师负担过重、难以针对每位学习者进行个别化指导的问题。因此，本研究开发了一种将大规模语言模型（Large Language Models: LLM）整合到CALLA中的新模型“CALLA-LLM”，并验证了其教育有效性。

【文献综述】
先行研究表明，SRL策略是EFL写作中提高学习者写作能力和动机的重要因素。学习者在写作过程中，通过利用目标设定、自我监控、反思、反馈利用等SRL策略，可以减轻认知负荷并提高学习效率。这些策略也被认为具有提高学习者自信心和兴趣的效果。
另一方面，SRL支持在适应性和个别化方面存在不足。现有的支持工具难以根据学习者实际的SRL过程提供灵活的支持，因此需要开发更具个别化的支持方式。
此外，动机，特别是自我效能感和内在兴趣，与写作质量和学习持续性密切相关。具有高自我效能感的学习者倾向于积极面对困难任务，而兴趣越高，越能带来高质量的产出。由于SRL策略和动机相互关联，因此需要同时支持两者的教育设计。由于LLM能够实时提供个别化反馈和策略建模支持，近年来其有效性受到热议，旨在实现AI与教师协作的“Humans in the Loop”框架也备受关注。

【研究问题】
本研究设定了以下三个研究问题：
1. 与传统的CALLA相比，CALLA-LLM组对英语写作能力有何影响？
2. CALLA-LLM组对SRL策略的使用有何影响？
3. CALLA-LLM组对写作动机（自我效能感和兴趣）有何影响？

【研究方法】
本研究以台湾65名小学六年级学生为对象，参与者被随机分为CALLA-LLM组（32名）和对照组（33名）。两组均接受了为期5周、共10次的写作过程教学，CALLA-LLM组通过基于GPT-4的Web应用程序获得支持。
课程按照由准备、呈现、练习、评估、扩展五个阶段组成的CALLA框架进行，CALLA-LLM组设置了对应各阶段的提示词（Prompt）和API。评估使用了作文任务（3次）、关于SRL策略的问卷以及测量写作动机的问卷（自我效能感、兴趣），并在T0（指导前）、T1（指导后）、T2（1个月后）三个时间点进行测量。统计分析使用jamovi，确认了正态性、等方差性和初始组间差异，主要分析方法采用了线性混合效应模型（LMM）。

【结果】
CALLA-LLM组在作文分数、SRL策略使用频率、动机的所有方面均表现出比对照组更好的成果。作文分数在T2时比对照组平均高出5.13分，在语法与词汇、结构、连贯性方面表现出显著改善。关于SRL策略，在计划、生成、修改、监控的所有方面，从T0到T2均确认了显著的分数提升。
在动机方面，CALLA-LLM组的自我效能感在T1和T2显著提升。另一方面，关于兴趣，虽然在T1有所上升，但在T2未能维持。这表明，虽然LLM提供的即时支持有助于短期动机提升，但难以维持长期的内在动机。

【讨论】
CALLA-LLM组通过融合CALLA的结构化支架（学习者在能够独立完成之前，由教师或支持者提供的临时支持）与LLM的高即时性支持，实现了对学习者而言的最佳支持。SRL是在适当的教学环境中培养的技能（Zimmerman, 2000），本研究认为CALLA-LLM模型发挥了促进其发展的作用。
CALLA-LLM能够灵活应对写作中复杂的SRL过程，并在基于学习者实际行为进行实时支持这一点上，比传统方法更具适应性和优越性（Lim et al., 2021）。此外，CALLA-LLM模型实现了分阶段且个别化的支持，推测计划、生成、修改、监控等SRL的主要策略联动并有效发挥了作用（Flower & Hayes, 1981）。
另一方面，研究表明LLM虽然对提高学习者的自我效能感有效，但在持续提高内在兴趣方面存在局限。未来的研究需要引入动机档案、利用游戏化等旨在维持内在动机的手段。此外，LLM的支持并非总是恰当的，也有报告称部分学习者感到困惑或不满。在这些场景中，教师的认知和情感干预发挥了重要作用。这一点再次凸显了AI与教师协作的支援设计，即“Humans in the Loop”框架的重要性。
本研究的局限性在于，调查对象仅限于一所英语水平相对较高的小学，因此结果的推广存在局限。此外，仅基于问卷的定量数据，未探讨教师干预等定性方面。今后，需要在更多样化的教育环境中进行验证，并开展关注动机维持的长期研究。
本研究通过LLM与教师的协作，实证展示了提高学习者写作能力、SRL策略和动机的新型教育模型的有效性，为未来EFL写作教育中LLM的应用提供了开创性的见解。

【感想】
选择这篇论文的原因是，它与我自己的研究主题有很多共同点，我认为可以借此整理和确定从先行研究中已经明确的见解和课题。此外，培养山田老师指导的“以批判性视角阅读先行研究的能力”也是目的之一。
我认为本研究的创新之处在于开发了将LLM整合到CALLA中的新模型“CALLA-LLM”，在扩展传统SRL策略教学框架的同时，验证了个别优化后的新支持模型的有效性。另一方面，正如“研究的局限性”中所指出的，课题在于缺乏关于学习过程的定性数据，例如学习者对CALLA-LLM的反应以及教师干预的方式等。例如，文中提到“有学习者感到困惑或不满的场景”，但并未详细描述具体产生了什么问题，以及教师进行了怎样的认知和情感支持。此外，本研究以小学生为对象，但这些课题是由于年龄因素还是英语熟练度导致的并不明确。
为了实现本研究重视的“Humans in the Loop”，我认为从定性角度验证LLM、学习者与教师之间的相互作用机制也是今后的重要课题。此外，对于为何选择小学生作为研究对象，以及为何以CALLA模型为基础，其理论和实践背景的说明也显得不足。
在研讨会的讨论中，我们还针对“虽然通过问卷测量了SRL策略，但是否未包含SRL中‘反思’的视角”、“为了维持对写作的内在兴趣需要什么样的支持”等问题进行了探讨。
我希望将从本研究中获得的见解和课题运用到今后的研究中。

文责: 田中