九州大学 山田研究室

ChatGPT与教师,作为求助对象谁更有用?:以英语写作指导为例

2025年01月06日

大家好。
在这篇文章中,我将介绍本次英语文献研讨会中阅读的论文及其感想。

论文标题: Unpacking help-seeking process through multimodal learning analytics: A comparative study of ChatGPT vs Human expert
期刊:Computers & Education
出版年份:2024
作者:Angxuan Chen, Mengtong Xiang, Junyi Zhou, Jiyou Jia, Junjie Shang, Xinyu Li, Dragan Gašević, Yizhou Fan

求助行为(Help-seeking)被认为是自我调节学习中一项重要的学习策略。当学习者面临困难时,寻求适当的帮助有助于提升学习成果。有效的求助需要积极参与认知和元认知过程。然而,在实际学习场景中,学习者并不总是能恰当地寻求帮助,有关支援滥用或回避等问题时有报告。此外,近年来出现的ChatGPT等生成式AI,具有与传统教师支援不同的特征。生成式AI拥有类人的智能,能够进行自然对话,但另一方面,也有人指出其使用可能导致学习习惯恶化、元认知能力下降以及学术不端行为的可能性增加等问题。
在传统理论中,求助过程被解释为五个阶段(Nelson-Le Gall, 1981)。首先,学习者意识到需要帮助,然后决定进行求助。之后,确定潜在的求助来源,并执行获取帮助的策略。最后,评估对求助尝试的反应。该模型假设学习者在面临问题时能够意识到需要支援,选择合适的支援者和方法,并在接受支援后评估其有用性。此外,据报告,多种因素会影响求助行为。例如,元认知不足且先行知识匮乏的学习者,往往根本无法意识到需要帮助(Nelson & Fyfe, 2019)。此外,求助的决策很大程度上与感知的收益和成本有关。研究表明,学术求助与掌握目标(mastery-approach goals)相关,而求助回避行为则与成绩回避目标(performance-avoidance goals)呈正相关,与掌握目标呈负相关(Roussel et al., 2011)。

本研究为了调查学习者在向ChatGPT和人类专家求助时过程的差异,以38名中国大学生(平均年龄22.7岁)为对象进行了实验。参与者被随机分为AI组(18名)和人类专家组(20名)。在实验中,参与者根据提供的3份学习材料和评分标准,撰写了一篇关于未来教育的300-400词英语作文草稿。随后,观看培训视频并了解可用的求助来源。之后,参与者花费1小时修改作文。AI组使用ChatGPT 4.0,人类专家组则与经验丰富的英语写作指导教师进行对话。实验过程中,收集了鼠标移动、工具点击、页面导航等行为日志数据,通过Tobii Nano Pro眼动仪收集了视线追踪数据,以及与ChatGPT或人类教师的对话文本。这些多模态数据均以屏幕录制的形式整合,并以同步方式进行分析。

通过行为模式挖掘分析多模态学习行为数据的结果显示,AI组和人类教师组表现出了截然不同的求助模式。AI组的一个显著特征是其过程是非线性的。具体而言,许多学习者省略了理论模型中预设的“问题诊断”阶段,倾向于直接向ChatGPT提问。例如,在充分检查作文之前,经常观察到询问“我的作文有什么问题?”这类问题的案例。此外,AI组在“求助”和“处理帮助”阶段之间频繁切换,且“评估帮助”阶段经常被省略,这也是其特征。这种倾向可能与ChatGPT提供即时回答有关。在可以随时提出新问题的环境下,相比于评估所获得的帮助,学习者可能更容易转向下一个问题。另一方面,人类教师组观察到了接近理论模型的线性过程。学习者表现出诊断问题、提问、评估所获帮助并进行处理的阶段性进展。特别值得注意的是,人类教师组明确出现了“评估帮助”阶段,且对所获建议积极进行反馈的倾向较强。从活动分析中也可以看出两组的差异。AI组表现出强烈的“执行性求助”倾向,即寻求直接的答案。这被认为反映了随着信息通信技术的发展,即时支援变得更容易获取。例如,经常出现“请重写这一段”这类直接要求。相比之下,人类教师组表现出强烈的倾向,即在仔细确认过去获得的帮助后,再基于此提出新的问题。这被认为反映了社会成本的影响。由于担心在教师面前显得“无知”,他们在求助前往往会进行准备。这些发现为教育实践提供了重要的启示。首先,在将ChatGPT作为学习支援工具使用时,提示需要建立支持元认知技能提升的机制。例如,有意识地纳入促使评估所获帮助的活动可能是有效的。此外,应考虑设计一种既能发挥人类教师支援特征,又能吸纳ChatGPT优势的整合型支援环境。

以下是我的感想。我认为这项研究不仅停留在ChatGPT的功能验证上,还实证性地验证了其与教师支援的差异及定位,采用了非常有启发性的研究方法。此外,本论文的研究背景和先行研究综述描述得系统且详细,论证过程逻辑清晰,易于理解。另一方面,关于求助效果的测量,我认为有必要对“应如何评估学习效果”这一重要视角进行更详细的验证。本研究侧重于过程的比较,但对于与学习成果的关联性,期待有更深入的分析。此外,还应考虑到生成式AI的检查与教师提供的帮助,其需求和性质可能存在本质上的不同。特别是在语言学习的语境下,关于写作修改等语言内容方面的反馈是一个重要视角。因此,我感到有必要对生成式AI与教师提供的帮助在内容和质量上的差异进行更详细的分析。这些课题在思考未来生成式AI与人类教师如何进行有效分工时,或许会成为重要的研究课题。

文责:耿学旺

PAGE TOP