大家好。我是博士一年级的田中。在这篇文章中,我将介绍在之前的英语文献研讨会上阅读的一篇论文。
论文标题: Decoding GenAI-assisted Academic Writing Processes: Insights from Lag Sequential and Epistemic Network
(解码生成式AI辅助下的学术写作过程:来自滞后序列分析与认知网络分析的见解)
作者: Belle Dang, Andy Nguyen, and Yvonne Hong
发表年份: 2024 年
刊载杂志: Pacific-Asia Conference on Information Systems (PACIS 2024), Ho Chi Minh City 2024.
1. 概要
本研究通过学习过程数据(10名学生,共626个动作),分析了高等教育(博士课程)中生成式AI辅助下的学术写作,并验证了区分高分群体与低分群体的行为链条及认知联系。研究表明,尽管两组学生都使用了生成式AI,但高分群体倾向于将生成内容的审查与文献阅读及写作相结合,而低分群体则倾向于直接粘贴生成内容并进行简单的改写。作为教育启示,研究建议整合能够深化与生成式AI对话的支架式提示(Scaffolding Prompts)。
2. 背景与理论框架
• 与传统的校对辅助工具不同,生成式AI既能交互式地支持生成与修改,也引发了关于原创性、学术诚信及批判性思维培养的担忧。此外,现有研究多集中于对生成式AI的认知等讨论,存在“生成式AI如何融入实际写作过程”这一研究空白。
• 本研究在定量民族志(Quantitative Ethnography)的框架下,将学习者的行为视为一个过程而非“结果”。研究课题通过(1)考察行为顺序链条的滞后序列分析(LSA)和(2)可视化活动之间联系的认知网络分析(ENA),验证了生成式AI是如何融入写作过程的。
• 在理论背景方面,首先参考了 Flower & Hayes(1981)的认知过程模型,将写作视为计划→翻译→审阅的循环过程。其次,从认知负荷理论的角度指出,生成式AI虽然能降低外在负荷,但若替代了思考与内省,可能会导致依赖。此外,基于可供性理论(Gibson, 1977),由于即时反馈等功能的效果取决于学习者的感知与使用方式,因此不仅需要分析“能做什么”,还需要将“如何使用”作为过程进行分析。
3. 研究方法
来自芬兰和新西兰大学的10名博士生在Zoom上进行了30分钟、约500字的小论文写作(主题:教育中的AI应用)。研究允许使用ChatGPT和Google Scholar等工具,并通过屏幕录制获取写作过程中的行为序列。大学教师根据5个维度(内容、分析、结构、文章质量、字数及APA引用)对论文进行评分,并根据中位数将学生分为高分群体和低分群体。
4. 分析(LSA与ENA)
• LSA(滞后序列分析)旨在探讨行为“以何种顺序发生”。区分了lag1(紧随其后的转移)和lag2(间隔一个行为的转移),并以 z ≥ 1.96 作为转移显著性的标准。
• ENA(认知网络分析)将多个活动代码如何作为“整体”相互关联可视化为网络。单元设定为“参与者×成绩组”,移动窗口为4行(当前行+前3行)以处理共现,组间差异通过曼-惠特尼检验(Mann-Whitney U test)进行确认。
5. 结果
描述性统计差异
结果报告显示,高分群体的序列更长,生成内容审查、文献阅读及引用相对较多;而低分群体生成内容粘贴较多,生成内容审查较少。研究整理认为,高分群体表现出“提示→审查→整合性写作”的循环式、内省式利用,而低分群体则倾向于“直接应用生成物”。
LSA(行为链条)的差异
• 在高分群体中,显著观察到了提示的重复以及从任务要求确认到提示的转移,显示出根据任务调整对话的过程。
此外,作为lag2的例子,展示了在生成内容审查与写作之间往返并进行整合的循环模式,这表明他们可能在检查生成物的同时将其整合进自己的文章中。
• 在低分群体中,主要表现为粘贴与改写的往返,较难观察到与生成内容审查等相关的显著转移。结果表明,成绩差异体现为“评估并整合生成物”与“直接应用生成物”这一利用策略的不同。
ENA(活动整体性)的差异
在ENA中,高分群体展示了以文献阅读、提示、生成物审查、写作为中心的活动整体性;而低分群体中“阅读/审查”与“应用(写作)”之间的连接相对较弱,呈现出碎片化特征。
在联系的差异方面,高分群体在评估后将其整合进写作,而低分群体则倾向于将其作为“生成→粘贴的捷径”来使用。
6. 启示与局限
将LSA(顺序)与ENA(关系性)相结合,从双重角度展示与生成式AI的交互,被定位为本研究的方法论贡献。此外,为了让学习者更深入地参与到与生成式AI的交互中,研究建议在草稿生成前后整合能够促进“更多阅读”或“内容批判性评估”的支架式提示。同时,也提到了进行个性化支持调整的必要性。
局限性方面,提到了样本量较小,以及先前写作技能和AI素养差异可能产生的影响。未来需要向更大规模的研究发展,并增加质性研究、不同领域/教育阶段的比较以及纵向研究。
感想
我计划在今后的研究中引入ENA方法,因此选择了这篇验证我研究主题——生成式AI辅助下的英语写作过程——的论文。该研究通过可视化因成绩差异而导致的不同生成式AI利用方式,对我非常有参考价值。
本研究显示低分群体存在表层化利用生成式AI的倾向,令人担忧的是,如果缺乏深度思考的写作成为常态,可能会引发导致学习停滞的负面螺旋。为了避免诱发这种表层化过程,我认为在课程设计或系统中整合优化生成式AI可供性的支架至关重要。具体而言,针对成绩较低的学习者,应加强对生成内容审查及依据确认的支持;针对成绩较高的学习者,则应提供论证精细化等更高层次的建议,根据学习者的熟练程度等进行个性化优化的“支架式提示”整合是必要的。
本研究分析的对象是30分钟的单次任务,今后我希望以更大规模的样本为对象,通过LSA×ENA等方法,开展追踪长期学习过程变化的纵向研究。




