大家好。
在这篇文章中，我将介绍本次英语文献研讨会中阅读的论文及其感想。
论文标题： Design and implementation of an AI-enabled visual report tool as formative assessment to promote learning achievement and self-regulated learning: An experimental study
期刊：British Journal of Educational Technology
卷号：55(3)
页码：1253-1276
出版年份：2023
作者：Xiaofang Liao, Xuedi Zhang, Zhifeng Wang, Heng Luo
形成性评价与仅关注学习最终成果的总结性评价不同，它侧重于学习过程，并针对表现提供反馈。然而，传统的形成性评价方法（如月考）难以准确反映学习者的认知结构和学习过程，且信息呈现方式往往不够直观。近年来，随着AI技术的进步，提供更准确、个性化的反馈成为可能。其中，自然语言处理（NLP）和认知诊断（Cognitive Diagnostic）技术的应用尤为引人注目。NLP是一种用于理解和生成人类语言的计算机分析技术，可以处理和分析月考等文本信息，从而提高评价的精度和效率。另一方面，认知诊断是一种从测试回答等学习者行为数据中，探究知识点掌握程度或熟练度等潜在认知状态的技术。通过将这些技术与可视化技术相结合，可以轻松发现学习者未察觉的信息，并使其清晰地理解当前的学习水平。因此，本研究开发了一种整合了自然语言处理和认知诊断技术的形成性评价工具，并调查了其对高中生物课堂的学习成果和自我调节学习的影响。
实验以中国某高中125名高三学生（男生71名，女生54名）为对象，进行了为期13周的实验。参与者被分为实验组（63名）和对照组（62名），学习了生物教材第1-4章（分子、细胞、遗传学、进化）的内容。选择生物学科的原因是其拥有丰富的结构化陈述性知识，被认为适合进行高频次的形成性评价。实验分为以下三个阶段进行：第一周，为了确认两组在实验前自我调节学习技能的差异，基于MSLQ（Motivated Strategies for Learning Questionnaire）问卷进行了前测。从第2周到第12周，对两组进行生物教材1-4章的授课与指导，并实施了3次月考。每次测试均由具有10-15年教学经验的教师根据2017年版高中生物课程标准编制。在反馈方法方面，对照组除了获得分数和排名反馈外，还接受了教师的整体口头评价。另一方面，实验组在获得同样的分数和排名外，还提供了3次基于AI工具的反馈报告。第13周进行了自我调节学习问卷的后测。
开发的AI评价工具基于Hattie和Timperley(2007)提出的四个反馈层级，由六个模块组成。这些模块的设计旨在循序渐进地加深学习者的理解：首先，作为任务层面的反馈，显示表现排名和个人熟练度。其次，在过程层面，提供错误分析和知识预警功能。特别是知识预警模块，通过颜色编码显示知识掌握程度，直观地指出需要改进的领域。此外，在自我调节层面，设置了促进自我评价和反思的模块，最后作为自我层面的反馈，通过总结与评价模块生成个性化反馈。
在技术实现方面，结合了基于NeuralCD模型的认知诊断、基于BM25算法的自然语言分析以及基于PyEchart的数据可视化这三个要素。由此，实现了从测试回答中判定知识点掌握程度、自动匹配错误答案与教材对应内容，并将结果以直观易懂的方式呈现出来。
分析结果揭示了AI评价工具对学习的影响。首先，实验组中93.65%的学生查看了可视化报告，66.67%的学生回答能够清晰理解内容。此外，84.13%的学生希望在其他科目中使用该工具，显示出对工具的高度评价。在学习成果方面，通过重复测量方差分析，确认了时间与组别的显著交互作用（F(2,122)=7.368, p=0.001）。特别值得注意的是，从第二次测试开始，实验组的成绩提升率超过了对照组。这暗示了AI技术的效果存在一定的时间滞后。从自我调节学习角度的分析也显示了有趣的结果。在实验组中，使用AI评价工具后自我效能感在统计学上显著提升。这可能是因为可视化评价增强了信息处理，使学习者产生了能够顺利完成任务的积极信念。然而，同时也显现出一些课题。例如，由于可视化报告清晰地展示了成绩和知识不足，导致测试焦虑有增加的倾向。此外，模块间的评价也存在差异，表现排名和个人熟练度模块评价最高，而自我评价与反思模块的评价相对较低。这暗示了学习者需要自主填写内容，对于学习动力较低的学生来说可能构成负担。
以下是我的感想。关于本研究，我个人觉得特别有趣的是仪表盘的设计。如何可视化知识框架中知识点的掌握程度，以及将仪表盘作为形成性评价工具来利用的视角，我认为为教育技术研究提供了重要的启示。另一方面，阅读本研究后，我也发现了一些可以进一步探究的点。例如，关于知识点掌握程度的可视化，虽然设计得非常巧妙，但我对如何评估这种可视化的准确性也产生了兴趣。此外，关于自我调节学习，特别是学习计划和目标设定过程，如果能更详细地观察将会很有趣。我认为本研究在展示教育现场AI应用可能性的同时，也是一项令人期待进一步研究拓展的有趣研究。特别是如何将AI形成的评价与教师的评价相结合，我很期待未来的研究进展。
文责：耿学旺
