大家好，我是硕士一年级的樋口。
在这篇文章中，我将对我在本次英语文献研讨会上介绍的论文进行回顾。

论文信息
论文标题：A teacher-facing learning analytics dashboard for process-oriented feedback in online learning
出版：In LAK21: 11th International Learning Analytics and Knowledge Conference
页码：482-489
出版年：2021
作者：Dourado, R. A., Rodrigues, R. L., Ferreira, N., Mello, R. F., Gomes, A. S., & Verbert, K.
https://doi.org/10.1145/3448139.3448187

去年我担任ICT支援员时，偶尔会协助课堂教学，但要把握孩子们的学习状况真的非常困难。如果能有一种工具让老师们获取学生的学习进度和行为模式等信息及分析结果，那一定对教学非常有帮助。

本篇论文以巴西公立学校提供的在线职业课程为对象，研究了利用学习管理系统Moodle的日志来可视化学生行为的学习分析仪表板（LAD）的设计与评估。

课题
作者们指出，虽然LAD常被用于涉及学生进度和学习调整的持续反馈场景，但针对在正式学习评估或教师介入之前，在学习过程中提供的“过程导向反馈”这一反馈类型的实证性LAD研究较少，因此他们进行了LAD的设计、开发与评估。

研究方法
本研究属于设计研究，即基于学术见解反复进行设计与验证以追求更佳形态的过程。LAD的开发基于“可视化设计设计活动框架”这一理论框架，遵循了“理解 (understand)”→“构思 (ideate)”→“制作 (make)”→“部署 (deploy)”的流程。不过，本论文尚未达到“部署”阶段，文中详细描述了之前的阶段。

此外，本研究大致分为两个阶段，各阶段分别命名为第一迭代和第二迭代（在论文中的Figure 1中有图示）。迭代是指通过重复小步骤的开发来增加功能的开发过程。

1. 第一迭代对应“理解”和“构思”阶段，研究人员对负责课程的教师进行了访谈并分析了其中的音频和视频数据，还制作了纸质原型并请老师们进行了评估。

2. 第二迭代包含“构思”和“制作”阶段。在此阶段，在重新制作原型后，实际开发了Web应用程序。该应用的可用性由HCI（人机交互）领域的专家（博士生）使用Forsell & Johansson’s heuristics set这一可用性评估问卷进行了评估。

结果与讨论
以下总结了从访谈中导出的设计要求、本研究中开发的LAD及其可用性评估结果，以及讨论点。此外，实际的LAD界面可以在论文中的Figure 2, 3中查看，感兴趣的读者请参考。

1. 设计要求
作者们分析了教师的访谈数据，探讨了课题、需求以及应可视化的信息。具体而言，针对教师无法在学生求助前了解他们困惑之处的课题，以及希望利用Moodle日志获取学习过程信息的需求，结合先行研究，提取了可在Moodle内获得的数据（Table 1）及其可视化内容（Table 2）。

2. 仪表板设计（字母表示论文图中所示的区域。）
A) Overview（概览）：可以确认关于课程参与度（A1）和成绩（A2）的信息。也可以指定特定学生（A3），在Details画面（C）中确认学习进度。
B）Pattern-discovery panel（模式发现面板）
a. Real-time tab（实时标签页）：可以确认学生的学习进度，并确认他们是否跟上了教师的指示。
b. Retrospective tab（回顾标签页）：选择课堂作业后，可以发现提交该作业前的行为模式。根据合格率对该组的线条进行着色，线条越粗表示跟随的学生越多。
C）Details Panel（详细面板）：在此画面中，可以按时间顺序确认每位学生的学习过程。各项行为通过图标进行可视化（图标种类请参考Table 3）。此外，通过使用详细面板内的筛选区域（右侧）或Legend panel（图例面板，D），可以进行事件的筛选和排序。

3. 仪表板评估
HCI专家对LAD的评估结果如下。H01等表示问题编号，问卷结果可在论文中的Figure 4中确认。
【肯定评价】对LAD的整体评价是肯定的，特别是在“无需回忆即可理解（H10）”、“消除冗余（即浪费较少，H09）”、“数据精简（即不必要的数据被高效删除，H05）”项目上的评价较高。
【否定评价】“灵活性（H03）”和“空间布局（H05）”的评价并不高。关于灵活性，有意见认为即使不高，对于不习惯使用工具的教师来说，应用外观频繁变化并不好；关于空间布局，则提出了希望各面板能够折叠的意见。
【课题与改善点】
・LAD整体：有意见指出画面内有3个学生姓名表，不知道哪个图表参照了哪个表的条件进行显示。
・Overview画面：大部分是肯定意见，但有意见认为指定学生并确认课程的画面（A3）最好配置在其他地方。
・实时标签页：几乎没有提出课题。
・回顾标签页：许多评估者表示这部分的可视化方法难以理解。然而，在指出可视化难以理解的同时，也有声音赞同可视化内容的有用性，例如学生提交作业前经过了怎样的路径，以及哪条路径的学生合格率高等。
・Details画面（C）：此画面通过图标绘制每位学生在Moodle上的行为，但有人担心如果学生在Moodle上的操作非常活跃，可能会导致图标绘制过多。针对此问题，作者们表示将通过高效的数据筛选来应对。

局限性
作者们提出了本研究的以下两点局限性。
1. 本次开发的LAD应用虽然请HCI专家进行了评估，但并未请实际使用的教师进行评估。
2. 本次作为数据源使用的Moodle日志仅为点击流数据（页面跳转日志），因此认为可可视化的信息存在潜在的局限性。
基于以上局限性，作者们表示将根据本次LAD评估中确定的课题，进行对教师更易用的应用设计，并投入实践。

选择理由与感想
因为我正在开发教师用LAD，为了探寻海外有哪些类似的参考研究，我选择了这篇论文。正如局限性中所述，本次LAD的可视化仅使用了Moodle的点击流数据，因此与电子书等相比，在数据粒度方面略显粗糙，可视化设计方面也有一些难以理解的地方。不过，文中介绍的可视化种类和可用性评估方法非常有参考价值。此外，不仅从设备日志显示当前状态，还包括过去的行为，将“过程的变化”进行可视化的视角也让我感到非常有趣。目前我也正在努力开发，希望能充分听取一线教师的意见和需求，开发出哪怕能提供一点点帮助的LAD。