这篇论文是在 LAK 2022 上发表的，内容是 “电子邮件如何提高作业完成率？ -A Case Study with A/B Comparison-“。
论文题目：How can Email Interventions Increase Students’ Completion of Online Homework? A Case Study Using A/B Comparisons
作者： Angela Zavaleta-Bernuy、Ziwen Han、Hammad Shaikh、Qi Yin Zheng、Lisa-Angelique Lim、Anna Rafferty、Andrew Petersen, and Joseph Jay Williams
会议：LAK22（12th International Learning Analytics and Knowledge Conference (LAK22), March 21–25, 2022, Online, USA. ACM, New York, NY, USA, 12 pages）
リンク：https://doi.org/10.1145/3506860.3506874
作业拖延是普遍存在的问题。
防止作业拖延最常用的方法是提醒。
本文探讨了 “哪些电子邮件提醒能有效促使学生尽早开始做作业 “以及 “如何创建有效的提醒”。 采用随机 A/B 比较法测试了几种不同电子邮件提醒方式的有效性，同时就提醒方式的有效性对教师和学生进行了访谈。 该实验发表的论文证明了随机 A/B 比较在探索电子邮件设计方法方面的有效性。
先前的研究报告称，与特定的提示和提醒设计相比，家庭作业的参与度更高。 本文作者创建了多个电子邮件提醒，并结合了多种提示，从而提高了作业开始时间和作业成绩。 例如，他们更改了提醒邮件的发件人和主题行，并添加了书面内容。
本文设置了以下四个研究问题(RQ)，以考察所创建的提醒邮件对作业成绩和作业开始时间的影响，以及学生和教师对提醒邮件的看法。
RQ1: 提醒信息对作业开始时间和成绩有何影响？
RQ2: 提醒设计对家庭作业开始时间和成绩有何影响？
RQ3: 学生如何看待提醒信息？
RQ4: 教师对提醒的直觉与实验结果有何不同？
本研究采用 A/B 比较法来检验在几种提醒方法中，哪种提醒设计对提高学生的作业成绩更有效。 方法。 研究对象包括 946 名学习计算机科学课程的美国大学生，研究目标是帮助他们更快地开始做每周的家庭作业。
大学生的家庭作业是在课前和课后解决与 Python 相关的问题。 作业在截止日期前四天发布，学生在电脑上完成作业。 学生可以多次完成作业，最终成绩以最高分记录。
在作业到期后的 84、51、40 和 47 小时，学校的 LMS Canvas 会发出提醒。 在设计多次提醒时，设置了以下五个提示，并通过每周随机应用不同的提示来测试各种提示的有效性。
1 . 发件人：随机将发件人指定为 “课程教师 “或 “助教”。
2 . 信息：在随机选择的提醒信息中包含解释 “为什么要提前开始做作业 “的信息。
3 . 主题行：两种类型：”截止日期摘要 “和 “计划家庭作业的提示”。 前者包含家庭作业的截止日期，后者提示计划家庭作业（例如，我们什么时候做本周的家庭作业？）
4 . 建议：关于 “如何及早开始做作业 “的说明（例如，开始做作业时，注意无论如何只需做五分钟）。
5 . 建议（Advice）：要求学生思考给其他学生的建议（例如，思考你能给其他学生什么建议，让他们早点开始做作业）。
每周将学生随机分为实验组（有提醒）和对照组（无提醒）。 干预措施在课程的第五周至第八周实施。 为监测作业的执行和提交情况，收集了时间戳，并对作业的开始时间和执行率进行了分析。 此外，还在干预后收集了一份七项调查问卷和开放式陈述，以了解学生对提醒的看法或收到提醒后的表现。 此外，还请两位教师预测提醒对作业开始时间和执行率的影响。
结果如下
1. 提示信息的效果
通过一个面板数据回归模型，分析为期四周的提醒信息的效果，发现提醒信息使开始做作业的学生人数显著增加了约 4 个百分点，收到提醒信息的学生的作业成绩提高了 4%。 另一方面，提醒信息对学生开始做作业的时间（开始时间）没有明显的统计学影响。
2. 提醒设计效果的差异
通过科莫戈罗夫-斯米尔诺夫检验对各变量的开始时间分布进行了比较分析，结果显示发送者（”对照组 “和 “教师”）、建议（”对照组 “和 “无提示”）和忠告（”对照组 “和 “无提示”）的开始时间分布存在显著差异。 在信息（”对照组 “和 “有提示”）和建议（”对照组 “和 “有提示”）变量中发现了轻微的显着性差异（.05 ≤ ᵅ < .1），而在受试者开始时间分布的两种条件下均未观察到统计显着性。 伯努利变量定义了作业执行率，z 检验评估了提醒对作业执行率的影响，结果显示，建议（”对照组 “和 “有提示和无提示”）和意见（”对照组 “和 “有提示”）的作业执行率在统计学上有显著提高。
3. 学生对提醒的看法
大多数学生认为信息（63%）和提醒（63%）提高了他们做作业的积极性。 在收到提醒信息后的行为方面，大多数学生（57%）表示在收到提醒信息后行为发生了积极变化，在给出原因的学生中，大多数（占总数的 20%）表示信息帮助他们减少了做作业时的拖延。 另一方面，收到信息后行为没有改变的最常见原因是他们已经制定了学习计划/开始做作业。
4. 教师对提醒信息的预测
当两位教师被要求预测提醒的有效性时，结果显示，虽然督导教师一般都能正确预测作业表现的有效设计，但教师也倾向于高估某些条件的有效性。
以下是作者从结果中得出的看法。
首先，假设向学生发送提醒邮件不会加快作业开始时间。 然而，实际开始做作业的学生人数增加了，导致平均作业成绩提高。 从学生那里收集到的定性数据表明，大多数学生认为提醒很有用，而另一些学生则担心教师可能会关注学生的学习情况。 在讲师的预测有用程度方面，我们发现讲师往往高估了电子邮件的有效性；A/B 对比实验的数据可用于支持讲师的最优决策。 关于提醒邮件的设计，我们还建议在提醒邮件中加入 “提前做作业的原因 “和 “如何提前开始做作业的方法和建议”，这样可以激励学生提前开始做作业。
以下是我读完这篇论文后的评论。
该研究提出了多种提醒信息设计，并确定了哪些设计对学生提前开始做作业和成绩有效。 我认为这将是一项有用的先期研究，可以证明 A/B 对比法的有效性，这种方法可以揭示有效的提醒信息设计和学习方法。在学习方法方面，我希望能有学生是否打开提醒邮件或看了提醒邮件多长时间的数据。 学生是否打开了提醒邮件或看了多长时间的数据会很有用。 因为这可能表明，正确阅读提醒文字的学生的作业执行率更高，开始时间更早。我还认为，如果提示信息中描述了完成家庭作业所需的时间，那么完成家庭作业所需的时间数据可能有助于学生计划家庭作业。
本研究制作提醒信息的目的是帮助学生计划和完成家庭作业。为实现这一目标，我认为在设计提醒信息时，最好能提供一项功能，让学生反思自己完成上一次作业所花费的时间，并帮助他们根据反思结果制定计划。 作为今后的一项研究，我认为最好能尝试使用分步提示功能，并检查其有效性，同时确定在有计划地执行家庭作业过程中遇到的具体挑战。
(笔者：硕士2年 平田紗希)
