山田研究室修士2年の平田沙希です。
今回の英語ゼミの論文をご紹介します。
2022年のLAKで発表された論文で、内容は「Eメールは、どのように宿題の完了率を向上させるか？―A/B比較によるケーススタディ―」になります。

論文名：How can Email Interventions Increase Students’ Completion of Online Homework? A Case Study Using A/B Comparisons
著者：Angela Zavaleta-Bernuy, Ziwen Han, Hammad Shaikh, Qi Yin Zheng, Lisa-Angelique Lim, Anna Rafferty, Andrew Petersen, and Joseph Jay Williams
学会：LAK22（12th International Learning Analytics and Knowledge Conference (LAK22), March 21–25, 2022, Online, USA. ACM, New York, NY, USA, 12 pages）
リンク：https://doi.org/10.1145/3506860.3506874

宿題の先延ばし問題は万国共通ですよね。
宿題の先延ばしを防ぐ方法として、最もポピュラーな方法がリマインダーになります。

この論文では、学生に宿題を早く始めさせる上で、「どのようなEメールリマインダーが有効なのか」、また「どのように有効なリマインダーを作成することができるのか」が検討されました。無作為A/B比較（randomized A/B comparisons）という手法により、何種類かのEメールリマインダーの効果を検証されると同時に、教師と学生にリマインダーの有効性に関するインタビューが行われました。本実験により、Eメールのデザイン方法を模索する上で、無作為A/B比較が有効であることを示す論文となりました。

先行研究では、特定のプロンプトやリマインダー設計のより、宿題の従事率が向上することが報告されています。本論文の著者は、宿題の開始時間やパフォーマンスを向上させるプロンプトを組み合わせ、複数のEメールリマインダーを作成しました。例えば、リマインダーの送り主や件名を変えたり、書かれている内容を追加したりするなどしました。

作成したリマインダーが、宿題の成績と開始時間にどのような影響を与えるのか、生徒と教師にどのように認知されるのかを検討するため、下記４つのリサーチクエッションが設定されました。

RQ1. リマインダーメッセージが、宿題の開始時間と成績に与える影響は何か？
RQ2. リマインダーのデザインが、宿題の開始時間と成績に与える影響は何か？
RQ3. 学生は、どのようにリマインダーを認知するのか？
RQ4. 教師のリマインダーに対する直感は、実験の結果とどのように異なるのか？

本研究では、A/B比較法により、複数のリマインダーの中から学生の宿題のパフォーマンス向上に効果的なリマインダーデザインが検証されました。A/B比較法とは、別名、ランダム化比較実験（RCT）と呼ばれ、ランダムに分けられた２つ以上の群を比較し、対象の効果を検証する方法になります。本研究の対象者は、コンピュータ・サイエンスのコースを受講する、アメリカの大学生946名で、彼らが毎週の宿題に早く取り掛かる様に支援することが研究目標とされました。

大学生の宿題は、Pythonに関する問題を授業前後で解くことです。宿題は締め切りの４日前には公開され、学生はコンピュータ上で課題を遂行します。学生は宿題に何回でも取り組むことができ、最も高い点数が最終結果として記録される仕組みです。

リマインダーは、課題の締め切りの84、51、40、47時間後に、大学のLMSであるCanvasから送信されます。複数のリマインダーを設計するにあたって、以下5つのプロンプトが設定され、毎週異なるプロンプトがランダムに適用されることで、各種プロンプトの効果が検証されました。

1 . 送信者（Sender）：送信者を「コースの教員」または「ティーチングアシスタント」のどちらかに無作為に割り当てる。
2 . 情報（Information）：無作為に選ばれたリマインダーのメッセージ内に「なぜ宿題を早く始めるべきか」を説明した情報を入れ込む。
3 . 件名（Subject line）：「締切の要約（deadline summary）」と「宿題の計画の促進（prompt to plan homework）」の２種類。前者は、宿題の締切日が記載され、後者は、宿題の計画を促す（例、いつ今週の宿題を行うのかな？）
4 .リコメデーション（Recommendation）：「宿題を早く始める方法」に関する記述（例、宿題を始める時に、とりあえず5分だけやってみることを意識しよう）
5 . 助言（advice）：他の学生への助言を考えてもらうメッセージ（例、他の学生に宿題を早く始めさせるためにどんな助言を与えられるかを考えてみよう）。

学生は毎週、実験群（リマインダー有り）と統制群（リマインダー無し）に無作為に分けられます。介入はコース開始の５週目〜8周目に実施されました。宿題の実行・提出状況のモニタリングのため、タイムスタンプが収集され、宿題の開始時間と実行率が分析されました。また、学生がリマインダーをどの様に認知するのか、あるいはリマインダー受信後にどの様に行動するのかを把握するために、介入後に７件法の質問紙と自由記述を収集されました。さらに、2名の教員にリマインダーが宿題の開始時間と実行率に与える影響を予測してもらいました。

以下は結果になります。

1. リマインダーの効果
4週間にわたるリマインダーメッセージの効果をパネルデータ回帰モデルにより分析した結果、リマインダーメッセージは宿題を始めた学生の数を約4ポイント有意に増加させ、リマインダーメッセージを受け取った学生は、宿題の成績が４％向上しました。一方で、生徒の宿題開始時間（start time）に関しては、リマインダーは、宿題の開始時間に統計的に有意な影響を及ぼしませんでした。

2. リマインダーのデザインによる効果の違い
各変数における開始時間分布の比較をコモゴロフ・スミルノフ検定により分析した結果、送信者（「統制群」と「教員」）、リコメデーション（「統制群」と「プロンプトなし」）、助言（「統制群」と「プロンプトなし」）において、開始時間分布に有意差が認められました。情報（「統制群」と「プロンプトあり」）、助言（「統制群」と「プロンプトあり」）の変数では、わずかな有意差（.05≦ ᵅ＜.1）が認められ、件名の開始時間分布に関しては、いずれの条件においても統計的有意性は観察されなかった。ベルヌーイ変数により宿題の実行率を定義し、z検定により宿題の実行率に対するリマインダーの影響を評価した結果、リコメデーション（「統制群」と「プロンプトあり・なし」）と助言（「統制群」と「プロンプトあり」）において、実行率が統計的に有意に増加しました。

3. リマインダーに対する学生の認知
ほとんどの学生が、情報（63％）と、リコメデーション（63％）により宿題のモチベーションが向上したと評価しました。リマインダーを受信後の行動に関しては、過半数の学習者（57％）が、リマインダーを受け取った後に肯定的な行動の変化を回答し、理由を回答した学生のうち、大多数（全体の20％）は、メッセージが宿題の先延ばしを減らすことに役立ったと回答しました。一方でメッセージ受信後も行動を変えない理由として多かったのが、「すでに学習の予定を立てている・宿題を始めている」でした。

4. リマインダーに対する教師の予測
２人の教員にリマインダーの効果を予測させた結果、指導教員は、宿題の遂行に効果的なデザインを概ね正しく予測することができた一方で、教員はいくつかの条件の有効性を過大評価する傾向もあることも明らかになりました。

以下は結果から著者が考察したことになります。
まず、学生たちに、リマインダーメールを送っても、宿題の開始時間は早まらないと考えられます。しかし、実際に宿題を始めた生徒の数は増加し、その結果、宿題の平均成績が上がります。学生から収集した質的データから、過半数の学生がリマインダーは役に立つと回答した一方で、教員が学生の学習を気にかけているのではないかと心配した学生もいました。講師の予測がどの程度有用であったかという点では、講師はメールの効果を過大評価する傾向があることがわかりました。A/B比較実験から得られたデータを利用することで、講師の最適な判断を支援することができると考えられます。また、リマインダーのデザインについて、リマインダー内に「宿題を早くするべき理由」や「宿題に早く取り掛かる方法やアドバイス」が含まれることで、宿題の早期開始を動機付ける可能性があることが示唆されます。

以下は本論文を読んだ後の私の感想になります。
本研究は、複数のリマインダーメッセージのデザインが提案され、どのデザインが学生の宿題の早期開始とパフォーマンスに有効であるかを明らかにしていました。有効なリマインダーのデザインとそれを明らかにするA/B比較法という手法の有効性を証明する上で有用な先行研究になると思いました。LAの観点から、学生がリマインダーメールを開いたかどうか、またはどのくらいの時間リマインダーを見ていたかのデータもあれば良いと思いました。リマインダーの文章をちゃんと読んでいる学生において、宿題の実行率と早期開始が示されるのではないかと考えられるからです。また、リマインダーのメッセージとして、宿題を遂行するのにかかった時間に関するデータが記述されていれば、学生が宿題の計画を立てることを支援できたのではないかと思いました。

この研究がリマインダーを作成する目的は、学生に宿題を計画的に実行させることです。その目的を達成するためのリマインダーの設計として、前の宿題にどのくらい時間がかかったのかをリフレクションさせ、それを前提に計画の作成を支援する機能があってもいいと思いました。将来的な研究として、宿題を計画的に実行する上での具体的な課題を特定しながら、段階的にプロンプトを提示し、効果を確認する実験を行なっても良いと思いました。