皆さん、こんにちは。

この記事では、英語文献ゼミで読んだ論文とその感想について紹介します。

論文タイトル：Predictive Student Modeling in Game-Based Learning Environments with Word Embedding Representations of Reflection

著者: Geden, M., Emerson, A., Carpenter, D., Rowe, J., Azevedo, R., & Lester, J.

巻ページ: 31(1), 1-23.

出版年:2021

ジャーナル: International Journal of Artificial Intelligence in Education

背景

この研究は、ゲームベース学習の最中に生徒が書く短いリフレクション（振り返り）の文章を、言語の文脈まで含めて数値化し、学習ログや事前テストと組み合わせることで、事後テストの成績を早い段階から予測できるかを検証しています。授業やゲームでは、支援のタイミングが学習効果を左右します。早い段階で「誰に、どの支援を、どの程度行うか」を見立てられれば、ヒント提示やグループ編成の調整など、教師の意思決定が的確になります。従来はクリック数・移動・会話などの行動ログや事前知識で見立てることが中心でしたが、この研究では「生徒自身の言葉」を文脈表現で捉え、予測の早さと安定性を高めることに挑戦しています。

方法

対象は米国の中学生（k-8）で、科学探究ゲーム”CRYSTAL ISLAND”を用いた授業場面のデータを分析しています。ゲーム内では、移動・登場人物との会話・資料閲覧・課題達成といった行動ログが自動記録され、物語の節目で「何を学んだか」「次に何をするか」を短文で記述するリフレクションを課します。

収集データは①事前・事後テストの得点、②ゲーム行動ログ、③学習に対する感情・価値の質問紙、④リフレクション本文の四つです。テキストは前処理後、二つの埋め込み法で数値化します。ひとつは「味の近さを静的に捉える”GloVe”」もうひとつは「文脈によって単語の意味が変わる点を捉えられる”ELMo”」という方法です。各リフレクションのベクトルを平均し、さらにプレイ開始から任意時刻までの累積平均を「その時点の言語的特徴」として用います。予測はプレイ開始後2分ごとに更新し、利用可能な全データ（その時点までの行動ログ・事前テスト・リフレクション）で事後テストの高低を分類します。

結果

リフレクションをELMoで文脈的に表現したモデルは、学習のかなり早い段階から安定した予測を示し、特に、シンプルな判定ルール（線形SVM）と組み合わせたときは、早い時点で安定した予測が可能になっていました。また、複数のモデルの結果を合わせて判断する“多数決”のような方法（アンサンブル）にすると、単一のモデルだけで予測する場合よりも結果のばらつきが小さくなり、安定感がさらに高まりました。

一方、GloVeを用いた場合はリフレクションを使わない場合と同等程度にとどまることがあり、短文・多様な表現を含むリフレクションでは「文脈を読む」ということを加味できることの優位性が示唆されました。

総じて、短い自由記述でも、文脈表現を介すことで行動ログや事前テストでは捉えにくい手がかりが加わり、早く・自信を持って支援判断に使える予測が可能になると結論づけられています。

加えて評価指標に関して、今回はF1スコア(適合率、再現率)やAccuracy(精度)など多様なものを使用しましたが、各指標間で最適なモデルが異なることがありました。予測の「早さ」と「信頼性」の間にはトレードオフが存在することを示しており、多様な指標を用いた評価の重要性が示唆されました。

考察

この研究の意義は、学習ログや事前テストでは拾いにくい学習者からの言葉を、文脈まで踏まえて数値化し、早期から信頼できる予測に結びつけた点にあります。短いリフレクションであっても、ELMoのような“文脈を読む”表現を用いれば有効な手がかりとなり、予測の早さと確かさの双方が底上げされました。特に、複数モデルを組み合わせるアンサンブルの手法は初期段階の安定性を高め、線形SVMを用いた場合は最終的な精度で堅実に機能するという、教育現場で使用する場合にも分かりやすい役割分担が示されています。

評価設計の観点では、Accuracy・F1・AUCなどの“予測の当たりやすさ”に加え、「いつ安定判断に到達したか（標準化収束点）」と「どの程度ので安定したか（収束率）」を併用した点が重要です。実践面では、単元の前半で低調が見込まれる学習者を早く特定し、資料誘導やヒント提示、ペア編成の見直しなど具体的な介入につなげやすくなります。

一方、早期予測がぶれやすい学習者も一定数存在するため、学習ログなどの追加要因を重ねて判断する設計が必要です。総じて、本研究は予測モデルを授業後の後追い評価から「授業中の教員の意思決定の原動力」へ位置づけ直す実践的な指針を示したといえます。

限界

この研究の限界として、以下の点が挙げられます。

第一に、事後テストを二値化しているため、伸び幅や部分的理解などの要素を十分に反映できていません。得点そのものを連続値として、回帰を用いた予測を行うなどの方法が今後望まれます。

第二に、リフレクションを平均ベクトルで表現しているため、語順や論述の展開といった系列情報が失われます。短い文ほど語順の情報が大切になるため、順序を扱えるモデルも検討すべきです(畳み込みニューラルネットワークなど)。

第三に、自由記述は動機・語彙量の影響を受けやすく、短文・定型文が多い学習者では情報量が不足します。そもそもの学習動機やその他の影響も加味した研究デザインをする必要があります。

第四に、モデル解釈性の観点で「どの表現が予測に効いたのか」というのが見えにくい点があります。埋め込み表現を用いることで人手を用いずにタグ付けできますが、その予測精度の向上について「リフレクションの本質的な特徴」を捉えたことに起因しているのか、それとも「使用している語の難しさや文の長さ」などの表面的な特徴を考慮しているだけなのかは判別できていません。

以下は、私の感想になります。

リフレクションと学習成果の関係について、どのように評価できるか？という点に興味があり、この論文を読みました。形成的評価として活用することで小テストの点数だけでなく、リフレクションを定量化して学習成果の予測に用いることでより多面的に学習者の状況を把握し、足場かけに繋げられるという点が授業設計上の参考になりました。実際に現場で実装するとしたら、学習ログや小テストの点数などと組み合わせて、授業者がリフレクションを用いてどのように授業上での意思決定をしていくか、より長期的に検証する等、今後も広がりが期待できる興味深い分野だと思います。

一方で、今回は短いリフレクションを使用して、2〜3コマと短期の授業での実践でしたが、文の長さや長期に渡る授業の場合にはどのように結果に影響するかという点を疑問に思いました。例えば単元のまとめに学習に関するリフレクションを行い、それが次の単元の学習成果にどう関係しているか等、より長期的な学習についても、変わらず成績予測や教員の意思決定の補助になり得るのかということが気になっています。

また今回は生物学の知識習得のためのゲーム学習でしたが、「キャリア教育」「探究学習」のような評価基準(学習成果と言えるもの)が複雑になる分野での授業に活用したい場合にも、さらに多様なリフレクションの利用の可能性があるのではないかと思います。そもそもリフレクションを評価に使うということには、単純な数値化だけでなく意味的な特徴を捉え、点数などの学習成果の裏にある学習者の考えを可視化できるというところに大きな利点があると思います。質的な分析手法もすでに様々なものがあると思いますので、今後多様な視点を持って、リフレクションを多角的に活用することができるよう、知見を広げたいと思います。

文責：尾﨑康平