皆さん、こんにちは。修士1年の樋口です。
この記事では、今回私が英語文献ゼミで紹介した論文のレビューをいたします。

論文情報
論文タイトル：A teacher-facing learning analytics dashboard for process-oriented feedback in online learning
出版：In LAK21: 11th International Learning Analytics and Knowledge Conference
ページ：482-489
出版年：2021
著者：Dourado, R. A., Rodrigues, R. L., Ferreira, N., Mello, R. F., Gomes, A. S., & Verbert, K.
https://doi.org/10.1145/3448139.3448187

私が去年していたICT支援員のお仕事の中で、たまに授業のお手伝いをさせていただいたことがあったのですが、子どもたちの学習の様子を把握するのは本当に難しかったです。そして、先生方にとって学生の学習進捗や行動パターンの情報・分析結果を得られるようなツールがあれば、それは指導においてきっと役立つものになると思います。

今回の論文はブラジルの公立学校が提供するオンライン職業講座を対象として、学習管理システムであるMoodleのログを使って学生の行動を可視化するラーニングアナリティクスダッシュボード（LAD）の設計と評価を行った研究です。

課題
筆者らは生徒の進捗や学習調整に関わる継続的なフィードバックの場面でLADが活用される一方、正式な学習評価や教師による介入の前段階の、学習プロセスの途中で提供される「プロセス志向フィードバック」というフィードバック種類に焦点を当てた実証的LAD研究が少ないことから、LADのデザインと開発、評価を行いました。

研究方法
本研究は、学術的知見に基づいたデザインとその検証を何度も繰り返してより良い形を目指すプロセスであるデザイン研究であり、LADの開発は「可視化デザインのための設計活動フレームワーク」という理論的枠組に基づいて、「理解 (understand)」→「考案（ideate）」→「make（作成）」→「deploy (展開)」という流れに沿いました。しかしながら、本論文では「展開」までには至っておらず、その前までの段階の詳細が述べられています。

また、本研究には大きく２つの段階があり、各段階は第一・第二イテレーションと名付けられています（論文中のFigure 1にて図式化されています）。イテレーションとは小さなステップの開発を反復していくことで機能を追加していく開発プロセスのことです。

1. 第一イテレーションには「理解」と「考案」の段階が該当し、研究者らは講座を担当している教師に対してインタビューを行ってそこでの音声・映像データを分析したり、紙のプロトタイプを作成してそれを先生に評価してもらったりしました。

2. 第二イテレーションには「考案」と「作成」の段階が含まれています。この段階ではプロトタイプの再作成ののち、実際にwebアプリが開発され、アプリのユーザビリティはHCI（Human-Computer Interaction）という人間とコンピュータの相互作用を対象領域とする専門家（博士課程学生）によってForsell & Johansson’s heuristics setというユーザビリティ評価の質問紙を使って評価されました。

結果・議論
以下では、インタビューから導かれたデザイン要件や本研究において開発されたLADとユーザビリティ評価の結果、そして議論点についてまとめます。なお、実際のLADのインターフェースは論文中のFigure 2, 3でご覧いただけますので気になる方はご参照ください。

1. デザイン要件
筆者らは教師のインタビューデータを分析し、課題や要望、可視化すべき情報について検討しました。具体的には、教師は生徒が助けを求めるまで彼らがどこに困っているのかを知ることが出来ないという課題や、Moodleのログを活用した学習プロセスについての情報がほしいという要望、そして先行研究も踏まえてMoodle内で獲得できるデータ（Table 1）とその可視化内容（Table 2）を抽出しました。

2. ダッシュボードデザイン（アルファベットは論文中の図のエリアを示しています。）
A) Overview（概要）：授業参加の度合い（A1）、成績（A2）についての情報を確認することができます。特定の生徒を指定して（A3）、Details画面（C）で学習進捗を確認することもできます。
B）Pattern-discovery panel（パターン発見パネル）
a. Real-time tab（リアルタイムタブ）：生徒の学習進捗を確認することができ、教師の指示についてきているかを確認することができます。
b. Retrospective tab（振り返りタブ）：授業内の課題を選択すると、その課題を提出するまでの行動パターンを発見することができます。合格率によってそのグループの線が色付けされ、線の太さは追従した生徒が多いほど太くなります。
C) Details Panel（詳細パネル）：この画面では各生徒の学習過程を時系列に沿って確認することができます。各行動はアイコンによって可視化されます（アイコンの種類はTable 3をご参照ください）。また、詳細パネル内のフィルターエリア（右側）やLegend panel（凡例パネル、D）を使うことで、イベントの絞り込みや並べ替えをすることができます。

３．ダッシュボード評価
HCIの専門家によるLADの評価の結果は以下のようなものでした。H01等は質問番号を表しており、質問紙の結果は論文中のFigure 4で確認可能です。
【肯定的な評価】LADの評価は全体的に肯定的でしたが、特に「（使い方・可視化の意味を）思い出さなくても理解できる（H10）」「冗長性の除外（＝無駄なものが少ない, H09）」「データの削減（＝不必要なデータが効率的に削除されている, H05）」の項目での評価が高かった。
【否定的な評価】「柔軟性（H03）」と「空間配置（H05）」の評価はあまり高くありませんでしたが、柔軟性については、高くなかったとしてもツールを使い慣れていない教師たちにとってはアプリの見た目が変わりやすいことはあまり良くないという意見や、空間配置については、各パネルが折り畳めるようになってほしいという意見が挙がりました。
【課題点・改善点】
・LAD全体：画面内に生徒の名前の表が3つもあって、どのグラフがどの表の条件を参照して表示されているのかがわからないという意見がありました。
・Overview画面：ほとんどが肯定的な意見でしたが、生徒を特定して課程を確認する画面（A3）は他の場所に配置したほうがいいとの意見がありました。
・リアルタイムタブ：ほとんど課題は挙げられませんでした。
・振り返りタブ：この部分は可視化の方法が分かりづらいと多くの評価者から声があげられました。しかし、可視化の分かりづらさについては指摘される一方で、課題提出までに学生たちがどのような経路をたどったのか、また、どの経路の生徒たちの合格率が高かったなど、可視化されている内容の有用性については同意する声が挙がりました。
・Details画面（C）：この画面では各学生のMoodle上の行動をアイコンによってプロットしますが、非常に活発にMoodleを操作する生徒がいた場合、過剰にアイコンがプロットされることがあることがある懸念が示されました。この問題に対し、筆者らはデータの効率的な取捨選択によって対応すると述べています。

限界点
筆者らは、本研究の限界点について以下の2点をあげています。
1. 今回開発したLADアプリはHCIの専門家には評価してもらいましたが、導入した場合、実際に使用する教師たちには評価してもらっていません。
2. 今回データ源として活用したMoodleのログはクリックストリームデータ（ページ遷移のログ）のみだったため、可視化できる情報の潜在的な限界点があるとされています。
以上の限界点から、筆者らは今回のLAD評価で特定された課題点を元に、教師に取って使いやすいアプリ設計を行い、実践に移していくとしています。

選んだ理由と感想
私は教師用LAD開発をしているので、海外の類似研究としてどのような例があるかを探るために今回の論文を選びました。限界点でも言及されていた通り、今回のLADの可視化はMoodleのクリックストリームデータのみを用いているためe-book等と比べるとデータの粒度という観点で少し荒かったり、可視化デザインについても少し分かりづらかったりするところもありました。ただ、今回紹介されていた可視化の種類やユーザビリティの評価方法は非常に参考になりました。また、デバイスのログから現在の状態を表示するだけでなく、過去の行動も含めてその「プロセスの変化」を可視化するという観点もすごく興味深いと感じました。現在自分も開発を頑張っているところですが、現場の先生方の意見や要望をしっかり聞きながら、少しでもお役立ちできるLADを開発しようと思います。