皆さん、こんにちは！山田研究室修士2年の樋口尚宏です。

個別最適な学びや学習分析（LA）の普及にともない、データを読み解く「データリテラシー」が欠かせない時代になりました。では、その力をどうやって客観的に評価・測定すればよいのでしょうか？

今回は、世界中の様々な領域で取り組まれてきた評価手法を体系的に分析したレビュー論文をご紹介します。私の研究である「教師の評価・行動ログ分析」の評価設計にも大きなヒントをくれた論文です。

論文情報
・タイトル： Data literacy assessments: a systematic literature review（データリテラシーアセスメント：体系的文献レビュー）
・著者： Ying Cui, Fu Chen, Alina Lutsyk, Jacqueline P. Leighton & Maria Cutumisu
・掲載誌： Assessment in Education: Principles, Policy & Practice, 30(1), 76-96.
・出版年： 2023年
・DOI： https://doi.org/10.1080/0969594X.2023.2182737

１．導入・背景
21世紀の技術の進展に伴い、私たちが日常や仕事で利用可能なデータ量は爆発的に増加しました。これに伴って、データにアクセスし、その意味を正しく理解する「データリテラシースキル」の重要性が、社会全体で急速に高まっています。

この傾向は教育現場でも同様であり、教育改善にデータを活用する動きが盛んになっています。しかし、異なる教育環境や目的で行われたデータリテラシー評価が体系的にレビューされていないことが、これまでの大きな課題として指摘されていました。

この課題を解決するため、著者らは既存のデータリテラシーアセスメントにおける共通点やユニークな特徴、そしてそれぞれの強みや弱みを明らかにし、今後の評価設計の指針とすることを目的として、以下の5つのリサーチクエスチョン（RQ）を設定しました。

RQ1： 各データリテラシーアセスメント of 設計対象（ターゲット層）は誰か？
RQ2： それぞれの研究で採用されているデータリテラシーの定義は何だったか？
RQ3： 各評価ではどのデータリテラシー能力（コンピテンシー）に焦点を当てていたか？
RQ4： 各評価ツールの評価フォーマットと項目の種類はどのようなものか？
RQ5： 各評価は信頼性と妥当性の根拠を提供するために、実際のデータを用いた検証がされているか？

２．方法
本研究では、データリテラシーの多面的な性質（教育、社会科学、エンジニアリングなどにまたがる性質）をカバーするため、5つの先行レビュー論文を参考に検索キーワードやデータベースを選定しました。

拓いたデータベースとして、世界的な国際データベースであるPsycINFO, ERIC, Scopus, IEEE Xplore, SpringerLink, Web of Scienceの6つを用いて検索を行い、2000年から2021年5月までに公表された文献から初期データとして616件を抽出しました。

この検索結果に対し、「経験的なアプローチで実際にデータリテラシー評価を行っているか」といった厳格な包含・除外基準を適用してスクリーニングした結果、最終的に25件の文献がレビュー対象として選定されました。これらの文献から、あらかじめ設定したカテゴリに基づいて情報抽出し、統合・要約を行いました。

３．結果と議論
レビューの分析から、現在のデータリテラシー評価の具体的な姿と、今後の課題が浮き彫りになりました。5つのRQに沿って、結果と議論を整理します。

RQ1：アセスメントの設計対象（ターゲット層）は誰か？
結果：
アセスメントの対象者は、主に以下の5つのグループに分類されました。

・K-12（幼稚園から高校）の児童・生徒： 10件（特に中高生が対象の主流）
・教員および教育専門家（教員志望の学生を含む）： 7件
・研究者・データライブラリアン： 4件
・高等教育（大学生）： 2件
・その他の専門家： 2件

議論：
最も多く対象とされていたのはK-12の生徒（特に中等教育レベル）であり、次いで教員を対象としたアセスメントが多く見られました。しかし、労働市場におけるスキルギャップを埋める上で非常に重要であるはずの「大学生などの高等教育レベル」を対象とした研究が極めて少ないことが明らかになりました。

RQ2：どのような「データリテラシー」の定義が採用されているか？
結果： 対象となる読者コミュニティによって、定義傾向に明確な違いがありました。

・教員・教育専門家： GummerとMandinach (2015) の定義が主に採用されていました。これは、単なるテストの点数だけでなく、学校の雰囲気や行動データ、縦断データ、その場その場のデータなど「あらゆる種類のデータ」を収集・分析・解釈し、実践可能な指導上の知識や実践に変換して指導ステップを決定する能力のことです。この定義の認知的要素は非常に多面的で、3つの相互的領域（教授のためのデータ活用、内容についての知識、教育的内容の知識）と、6つの探究サイクル（問題の特定、問題の設定、データ活用、データの情報への変換、情報の意思決定への変換、結果の評価）から構成され、その中に知識とスキルに関する59もの細分化された要素が組み込まれています。
・学生（K-12・高等教育）： 各研究の著者が独自に定義を作成する傾向が強く、分野特有や現実世界の課題解決のためにデータを収集・分析・解釈する能力として定義されていました。
・研究者・データライブラリアン： 情報リテラシーやデジタルリテラシーの一部として位置付けられ、より実務的で細分化された「研究データ管理（ファイル命名規則、データ保存、共有など）」のスキルとして定義される傾向がありました。

議論：
全体として、単に「グラフを読み取る」といった単発のスキルではなく、課題を特定し、データを収集・分析し、意思決定や課題解決に活かすという「探究のプロセス」を重視した定義が広く用いられていることがわかります。

RQ3：どのデータリテラシー能力（コンピテンシー）に焦点を当てていたか？
結果：
・教員と教育専門家： データを指導プロセスや授業内の意思決定にどう活用するかに焦点が当てられていました。
・学生： 問題解決に直結する「データの視覚化（Data visualisation）」が頻繁に強調され、高等教育ではさらに「クリティカルシンキング（批判的思考）」が重視されていました。
・研究者・図書館員： 標準的なファイルの命名、データの安全な保存や共同共有といった、実務レベルのデータ管理スキルが重視されていました。
・その他の専門家： ジャーナリストがデータをもとに記事を執筆するなど、各職業に特化した能力が求められていました。

議論：
データリテラシーは非常に多くの複雑な要素（数理的知識、統計、批判的思考など）を含んでいるため、これらをすべて一つの評価ツールで網羅しようとすると、テストタスクが表面的で不自然なものになってしまうという課題が示唆されています。

RQ4：評価の「形式（フォーマット）」や「項目の種類」はどうなっているか？
結果：
評価手法は大きく「自己内省的アプローチ（8件）」と「客観的測定（17件）」に分類されました。

自己内省的アプローチ：アンケート、質問紙、半構造化インタビュー、思考発話法（Think-aloud）など、本人が自身のデータ能力を主観的に評価するもの。

客観的測定： 従来のペーパーテスト（多肢選択式・記述式）、デジタルゲームベースのアセスメント、授業中の行動を追う参加者観察など、他者が客観的に実力を測るもの。

議論：
教員やK-12の評価では「客観的測定」が最もよく用いられていました。しかし、その多くは多肢選択式や記述式のテストといった伝統的なアプローチであり、現実世界のデータや問題をリアルに扱うような、先進的で実践的なデジタル評価手法はまだ一部の試みに留まっています。

RQ5：信頼性と妥当性の検証は十分に行われているか？
結果：
評価ツール自体の信頼性や妥当性を実証的に検証していた研究は、わずか3件（Larasati & Yunanta, 2020; Pratama et al., 2020; Wu et al., 2021）しか存在しませんでした。

議論：
大部分の研究は、何らかの研修プログラムや介入の効果測定を主目的としており、その測定に使ったツール自体が本当に意図した能力を測れているかどうかの検証には関心を払っていませんでした。検証を行っていた3件の研究では、項目応答理論（IRT）や認知診断モデルといった高度なテスト理論を用いて科学的に妥当性を確認していましたが、全体としては依然として評価ツールの品質検証が不足しているのが現状です。

４．結論・限界点
本研究から得られる最大の教訓は、「データリテラシー教育において、高品質で検証されたアセスメントツールの開発は、今なお黎明期にある」ということです。

これまでの研究は主に中等教育レベルに偏っており、評価ツールも特定の教科に密結合しているため汎用性に欠けます。また、多肢選択式のテストや主観的なアンケートに偏っており、データリテラシーが持つ多面的なスキルを十分に捉えきれていません。

研究の限界
本レビューにおける限界としては、対象文献が25件と少なく小規模な初期研究が多い点、そして2021年5月までの文献を対象としている点が挙げられます。しかし、今後の評価ツール開発における課題を整理したロードマップとしての価値は極めて高いものです。

５．選んだ理由と感想
現在、私は「現場の先生方に使っていただく授業支援・リフレクションシステム」の開発を進めています。その中で、「システムを利用した被験者（教師）の変容をどう評価するか」は最も大きな課題の一つでした。教師のデータリテラシーの文脈に即した評価方法を検討する中で、近年のアセスメントトレンドを網羅的に把握するために、この論文をレビューしました。

本論文を読んだことで、現在自分が計画している評価設計に大きな自信と新たな展望を持つことができました。

先日、倫理審査に向けて「どのようなデータを収集し、どう分析するか」を策定しましたが、私の研究では、被験者に対する質問紙（主観的なアンケート）の実施だけでなく、実際の授業観察や、アプリ内での教師の行動ログ（どのデータを閲覧し、どう動いたか）の分析を組み合わせて行う予定です。

本論文で指摘されていた「自己内省的アプローチだけでは妥当性の検証に限界があり、客観的な行動観察や測定を組み合わせるべきである」という知見は、私の目指している評価方針と一致するところがありました。授業中の多角的な行動ログや授業観察を組み合わせるこの評価手法がうまく機能すれば、教師のデータリテラシー研究、ひいては教育工学の分野において非常に価値のある一歩になり得ると確信しています。

評価対象の教育レベルやツール開発の課題を踏まえつつ、現場 of 先生方にとって本当に使いやすく内省を促すシステムとなるよう、これからのシステム開発と導入評価に向けて邁進していきます！

文責：樋口尚宏