大家好！我是山田研究室硕士二年级的樋口尚宏。

随着个性化学习和学习分析（LA）的普及，解读数据的“数据素养”已成为不可或缺的能力。那么，我们该如何客观地评估和衡量这种能力呢？

本次我将介绍一篇系统性分析了全球各领域评估方法的综述论文。这篇论文为我本人的研究——“教师评估与行为日志分析”的评估设计提供了重要的启发。

论文信息
・标题： Data literacy assessments: a systematic literature review
・作者： Ying Cui, Fu Chen, Alina Lutsyk, Jacqueline P. Leighton & Maria Cutumisu
・期刊： Assessment in Education: Principles, Policy & Practice, 30(1), 76-96.
・出版年份： 2023年
・DOI： https://doi.org/10.1080/0969594X.2023.2182737

1. 引言与背景
随着21世纪技术的发展，我们在日常生活和工作中可利用的数据量呈爆炸式增长。随之而来的是，能够获取数据并正确理解其含义的“数据素养技能”在整个社会中的重要性正迅速提升。

这一趋势在教育领域同样显著，利用数据改善教育的举措日益活跃。然而，此前已有研究指出，针对不同教育环境和目的所进行的数据素养评估尚未得到系统性的梳理，这是一个重大的课题。

为了解决这一问题，作者旨在阐明现有数据素养评估中的共性、独特特征以及各自的优缺点，并为未来的评估设计提供指导，为此设定了以下5个研究问题（RQ）。

RQ1： 各项数据素养评估的设计对象（目标群体）是谁？
RQ2： 各项研究中采用的数据素养定义是什么？
RQ3： 各项评估侧重于哪些数据素养能力（胜任力）？
RQ4： 各评估工具的评估格式和题目类型是什么样的？
RQ5： 各项评估是否通过实际数据进行了验证，以提供信度和效度的依据？

2. 方法
本研究为了涵盖数据素养的多面性（跨越教育、社会科学、工程学等领域），参考了5篇先行综述论文来选定检索关键词和数据库。

研究使用了PsycINFO, ERIC, Scopus, IEEE Xplore, SpringerLink, Web of Science这6个全球性国际数据库进行检索，从2000年至2021年5月期间发表的文献中提取了616篇作为初始数据。

针对检索结果，应用了“是否通过实证方法实际进行了数据素养评估”等严格的纳入与排除标准进行筛选，最终选定25篇文献作为综述对象。研究人员根据预设的类别从这些文献中提取信息，并进行了整合与总结。

3. 结果与讨论
通过对综述的分析，当前数据素养评估的具体面貌及未来课题浮出水面。以下按照5个RQ整理结果与讨论。

RQ1：评估的设计对象（目标群体）是谁？
结果：
评估对象主要分为以下5个群体：

・K-12（幼儿园至高中）的儿童与学生： 10篇（以中学生为主）
・教师及教育专家（含师范生）： 7篇
・研究人员与数据管理员： 4篇
・高等教育（大学生）： 2篇
・其他专业人士： 2篇

讨论：
最主要的对象是K-12学生（特别是中等教育阶段），其次是针对教师的评估。然而，研究发现针对“大学生等高等教育阶段”的研究极少，而这对于填补劳动力市场的技能缺口至关重要。

RQ2：采用了什么样的“数据素养”定义？
结果： 根据目标读者群体的不同，定义倾向存在明显差异。

・教师与教育专家： 主要采用Gummer和Mandinach (2015) 的定义。这不仅指考试分数，还包括收集、分析、解释学校氛围、行为数据、纵向数据及即时数据等“各类数据”，并将其转化为可实践的教学知识与实践，从而决定教学步骤的能力。该定义的认知要素非常多面，由3个相互关联的领域（教学数据利用、内容知识、教学内容知识）和6个探究周期（问题识别、问题设定、数据利用、数据转化为信息、信息转化为决策、结果评估）构成，其中包含了59个细分的知识与技能要素。
・学生（K-12与高等教育）： 倾向于由各研究作者自行定义，通常定义为为了解决领域特定问题或现实世界问题而收集、分析、解释数据的能力。
・研究人员与数据管理员： 被定位为信息素养或数字素养的一部分，倾向于定义为更具实务性且细分的“研究数据管理（文件命名规则、数据保存、共享等）”技能。

讨论：
总体而言，广泛采用的定义并非单一的“读取图表”等孤立技能，而是重视识别问题、收集与分析数据，并将其应用于决策与问题解决的“探究过程”。

RQ3：侧重于哪些数据素养能力（胜任力）？
结果：
・教师与教育专家： 侧重于如何将数据应用于教学过程和课堂决策。
・学生： 频繁强调与问题解决直接相关的“数据可视化（Data visualisation）”，在高等教育中还更加重视“批判性思维（Critical thinking）”。
・研究人员与图书馆员： 重视标准文件命名、数据安全保存及共同共享等实务层面的数据管理技能。
・其他专业人士： 存在针对各职业的特定要求，如记者基于数据撰写报道等。

讨论：
由于数据素养包含大量复杂要素（数学知识、统计学、批判性思维等），如果试图通过单一评估工具覆盖所有要素，会导致测试任务变得表面化且不自然，这一课题被指出。

RQ4：评估的“形式（格式）”与“题目类型”如何？
结果：
评估方法大致分为“自我反思型方法（8篇）”和“客观测量（17篇）”。

自我反思型方法：通过问卷、调查表、半结构化访谈、有声思维法（Think-aloud）等，由本人主观评估自身数据能力。

客观测量：通过传统的纸笔测试（多项选择题、简答题）、基于数字游戏的评估、追踪课堂行为的参与观察等，由他人客观衡量其实力。

讨论：
在教师和K-12的评估中，“客观测量”最为常用。然而，其中大部分是多项选择题或简答题等传统方法，能够真实处理现实世界数据或问题的先进、实践性数字评估方法目前仍仅处于少数尝试阶段。

RQ5：信度与效度的验证是否充分？
结果：
对评估工具本身的信度或效度进行实证验证的研究仅有3篇（Larasati & Yunanta, 2020; Pratama et al., 2020; Wu et al., 2021）。

讨论：
大部分研究的主要目的是测量某种培训项目或干预措施的效果，而并未关注所使用的测量工具本身是否真正衡量了预期的能力。那3篇进行了验证的研究使用了项目反应理论（IRT）或认知诊断模型等高级测试理论科学地确认了效度，但总体而言，评估工具的质量验证依然不足。

4. 结论与局限性
本研究得出的最大启示是：“在数据素养教育中，开发高质量且经过验证的评估工具仍处于黎明期”。

此前的研究主要偏向中等教育阶段，且评估工具与特定学科紧密结合，缺乏通用性。此外，研究偏向多项选择题或主观问卷，未能充分捕捉数据素养所具备的多面性技能。

研究的局限性
本综述的局限在于纳入文献仅25篇，多为小规模的初步研究，且文献截止至2021年5月。然而，作为梳理未来评估工具开发课题的路线图，其价值极高。

5. 选择理由与感想
目前，我正在开发“供一线教师使用的课堂支持与反思系统”。其中，“如何评估使用该系统的受试者（教师）的变化”是最大的课题之一。在探讨符合教师数据素养背景的评估方法时，为了全面掌握近年的评估趋势，我阅读了这篇论文。

通过阅读本论文，我对目前计划的评估设计充满了信心，并获得了新的展望。

前几天，为了伦理审查，我制定了“收集什么数据以及如何分析”的方案。在我的研究中，除了对受试者实施问卷（主观调查）外，还计划结合实际的课堂观察以及应用内教师的行为日志（查看了哪些数据、如何操作）进行分析。

本论文指出的“仅靠自我反思型方法在效度验证上存在局限，应结合客观的行为观察或测量”这一见解，与我所追求的评估方针不谋而合。如果这种结合课堂中多维度行为日志与课堂观察的评估方法能够顺利运行，我确信这将成为教师数据素养研究，乃至教育技术领域中非常有价值的一步。

在充分考虑评估对象的教育阶段及工具开发课题的同时，为了使系统成为真正易于一线教师使用并促进反思的工具，我将向着未来的系统开发与引入评估不断迈进！

文责：樋口尚宏