大家好,我是硕士二年级的樋口尚宏。
在本次英语文献研讨会中,我将介绍一篇在教育技术和学习分析(LA)领域被广泛引用的论文,该论文对“教师如何解读数据并将其转化为决策(指导)”的过程进行了建模。
我本人正在开发一套向教师反馈课堂数据的系统,但“仅仅向老师展示数据,真的能改变他们的行为吗?”这一问题始终是一个巨大的挑战。这篇论文深入探讨了这个“黑箱”,是一项非常有趣的研究。
论文信息
・标题: Teaching with analytics: Towards a situated model of instructional decision-making
(利用分析进行教学:迈向情境化的教学决策模型)
・作者: Alyssa Friend Wise & Yeonji Jung
・期刊: Journal of Learning Analytics, 6(2), 53-69.
・出版年份: 2019
・DOI: https://doi.org/10.18608/jla.2019.62.4
引言与背景
近年来,教育领域对“学习分析(LA)”的关注度日益提高,即通过分析从LMS(学习管理系统)和数字教材中获取的日志数据,以改善教育质量。
然而,本文指出,仅仅向老师展示“惊人的数据”或“精美的图表”很难直接转化为实际的教学改进。文中指出,教师将系统提供的信息在现场转化为有意义的“知识”,并将其付诸于课堂等“行动”的过程,实际上是非常复杂且困难的。
本研究试图整合以下三种现有视角,以阐明教师在真实的教育现场中如何面对LA:
教师探究 (Teacher Inquiry: TI): 教师自身提出问题、收集数据并进行反思的过程。
学习设计 (Learning Design: LD): 基于数据重新设计教材或教学计划。
教学编排 (Orchestration): 查看实时数据并当场调整教学。
通过结合这些视角,本研究旨在对“教师看到数据后会有何感受、如何思考、如何行动”这一系列过程进行建模。
研究方法
本研究在美国的一所私立大学进行。研究团队邀请了5名教师(涵盖理工科和文科)在为一个学期的时间里实际使用大学IT团队开发的LA仪表板(学习情况可视化工具)。
通过该仪表板,教师可以确认学生访问了哪些资料、视频观看了多少进度、测验的正确率如何等信息。
学期结束后,研究团队对教师进行了访谈,让他们在观看实际屏幕的同时,回顾并回答“您查看了仪表板的哪里?”“看到这些您有什么想法?”“结果您在课堂上做了什么?”等问题(回顾性访谈)。
结果与讨论
通过对访谈结果的分析,关于教师应用数据的过程,研究揭示了以下五个研究问题(RQ)所对应的有趣现状。
RQ1:教师带着什么样的“问题”查看数据?
教科书上常说“应该先提出明确的问题再查看数据”,但实际上,教师们并不总是从一开始就有明确的问题。
・模糊的好奇心: 似乎更多是从“学生真的在读教材吗?”“有没有学生在偷懒?”这种模糊的好奇心(Curiosity)开始查看数据的。
・对话中产生的问题: 在操作数据的过程中,发现“咦?只有这里的访问量很低?”并由此产生新问题,呈现出一种交互式的过程。
RQ2:教师如何“解读”数据?
查看数据后,教师们进行了“读取”和“解释”两个步骤。
1. 读取数据 (Reading Data):
・寻找切入点: 不仅仅是浏览整体,而是将特定关注的数据(例如:访问次数为0的学生)作为“切入点”来理解整体。
・需要基准: 即使被告知“访问次数10次”,也无法判断是好是坏。教师们强烈需求参照点,如“与其他学生相比如何(相对评价)”或“是否为0次(绝对评价)”。
2. 解释模式 (Explaining Patterns):
・结合语境进行填充: 利用对课堂的语境知识赋予数据意义,例如“这周作业很难,所以访问量增加了”。
・情感反应: 查看数据不仅仅是分析工作。情感(Affect)对解读有很大影响,例如“大家都在看视频,真高兴!”或“完全没人看,真失望……”。
RQ3:教师看到数据后如何“反应(行动)”?
这是本研究的亮点。查看数据后,教师们表现出了以下反应:
・对全班的支持: 判断“大家都不懂这里”,并在下次课上进行补充说明。
・对特定学生的支持: 发现“这个学生什么都没做”,并采取发送邮件等干预措施。
・修正课程设计: 认为“这份资料没人看,明年换掉”,从而重新审视教材。
此外,研究还发现了“不行动”这一重要反应。
・“静观其变”的态度 (Wait-and-See): 即使看了数据,如果对立即干预没有信心,或者认为这可能只是暂时趋势,则选择观察。这也是一种非常重要的决策。
・对教学法的反思: 即使没有转化为具体行动,这也成为了深入反思自身教育观的契机,例如“到底什么是‘参与’?”“我的教法这样真的好吗?”。
RQ4:是否确认了行动的结果(影响)?
令人意外的是,几乎没有教师在基于数据采取行动后去确认“结果如何”。这暗示了对于繁忙的教师来说,如果没有系统性的支持,完成PDCA循环中的“C(Check/检查)”是非常困难的。
RQ5:其他重要课题是什么?
・透明度与隐私: 教师们抱有矛盾心理,担心“学生会不会觉得被监视而反感?”或“学生会不会为了应付而假装观看?”。
・与同事的对话: 研究表明,比起独自查看数据,与其他教师讨论“你觉得这个怎么样?”(协作式解读)对于加深对数据的理解更为有效。
结论与局限性
作为本研究的结论,作者提出了“教师分析应用模型(Model of Instructor Analytics Use)”。
这是一个将数据应用视为在“意义建构(Sense-making)”与“教育反应”之间往返的循环过程,而非直线过程的模型。特别是将“从好奇心开始”、“伴随情感”、“‘静观其变’也是一种反应”等人性化侧面纳入模型,具有开创性意义。
局限性在于参与者仅有5人,且由于是回顾性访谈,记忆可能存在偏差。然而,在真实语境下的详细分析,为未来的系统设计提供了许多启示。
选择理由与感想
选择理由:
这篇论文我一直想读,它是我研究课题“教师反思支持系统”的核心,也是与“TI(教师探究)”相关的基础文献,因此我阅读了它。
感想与对未来研究的启示:
首先,读完后让我感到安心的是,我研究的基础概念“Teacher Inquiry(教师探究)”在LA语境中被视为理所当然的前提。文中引用了Avramides等人以及Sergis & Sampson等我平时参考的文献,让我感到今后可以基于这一理论充满信心地开展研究。
特别有趣的是,“Wait-and-See(静观其变)”的态度被正面看待。作为系统开发方,往往容易认为“看到数据就必须立刻采取行动(干预)!”,但对老师来说,“现在不动”也是一种重要的判断。此外,文中指出LA工具不仅能促进行为改变,还能促进“反思(内省)”,这一点我也想纳入我的系统评价视角中。
今后,我打算参考本论文提出的模型,设计目前正在开发的系统(TiTela)的评价指标。我希望不仅评价“功能是否被使用”,还要从“是否激发了老师的好奇心”、“是否促成了深度的反思”等维度进行评价。
文责:樋口尚宏




