大家好！我是硕士二年级的樋口尚宏。
虽然将课堂数据可视化的仪表板在学校现场正日益普及，但即使面对同一个画面，不同的老师所“注意到的内容”和“思考方式”也大相径庭。本次我将介绍一篇论文，该论文详细编码了初中数学教师与支持课堂构建的“教学教练”在面对课堂数据仪表板时的反应，并阐明了因角色不同而产生的差异。我本人正在进行与教师们一边查看仪表板一边进行反思的研究，这篇文章极大地拓宽了我的分析视角。
论文信息
・标题： Making Sense of Sensemaking: Understanding How K–12 Teachers and Coaches React to Visual Analytics（解读意义建构：K–12教师与教练如何对可视化数据做出反应）
・作者： Fabio C. Campos, June Ahn, Daniela K. DiGiacomo, Hoang Nguyen, & Marisa Hays
・期刊： Journal of Learning Analytics, 8(3), 60–80. ・出版年份： 2021年
・DOI： https://doi.org/10.18608/jla.2021.7113
1. 导言与背景：“意义建构”这一术语所涵盖的多个步骤
在美国的K–12（从幼儿园到高中）学校中，将课堂数据应用于教学的能力已成为教育者的必备素养，显示数据的仪表板也正在普及。然而，不同立场的教育者如何从这些数据中构建解读，目前尚不完全清楚。
作者指出，现有研究存在两个问题。首先是模型粒度不足。在LA（学习分析：分析学习与教学数据并有助于改善教育的研究领域）和HCI（人机交互：处理人与计算机之间关系的研究领域）中，研究者们通过概念模型解释了可视化工具如何影响教学与学习。然而，这些模型将反思、注意、洞察的产生、解释等不同活动统称为“意义建构（Sensemaking：赋予数据意义的过程）”，并未捕捉到各个详细步骤。另一个问题是忽视了角色差异。作者认为，假设所有教育者以相同方式阅读数据、不区分使用者的工具，无法充分支持教学的改善。
因此，本研究详细描述了教师与教学教练（受过专业训练、专门提供学科指导支持的经验丰富的教育者）如何对仪表板上的课堂数据进行意义建构。论文中有一张整理了这一问题意识的现有LA过程模型图（Fig.2: p.64），参考该图有助于理解本研究的重点。
2. 理论框架：将意义建构视为“改写意义的过程”
本研究从LA与HCI之外引入了两个见解。其一是组织理论中的意义建构研究（Weick, 1995），该理论认为意义建构并非“发现”隐藏的意义，而是在受个人参照框架和情感影响的同时改写现实的过程，解释则是这一过程的产物。其二是处理K–12中对话式意义建构的教育研究（Horn et al., 2015）。教师在教练的帮助下解读数据的关系，是K–12所特有的。基于这一立场，本研究将包括情感在内的教育者反应作为观察对象，而将行为作为另一个（尽管相关）过程排除在分析范围之外。这是因为行为也会受到学校方针和团队动力学的影响。虽然传统的教育研究中有将对数据的反应分为“概念性”、“象征性”、“工具性”的分类法，但作者认为，作为讨论教师与教练差异的共同语言，这种分类过于粗糙。
设定的研究问题（RQ）为“K–12的教育者对可视化数据表现出何种类型和模式的反应？”
3. 调查方法：将通过有声思维收集的反应整理为编码手册
本研究是在由大学与学区组成的4个研究实践伙伴关系（Research-Practice Partnership: RPP）网络PMR2（Practical Measures, Routines and Representations）中进行的。向教师展示的是询问学生如何体验课堂讨论的约8个问卷调查结果，这些结果以不特定个人身份的形式显示在研究团队与教育者共同设计的仪表板“Edsight”上。参与者是从网络内的74名教育者中选出的9名初中数学教师和9名教学教练。
此处的教师是指在自己的数学课上直接与学生接触并进行教学的立场。另一方面，教学教练（instructional coach）是由学区从具有丰富教学经验的教育者中选拔，并受过训练，旨在校内持续为教师提供学科专项教学支持的立场。在美国的K–12中，他们被广泛采用，作为支持教师解读数据并将其转化为教学改善的角色。平均教龄教师为10年，教练为17年，教师中无人有使用可视化工具的经验，教练中也仅有1人。在约1小时的会议中，通过边思考边说出的有声思维法（think-aloud）和半结构化访谈，每人查看了约15个可视化图表。其中12人查看的是自己课堂的数据，6人查看的是匿名化的示例数据。为了引出认知过程，仅提示“您注意到了什么？”、“从这些数据中能看出什么？”。
在分析中，将转录稿按“一个解释行为”进行摘录，通过归纳式开放编码整理反应，最终完成了由情感、分析、意图三个维度组成的编码手册。最终编码由2人以上进行，一致性（Cohen’s κ）为0.82。对于角色间的比较，使用了检验出现次数中位数差异的Wilcoxon秩和检验。
4. 结果与讨论：25种反应类型及教师与教练的阅读差异
由于本研究只有一个RQ，因此按照论文框架，依次整理反应类型、角色差异及共现模式。
反应类型：情感、分析、意图三个维度
编码结果整理出了包括“无反应”在内的25种反应类型。
・情感维度包括惊讶、满足、共鸣、不信任、责任感等；分析维度包括提出问题、回忆、原因归因、填补空白、连接点与点、预测等。
・意图维度包括有改善意愿但无计划的“行动意图”、列举具体行动的“计划”、为行动寻求仪表板外信息的“信息探索”。
・分析维度的术语稍显晦涩，补充说明一下，“原因归因”是指将结果的原因归结为数据之外的某事物，“填补空白”是指用自己的意见、信念或教育观来填补数据的空白。
角色差异：教师倾向于“叙述”，教练倾向于“行动”
Wilcoxon检验显示出显著差异的反应如下（数值为出现次数）。
・教师较多的反应：不信任（9对1）、责任感（7对0）、回忆（21对4）、原因归因（47对21）
・教练较多的反应：连接点与点（21对7）、行动意图（25对11）、信息探索（19对2）、意图维度合计（50对13）
教师倾向于用自己的语言描述情况并进行原因归因，而教练则倾向于从数据中寻找信息，并从教育行动的角度进行思考。例如，教练会引入学区的社会情感学习方针，主动提出数据和问卷中都没有提到的“班级文化”这一解释框架。另一方面，教师则根据过去课堂中看到的学生表现，构建了“缺乏自信，不想独立前进”这一具体解释。此外，虽然教练提出问题的次数是教师的两倍以上，但这在统计学上并不显著。
共现模式：哪些反应会成套出现
研究还分析了在一段摘录中两个代码同时出现的次数（Fig.4: p.71）。首先引人注目的是，原因归因与“无意图”的组合高达62次，这证实了即使看到数据也无法转化为行动是最常见的反应。在此基础上，提出了连接分析与意图的以下模式：
・提出问题 × 信息探索（17次）：大部分为教练。对数据的提问，连接到了课堂观察或访谈等仪表板之外的信息收集计划。
・填补空白 × 行动意图（13次）：越是用价值观或外部信息补充解释的人，越容易口头表达改善意图。
・原因归因 × 回忆（14次）：主要为教师。回忆起过去的事件并进行原因归因。
讨论：扩展的LA过程模型与“过拟合”
作者将角色差异解释为：“教师作为事件的当事人，用有关人与课堂的经验性知识（场景）来阅读；教练则用教学课题等命题性知识来阅读”。并提出了将整个意义建构与作为其产物的解释区分开来的扩展LA过程模型（Fig.5: p.75）。重要的是，即使没有导致行动，教育知识和反思也会从这一过程中产生。此外，作者将把新信息强行塞入现有框架、重复表层解释的风险，比作机器学习术语，称为“过拟合（over-fitting）”。教师中常见的原因归因、回忆与“无意图”的共现就是其依据。由于可视化设计可能改变这种风险，作者认为这对LA研究来说是一个特别重要的课题。
5. 结论与研究局限
本研究的贡献：①作为教育者、研究者、设计者可以共享的共同语言的反应类型；②阐明了教师倾向于回忆与原因归因，而教练倾向于信息探索等角色间的反应差异；③扩展的过程模型。作者指出，这些成果可应用于促进教练进行意义建构的培训，以及抑制过拟合的可视化设计中。
研究局限： 参与者较少，无意进行可推广的因果主张。此外，提供的刺激仅为从学生视角出发的关于教师教学的问卷，教龄和各学区的背景也未统一。进一步地，教育者之间在对话中共同创造意义的协作式意义建构尚未被捕捉到，类型学仅被视为第一步。
6. 选择这篇论文的理由及对我研究的启示
我本人也在进行让高中老师查看仪表板并进行反思的研究，但由于此前从未见过将查看仪表板的教师反应进行如此细致编码的研究，因此为了参考而选择了它。
在我的研究中，我反复进行与老师们一边查看仪表板一边交谈的反思会议，并进行了录像和录音。虽然我觉得有必要对本研究提出的编码手册本身的要素进行审视，并对“一个解释行为”这一分析单位的划分方式进行慎重探讨，但我感到基于此次的编码手册进行分析，将有助于对该研究领域做出贡献。此外，由于我的研究追踪了同一教师的多次反思，并获取了系统操作日志，因此在意义建构的时间变化、更细致的行为分析、关注教师在洞察或反思时所写文本的分析等方面，存在发展的可能性。另外，虽然本研究侧重于教师对可视化数据的意义建构部分，但我记录了从提出分析自己课堂的问题到反思的全过程，因此我也想挑战观察范围更广的分析。
文责：樋口尚宏
