九州大学 山田研究室

同行评审究竟是为了什么?——关于近期国际期刊中教育技术领域论文评审的一些感想

2024年09月30日

这番话是我针对教育技术领域论文期刊(国际期刊)及国际会议评审的“个人”感想。最近,我越来越觉得评审意见的质量有所下降。这或许仅限于我所观察到的范围,国内的情况我近期也不太了解。之所以有此感触,不仅是因为我作为论文投稿者,也因为我在担任评审时能看到其他评审员的意见,基于这些经历,我产生了这样的想法。

同行评审是一项为学术领域发展做出贡献的研究活动。评审的本质在于向投稿者说明论文或国际会议稿件如何改进,并与投稿者进行科学且逻辑严密的沟通。然而,最近我发现许多评审意见缺乏逻辑性和科学性。

由于我从事学习分析相关的研究,因此经常收到学习分析领域的评审邀请。最近,学习分析领域论文评审中出现频率最高的一句话就是“样本量(N)太小”。指出这一点非常容易,甚至硕士生在研讨会上都能做到。但评审员的职责在于说明如何改进这篇论文或国际会议稿件,并提出相应的修改建议。当样本量较小时,通常会采用非参数检验或质性研究。评审员必须对照作者的研究目的,说明为什么这样不行。如果只是指出“样本量太小,所以结论有限吧?”,那么真正需要传达的重点不应是样本量小,而是必须逻辑严密且令人信服地向作者解释,为什么非参数检验或质性研究不足以达成研究目的。最近,能做到这一点解释的研究者变少了。如果只是说“样本量太小”,这只会让作者感到绝望。这并不好。

此外还有“缺乏先行研究综述”这类意见。这在一定程度上是因为作者的写作方式不当,才导致了此类评价。这确实是重要的一点,因为它关乎论文的原创性,但作为评审员,如果指出这一点,就必须说明“为什么认为缺乏先行研究综述”。例如,需要说明“如果按照这种思路展开论述,A研究与你的研究密切相关,但缺乏对A相关研究的综述”,即说明“为什么需要补充先行研究综述,以及需要补充哪方面的综述”。这涉及论文原创性和动机等核心问题,甚至可能直接导致拒稿,因此我认为需要进行细致的说明。

我过去在国内也曾长期担任编辑工作,当时也遇到过一些对受托论文几乎一律拒稿的评审员,而且这些评审员往往会写出让人想吐槽“哈?这是什么鬼!”的意见。我曾感到,“专业性高”与“优秀的科研人员”并不总是画等号。遗憾的是,国内也存在这种情况。不过,在我离开该学会编辑委员会前后,学会开始根据论文类型制定评审方针,我认为这是一件非常好的事情。

评审工作大多是志愿性质的。在日本,许多研究者承担着繁重的校务工作,同时还要兼顾自己的研究,在这样的情况下进行评审,我对此深表敬意。但是,虽然个人的时间很宝贵,但既然接受了评审任务,就必须意识到投稿者的职业生涯可能就系于评审结果之上。因此,无论最终判定结果如何,我都认为评审员需要站在“如何让这篇论文、这项研究变得更好”的角度,与投稿者进行逻辑性的沟通。

因此,我感到研究者通过评审,不仅能提升自身的科研水平,还需要学习“为学术领域做出贡献”究竟意味着什么。为了振兴教育技术这一研究领域,将优秀的科研成果推广到国际,并构建良好的研究社区,虽然我能做的很有限,但我希望在研究指导中向学生们传达这些重要性。虽然朴实无华,但我相信这种理念的传播将跨越世代,推动研究的发展。我希望年轻研究者能多参与评审,拓宽研究视野,磨练研究能力。这不仅能增强推进自身研究的力量,也能提升自己在研究领域的影响力。

我已经快要触及50岁的门槛了,我个人能为学术领域留下些什么呢?虽然微不足道,但我希望在推进未来研究者培养的同时,对此进行思考。

PAGE TOP