复制危机(replication crisis)是指许多科学研究特别是心理学研究和医学研究,难以被复制或无法被复制。随着时间的推移,科学界对复制研究(replication study)有何新认识?复制危机是否存在积极意义?复制研究面临怎样的挑战?围绕这些问题,本报记者采访了相关学者。
评估和改善数据分析质量
《自然》杂志近日发布了一项最新研究成果,揭示了造成复制危机的一个重要因素:数据分析工作在许多科学领域变得日益复杂且灵活。没有任何两个科研团队必然以同样的方式处理数据,数量庞大的数据和多样化的数据处理方法,意味着不同团队可能得出完全不同的结论。该研究由美国斯坦福大学心理学系教授拉塞尔·波德拉克(Russell Poldrack)和以色列特拉维夫大学神经生物学系助理教授汤姆·勋伯格(Tom Schonberg)等人合作完成。
参与研究的70个独立科研团队分析了同一批数据并测试了9个假设。数据来自波德拉克等学者主持的神经影像分析、复制与预测研究项目(NARPS),108名实验参与者完成了一项模拟博彩游戏,并接受了大脑功能性磁共振成像(fMRI)扫描。扫描图像显示,参与者大脑区域尤其是与奖励机制相关区域的活动,会随着每局游戏可能赢得或损失的金钱数额变化。70个科研团队在收到数据后各自展开分析。每个团队使用不同的方式设计用于测试假设的模型。同时,每个团队分析数据的软件包、数据预处理步骤和技术都不相同。针对何时大脑区域可被视为“得到显著激活”,每个团队设置了不同的阈值。研究结果显示,这些团队就其中的4个假设大体达成共识,而其他5个假设,不同团队的结果差异明显。
波德拉克表示,整个过程十分复杂,分析工作流的每一个环节都需要作出很多选择。基于完全相同的数据和假设,不同科研团队得出差异较大的结论。在任何涉及复杂数据和方法的科研领域内,都有可能出现这种情况。随着用于科学研究的基础数据组规模日益扩大,这一问题未来将越发普遍。
波德拉克认为,分析灵活性可能对科研结果产生巨大的不利影响。但是,这种影响也将推动研究人员评估和改善数据分析质量,包括以多种方式分析相同数据、使数据分析工作流更透明化、公开分享和验证数据分析过程。
充分认识复制危机
美国弗吉尼亚大学心理学系教授布莱恩·诺塞克(Brian Nosek)谈到,复制研究作为科学方法的一部分,对于科学进步起着至关重要的作用。美国哲学家斯蒂芬·E. 布劳德曾将可复制性称为“科学与非科学之间的一种分界标准”。然而近些年,科研奖励制度对创新性和新颖研究的重视超过复制研究。在社会科学和行为科学领域,期刊论文退稿率高达70%—90%。有限的论文发表空间意味着,作者必须努力满足出版方的要求和偏好。这就导致科研人员开展复制研究的动力不足,不能及时有效地揭示和修正错误研究,从而降低了知识积累的效率。
美国非营利性机构开放科学中心2012年启动了“心理学可复制性计划”,参与该计划的270名研究人员复制了刊发于《心理科学》《个性与社会心理学杂志》《实验心理学杂志》这3家期刊的100项实验研究与相关性研究。结果显示,约2/3的原始研究能够被复制,但大部分复制研究得到的证据弱于原始研究。此外,诺塞克等人也复制了2010—2015年刊发于《自然》与《科学》期刊上的21项社会科学和行为科学实验研究,得到了相似的结果。
诺塞克表示,导致复制研究失败的可能原因有很多种。第一,原始研究是假阳性,即观察到了某一偶然事件而非一个真正的规律性结论。第二,复制研究是假阴性,即复制研究过程中存在错误,或复制研究效力过低,不足以探测到原始研究的结果。第三,原始研究与复制研究都是正确的,二者之间的区别包含着对旨在考察的现象具有重要影响的因素。要弄清在这三者之中,究竟是哪种原因导致复制失败,并不容易。严格的科研实践有助于降低假阴性出现的可能性,但无法完全消除。诺塞克认为,心理学是自我审查较多的一个学科,心理学家希望了解复制危机并作出改善。
美国康涅狄格大学教育心理学系副教授埃里克·洛肯(Eric Lokenb)认为,复制危机令人不安。当前复制研究失败率很高,但应对复制危机将在整体上造福科学研究。复制已有研究的尝试,是促进科研良性发展的体现。充分认识复制危机,能够促使科学家改进科研实践。现阶段,研究成果可能会被成千上万名科研工作者通过互联网阅读和使用,因此,研究人员必须接受更严格的考验。例如,一些学术期刊要求投稿人提交其研究所用的数据和代码,以便其他人检查其中的错误或开展复制研究;还有一些期刊推行预注册制度,即投稿人在真正开始研究之前,先在指定平台上将研究方案登记在册,通过评审后再进入数据收集、分析、论文写作等程序。
2019年,瑞士巴塞尔大学环境科学系教授瓦伦丁·阿姆海因(Valentin Amrhein)等800多名科学家在《自然》杂志上联名呼吁,取消统计显著性测试。复制危机使研究人员认识到,基础薄弱、不确定性较高的研究设计,以及对研究结果的选择性公布,会得出不合理的结论。同时,复制危机告诉人们,许多巧合被误认为具有普遍意义,但巧合本就不可复制。洛肯表示,从积极的角度看,复制危机给科学界带来了完善科研实践的契机。
友情链接: 中国社会科学院官方网站 | 中国社会科学网
网站备案号:京公网安备11010502030146号 工信部:京ICP备11013869号
中国社会科学杂志社版权所有 未经允许不得转载使用
总编辑邮箱:zzszbj@126.com 本网联系方式:010-85886809 地址:北京市朝阳区光华路15号院1号楼11-12层 邮编:100026
>