“重复危机”推动科研实践变革
2023年11月15日 09:52 来源:《中国社会科学报》2023年11月15日第2773期 作者:本报记者 王俊美

  重复(replication)是指一种反复进行研究或实验的过程,目的是通过新模型或新样本验证此前研究的结果。作为验证研究结果的基本方法之一,重复不仅可以让人们建立起对研究结果的信心,还可以测试研究结果的适用边界,例如,在不同的样本或其他条件下,原始发现和假设是否依然成立。《自然》杂志近期一项研究表明,大规模重复项目的成功率远低于预期,导致社会科学经历了所谓的“重复危机”(replication crisis),并引发了结构性、程序性和社群性的积极变革。本报记者围绕“重复危机”相关议题采访了该研究的主要参与者、西挪威应用科技大学健康与功能系研究助理马克斯·科布马赫(Max Korbmacher)。

  研究的可重复性低于预期

  科布马赫表示,“重复危机”是21世纪头十年在心理学领域出现的一种现象。心理学家日益意识到研究实践中存在的问题,包括对测试统计数据的操纵乃至欺诈行为。这些行为创造了一系列惊人的研究结果,但其结果的可信度受到广泛质疑。于是,心理学界针对数十项已发表的有影响力的研究结果进行了大规模重复研究。2015年,《科学》杂志的一项研究从心理学不同子领域的三份著名期刊中抽取了研究样本,以评估心理学研究的可重复性。在100次独立执行的重复中,只有39%被标记为“成功重复”。结果显示,心理学研究的可重复性低于预期,这种现象被称为“重复危机”。

  研究表明,“重复危机”不仅出现在心理学,在经济学等其他领域也有显现。“重复危机”给学界带来了很大的挑战,其中包括损害公众对科学的信任、削弱科学和科学家作为循证政策与实践的可靠来源的作用。近期关于“重复危机”的研究,总结出了导致重复失败的多重因素。从个体层面看,个别研究人员存在有问题的研究实践行为。研究人员在处理和分析数据方面具有很大的灵活性,因此有可能导致研究结果的误报。另外,研究报告缺乏透明度会掩盖并加剧以上问题。从结构层面看,学术体系现有的特征也在很大程度上导致了研究的低重复率。例如,激励措施不当可能会导致研究人员为了保证职业稳定或获得晋升而做出不道德的研究行为。从重复研究面临的挑战来看,虽然可重复性是科学研究的一个基本特征,但其具体应用因研究领域而异,“重复”并不是裁决所有领域科研质量的决定性因素。此外,原始研究中的系统性错误、统计数据的不恰当使用和解释以及支撑假设的理论发展薄弱,最终都可能影响重复率。

  新颖成果不应牺牲可靠性

  为了解决这些问题,人们就如何改进心理学现有研究规范提出了不同的观点。涵盖开放获取、开放研究、开放教育等理念的开放学术(open scholarship),通过推动强有力的研究实践活动,倡导更加多样化、公平、包容和易于理解的心理学。这些变革是由个体和机构以自下而上的方式推动的,有学者因此将“重复危机”重新定义为一场“可信性变革”,认为危机一词既没有反映出过去十年对研究实践的审视反思,更不能全面反映由此产生的各种进步。

  在科布马赫看来,迈向现代科学重要的一步是推动开放学术成为新的标准,这就意味着要尽可能地使科研过程公开化和透明化。如此,研究成果不仅更易重复,而且更易被理解和获取。目前有多项倡议围绕开放科学创造新的规范,通常在机构层面制定,例如,将开放科学实践纳入教学课程、向研究人员和期刊提供激励措施。这些举措持续改变着科学出版的前提、期刊对研究人员的要求以及科研标准,最终目的都是提高研究成果的质量。多年来,方法学家和统计学家一直提醒其他学者,有些研究方法和标准是不可信的,但收效甚微。从更实用的层面来看,要不断努力改进研究程序和标准,需要给予方法学家和统计学家更多的发言权。“重复危机”有可能推动实施科研变革,使研究人员在评估证据时更好地考虑统计细节和方法选择。

  “重复危机”挑战了一些既定的科研方法,这些方法过于注重新颖研究成果的快速发表,而以牺牲研究可靠性为代价。研究表明,要想更好地应对这一挑战,学界应当谨记,高质量研究是科研发展的重中之重。“重复危机”为在多个相互关联的层面上进行变革提供了机会,有助于推动科研实践变革。科学实践行为是可以改变的,特别是在资助机构、研究小组以及个体研究人员等因素的促进和支持下,科学实践可以朝着更好的方向发展。

  学术研究模式正在改变

  研究显示,“重复危机”凸显了对研究现状、研究文化增进了解,以及机构、资助者和出版商共同努力解决问题的必要性。尽管新的开放获取期刊不断出现,但由于声誉不足,它们在接受度方面仍然面临挑战。由此来看,科学的思考方式、行动方式和结构构成的系统性转变仍处于起步阶段。为了捕捉复杂研究环境中这些不同程度的变化,研究人员将变革带来的积极变化区分为结构性变革、程序性变革和社群性变革。

  结构性变革被视为实现开放学术目标的关键,新的规范和规则往往在机构层面制定。在这种背景下,将开放学术实践纳入课程的做法颇受欢迎,进而可以激励研究人员改进科研实践。值得注意的是,一些教师已经开始将重复作为基础研究培训和课程的一部分,这些课程免费提供精选教材,并让学生参与执行重复的整个过程。除了将重复研究纳入课程之外,开放学术也应被作为高等教育人才培养的重要理念进行传授。事实证明,了解开放学术实践可以影响学生的知识水平、态度和参与度,使其成为更负责任的研究人员或受众;尽早提高科学素养能够给学生带来长远的好处,例如作出更多更高质量的科研贡献、产生对科研过程和重复价值的批判性理解,以及树立科研诚信的价值观念。将开放学术实践融入教育环节,为开放学术的价值观和实践成为常态而不是例外开辟了一条道路。

  程序性变革关涉研究过程中影响重复研究的常见行为和常用实践,例如预测市场、统计评估工具、多元分析方法以及系统评价和元分析等。近年来,研究人员利用预测市场来评估研究结果的可信性,邀请专家或非专家来评估不同研究或主张的可重复性;开发各类定量方法评估统计估计值的预期分布;在不同场景下测试同一假设,通过汇集一系列证据来确定研究结果的稳健性;在对研究保持宏观视角的同时揭示研究的细微差别。

  社群性变革与学界内的工作和协作如何展开相关联,涉及大团队科学与对抗性合作。科学家们为了共同的学术目标而进行大规模合作,形成大团队科学,汇集实验室、研究机构乃至国家层面的资源,重复研究通常是此类合作的焦点。大团队科学强调提高研究质量,其中的实践包括跨学科内部审查、纳入多种观点、在实验室之间实施统一协议以及收集更多样化的样本。大团队科学可以提高代表性、多样性和平等性,并允许研究人员通过协调各自机构的数据收集工作来进行合作。对抗性合作对推进研究发展有重要作用,因为这种合作方式使研究人员以共识为基础解决科学争论,并通过减少偏见推动知识生产。与对抗性合作相关的一种做法是,两组研究团队融合在一起,建设性地批评彼此的工作或在研究过程中(在早期为佳)发现错误,其总体目标是最大限度地提高研究质量。

  总的来看,“重复危机”引发了结构、程序和社群层面的变革。学界不能只关注可重复性,而应努力在各个方面最大限度地提高研究质量、透明度和严谨性。当然,在鼓励变革时还需要考虑一个重要问题,即竞争环境对所有参与者而言并不是平等的。因此,在实施开放科学实践时需要考虑到区域差异、资源分配的灵活性以及边缘群体的利益。

责任编辑:张晶
二维码图标2.jpg
重点推荐
最新文章
图  片
视  频

友情链接: 中国社会科学院官方网站 | 中国社会科学网

网站备案号:京公网安备11010502030146号 工信部:京ICP备11013869号

中国社会科学杂志社版权所有 未经允许不得转载使用

总编辑邮箱:zzszbj@126.com 本网联系方式:010-85886809 地址:北京市朝阳区光华路15号院1号楼11-12层 邮编:100026