以改革创新应对重复危机
2024年02月19日 09:15 来源:《中国社会科学报》2024年2月19日第2834期 作者:杨蓝岚/译

  [美国]卢卡斯·伦奇勒(Lucas Rentschler)、[美国]克里斯多夫·达维(Christopher J. Dawe)/文 杨蓝岚/译

  可重复性是科学实验的基本要求之一。在自然科学领域,实验的可重复性应当是精确的,符合相同的条件便应该得出相同的结果;在与人有关的生命科学、医学、心理学、行为科学等领域,实验的可重复性也应该满足一定的概率,否则根据实验得出的结论就不具备普遍性。然而近年来,很多原初实验无法被其他学者重复,成为孤例。由于这种重现研究结果的困难普遍存在,因而出现了“重复危机”的提法,对已发表研究成果的可信度、当前科学研究方法的有效性和学术出版监督机制提出了挑战。重复危机超出了单纯的统计异常范畴,其背后所隐含的困境威胁着科学研究和知识进步的基础。

  重复危机损害了人们对科学研究的信任,毕竟只有在研究结果可靠的情况下,在现实世界进行应用才有意义。为了应对重复危机、重建科学的可信性,迫切需要在统计、研究方法和透明度等方面进行改革,制定一套严格且具有普遍适用性的标准。

  重复危机广泛存在

  社会科学家经常借助有人类参与者的实验来研究行为问题,与观察法不同,此类实验往往通过为其中一组参与者引入条件变化以推断其影响。例如,研究人员向一组参与者提供激励性信息,并将他们在任务中的表现与没有受到特殊鼓励的对照组进行比较。只要确保针对两组参与者的其他所有变量均相同,他们之间出现的差异就可以归为引入条件带来的变化。一方面,实验方法可以明确哪些干预措施在影响真实的人类行为,以一种更加确定的方式建立因果关系,而不仅仅是总结观察数据中的相关性。另一方面,使用实验方法研究人类行为时,一个精心设计的可靠实验应该是可以再现的,以确保相关发现不是偶然产生的。实验的魅力既来自行为分析的严谨性,也来自确保结果可靠的可重复性。

  然而近年来,日益明显的是,相当一部分实验结果经不起严格的重新检验,这种趋势给实验研究的可靠性蒙上了阴影。心理学是该问题的一个显著例证,有学者研究发现,只有39%的心理学研究成果在实验中被成功复现。

  不幸的是,重复危机并非只存在于心理学领域,研究表明,这是一个普遍存在的问题。在经济学领域,研究人员试图重复发表在两家顶级期刊上的18项实验研究成果,结果只有61%被成功复现。实验结果的不一致不仅使人们对研究结果产生了怀疑,而且表明科学研究过程中存在更广泛的系统性问题。在经济学这样一个重要领域,近40%的研究成果无法被重复,必须引起高度关注。如果经过同行评议的成果只比抛硬币更可靠一些,那一定存在严重问题。

  在某些领域,重复危机甚至更严重。市场营销是可重复率最低的领域之一,失败率达到了89%,其比例显著高于心理学和经济学。这一令人震惊的数字凸显了改革的迫切必要性,社会科学研究者必须正视重复危机,采用更透明严格的方法,以恢复对科学研究的信心。

  认识到重复性研究的价值和困境很关键。目前看来,缺乏必要的激励机制鼓励学者进行此类研究,导致人们对重复危机的理解存在差距。虽然重复危机的严重性因领域而异,但已经成为一个普遍存在的问题,并蔓延至社会科学各个领域,亟须找到一种更系统的方法来应对相关挑战。

  “发表性偏倚”是重要原因

  为解决重复危机相关问题,有必要对其产生的原因进行探讨,解释为什么许多经过严格同行评议的研究无法成功复现。

  重复危机的一个重要驱动因素在于学术期刊挑选作品的方式。期刊评审更倾向于选择那些有可能引起关注、改变人们对相关问题看法或颠覆传统观念的研究成果,偏好提出新颖或积极结果的研究,常常忽视那些不能产生显著统计结果或只是重复性尝试的研究。这种偏好导致研究的代表性失之偏颇,过分强调积极的发现,而可能有价值但不那么轰动的研究被边缘化。同时,这种“发表性偏倚”也阻碍了社会科学领域的重复性研究,因为此类研究成果在顶级期刊上发表的可能性较低。

  “发表性偏倚”问题直接影响着社会科学工作者的工作积极性。学术界的竞争格局常被描述为“要么发表,要么灭亡”,取得突破性成果的压力是巨大的。受职业发展需要驱使,研究人员可能会优先考虑比较亮眼的发现,而不是进行方法可靠、可重复的研究。这不利于维护科学研究的完整性,因为对可发表性的追求可能会掩盖对科学真理的追求。事实上,研究人员可能只发表他们认为新颖或令人惊讶的研究成果,这有时被称为“文件抽屉问题”。

  此外,为了得到新颖的结果并顺利发表,一些研究人员还有“P值黑客”(又称“P值篡改”“P值操纵”等)行为。“P值黑客”指的是操纵数据,直到发现具有统计意义的结果,这一过程通常以牺牲准确性和可靠性为代价。P值黑客改变了真正的研究重点即基于数据观察而不是从假设出发,从而导致研究结果具有潜在的误导性或站不住脚。这种做法扭曲了科学研究过程,将发表置于对真正科学探究的追求之上。

  另一个值得关注的问题是比较普遍的低统计效力。要使实验成功地检测出真正的问题所在,研究人员必须收集足够的数据。然而,当前人们并没有特别强调这一点。相反,研究的重点在于结果是否具有统计学意义。样本量不足可能导致对真实问题的检测并不准确,得出的结论往往经不起进一步的审查。当进行重复研究尝试时,由于这些初始问题,通常无法复现原始结果。然而,正如前文所提及的,研究人员并没有动力进行重复研究。

  重复危机损害科学性和公信力

  重复危机不仅是学术争论,而且是严峻挑战,它不仅破坏了学术文献的科学性,而且影响到由文献所支持的政策效力以及公众对社会科学研究的信任。可重复性是科学可靠性的一个重要标志,但现在正在心理学、经济学、政治学和市场营销等有影响力的领域系统性失效,动摇了人们将科学发表与资金、声望和实际应用联系起来的观念。

  长期以来,人们一直主张以科学调查为基础制定政策。发表于顶级期刊的科研成果历来被视为黄金标准,为数据驱动型政策提供信息支撑,而社会科学的重复危机引发了人们的担忧,人们对其可靠性提出了质疑。因此,需要在制定政策时采取更为慎重的做法。

  与此同时,我们需要重新评估基于早期社会科学研究而实施的政策。如果为这些政策提供信息的基础研究有缺陷或不可重复,则意味着这些政策可能建立在不稳定的基础之上。这种情况要求决策者重新评估政策,并在必要时进行修订。

  学术界和公众也需要有意识地、批判地看待研究结果。对研究方法、样本量和结果的总体可重复性采取批判的态度,这对于更准确地理解社会科学研究至关重要。

  更重要的是,重复危机提醒我们需要从根本上调整社会科学研究的开展方式和奖励机制,重新评估学术激励方式,促进可重复性实践,向公众提供更透明、更易获得的知识传播途径,以恢复人们对社会科学研究成果的信任并确保其社会应用的相关性和效用。

  从根本问题入手进行改革

  鉴于重复危机波及范围广,需要从根本问题入手,而不是做一些治标不治本的事情。改革需要避免个人主义出版心态,对合作性的知识建设进行机制性调整,围绕透明度协议、重复性检查、激励结构调整和方法培训等展开。例如,在实验开始之前,向独立的第三方,如开放科学框架,预先登记研究问题、实验设计和分析计划。预先登记研究细节可以限制研究人员的分析灵活性,从而降低不可重复性。

  同时,允许公众了解实验相关协议、软件和数据等细节,通过建立渎职行为的发现和曝光机制加强对研究人员的问责。许多出版商已经制定了投稿前透明检查清单。开放数据和材料认证徽章也有助于激励人们改变科研文化。此外,研究的资助者正在越来越多地看到重复性研究的价值,试图重新评估他们过去的投资。一些处于特殊地位的资助者通过将部分预算专门分配给验证性研究来提高重复性,将可靠性视为一个优先事项,而不是事后的酌情考虑事项。

  为了解决“发表性偏倚”问题,学术期刊可以考虑实施结果盲审,在不知晓结果的情况下对研究进行评估,侧重于研究的严谨性和方法论。这种转变将减少对新颖结果的重视,将选择标准转向研究设计和分析的质量,有助于提高科学研究的标准、增强研究成果的可信度。

  科研人员需要强调透明度、科研伦理、方法论和开放科学原则的学术环境。因此,我们需要建立与“研究常常会走入死胡同”这一现实契合的框架,而不是使追逐出版成为研究人员最关心的事。开展科学哲学史培训、学习科学的自我纠正过程或许也是一种方式,可能有助于缓解重复危机。

  重复危机降低了不同学科学术文献的价值以及与之相关联的现实政策的效力,破坏了公众对社会科学研究的信任。再现实证研究结果曾经被认为是高质量研究的基石,但如今在多个有影响力的领域面临着挑战。即便如此,我们仍然可以从提高透明度、改进方法论和激励结构等方面作出调整。

  如果我们直面问题、改变重数量轻质量的制度,仍有可能在漫长的知识积累中实现科学研究的自我纠正。然而,要做到这一点,必须公开承认存在误导性积极结果现象、资源浪费和政策方面的潜在问题,否则,会有越来越多的人站出来指责社会科学研究任意过滤“噪音”。要使科学进步建立在更合乎伦理、更可持续的基础上,必须承认导致重复危机持续的原因,并解决相关问题。

  (作者系美国犹他州立大学发展与机遇研究中心高级研究员;英国伦敦大学学院教育学系博士)

责任编辑:张晶
二维码图标2.jpg
重点推荐
最新文章
图  片
视  频

友情链接: 中国社会科学院官方网站 | 中国社会科学网

网站备案号:京公网安备11010502030146号 工信部:京ICP备11013869号

中国社会科学杂志社版权所有 未经允许不得转载使用

总编辑邮箱:zzszbj@126.com 本网联系方式:010-85886809 地址:北京市朝阳区光华路15号院1号楼11-12层 邮编:100026