开放同行评议的有效性问题待解
2024年06月04日 16:18 来源:《中国社会科学报》2024年6月4日第2905期 作者:王俊美

 

 

 

 

   近年来,开放科学已经成为全球科学研究发展的新趋势,其目的是通过促进形成研究成果传播和同行评议过程的新模式,使科学研究过程的各个方面变得更加开放、可及。同行评议是科学研究的基石之一,随着学术交流方式持续发生变革,各界对学术透明度的呼声日益高涨,同行评议制度面临着越来越多的质疑。在此过程中,开放同行评议作为一种应对方案被提出,主要措施是公开同行评议者的身份及其评议报告。目前,国际学术界对开放同行评议的有效性及其意义的研究仍然存在一些不足,本报记者就开放同行评议的相关议题采访了国外学者。

  传统同行评议模式有待优化

  美国霍华德·休斯医学研究所项目事务官米歇尔·阿维萨-怀廷(Michele Avissar-Whiting)等人的一项研究显示,来自同行的批判性观点有助于识别科学研究工作中概念、逻辑或方法上的问题。同行评议作为科学研究过程中的一个关键环节,用于评估论文质量以及判断是否应当为研究提供资助。然而,传统的同行评议模式面临诸多挑战,存在低效、容易出错、有失公平等风险。尽管同行评议需要学术界投入大量时间来完成,但由2—3名研究人员进行的同行评议难以发现一项研究的所有问题。因此,某些严重的缺陷可能只会在论文发表后被更广泛的专家群体阅读时,才能暴露出来。同时,缺乏透明度也会掩盖同行评议过程中的错误和偏见。大多数期刊在刊发论文时并未同步公布同行评议报告,且被拒稿论文的评议意见几乎从未被公开过,这在一定程度上造成了资源浪费。

  传统的同行评议模式由于效率不高和缺乏透明度,受到了越来越多的质疑。阿维萨-怀廷表示,随着预印本形式被更广泛地接受和使用,引发了人们对同行评议过程的重新思考。预印本的日益普及为同行评议方法的新尝试提供了一个重要的机会,既有助于解决上述问题,还有助于从根本上将同行评议实践转向建设性的合作实践。阿维萨-怀廷等人呼吁,加快推广预印本共享的做法,并建议研究人员积极为预印本提供开放性和建设性的同行评议。

  美国威斯康星大学密尔沃基分校信息研究学院教授迪特玛·沃尔弗拉姆(Dietmar Wolfram)在接受本报记者采访时表示,传统同行评议采用盲审的形式,参与评议的各方保持匿名,以减少评估过程中的偏见,其主要包括三种形式:三盲同行评议将评议过程匿名化,作者、审稿人和处理审稿意见的编辑均不知晓彼此身份。双盲同行评议是一种更常见的做法,其中作者和审稿人不知道彼此的身份,而为了确保作者的匿名性,作者需要删除任何可能向审稿人暴露自身身份的内容。单盲同行评议则指审稿人知道作者的身份,但作者不知道审稿人的身份。盲审是否能够减少偏见,并催生更客观的评议?对于作者来说,盲审过程就像一个黑箱,一切都是不透明的;而对审稿人身份的隐藏既有可能使审稿人利用匿名性来发表重要的评论,也有可能使其撰写缺乏严谨性的评论。

  开放同行评议呈增长趋势

  开放科学运动旨在努力提高科学知识生产过程的透明度,并使科学研究成果能够被更广泛地获取。到目前为止,开放获取是开放科学运动中表现最为突出的领域,人们可以通过开放获取期刊或知识库免费获取学术成果。最近,开放科学已经扩展到探索开放数据和开放软件的可用性,开放同行评议也正在成为新一轮开放科学运动的一部分,即让传统匿名同行评议过程的各个方面都实现公开化。开放同行评议会像开放科学中的开放获取和开放数据一样,成为更普遍的学术实践吗?沃尔弗拉姆认为,需要进一步的研究来了解开放同行评议的概念、出版商的具体实践以及研究人员作为作者和审稿人的看法与态度。

  自世纪之交以来,开放同行评议一直呈现上升趋势。沃尔弗拉姆表示,这种上升趋势相当程度上是由来自欧洲的出版商推动的。开放同行评议的早期应用可以追溯到21世纪初,《大气化学与物理学》和《欧洲细胞与材料》这两本期刊采用了不同的开放同行评议模式。从那时起,采用开放同行评议的期刊数量稳步增长,其中最显著的是在医学和健康科学以及自然科学领域。总体而言,开放同行评议期刊的数量在学术期刊中所占的比例仍然较小。

  当前的开放同行评议格局呈现着各式各样的配置,包含了从开放盲审过程的某些方面到全过程完全透明的不同实践。虽然难以用简单的方式来定义新兴的开放同行评议实践,沃尔弗拉姆建议,人们可以重点关注如何在评议过程中实现开放身份和开放报告,以及哪些最终产品可用于开放访问。此外,奥地利格拉茨技术大学开放与可重复性研究组负责人托尼·罗斯-海洛尔(Tony Ross-Hellauer)等人在2017年进行的一项研究中,确定了开放同行评议的三个关键创新点——开放身份、开放报告和开放参与,即公开审稿人的身份、公开同行评议报告以及实现更广泛的公众参与,并评估了每个创新点的支撑性证据。

  罗斯-海洛尔表示,开放同行评议是一个复杂的现象,体现了传统同行评议过程中存在的一系列可能的创新点,推进开放同行评议有可能产生以下影响。第一,开放身份和开放报告促使评议透明度上升,有助于增强问责制,也会使审稿人的利益冲突更加明显,有可能导致审稿人降低评论的“犀利性”。第二,开放报告允许学术界公开审查论文最终发表的决定是如何作出的。不过,开放身份消除了审稿人或作者的匿名性,而传统同行评议模式正是通过匿名性来消解评议过程中的偏见。第三,开放身份和开放报告有利于提高评议的质量,开放参与可以增加潜在审稿人的数量。第四,开放同行评议有助于缩短审稿周期,即文章在最终发表前被提交给期刊进行评议的时间。然而,开放身份和开放报告也有可能使审稿人数量增加,从而导致评议过程延长。第五,如果将审稿人的身份和评议报告公布出来,可以对研究人员产生激励作用,鼓励研究人员主动寻找同行评议机会。

  采取更具实验性的研究方法

  开放同行评议与其他开放科学实践同步发展,鉴于越来越多的期刊开始实施开放同行评议框架下的创新方法,人们需要实践指南来指导实操过程。目前来看,开放同行评议相关探索更多地是在理论层面进行讨论,而缺少针对具体实践的指导。罗斯-海洛尔和荷兰拉德堡德大学社会科学研究所助理教授泽格·霍尔巴赫(Serge Horbach)近日于英国伦敦政治经济学院官网“影响力博客”发文称,围绕开放同行评议持续存在着一些讨论,但学术界一直没有对此进行充分的研究。罗斯-海洛尔等人呼吁,对开放同行评议议题采取更具实验性的研究方法。

  此前的研究显示,许多研究证据与利益相关者的态度和期望息息相关。例如,开放身份的支持者认为,公开审稿人的身份可以提高透明度、增强问责制;反对者则担心,署名评议可能会导致批评性的反馈意见减少。近期,罗斯-海洛尔等人在2017年研究的基础上进行了全面更新,对2017—2022年的新增证据进行了概况性综述,主要聚焦开放同行评议中的开放身份和开放报告议题。

  研究发现,开放同行评议仍然不甚普遍,只有1%—5%的期刊采用了此类做法。不过,研究结果表明,开放身份和开放报告都不会显著影响审稿人接受邀约的概率或完成审稿的时间。较之于开放身份,人们对开放报告的态度更为积极,对开放身份的担忧主要来源于一些批评类评议可能引起的不良后果。此类担忧可能导致批评力度削弱,并最终对同行评议过程产生负面影响。

  尽管罗斯-海洛尔等人的研究产生了一些有价值的初步见解,但是,总体而言,有关开放身份和开放报告如何影响论文质量的研究仍然较少,而这是一个关乎同行评议主要目标的关键问题。由此凸显了开展进一步研究的必要性,其目的是阐明不同学术领域开放同行评议实践的有效性和更深远的影响。尽管一些研究团体对各类开放同行评议的做法的接受度有所提升,但落实这些措施对审稿人群体的多样性、评议过程的质量以及期刊最终发表决定有何影响,在很大程度上仍然是未知数。

责任编辑:崔博涵
二维码图标2.jpg
重点推荐
最新文章
图  片
视  频

友情链接: 中国社会科学院官方网站 | 中国社会科学网

网站备案号:京公网安备11010502030146号 工信部:京ICP备11013869号

中国社会科学杂志社版权所有 未经允许不得转载使用

总编辑邮箱:zzszbj@126.com 本网联系方式:010-85886809 地址:北京市朝阳区光华路15号院1号楼11-12层 邮编:100026