本报综合外媒报道 科研资助通常使用公共资金，研究关乎人类生存发展、国家社会进步的重大问题，因而科研资助的决策过程或者资助申请的评审至关重要。资助机构和学术界有必要不断探索完善科研项目评审的科学方法，为科研资助把好关。

　　美国生物科学研究所官网近日发文，介绍了美国里德学院统计学助理教授迈克尔·皮尔斯（Michael Pearce）、美国华盛顿大学哲学系教授卡罗尔·J. 李（Carole J. Lee）等人发表在《研究诚信与同行评议》上的文章《一种进行资助评审的新方法：先评分，后排名》。该文针对科研资助中与研究计划书评级相关的问题提出了改进方案。文章显示，对于资助方来说，收集评级和排名数据，并运用马洛斯二项式模型（Mallows-Binomial model）生成一个综合分数，相比单独依赖评级的方法有很多优势。

　　据研究人员介绍，在对科研项目计划进行评审时，资助决策通常以评审人员的评级反馈以及这些统计数据的汇总为主要依据，这些数据代表了评审人员对研究计划的质量评估。然而，仅依靠评级的做法未必妥当，这可能会给合理确立资助优先级的工作带来障碍。尤其是在需要区分评级类似的研究计划和所有项目的质量都很突出的两种情况下，一些微小的缺点就可能决定项目是成功获得资助还是遭到拒绝。此外，评级规则的使用有时会让评审人员无奈地根据一系列可识别但无足轻重的缺陷扣分，尽管评审人员也意识到这份申请总体而言十分有潜力。如果收集诸如top-k偏好（top-k preferences）、成对比较（paired comparisons）等方法下的排名，并将其纳入评审评级分析，则有望缓解现行做法下对研究计划的资助偏好排序不明确等问题。

　　为了解决上述问题，研究人员建议在传统的评级方式中增加排名，并运用马洛斯二项式模型这一创新方法，这种方法可以为研究计划生成综合分数和相应可以确定的优先顺序。前者代表研究计划之间全局性的对比，后者代表了局部对比。研究人员认为，与仅评级的方式相比，新方法有很多好处。其中包括“提供具有置信度指标（confidence metrics）的优先级列表排序，在相似评级的研究计划之间做出更高程度的区分，以及针对异常值和评审意见缺乏一致性的情况提供更高的稳健性”。

　　从心理学的角度看，排序和打分是两项不同的评估任务。此前也有研究发现，在对两个对象进行某个维度的评估时，评估者有可能对得分较低的对象给予较高的评价。这是因为评估者所依据的各参考类别之间并没有显著的关联性，因此不涉及排序任务所需的直接比较。同一个人可能会对同一对象作出看似不同的判断，评分结果可能受到认识论层面的差异、个人偏好、评估者对松紧尺度的把握等方面的影响。评估者之间的信度较低（low inter-rater reliability）是一种长期存在的担忧。此外，即使忽略评估者的特征带来的影响，评级系统的指导方案也往往带有不小的模糊性，使结果存在多种解释空间。例如，在美国国立卫生研究院（NIH）对研究申请的评分指导中，总体影响评级为5，代表此项目如获得资助将“可能对该领域作出高度重要的贡献，但存在拉低其整体影响的缺点”，或者“可能对该领域作出中等程度重要的贡献，有一些缺点或未识别到缺点”。因此，一份研究计划得到的单个评级相对于其资助价值预期的含义并不一定完全清晰，而当与其他评估者的评级合并、汇总统计后作为判断资助优先级的基础时，可能会变得更加含混。

　　研究人员表示，直到近期，对评级和排名同时展开分析的方法才受到更多重视。考虑到评价性评级和比较性排名是不同的决策类型，从同一评审人员那里获得关于某个研究计划的这两种信息很重要。收集评级信息反映了单个研究计划相对于资助目标在科研水平上的表现，并可以对研究计划之间的差距幅度进行全局性比较（例如在不同的评审小组之间），收集排名信息允许在局部意义上对研究计划的质量进行直接的比较陈述（例如在评审小组内部）。掌握这两种类型的数据能够更清楚地对研究计划的资助优先级进行区分，也可以对所提交计划的整体科研水平进行评估。

　　据研究人员介绍，许多研究资助机构在实践中会收集评级数据，但收集排名数据的做法还不太普遍。排名数据的统计汇总更加复杂微妙，拟合统计排名模型也可能面临较高的计算成本，策略的可行性问题必须得到考量。他们描述了一种对二者进行整合的实用方法，并通过案例研究展示了它在实际应用中助力研究资助决策的价值。具体做法是，从评审小组成员那里收集评级和排名数据，并对这些信息进行统计建模以创建一个有序的、由两种数据源提供信息的研究计划资助优先级列表。在这样的过程中，资助方可以考虑评审人员给出的分数以及他们对研究计划间相互竞争的意见。纳入排名可以使资助方更准确地将评审人员的看法提炼成有用的输出，从而作出最明智的决定。

　　（陈禹同/编译）