采用多样化的评价理论和方法
2021年01月22日 08:21 来源:《中国社会科学报》2021年1月22日第2096期 作者:本报记者 赵媛

  在跨学科研究和尚未形成影响力评价模式的领域,选择适宜的科研影响力评价标准面临挑战。英国期刊《环境科学与政策》近期刊发由美国亚利桑那大学地理发展与环境学院学者埃琳娜·劳德(Elena Louder)、澳大利亚国立大学学者卡琳娜·怀伯恩(Carina Wyborn)等人共同撰写的文章,文章概述了设计影响力评价标准应坚持的四项原则,并阐释了评价框架与特定形式的知识生产和传播的关系。围绕科研影响力评价的相关问题,本报记者采访了相关专家学者。

  综合评价科研影响力

  评价科学研究成果对政策和实践的影响力具有挑战性。影响力具有多种表现形式,有的在较长的时间段内才能显现,其中包括很多微妙和难以跟踪的变化。因此,仅仅依靠出版物和引文数量等传统学术指标,很难体现研究成果各种不同的影响力。然而,世界各地科研人员越来越需要证明他们工作的影响力,以此来助力他们的资助申请或职业发展。

  因此,学术界和实践者探索了一系列兼顾科学、政策和实践的影响力评价方式,带动了许多新评价框架的发展。这些框架超越了传统的学术指标,试图描绘影响力的各个方面。不同的框架试图捕捉不同学科和领域科研成果的非线性且易受环境影响的影响力。然而,在这一迅速发展的领域,面对这些框架,资助者、研究人员和从业者很难准确理解科研影响力的作用因素。

  劳德等人通过研究,检验了不同框架的认识论基础和假设,并指出了它们的异同,以完善科研影响力评估。基于文献综述和定性分析,研究人员总结了四条经验法则,来指导科研人员准确选择不同背景、学科和领域的影响力评价框架和指标。一要明确知识生产的基本假设和影响力的定义。阐明研究活动将如何产生影响力,这是设计评价框架的重要前提。此外,定义影响力是选择指标的第一步。其中要明确阐述为什么某些活动会产生影响力,以及这些影响力可能的表现形式。二要尝试测量与过程相关的影响力。无论是扩大影响力的定义范围,提升评估质量,还是评估不同因素“对影响力的贡献”,都要选择能够反映出各种细微变化的指标。此外,影响力评价应重视知识协同生产活动,可以将评估的重点放在衡量参与者的个体变化上,这些变化涉及能力的提高、专业知识的变化,以及理解或界定问题方式的变化。关注这些中间影响因素非常重要,因为它们可以作为评价结果的重要组成部分。三要平衡新发展和预期结果。通过制定一部分开放式的评估标准,来应对新产生的或意外的积极和消极结果。四要平衡捕捉细微差别的指标和简单量化的指标。对大型研究机构来说,对影响力进行量化评估可能非常有用,但核算分数有时会掩盖概念变化或其他细微变化。简单量化评估可能无法记录影响力为什么或如何发生变化。因此,设计评估框架时,须考虑这些情况。

  研究人员发现,现有影响力评价框架在总体设计、原则和指标的数量、时间安排和实施方法等方面各不相同。这些差异反映了人们在知识理解方式以及影响力定义方面的深层次差异。然而,其中共同的主题是,影响力评估必须捕捉到非线性的细微变化。上述四条经验法则旨在提供一套总体原则,帮助研究人员、资助者和从业者根据其特定目的和背景,选择合适的影响力评估框架。

  倡导影响力评价多样化

  在学术影响力评价中,应采用灵活且适应性强的学术影响力评估方法。加拿大人文与社会科学联合会政策分析员彼得·塞弗林森(Peter Severinson)认为,当前学界都聚焦在如何更好地展现学术影响力上,对于“影响力”本身的定义缺乏深入探索。塞弗林森认为,学术影响力是指学术性和创造性探索为社会带来的广泛影响,这种影响力可能是即时的,也可能是延时的;可能是有意的,也可能是无意的。在评价影响力时可以采用多样化指标,研究者也应充分发挥主观能动性。科研机构、高校、社会应提供必要资源,全力支持科研影响力评估工作。

  福建师范大学经济学院院长黄茂兴表示,影响力评价研究是一项综合性、交叉性的工作,既需要采用多样化的评价理论和方法,又要立足实践,作出与时俱进的调整和科学分析。这是一个充满挑战的研究领域。英国期刊《环境科学与政策》刊发的这篇文章提出了设计影响力评价标准的四项原则,具有较强的指导性和现实意义。其中,评估“对影响力的贡献”,要选择能够反映出各方面细微变化的指标,这是影响力评价工作的核心内容,是对所评价对象进行全面、立体性剖析的必经之路。此外,该文还强调要平衡新发展和预期结果,过去做评价时往往只关注理论和计量模拟的结果,而没能很好地反馈现实,导致有些评价结果只关注是否符合预期,而没有反映出各方面的新发展。这一原则对于从事影响力评价工作的人员,具有较强的启发和借鉴价值。

  中国社会科学院拉丁美洲研究所社会文化研究室主任郭存海表示,学术影响力评价对于学术发展具有重要作用。在新时代,学术影响力发展也面临新要求。增强学术影响力、学术话语权,促进科研成果海外传播,需要优化和创新学术影响力评价机制。学术评价机构应加强同相关研究机构的沟通,及时反馈时代要求,拓宽学术传播渠道。

责任编辑:常畅
二维码图标2.jpg
重点推荐
最新文章
图  片
视  频

友情链接: 中国社会科学院官方网站 | 中国社会科学网

网站备案号:京公网安备11010502030146号 工信部:京ICP备11013869号

中国社会科学杂志社版权所有 未经允许不得转载使用

总编辑邮箱:zzszbj@126.com 本网联系方式:010-85886809 地址:北京市朝阳区光华路15号院1号楼11-12层 邮编:100026