引文分析的困局与科学评价的转向
2023年08月04日 08:14 来源:《中国社会科学报》2023年8月4日第2706期 作者:周文杰

  科学评价是促进科学发展和推动知识传播的重要工具。首先,科学评价可以为科学家了解自己研究的优势和不足提供参照,从而促使研究者不断改进研究方法,提高研究质量。同时,面对科学研究领域有限的资源,科学评价有助于实现研究经费和人力资源的最优配置。另外,科学评价通过审查、验证和复现研究成果,确保科学研究的可信性和可靠性,从而防止错误或虚假的信息传播,维护科学的信誉。其次,通过科学评价,被认可的高质量研究往往得以彰显,进而以最快捷的方式传播到全球科学界,促进知识的交流和合作。在不同的学科领域之间,通过科学评价可以互通有无,有效推动跨学科研究,激发不同领域间的交流、合作与融合,促进科学的创新。另外,科学评价在引导科研方向方面也具有重要作用。通过科学评价,科学家和科研机构不仅可以了解当前研究领域的发展情况,评估不同研究方向的价值和前景,而且能够更好地识别前沿主题,发现新兴领域,从而对科研方向做出有针对性的引导。
  鉴于科学评价之于科学发展的重要意义,自20世纪中期以来,来自图书馆情报学、科学学、文献计量学、科技哲学等领域的研究者都对科学评价给予高度关注,并发展了一系列科学评价工具和指标。其中,基于引文分析而发展的科学评价方法、工具与体系,堪称过去几十年中科学评价的主流。
  引文分析的贡献与局限
  引文分析是一种通过对学术文献之间的引用关系进行分析,进而对研究成果的价值做出判断的科学评价方法,其基本原理是通过分析文献被引用的次数和引用关系,揭示学术文献之间的联系和影响力。1961年,美国信息科学家尤金·加菲尔德(Eugene Garfield)创建了《科学引文索引》(Science Citation Index,SCI),成为世界上第一个系统性的引文数据库。SCI的创立,使得科学家可以通过检索引文来找到相关的文献,同时也为引文分析提供了数据来源。1963年,加菲尔德进一步创立了《社会科学引文索引》(Social Sciences Citation Index,SSCI),将引文分析的应用范围扩展至社会科学领域。20世纪70年代以来,研究者们开始利用SCI和SSCI等引文数据库,围绕学术影响力的评估和学术合作网络,展开科学研究的评估和分析。过去的二三十年中,随着互联网和数字化技术的发展,引文分析变得更加便捷和全面。当前,随着Google Scholar、Web of Science和Scopus等学术搜索引擎和文献数据库的建成,引文分析具备了更大规模的数据基础和更多样化的评价工具选择。
  科学无国界。在科学评价的发展历程中,引文分析在全球各国都扮演了极其重要的角色。首先,引文分析通过统计一篇论文或一位学者被引用的次数,衡量其学术影响力和学术贡献,从而为科学评价提供了一种简捷、直观的解决方案。其次,引文分析通过追踪某个领域的文献引用情况,可以了解该领域的研究重点、学术传承和创新方向,有效揭示不同学术领域的发展趋势和研究热点,为科学研究者提供了参考和指导。再次,引文分析还是识别学术合作网络和发现前沿领域的最有效途径。最后,引文分析结果对学术政策制定和科研资金分配也有一定的指导作用,政府和科研机构可以根据引文分析的结果,调整科研资金的分配方向,支持具有高影响力和潜力的研究项目。
  总的来说,引文分析方法为科学研究和学术评价提供了重要的量化工具,不仅能够帮助科学家了解学术界的动态和学术影响力,推动学术发展和合作,促进科学的持续进步,也能够帮助决策者合理分配科学研究的资源,促进科技资源的优化配置。但需要注意的是,引文分析也越来越表现出一些不足和短板。具体表现在:
  一是忽略负面引用。引文分析通常只考虑了引用次数,但没有对引文动机进行深入揭示。也就是说,引文分析天然地假设了引用都是正面的,即其他学者对某篇论文的引用是对其学术观点的肯定。但是,很多学术论文可能会被其他学者批评或质疑,导致负面引用,这些负面引用对于评价该篇论文的学术质量同样重要,但在传统引文分析中被忽略。
  二是潜在引用偏见。具体表现是,学者更倾向于引用知名或主流学者的作品,而忽略或较少引用非知名或非主流学者的成果。这可能导致一些优质但不知名的研究被忽视,从而影响科学评价的公正性和全面性。
  三是潜在的引文操纵。由于引用在科学评价中的重要性,一些学者可能会试图操纵引用数据。例如,通过人为增加自己论文的引用次数,以提高自己的学术声誉。这种引文操纵行为会导致评价结果的失真,降低科学评价的可信度。
  四是不同学科领域之间的引用行为存在较大差异。某些学科可能更倾向于进行大量引用,而另一些学科则可能较少引用。因此,在跨学科评价中,简单地比较引用数据可能会掩盖学科间的差异,导致评价结果不准确。
  五是时间滞后性。由于引文分析需要时间积累,新兴领域的优秀研究可能由于时间较短而未能充分展现其价值。因此,基于引文分析的评价可能存在时间延迟,不能及时准确地反映新兴研究的影响力。
  六是语言和地域偏向。由于历史原因,全球科学界使用的语言并不均衡,英语具有天然的传播优势。传统引文分析方法通常更关注以英语为主的国际期刊和欧美学者的引用,而限于语言障碍对于非英语和非西方学者的研究引用较少。例如,发表在中文期刊的论文,就有较低概率被欧美学者所引用。这种偏向可能导致在全球范围内,某些地区和语言的学术贡献被低估甚至忽视。
  综上,引文分析虽然在科学评价中发挥了重要作用,但其局限性也显而易见。虽然学者们试图通过H指数等对传统引文分析加以改良,但同样也存在一些明显的缺陷。当前科学评价亟待新的转向,以克服传统引文分析的局限。
  研究范式的识别与研究者知识创新贡献的评估
  信息技术突飞猛进的发展,为科学评价走向新的发展阶段提供了契机,也为验证一些具有前瞻性的科学哲学理念提供了可能。对于科学评价而言,由科学哲学家托马斯·库恩所提出和发展的“范式”概念,是一个不容忽视的重要理论工具。库恩认为,科学发展并不是线性的、渐进的,而是通过科学革命和范式的突变来实现的。所谓“范式”,是指科学共同体共享的认识,包括理论、方法、价值观等,它们指导科学家的研究方向和问题解决方式。随着时间的推移,某个范式内部的问题和困境逐渐增多,最终可能导致范式的瓦解和新范式的出现。
  立足于“范式”理论,着眼于大规模文献数据库的建成和科学数据开放运动的兴起,借助于大数据与人工智能技术,发展透明、可信、定制化的科学评价工具,堪称当前科学评价的基本使命。具体而言,基于范式识别而开展大数据驱动下的科学评价,将具有如下特征:一是超越论文发表数量、引用次数等传统的学术评价指标,将具体研究者及其学术成果在范式形成与发展中的实际贡献纳入评价范畴,确保评价的客观性和公正性。二是立足学术成果内容层次的细粒度分析与评价,对未来科学趋势及其可能范式做出前瞻性评估,从而更好地引导科学的发展方向。三是从科学共同体的诸多特征入手,更加多维度地考量科研成果的质量和价值,而不再仅仅依赖于单一的定量指标,确保科学评价的开放性、透明度和可复现性。
  总的来说,立足于范式理论,着眼于数智时代特征,科学评价正在经历一场前所未有的转型与升级。在实现中国式现代化的语境下,适应科学评价的最新趋向,构建具有中国特色的科学评价理论、方法与指标体系具有显而易见的时代意义。
  当前,学术文献的全面数字化、科学数据开放运动的兴起和大数据与人工智能技术的快速发展,已成为当代科学评价转向的最主要动力。应用大数据、自然语言处理、机器学习和社会网络分析等新的技术工具,使科学研究范式的识别及其演变特征的把握变成了现实,从而为科学评价提供了一个新的理路。新技术之于范式识别的意义,主要体现在如下几个方面:
  第一,大数据技术可以帮助收集、存储和处理海量的学术数据,全景式描绘学术界的现状、动态、趋势、热点和学者或机构之间的合作网络等,为科学评价提供更加多维的信息。
  第二,自然语言处理(NLP)技术可以对大量的文本数据进行语义分析和信息提取,帮助理解学术论文的内容和质量,从而实现科学评价由形式特征描述向内容要素揭示的转向。具体而言,NLP技术可以自动识别关键词、提取主题、判断论文的可读性和准确性等,从而为科学评价提供更多定量和客观的指标。
  第三,在科学评价中,可以利用机器学习算法来预测学术成果的影响力、评估论文的学术质量,甚至辅助判断论文的原创性和科学意义。
  第四,复杂网络分析(特别是社会网络分析)可以通过构建学者或机构间的学术合作网络,识别学者之间的合作关系和学术影响力,发现具有重要地位和影响力的学者,评估学者的学术贡献和学术合作水平。也可以通过构建概念、词语或研究主题间的共现网络,识别研究议题在整体科学图景中的位置与重要程度。
  第五,新兴的AIGC(人工智能生成内容)技术也为科技评价的转向提供了新的选择。AIGC涉及语言模型、神经网络、自动编码器等多种技术。通过综合运用这些技术,基于AIGC的科学评价有望更加全面地考量学术研究的质量和影响力,并提高科学评价的效率和准确性,帮助科学家和科研机构更好地了解学术界的发展动态,促进科学的持续进步。
  综上,范式理论为学术界创新科学评价提供了理论基础,而新型信息技术的发展则为研究者基于范式识别而开展更高质量的科学评价提供了条件。可以说,基于大数据,从多维度对研究者在知识创新中的实际贡献加以评估,已成为科学评价的基本趋势。
  共词分析与科学评价的新理路
  既然范式识别已经为科学评价的创新提供了新的契机,那么当务之急就是突破现有引文分析等传统评价方式的陈规,寻求建立起新的能够刻画出范式本质属性的途径。近年来,共词分析(co-words analysis)因直接深入到学术文献内容层面,能够从语义层面直观展示学术概念间的联系,已成为研究者描画和揭示知识世界内部结构的关键工具。
  通过共词网络对知识世界的内部结构加以表征,是一个实现隐性研究范式显性化的可行且可信的途径。也就是说,对于任意一个科学领域,均可以通过共词网络,实现其内部知识结构的可视化,使范式以“概念地图”的方式得以全景式的呈现。进而,通过将词语节点与研究者或研究机构相关联,并应用网络分析的方法、工具与指标,就可以实质性地揭示出个体研究者或研究机构在知识创新中的贡献。
  总之,大数据技术的快速发展和自然语言处理相关算法的日趋成熟,为研究范式的可视化呈现奠定了基础,而共词网络及其与研究者之间的关联分析,则为评估在知识创新中的实际贡献提供了条件。从这个意义上说,基于共词网络的研究范式识别已成为当前科学评价的一种新理路。为此,学术界、科技管理者与政策制定者不仅需要打破传统引文分析的桎梏,更需要以高昂的勇气,迎接大数据时代科学评价的变革与洗礼。
  (作者系中国人民大学信息资源管理学院教授)

责任编辑:常畅
二维码图标2.jpg
重点推荐
最新文章
图  片
视  频

友情链接: 中国社会科学院官方网站 | 中国社会科学网

网站备案号:京公网安备11010502030146号 工信部:京ICP备11013869号

中国社会科学杂志社版权所有 未经允许不得转载使用

总编辑邮箱:zzszbj@126.com 本网联系方式:010-85886809 地址:北京市朝阳区光华路15号院1号楼11-12层 邮编:100026