李刚:提高智库评价科学性
2017年03月31日 07:57 来源:《中国社会科学报》2017年3月31日第1179期 作者:李刚

  【核心提示】对任何智库评价的结论都要辩证地看待,不要把任何智库评价报告的结论绝对化,因为所有智库评价体系都只是对智库的抽象和简化,把复杂和个性化的智库抽象和简化为几个关键指标,这种关键指标是不是有足够的说服力和解释力,需要经过一个较长时段的检验才能说明问题。

  2013年4月15日,习近平总书记就中国新型智库建设作出了高瞻远瞩、细致入微的批示,各级党委政府也把新型智库建设作为完善决策咨询体系、构建现代治理体系、增强现代治理能力、推动政策共同体更加开放化的重要抓手,新型智库建设取得了长足的进展。那么,如何科学评价新型智库建设的成效自然也成为一个重要话题。

  智库评价多元化实有必要

  在近半个世纪的智库研究史上,智库能不能评价本身就是一个有争议的话题。包括美国企业研究所的大卫·弗洛姆在内的许多学者曾经直截了当地表示学者不应该在评估智库(短期、中期或者长期的)影响力上浪费时间,他认为没有什么指标有助于智库影响力的评估。弗洛姆的观点代表了一部分智库界资深专家的观点,他们认为作为局外人因为没有实际体验,所以是无法真正有效地评估智库影响力的。因为隐私等原因,智库不会记录运营过程中一些影响决策过程的精心安排。也就是说智库影响力很类似冰山模型,外界能够看到的只是冰山一角,大部分的东西在水平线以下,是看不见的,智库评价往往是盲人摸象,主观性很强。

  智库评价方一定要认识到智库自身的复杂性。各国的政治文化背景不同,智库的建设模式和运营模式不同,所起的作用也不同,所发挥的影响力更是千差万别,因此,照搬照抄别人的评价体系是行不通的。这就需要我们充分认知中国新型智库建设的历史传统、文化土壤、政治环境、国际视野、技术条件、学术基础,形成具有中国特色的智库评价理论、方法和技术。这样才能找到被我国政界、智库界、学术界和公众认可的智库评价体系。

  对任何智库评价的结论都要辩证地看待,不要把任何智库评价报告的结论绝对化,因为所有智库评价体系都只是对智库的抽象和简化,把复杂和个性化的智库抽象和简化为几个关键指标,这种关键指标是不是有足够的说服力和解释力,需要经过一个较长时段的检验才能说明问题。同样,我们也不必苛求智库评价报告都必须全面完整地评价智库工作的方方面面。多元化的智库评价非常必要,不同视角、不同方法、不同体系的评价可以从整体上有效地克服单独评价报告的狭隘之处,从而对中国新型智库建设实现相对准确的整体画像。

  夯实智库评价理论基础

  要从三个方面夯实智库评价的理论基础:第一,习近平总书记有关中国特色新型智库建设的重要论述以及中央智库建设的相关文件已经建构了中国新型智库建设的完整理论架构。该架构对新型智库的定义、分类、功能、体系进行了系统阐述;对新型智库建设的指导思想、建设目标、建设要求和建设路径有了系统论述;对国家高端智库建设提出了系统指导意见。第二,评价是一门大学问,美国、加拿大等国已经建立了比较完整的评价工作的学术体系,建立了全国性的评价学会。美国评价学会的评价者提出了五条行规,其中就有评价者要有从事评价工作的核心能力,“要确保评价团队拥有开展相关评价的教育背景、能力、技术和经验”。坦率地说,包括笔者在内,我国目前从事智库评价的专家大部分都缺少评价学的基本训练。第三,加强对中国智库发展规律的研究。利用丰富的智库理论和实践遗产,对智库进行系统的整理。总结近几年新型智库建设的得失,发现其中一些规律性的认识也非常重要。

  探寻智库评价内在规律

  虽然智库评价非常复杂,一旦我们为智库评价设立了有限目标,那么处理好智库评价中几种规律性的关系,智库评价的科学性和专业性是能够保证的。

  第一,要正确处理定量评价和定性评价的关系。麦甘课题组的《全球智库发展报告》(GGTTI)、上海社会科学院智库研究中心发布的《中国智库报告——影响力排名与政策建议》、中国社会科学院中国社会科学评价中心发布的《全球智库评价报告》以及四川省社会科学院等单位发布的《中华智库影响力报告》等都声称自己建立了数据库作为评价的基础。可见,智库评价要充分利用量化数据是一种共识。当然这四份报告主要的排名依据是专家们对“智库行业声望”的主观评价,这种评价方法虽然把专家的主观评价量化了,但依然属于定性评价。

  我们认为智库评价既不能机械地套用学术评价中的“同行评价”制度和商业上的客户满意度调查方法,也不能忽视这两种方法的合理之处。智库评价的本质是对机构的资源、运营、绩效和影响力的评估,这些指标是可以以量化形式衡量大小的。但是,智库的管理水平、影响力大小又不能完全用量化指标表达,这个时候就需要智库的直接用户、同行等予以主观判断,“圈内人”意见就比单纯量化要准确。因此,对智库一些指标用定量测评比较合理,而对另外一些指标定性测评比较合理,所以两种评价方法需要综合应用。

  第二,要处理好排序法评价和其他评价方法的关系。目前智库评价主要手段是排名,甚至把排名等同于智库评价,这就出现了智库评价的悖论,评价本来是要根据对象的多重维度对智库的绩效和专业水平做出精准的评鉴,并不在意个体之间的比较。有些智库评价报告虽然也构建了指标体系,也给予了权重系统等,但是在最终排序时并不呈现具体指标分值,只提供一个排序结果。被评价智库从这些报告中无法了解各项指标的得分,对智库的持续质量改进帮助不大。所以,不能把评价等同于排名。笔者认为,认证型智库评价是当下更为急迫的任务。对于智库消费者而言,他们需要弄清楚各地各行业各领域有哪些值得信赖的智库,有哪些值得信赖的专家,以便消除政策研究供给方和需求方之间的“信息不对称”。如果智库评价能够分门别类把这些问题解决了,比以争夺话语权为初衷的排名有价值得多。

  第三,要正确处理好问卷调查法和其他调查方法的关系。目前四大主流研究报告采用的都是问卷调查法,问卷调查简便易行,格式化的数据处理起来也比较方便。但是,问卷调查的局限性也很明显,问卷调查法的结果完全取决于被调查者的合作态度和实事求是的科学精神。如果被调查者采取敷衍的态度随意作答,不能真实地反映实际,那么,问卷调查的结果就可能不客观。因此,问卷调查需要和实地调查、网络调查、大数据调查等方法结合起来。上海社科院、中国社科院课题组都开展了大规模的实地调研,以弥补问卷调查的不足。我们认为这是非常必要的。

  第四,要处理好官方评价和社会评价的关系。由于我国的政治传统,政府出面或者政府委托第三方机构做一些具有官方色彩的智库认证目录,会更具权威性。这也是笔者一再倡议成立全国智库研究会的原因。当然这一点短时间内恐怕难以实现,现阶段需要几个社会评价机构之间多合作,开展理论研究和方法研究,共享数据,共同提高智库评价的专业水准。

  (作者单位:南京大学中国智库研究与评价中心)

责任编辑:常畅
二维码图标2.jpg
重点推荐
最新文章
图  片
视  频

友情链接: 中国社会科学院官方网站 | 中国社会科学网

网站备案号:京公网安备11010502030146号 工信部:京ICP备11013869号

中国社会科学杂志社版权所有 未经允许不得转载使用

总编辑邮箱:zzszbj@126.com 本网联系方式:010-85886809 地址:北京市朝阳区光华路15号院1号楼11-12层 邮编:100026