“中国智库索引”的设计理念及评价体系
2017年01月12日 07:51 来源:《中国社会科学报》2017年1月12日第1129期 作者:丁炫凯 王传奇 李刚

  智库作为一个公共产品,由于其外部性特征,无法全部交由市场去衡量,所以必须采用评估评价的方式决定是否投入公共资源,或者评价公共资源投入的经济效益和社会效益。南京大学中国智库研究与评价中心和光明日报智库研究与发布中心合作研发的新型智库基础信息索引系统“中国智库索引”(以下简称CTTI)以第三方身份对智库机构运用资源方式的能力和效益进行过程—结果导向型评价,具备智库大数据管理和智库评价的双重功能,是一项基于中国优势、凸显中国话语的自主创新成果。

  精选来源智库  力求全面准确

  CTTI历经系统架构设计、系统开发实现和系统环境布置及测试三个阶段,于2016年9月底正式上线发布,旨在为党政机关、学术界、媒体界和公众提供真实、优质的智库机构信息和专家信息,成为数据安全性高、信息查询及使用方便的智库“垂直搜索引擎”。CTTI的数据库设计以全面和准确为目标,力求最大限度地做好智库“画像”和专家“画像”,从多个维度对两类对象进行描述,包括智库机构数据库、智库专家数据库、智库产品数据库和智库活动数据库。机构数据库子集面向智库机构索引需求,包含机构自然概况、社会联系、机构影响力等总共50个大类305个字段。专家数据库子集面向智库专家索引需求,包含专家自然概况、任职经历、身份、成果、荣誉、影响力等总共36个大类238个字段。其中影响力数据包括官方网站、搜索引擎显示度、微博等13类社会影响力数据,内参、报告和批示3类政策影响力数据,论文、期刊、项目等5类学术影响力数据。产品数据库子集面向智库产品索引需求,将智库的产品进一步细分为报告、电子出版物、论文、内参、期刊、其他出版物、时事通讯、视频资料、图书、项目10个大类共计234个字段。活动数据库子集面向智库活动索引需求,将智库的活动细分为会议、培训、调研考察以及接待来访四大类,共计94个字段。

  CTTI精选来源智库的做法是CTTI采取可信赖数据仓理念的重要体现。一方面,把质量较差、建设不规范的智库,或者智库属性模糊的机构排除在外;另一方面,用人工审核的方式对智库填报的每一条数据进行研判,确保数据符合标准。在精选、真实、权威、可信赖的遴选原则指导下,经过权威管理部门、业内专家的推荐,围绕政治要求、学术基础、领域要求、组织方式、资源保障、运行与成果和国际合作与交流七个方面的参考指标,遴选出489家智库机构。

  489家智库机构信息以及相对应的7443名智库专家信息、32866条智库成果信息、7127条智库活动信息数据成为MRPA测评报告的样本数据来源。样本数据覆盖除港澳台以外的所有省市自治区,类型囊括九大类智库,样本数据从类别和数量上都足以进行评价研究。

  科学合理的MRPA测评指标体系

  MRPA测评指标体系是该评价体系的核心内容,遵循以下原则:一是服务性,为智库提升管理质量;二是对话性,强调评估者与受评价者的互动;三是科学性,以数据测量为评价依据;四是公开性,评价结果可核查、可问责;五是安全性,保障数据信息的安全;六是非营利性,为公众服务、为政府服务、为智库服务。

  CTTI系统包括描述字段871个,以及81个各类术语规范文档。理论上871个字段中的绝大部分可以直接作为测评指标来使用 。但考虑到数据库字段和测评指标的差异性,在确定测评指标时,MRPA测评遵循以下四个原则:一是指标数据颗粒度与可获得性相适应;二是指标数据的关键性、代表性和表达性要显著;三是指标要具备客观性与系统性;四是指标体系必须能起到以评促建的作用,要符合新型智库建设的现状。

  鉴于以上原则,MRPA智库测评指标体系分为4个一级指标和若干个二级指标。4个一级指标分别为:治理结构(M)、智库资源(R)、智库成果(P)和智库活动(A)。治理结构中的二级指标包括:董事会、学术委员会、咨询委员会、管理团队和是否为国家高端智库;智库资源的二级指标包括:年度预算、科研人员 、行政人员、网络资源;智库成果的二级指标包括:单篇内参、被批示内参、智库的期刊、图书、研究报告、两报一刊发表情况、论文、横向项目和纵向项目;智库活动的二级指标包括:会议、培训、调研考察等。

  MRPA属于结果导向型智库效能测评体系,可以通过两大维度来测评智库,一是资源占用量,二是资源的运用效果,也就是效能。MRPA既能测量智库的体量、产量,也能测评智库的效能,同时也可以发现智库属性的强弱。MRPA指标的赋值采取了德尔菲法,先后进行了4轮专家调查,合计98位专家接受了问卷调查。

  排序评价可以有效和客观地揭示同类事物的总体特征和个体差异。MRPA智库排序共三大类139个排序方式,三大类分别是智库排序(99种)、智库专家排序(36种)、大学智库指数排序(4种)。

  MRPA智库排序包括智库资源排序、智库成果排序、智库活动排序、智库综合测评排序;资源总效能排序、专家效能排序、行政团队效能排序、资本贡献率排序、专家成果贡献率排序、行政团队活动贡献排序等11个维度。其中前四种排序反映了智库的资源总量和产出总量,描述了每个智库资源和产出在CTTI来源智库中的相对位置。MRPA排序特别注意到同类比较、体量相当比较和多维度比较,体现了科学性和合理性。

  根据MRPA测评指标,CTTI开发了MRPA测评系统,它包含智库排序、专家排序和大学智库指数排序三个子系统。智库排序既可以综合排序,也可以分不同类型排序。专家排序和大学智库指数排序也是如此。MRPA测评系统深刻理解了MRPA指标体系、赋值和排序规则。运用了先进的排序算法,也包含了一些基本的机器学习功能,能够做到对来源智库进行即时测评。另外,MRPA测评系统还有查询功能和数据统计分析功能,不仅能够准确定位智库和专家,而且可以统计出每个智库MRPA指标60个得分点的得分情况,每位专家MRPA指标48个得分点的得分情况。这样就可以清楚地分析来源智库各分值之间的比例,也就可以揭示智库在管理、资源、成果、活动等具体方面的强弱,对改善智库管理有极大帮助。

  CTTI摆脱了对西方产品的模仿,在设计理念、功能布局、数据采集机制、评价机制等方面都拥有自主知识产权。系统采用MRPA测评体系与排序算法,完全基于客观指标产生运行结果。当然,MRPA也存在诸多有待改进的方面,如数据采集的准确性、完整性,评价指标和权重设置等。

  (作者单位:盐城师范学院、南京大学)

责任编辑:常畅
二维码图标2.jpg
重点推荐
最新文章
图  片
视  频

友情链接: 中国社会科学院官方网站 | 中国社会科学网

网站备案号:京公网安备11010502030146号 工信部:京ICP备11013869号

中国社会科学杂志社版权所有 未经允许不得转载使用

总编辑邮箱:zzszbj@126.com 本网联系方式:010-85886809 地址:北京市朝阳区光华路15号院1号楼11-12层 邮编:100026