当前位置: 首页 > 智库研究

刘亮:关于智库成果评价的一些尝试

时间:2015-12-03 来源:湖南智库网 作者:刘亮 吴笙


【核心提示】随着研究的深入,包括笔者尝试在内的智库成果评价指标会不断调整并加以完善,进而形成更科学合理的评价激励机制。如此,才能真正地形成良性的智库竞争机制和学术环境,发挥出成果评价在新型智库建设与发展中的推动作用。

党的十八届三中全会明确提出要加强中国特色新型智库建设,建立健全决策咨询制度。在此背景下,国内掀起了一股“智库热”,但关于智库成果的评价仍旧是一个难题。

评价标准研究日趋成熟

在我国,针对智库成果的评价体系目前普遍仍以学术界同行评议为主,以文献计量学规律为遵循,以海量数据库为依托,以专家评审为手段,采取定量和定性相结合的方法,提出了一些如期刊类别、影响因子等的形式标准,评价客体仍多是学术论文、学术著作、课题项目等。这类评价体系在具有一定权威性、可行性和科学性的同时,也存在着很多突出问题,如行政主导性过强;缺乏中立的评价机构;重理论,轻实用,评价结果不能得到充分利用等,并没有充分体现出智库成果应用于党政决策的核心功能和作用。

相比较而言,英美等发达国家在智库评价方面起步较早,有较为成熟的经验。例如,英国的智库科研成果评价制度主要是基于RAE评价体系,评价主要从三方面展开:研究质量(60%)、研究环境(25%)、研究声誉(15%)。美国则依托“政府评价+同行评议+引文计量+社会评价”的模式,作为主要资助方的联邦政府、某一或若干领域的专家所构成同行、社会科学引文索引(SSCI)和艺术人文引文索引(A&HCI)的引文计量和社会公众共同构成评价主体,对智库成果进行评价。德国的智库成果评价则是主要以莱布尼茨协会为主导的第三方评价,保证信息公开、透明。常见的评估模式为内部评估和外部评估相结合,将专家评估与决策表态相分离,最终的决策表态并不完全照搬专家的评估意见。以上这些实践经验为我国智库成果评价提供了有效借鉴。

让人感到欣慰的是,近年来,我国社会科学评价体系的发展呈现出从专家评估走向多元主体评估、从单维度评估走向多元标准评估、从主观评估走向主客观综合评估、从阶段评估走向全过程评估等多种趋势。有人甚至尝试基于ISM理论,构建了“五位一体”的地方社科系统智库信息化综合测评指标体系,创新提出了“智库信息化评估模型——IAEOF型”,从原理、体系、研究方法等方面进行了详细阐述。

ANP方法确定评价指标权重

实际上,智库成果评价是一个比较复杂的系统工程。笔者通过咨询相关领域专家,对初选指标进行筛选和增补,认为影响力评价应是当前各评价机构衡量智库成果水平的核心要素与价值所在。因此,本文在遵循全面性、客观性、相关性、可操作性的基础上,综合借鉴国内外的相关研究基础,以目标与管理、决策影响力、社会影响力、学术影响力、国际影响力作为一级指标,之下共选取20个指标,并运用网络分析法(ANP)确定评价指标的权重。其中,决策影响力是智库成果直接发挥作用与功能的有效途径。研究成果以专题调研报告、内部研究报告、决策咨询活动等方式使研究方案成为政策现实,在公共政策形成的不同阶段影响政策过程。社会影响力是指研究成果影响媒体与公众对公共问题的看法,牵引社会热点、引发公众热议、主导社会舆论,把潜在的公共问题转化为公共政策需求,从而间接影响决策层并为决策的实施营造良好的社会环境。学术影响力则指智库专家可以通过发行专著、撰写报纸文章等形式发表研究成果,影响学界同仁,传播学术思想,倡导理论创新,从而产生对社会发展的推动力。国际影响力是智库成果就某些涉及国际双边或多边利益的重大问题,能扮演在幕后推动双边及多边关系走向“认知共同体”的“助推器”的角色,发挥“第二轨道”的独特作用。



在智库成果的评价过程中,各类指标的数量繁多,彼此间保持相互独立的概率很小,评价指标体系中势必会存在指标间相互依赖、相互影响的关系,而这种相互影响及其程度,在很大程度上决定着各个指标的权重分配。美国匹兹堡大学T. L. Satty教授在1971年提出层次分析法(Analytic Hierarchy Process, AHP),1996年又再次提出网络分析法(Analytic Network Process, ANP)。网络分析法是在层次分析法基础上延伸的一种主观与客观相结合的决策方法。笔者拟使用该方法来确定智库成果评价指标间的相关性。

为了确保指标之间相互影响关系的科学性与正确性,根据修正德尔菲法(Modified Delphi Method),在参考大量相关文献和结果后,我们设计了调查问卷,选择了专门从事智库研究或在智库工作的专家进行调研,直接交由专家进行问卷填写,而专家人数不宜低于10人(Murry & Hammons,1995)。自2015年6月初至10月初,我们共向上述专家发放33份问卷,收回28份问卷,有效问卷为27份,无效问卷为1份。根据Saaty1—9级量表,进行成对比较,并运用几何平均数法将专家评分进行整合。通过综合专家的判断,发现指标间不仅仅是同一级指标内的元素之间存在相互影响,不同的一级指标中的元素也存在一定的相互影响,智库成果评价结构实际是一个网络结构。

体现“资政”和“启智”作用

在一级指标中,决策影响力权重所占比例最大,说明智库成果对党政决策的影响对总目标的重要性程度最高,这也符合新型智库“资政”的核心作用,新型智库需围绕政府工作,围绕社会重大的理论现实问题。权重比例居于第二位的是社会影响力,反映新型智库的“启智”作用,要求研究成果要贴近大众,影响民意,教育大众理性思考。而传统智库评价中最为看重的学术影响力则在此评价体系中权重下降,表明新型智库成果要更注重实用,而不再是学术理论。

智库成果评价指标体系总体上涉及5个方面20个指标,每个指标的权重已通过ANP方法测算出,最终评价研究成果的优劣采用积分制,每个指标根据不同的情况给予相应的分数,再乘以该指标相对应的权重后求和,最终得分M则为合理评价智库研究成果的依据。其中,针对国际影响力的相关指标,需要采取专家主观评价。

纵观智库成果评价的整个过程及结果,可以看出指标值的大小决定着研究成果的优劣,提高研究绩效的直接办法就是提高评价的各项指标值,即目标与管理、决策影响力、社会影响力、学术影响力、国际影响力。ANP法确定的指标权重也体现出新型智库建设的特点和要求,引导着研究成果更加注重介入决策过程,贴近社会大众。当然,随着研究的深入,包括笔者尝试在内的智库成果评价指标会不断调整并加以完善,进而形成更科学合理的评价激励机制。如此,才能真正地形成良性的智库竞争机制和学术环境,发挥出成果评价在新型智库建设与发展中的推动作用。

(来源:中国社会科学报,2015年12月1日;本文获得江苏智库发展中心课题“江苏新型智库成果评价指标体系研究”(15JSZK05)资助,作者单位:苏州大学东吴商学院



(编辑:内容管理员002)