美国外交杂志发表的《全球智库报告》已影响到公众甚至决策者对各自国家智库排名的认知，其所包含的信息价值及其可能产生的政治影响值得我们重视。但由于其所依赖的宾夕法尼亚大学实习生团队可获得数据的能力有限且未尽职调查，报告中持续存在大量不严谨甚至自相矛盾和常识性的错误；采用到全球智库调查的研究方法也与其倡导的在美国国内实施的客观测度方法不一致，调查内容超越被调查者知识能力范围，存在调查反馈率低、样本不透明、主观偏见、代表性不强等硬伤以及排名报告中纳入的部分智库与其对智库的定义不一致、对智库影响力含义及其分类界定模糊等问题，我们不应将其参考价值看得太高，而应努力发展和构建具有中国特色的、更加具有科学性和公信力的智库评价体系。
目前，关于智库（也称思想库，下同）排名影响力最大的是美国宾夕法尼亚大学麦甘教授主持的“智库与公民社会研究”项目组（TTCSP）每年所发布的全球智库排名报告。该项目组于2013年1月17日推出其第六份报告，又一次引起了全球范围内对智库的热议。但是，该报告及其研究方法却存在多方面问题，盲目引用将会误导决策咨询。
报告中持续存在大量不严谨甚至是滑稽的错误
——有些结果自相矛盾
1）总体排名和分区域排名不一致。以中国部分智库为例，表1显示，在全球前150智库（含美国）排名中，中国国际问题研究所为第38名，排在中国现代国际关系研究院（第48名）之前，但是在不包括美国的排名中顺序却颠倒了，分别是36名和25名。在全球前150智库（含美国）排名中位居第63位的国际战略研究中心 （北京大学），在后一个榜单上却榜上无名，同时在“中国、印度、日本、韩国前45”榜单中排名第7的卡内基—清华全球政策中心，在前两个名单中都榜上无名。
欧洲学者早在2010年就系统整理了西欧部分智库在该报告排名上的自相矛盾之 处 ， 如 英 国 大 赦 国 际 （AmnestyInternational）在“西欧前40”中只排到第12名，却被排在“世界前10（非美国）”中第5名；在“西欧前40”中比大赦国际排名还要靠前的德国艾伯特基金会 （Friedrich EbertFoundation）却未排进“世界前10（非美国）”等等，不一致多达20多处，详见1月17日本报5版附录。
2）区域归属前后不一致。 2009年报告中第16页，亚美尼亚、格鲁吉亚、阿塞拜疆被作为西欧国家，而在第17页被放在了亚洲。吉尔吉斯斯坦公共政策研究所（Institute for Public Policy－Kyrgyzstan）属于亚洲也被放在了亚洲列表，却被排在中东欧第30名。
3）表述与所列数据不一致。非洲的贝宁（Benin）和博茨瓦纳（Botswana）不被包括在拥有10个以上智库的国家中，然而报告的表格中显示他们分别有13个和10个智库。
4）同一国家数据前后不一致。 2009年报告在一个表格中斯里兰卡（Sri Lanka）有4个智库，然而在另一个表中有14个。
5）同一机构名称前后表述不一致。2012年报告关于中国社科院世界经济政治研究所，在表17中是“Chinese Academy ofSocial Science （CASS），Institute ofWorldEconomics and Politics（China）”，而在表18中却为 “Institute ofWorld Economics andPolitics（IWEP，CASS）（China）”。
——一些常识性错误
2012年报告将从事中国经济政策研究的天则经济研究所与麻省理工大学、德国普朗克研究所等“科学和技术类前50”智库并列，排在全球科技类第38名；将中国社科院下属的世界经济政治研究所单独拿出来与中国社科院一起参与排名；2009年将麻省理工大学经济系 （MIT Department ofEconomics）单独拿出来排在“科学和技术类前10”第2名，后面报告再也没有出现过在这一类里面；布鲁金斯学会在 “环境类前70”排第2名，然而布鲁金斯学会网站公开宣称他们并不关注环境政策方面的研究；类似的现象连续几年出现，即布鲁金斯学会在多个分类排名中都排在前10名，而不管他们是否在该领域有研究活动。
——未尽职调查
瑞 士 的 Center for Economic andEcological Studies （Cen2eco）2010年、2011年和2012年连续排在“环境类”智库的第18、第26和第17名。但有学者2011年就指出Cen2eco看上去像是一个 “死的”智库，麦甘报告中给出的官网“http： ／ ／www．cen2eco．org／”是一个根本无法打开的网页。通过搜索引擎搜索到的该机构主页2009年以后就没有更新过，邮箱地址也是错误的。网上信息如此少的智库能够连续几年被排在环境类智库的前列，反映麦甘项目组未对每一个智库进行尽职调查。
——工作不严谨
2010年在10天内公开发布了三个不同版本的报告（1月21日、25日、31日）。有学者指出在第一个版本中，智利的拉丁美洲和加勒比海经济委员会 （the EconomicCommission for Latin America and theCaribbean in Chile）被排在拉丁美洲和加勒比海地区的第一名，而在另外两个版本中，这一机构再也没有出现在前40中，但却出现了一个机构在同一张表格中被同时排出两个不同名次的错误。
麦甘的报告中还有大量的错误和不一致，上述只是一些较为典型的例子。
研究方法存在硬伤
——倡导客观测度方法，实际采用的却是主观的整体印象评价法
在评价方法方面，麦甘的全球智库调查排名存在拉大旗作虎皮的嫌疑。学术界对智库的影响力测度方法主要有 “局部性测度方法”和“整体性测度方法”两类。前者可认为是客观数据法，即通过获取一些指标数据，如“决策者引用数量”（如获得批示次数）、“媒体引用数量”、“国会证词次数”、“网络传播”（如下载数、点击数）等，来比较不同智库的影响力。后者可认为是主观打分法，包括“整体印象评价法”和“加权平均法”，通过调查特定人群对智库的主观感受来比较智库的影响力。麦甘本人20年前开展美国智库影响力研究时，多采用获取客观数据进行比较的实证研究方法，取得了在智库研究领域的权威地位。但在其全球智库排名工作中，却采用简单主观的“整体印象评价法”，即通过向世界各地的智库学者、管理者、资金提供者、政策决策者等发送邮件，让他们凭着对一些推荐指标的个人主观理解来提名各类智库。虽然麦甘在写给提名者的邮件中，倡导根据25个指标来综合考虑提名和排名，但麦甘及其项目团队，包括被调查者都没有、也无能力获得数量庞大的全球智库各项指标的客观数据，同时面对如此繁杂的没有准确客观数据的指标，期望被调查者花功夫去正确理解并运用这25个指标来提名和排名是不切实际的。因此，这一排名不可避免地会受到来自不同地区提名者的个人意识形态和学科偏见的影响，从而导致过度表达和表达不足等问题。
实际上，提名者也确实只是依据自己的主观判断来对智库的关注度进行排名，而不是对智库在各自国家和研究领域的影响力进行排名。作为一名受邀提名专家，David在其博客中写到“他拿起每一类的智库名单，看看哪一个他曾经听说过”，因为很多人听说过布鲁金斯学会，我们就不奇怪为什么它通常在多个研究领域都出现在第一名了。
麦甘本人也对此作出了解释：“这个项目的数据收集、研究和分析，不是借助于实地调研、预算内的或者专门的工作人员进行的，而是依靠来自宾夕法尼亚大学和费城地区其他高校的实习生进行的。全球智库指数只是智库的表现和影响力的一个衡量方法，需要同别的度量指标一起使用来帮助识别和评估排名”。
——迟迟不公布调查对象和专家成员区域分布统计数据
麦甘报告中最重要的环节是专家小组（EP）的形成。 2011年麦甘报告通过网络公开推荐等方式，共吸收793名来自各地区和各研究领域的专家小组成员、150名具有政治学“智库和公民社会”等跨领域知识的记者与学者、55位现任和前任智库的负责人、40位捐助人、150位来自公民社会的代表、100家以上的智库人员、25—30家政府间组织、120家学术机构等组成的专家小组。但麦甘没有给出专家小组（EP）的区域分布，例如亚洲有多少人员参与，而这将直接影响到调查样本对亚洲智库的认知熟悉程度。
此外，一个智库的员工很有可能是另外一个机构的董事会成员或者是外部合作者，谁来检查那些专家和同行的多种角色和隶属关系？麦甘报告在方法论上的瑕疵影响了其结论的科学性和权威性。
——问卷调查的反馈率太低
规范的调查研究最基本的应该报告：设计的调查样本类别与区域分布、实际反馈的样本类别与区域分布的统计信息 （如地区、国家、性别、人员种类等），如此才能使读者判断一项调查研究抽样的代表性问题。如果只有特定人群（比如说某一个国家或地区、某一专业领域的个体／机构）对调查研究予以反馈的话，就会导致一些地区和领域过高或过低的代表性问题，从而严重扭曲排名结果。
然而从表2可看出，在麦甘历年全球智库排名报告中，很多应该直接报告的数据并未予以报告，表中大部分数据也是根据其报告中一些零散信息统计推导而来。从能够计算出的反馈率来看，2012年向全球各地区发放了13000份邮件排名调查表，只回收了1950份，占14．9％（2011年的23．8％是排除了其未报告的智库反馈数而直接计算个体反馈率得来，因此并不准确），甚至最低的年份为2．51％。过低的反馈率无法说明是否达到了最初设计的调查样本分布，而很大概率属于偏样本调查（极端情况下有可能是宾夕法尼亚大学范围内回收的问卷占到绝大多数）。
——调查内容超越被调查者知识能力范围，区域过度表达和表达不足并存
规范的调查研究的基本前提是：“被调查者对于调查问题或者内容具有充分的知识，或至少有基本的了解”，否则无法做出正确的反馈。而在麦甘的智库排名中，却要求分布在不同国家和地区的机构与个体对全球所有地区和不同研究领域（从环保、经济到军事外交）等各种类型的智库进行排名。即使是与智库相关的研究者、政策制定者或者是记者，也很难保证曾经听说过名单中的所有智库，更不用说了解以及拥有足够的知识来判断和评价这些智库了。规范的智库研究只能向被调查者询问他们所熟悉的专业领域或地区的智库排名情况。
向被调查者征询其他陌生国家、非专业领域智库影响力的意见，会得到非常谬误的结果：一个中东欧的被调查者如何有知识和能力去提名拉丁美洲或非洲的智库，并排序他们对不同领域和地区的政策影响力？因此也就不难理解为什么报告会把中国的天则经济研究所与德国著名的普朗克研究所共同排列在科学技术类智库这样滑稽的结果了。
排名对象与其智库定义不符甚至自相矛盾
麦甘对智库的定义非常宽泛，从其智库名单中可看出，包括非营利智库、非政府组织、营利的咨询机构、大学研究中心、政府和政府内部的研究部门等各种类型机构都被认为是智库。如此松散的边界与智库定义，使得排名中包括了一些不是智库的机构。世界银行海外发展研究所智库基金项目负责人戈兰（Goran Buldioski，2010）指出，2009年报告中提及的罗马尼亚54个智库、波兰45个，尤其是捷克斯洛伐克27个，都是过分夸大的数据。匈牙利开放社会协会（Open Society Institute，OSI）、美国全国民主基金会 （National Endowment forDemocracy）都是资助者（funder），而不是智库本身。同样，透明国际（TransparencyInternational） 和 大 赦 国 际 （AmnestyInternational）也没有在其他地方被认为属于智库。
从中国的情况来看，由于智库概念界定宽泛，中国社科院和其下属的世界经济政治研究所都被作为智库来对待并分别排名。同样，世界银行的研究人员指出，世界银行下属的海外发展研究所 （the OverseasDevelopment Institute，ODI）是一个资金资助机构，不应该被作为智库来排名。
对智库影响力含义界定模糊，更多强调的是知名度或曝光度，而不是影响力
麦甘要求参与调查者对智库的综合影响力进行提名和比较排序，但从其前面的方法论弊病可看出，获得的调查结果更多反映了提名者是否曾经听说过这些智库的名字，即只是知名度或者说是曝光度，而不是影响力。同时，智库的影响力究竟体现在对媒体和公众影响、对立法会议员影响、对行政决策者影响还是对学术界影响？学术界也没有统一的认识。更无从在一个排名上去比较不同国家和区域智库的影响力，如对美国国会有影响力的智库不必然会对埃及公众有影响力。
因此，在全球范围、不同领域进行智库比较缺乏实质意义。比如说，判断阿根廷的一个智库比哈萨克斯坦的一个智库更好的标准是什么？这两个智库完全致力于不同的问题和情境 （一个在南美洲，一个在亚洲）。是因为哈萨克斯坦智库有更多的出版物？还是因为它有一个好的设计？或者是方法论上阿根廷智库比其他的智库更加先进？或是因为它被广泛知道？如果是，因为什么知道？
同样的，即使在同一个国家区域内，将国家级智库和非国家级智库进行比较也缺乏实质意义。关注于影响一个省、州政策的非国家级智库，与希望在本国或联盟范围内（如欧盟或东盟）运作的国家级智库，受众范围不同，其影响力范围本身不可比。国家级智库整体影响力可能比那些非国家级智库影响力更大，但是将国家级智库的整体影响力排在某个领域智库的专业影响力前面是不合理的。
所以，麦甘全球智库报告中所列出的只是参与调查者自己的主观感知，不可避免地存在很大的偏误。不同提名者的打分排名缺乏可比性，且知名度、曝光度并不等于影响力，受到较多曝光和关注并不必然意味着会产生对政策有重要影响力的思想观点。
结论
世界银行、东欧及德国的一些学者早在2010年就公开发表了他们对麦甘报告中若干问题的批评，2012年除了批评依旧存在的问题外，已开始更多讨论发展替代性的排名报告，以降低麦甘报告对公众的误导。
由于麦甘在美国费城外交政策研究所国际关系项目资助下进行国际智库组织的调查，并在美国外交委员会支持下采用包括广告等多种方式发表 《全球智库报告》，公布对各国智库排名结果，其影响力在迅速扩大，已开始吸引各国智库主动提交资料信息参与排名达到调查摸底的效果，将来可能会有越来越强的代表性和权威性，并成为美国收集世界各国智库情报、了解各国软实力进而掌握政策影响渠道的一个情报搜集机制。
面对上述如此多的问题，我们需要重视但不能盲目抬高这一全球智库报告的价值，高度重视发展和构建适合中国特色的、可信度高的智库排名体系。
