在“大科学”时代,科研评价已经成为欧洲各国政府制定科技政策、配置科技资源与实施有效管理的重要手段,成为影响欧洲“国家竞争力与高校声誉的关键因素之一”。欧洲高校科研主要由公众资助,主要集中在“基础研究”,因此高校科研评价的目的之一在于提升高校科研及其效用,评价中要“测量”高校科研的几个维度,如质量、效率、针对性、可行性。目前,欧洲国家基本都建立了全国层面的高校科研评价制度,并不断发展完善,其发展趋势对我国高校科研评价的改革与完善具有积极的启发意义。
1 建立规范化、专业化、独立性的外部评价机构,逐步向第三方评价制度转变
欧洲主要国家的高校科研评价制度坚持国家主导,政府在高校科研评价中充当资源提供者的角色,发挥“元评价”的作用。欧洲各国政府一般建立或委托中介机构对高校科研进行评价,以保证评价活动的客观性、独立性、专业性。始于1986年的英国高校科研评价在欧洲最为成熟,其科研评价机构——高等教育基金委员会拥有独立的法人资格,具有独立性、中介性和公益性。2007年法国高等教育与研究部建立了独立的管理机构——研究与高等教育评价机构(AERES),在全国范围内对研究组织和高校科研开展评价。荷兰高校的科研评价近些年尽管经历过一些比较大的改革,但是改革前后,都是由独立的中介机构负责开展具体评价工作。2004年之前,荷兰高校科研评价由高校自治组织——荷兰大学协会负责,2004年之后由荷兰与弗兰德地区认证组织授权的民间质量评价机构——荷兰大学质量保障署负责。2006年意大利国家高校及科研机构评价署(ANVUR)成立。2010年依据意大利总统法令,该评价署被赋予科研评价的职能,对高等教育机构和科研机构进行联合评价。次年,该机构公开宣布对全国的高校、科研机构和高校间财团2004~2010年7年间的研究进行评价。
20世纪90年代中期,我国提出用“第三只眼睛”对政府资助的科技计划、项目等开展独立评价。2002年科技部、教育部联合发布《关于发挥高等学校科技创新作用的若干意见》。《意见》指出:“逐步培育和依托社会中介组织开展评价活动,建立独立的社会化科研评价体系。”经过20多年的探索与发展,目前我国已经建立了一批中介评价机构。但是由于体制、传统、经费来源等方面的制约因素,这些中介评价机构多数依附于政府行政部门,独立性不强,评价活动也容易受行政力量的影响。长此以往,这些机构发展缓慢,评价活动的科学性遭到质疑。因此在我国高校科研评价制度改革与完善过程中,一方面需要充分发挥政府在评价过程中的“元评价”作用,另一方面需要切实采取有效措施促进评价机构的独立发展,建立规范化、专业化的第三方评价制度。尤其对于重大科研项目,在立项时要经过独立的专家委员会同行评价;实施过程中,要有独立的同行专家开展过程评价与指导;研究成果要由独立的第三方评价机构进行结题验收。
2 加快建立与完善科学的分类评价体系
欧洲各国高校科研评价非常重视在科学分类的基础上开展评价。如德国科研评价的鲜明特点是根据科研机构的不同类型制定不同的评价标准,德国科学委员会的评价体系就针对不同学科制定了详细的评价指标。再如在法国高校科研评价中,评价科学的学术产出是主要标准,但不同的学科有不同的要求。在意大利高校科研评价中,文献计量学的评价指标普遍使用于自然科学和工科等“硬学科”,而社科和人文学科只能依靠同行评议。英国在研究卓越框架(REF)建立过程中,曾计划建立分类评价的机制,将所有学科分为科学和其他科学两大类。基于科学的学科(简称SET学科)是指除了数学和统计学之外的自然科学、技术、工程和医学等学科;其他科学(简称非SET学科)则包括艺术、人文、社会科学、数学和统计。REF对两大主要学科,即SET学科和非SET学科采用不同的评价方法。咨询了已经建立的部分和发展工作后,建立一个评价所有学科的系统,将比双层系统更适合,当然在不同的专家组内部有一些适当的变化。但是由于种种原因上述想法在现行 REF分类评价中仍然没有实现。在新的评价体系中,REF采用以学科为基础的专家组,分36个评价单元,对高等教育机构开展分类评价。REF将所有学科分为4个主专家组(main panels):A)以生命、医学类学科为主;B)理工类学科为主;C)社会科学类学科为主;D)艺术与人文学科类为主。每个主专家组下设若干子专家组(sub-panels)。所有这4大类、36个子专家组都要求每位研究人员提供2008年1月~2013年12月这6年里发表的不超过4份的代表作信息。专家组从原创性(originality)、重要性(significance)、严谨性(rigour)的角度,参照国际研究质量标准评价研究产出。
以REF的B组和C组的代表作为例。B组是以理工类学科为主的,其产出形式包括:1)书、书的章节和研究专著;2)会议论文和报告;3)新材料、仪器、产品和工序;4)专利;5)同行评价期刊上发表的论文;6)软件、计算机代码和算法;7)标准文献;8)技术报告,含机密报告。C类以社会科学为主的,其产出形式包括:1)书、书的章节和研究专著;2)期刊论文(含网络期刊),包括发表在副刊上的文章;3)物理人工作品,例如建筑、设备、图画、装置、材料、产品和流程、模型;4)数码人工作品,如数据集、多用途数据集、档案馆、软件、电影和其他非纸质媒介、网页内容如互动工具等;5)临时的人工作品,如展览和表演;6)其他纸质成果,例如目录、会议论文、设计、专题著作、已出版的地图等。
我国高校科研评价注意到了学科间差异,如自然科学与人文社会科学,但往往停留在理念,在评价实践中落实不够,在评价方法、评价标准等方面体现不够,因此,经常出现用理工科的方法来评价人文社会科学的现象。“科研考核体系形式单一,没有考虑不同学科的特点和不同科研人员的角色,用一种机制来评价所有的教师。即使针对文科和理科的教师的科研工作量进行考核,也用同一公式乘上不同的系数来折算而已,忽略了基础研究、应用开发等不同特点以及不同的人员所从事的不同工作任务性质的差别。”这样的评价方式忽视了不同学科及不同类型科研活动的差异,不仅给科研人员造成不同程度的不应有的困扰,影响了科研效率,甚至成为某些领域或科研活动中进行创新的干扰因素。
为加快落实《中共中央国务院关于深化科技体制改革加快国家创新体系建设的意见》和《国家中长期教育改革和发展规划纲要》,教育部提出对主要从事创新性研究的科技活动人员实行以代表性成果为重点的评价,对应用研究人员的评价以具有自主知识产权和重大技术突破为重点。在《关于改进科学技术评价工作的决定》、《教育部关于深化高等学校科技评价改革的意见》等文件中对分类评价也都有提及。但是如何落到实处,还需要相关各方做出不少努力。建议我国加快建立与完善科学的分类评价体系,在高校科研评价中,充分考虑不同学科科研活动的特点与规律,充分考虑各种类型科研活动的特点,充分考虑不同类别科研机构的性质,多维度、多元化进行科学分类,努力做到“同类比较”,以提高评价的针对性和实效性。
3 构建与完善成果质量与影响力评价标准体系
美国科学社会学家乔纳森·科尔(Jonathan Cole)等指出:“对杰出研究的承认是支撑整个科学社会的支柱。如果不是只奖励做得好的研究,科学就可能堕落。”在高校科研评价标准与方法体系方面,欧洲各国存在许多差异,但一般都将成果质量放在首位。如英国高校科研评价自20世纪以来就不要求科研成果的数量,只要求科研人员最多提供4份有代表性的科研成果。在新的高校科研评价体系——卓越研究框架(REF)中,不仅重视科研产出质量,也将影响和环境纳入评价体系。科研产出质量占65%的权重,在评价体系中仍然居于首要地位。根据卓越研究框架,科研评价要定期开展,英国每所高校的院系都要依据国际标准被比较,以评价研究质量。荷兰科学研究的外部评价有4个主要标准:质量、生产力、社会相关性、有效性与可行性。其中“质量”这一指标是指国际上的认可度和创新的潜力。在法国科研评价的6个主要标准是以重要程度为序排列的,“研究质量(主要以实验室的科学产出为基础)”被放在首位。
近年来,欧洲各国高校科研评价由过去单纯重视研究产出如论文、专著、专利等,扩展为更多关注其对学术界和经济社会诸方面的中长期综合性“影响”,这在英国卓越研究框架和荷兰高校科研评价中都有很明显的体现。英国卓越研究框架的一个突出特点就是“影响”指标首次作为一个独特的元素被引进科研评价。这一指标主要被用于评价高质量的研究,并占20%的权重,具有开拓性的意义。REF把影响定义为:科研对学术界以外的经济、社会、文化、公共政策或服务、健康、环境或生活质量产生的效果、变化或收益。影响包括效果、变化或收益:活动、态度、意识、行为、能力、机会、业绩、政策、实践、过程或理解;观众、受益人、社区、选区、组织或个人;在任何地理位置,无论在本地、区域、国家或国际。影响包括减少或预防伤害、风险、成本或其他的负面影响。影响不包括对研究的影响及对高等教育系统内学术知识的进步,也不包括提交材料的高等教育机构内对学生、教学以及其他活动产生的影响。荷兰高校科研评价的4个主要标准之——社会相关性即指学术影响和对经济社会的影响。法国科研评价中,“实验室的国际认可(通过使用定量指标,比如引用次数等)”这一标准被排在第二位。
经过几十年的探索,我国高校科研评价已经由过去单纯重视数量转变为数量与质量并重。《国家中长期科学和技术发展规划纲要》中已确定,到2020年,我国的国际科学论文被引用数要进入世界前5位。但是对成果质量与影响力评价标准还缺乏共识,对于“影响”的评价缺乏足够重视,特别是缺少评价高校科研对经济社会发展影响与贡献的标准。对质量的重视还主要停留在认知层面,如何落实到具体的评价方法标准及评价实践中还有漫长的路要走。对于“影响”的评价目前在认识上还不足,所谓“影响”还仅停留在用“影响因子”、“引用率”等计量指标来衡量对知识的贡献影响,没有充分考虑到科研更重要的价值是对现实世界产生的影响,是对现实世界各种错综复杂的矛盾进行化解、为现实社会复杂多变的问题探求解决方案,甚至对现实世界与社会进行多方面的改造,使之向理想中的世界趋近。因此,高校科研应该对人类社会进步与发展、人类自身生存与发展所面临的各种错综复杂的矛盾与问题的解决有所贡献,应该成为科学技术发展与社会进步的重要推动力量,应该对我们所处的这个现实世界产生影响与改变。诚然,这种影响评价起来实属不易,但是不探索就不可能前进。建议今后在我国高校科研评价过程中,逐步重视科研成果对科技进步与经济社会发展产生的理论与现实影响。
欧洲高校科研评价一般采用同行专家评价与计量指标相结合形式。英国高校科研评价从RAE到REF的改革“最大的变化就是采用了文献计量指标,并弱化同行评议对评价结果的影响”。REF更多的建立在计量指标(metrics)上,只采用轻度同行评审(light-touch peer review)。英国高等教育委员会(HEFCE)建议通过使用研究的引用来明显减轻同行评价的负担,同时保留强大的对质量的判断是几乎不兼容的目标。2008~2009年的试评价结果表明:计量指标不足以代替专家同行评价,但可在一定范围内为专家评价提供重要补充和参考依据。
同行评价是目前世界科研评价中最广泛使用的方法,但也有自身难以克服的局限性。因此,欧洲高校科研评价的同行专家中开始逐渐包含更多的利益相关者,如英国高校科研评价的评价人员来源广泛,不仅有政府代表,而且要有学者、企业界代表,有利于增加多方制衡和监督,也有利于形成多角度、多层面的评价认知,增强评价的客观性、公正性。
英国高校科研评价从完全采用同行评价到开始引入文献计量指标,使我们看到了计量评价的有用性与局限性。我国高校科研评价存在“过度量化”的问题,由此引发了一些学术泡沫,甚至学术不端行为。以“量化”为主要特征的评价体系具有重刊物级别轻论文质量、重近期成果轻学术积累等弊端。建议我国高校科研评价以同行评价为主,计量评价为辅,两者相辅相成。进一步完善专家遴选标准,积极推动实施“小同行评价”,使同行评价更加科学、公正、公平、有效。根据需要,适当引入利益相关者评价,建立多元评价体系。
教育部科学技术战略研究项目“高校科技评价中的若干重大问题研究”
【参考文献】
[1]Assessing Europe’s University-Based Research. http://ec.europa.eu/research/era/docs/en/areas-of-actions-universities-assessing-europe-university-based-research-2010-en.pdf.
[2]David F. J. Campbell(2005)Evaluation of University Research in Europe Conceptual Framework and Comparative Typology, HOFO Working Paper Series: IFF_hofo. 05. 002.
[3]Assessment for Research Quality(VQR 2004-2010)of ANVUR(National Agency of Assessment for University and Research)[EB/OL].[2013-05-05]. http://www.unibs.it/research/assessment-research-quality.
[4]方衍.积极探索科学合理的科技评价体系[J].求是,2012(4).
[5]陈洪转,许赞.高校科技评价体系——理论、方法与应用[M].北京:科学出版社,2013.
[6]陈娜.意大利首个全国科研院所排名出炉[EB/OL].[2013-05-05]. http://news.sciencenet.cn/htmlnews/2013/7/280146.shtm.
[7]施筱勇.英国高等院校科研质量评价制度研究[J].中国科技论坛,2009(5).
[8]REF 2014. Panel criteria and working methods[EB/OL].[2014-03-18]. http://www.ref.ac.uk/media/ref/content/pub/panelcriteriaandworkingmethods/01_12.pdf.
[9]冯海燕.高校科研评价制度改革途径探析[J].中国高校科技与产业化,2006(12).
[10]Metrics and the Research Evaluation Framework[EB/OL].[2013-05-05]. http://www.simondobson.org/2011/07/metrics/.
[11]宋丽萍.REF与科研评价趋向[J]图书情报工作,2011(22).
[12]History of the development of the Framework[EB/OL].[2013-05-05]. http://www.sfc.ac.uk/funding/FundingOutcomes/Research/ResearchExcellence/REFHistory.aspx.^NU1
【英文标题】On the Trend and Policy Inspiration of Europe University Research Evaluation System