科学计量学家Henk Moed关于科研评价的新论文
武夷山
普赖斯奖得主、荷兰著名科学计量学家Henk F. Moed（他退休后又受聘于意大利的一家大学）教授2020年1月在网络期刊Scholarly Assessment Reports（学术评价报告）发表文章，
Appropriate Use of Metrics in Research Assessment of Autonomous Academic Institutions（自治学术机构在科研评价中如何适当利用测度指标）。原文见https://www.scholarlyassessmentreports.org/articles/10.29024/sar.8/。
本文含有多个表格，简明扼要地概括了一些学术评价应关注的关键问题。表5是案头评估模型之基本假定与替代评价方式的对比。
表5 案头评估模型之基本假定与替代评价方式的对比
评价的侧面
案头评估模型之基本假定
替代评价方式
数据可获取性
应采用广泛可获取的指标 (论文量、期刊影响因子、h指数等)
应使用适合应用情境的定制指标。
有效性
指标能够很好地测度它们设计来测度的东西；不需要来自其他信息源的验证。
指标应与专家知识结合起来；指标所测度的是业绩的前提条件而不是业绩本身。
评价意义
需要一个独立的评价框架
评价单位
评价研究人员个体。
不要将科研人员与其机构环境截然分开：应专注于对科研团队的评价。
排序原理
得分越高，业绩越好。
采用指标来确定低限业绩标准，而不是识别谁名列榜首。
政策决策准则
总体业绩最佳者获得最多的支持。
根据新崛起的科研群体的数量来给相关机构拨付经费。
本文提出的评价模型，大家可看原文。在本文“应用情境与应用条件”一节，作者写道（大意）：
不同国家的学术研究资助模式有很大差异。美国的科研资助往往是分散式的，基于个体研究者之间的竞争；而欧洲大陆国家的主导资助模式是国家将一揽子经费拨给学术机构。本文提出的模型更适合于后者，不过，模型的某些要素对于美国可能也有用。实施该模型的关键挑战，是资助者和学术研究共同体之间要建立相互信任的关系。若双方缺乏基本的相互信任，本文建议的模型是不会起作用的。但该模型若付诸实施，则有增进双方互信之效。
本博主在发表于2015年1月16日《光明日报》的文章“科研评价指标纵横谈”（http://blog.sciencenet.cn/blog-1557-859857.html）中写道：
“提倡参与式的评价指标制定过程。如果管理者在制定评价指标时可以任意恣行，而被评价者只有俯首帖耳的份儿，那么，管理者欲达到的目标就很难达到，只能是南辕北辙的效果。无论是评价考核的频次、评价指标的选择、指标权重的设定等，都可以而且应该听取评价对象的意见。另外，应当将评价考核工作与职业生涯咨询结合起来。这样的话，评价指标就可能成为推动人才成长的利器，而不是千夫所指的靶子”。
我的上述观点，与Moed教授所说的资助者和学术共同体之间的互相信任关系有相通之处。不然，若评价者与评价对象双方对立起来，那么，不管你用什么指标评价我，我总能对付你。无论在什么领域，都是如此。
典型的例子是，英国警察部门和中国公安部门都曾采用过“结案率”（结案率=报告期内的结案总数/同期发案总数×100%）这个评价指标。指标设计者的意图是好的：你总不能不好好干活，老是破不了案吧。当时，实际采用这个指标的后果并不好：英国警方采取的对付方式是增大结案率计算公式的分子----破很多的小案子，因为小案子好破啊；中国警方采取的对付方式是减小分母----尽量不给立案。很多很多年前，我认识的北京一位中学生丢了自行车（每天上学的交通工具），就去学校附近的派出所报案。派出所的人说：“嗨！汽车丢了都找不着，自行车丢了报什么案啊！”不予受理。幸好，听说英国和中国都早就取消了“结案率”这个硬性考核指标，尽管结案率这个概念还存在。
