快好知 kuaihz

科学计量学家Henk Moed关于科研评价的新论文

科学计量学家Henk Moed关于科研评价的新论文

武夷山

 

    普赖斯奖得主、荷兰著名科学计量学家Henk F. Moed(他退休后又受聘于意大利的一家大学)教授2020年1月在网络期刊Scholarly Assessment Reports(学术评价报告)发表文章,

Appropriate Use of Metrics in Research Assessment of Autonomous Academic Institutions(自治学术机构在科研评价中如何适当利用测度指标)。原文见https://www.scholarlyassessmentreports.org/articles/10.29024/sar.8/。

    本文含有多个表格,简明扼要地概括了一些学术评价应关注的关键问题。表5是案头评估模型之基本假定与替代评价方式的对比。

 

表5 案头评估模型之基本假定与替代评价方式的对比

评价的侧面

案头评估模型之基本假定

替代评价方式

数据可获取性

应采用广泛可获取的指标   (论文量、期刊影响因子、h指数等)

应使用适合应用情境的定制指标

有效性

指标能够很好地测度它们设计来测度的东西;不需要来自其他信息源的验证。

 

指标应与专家知识结合起来;指标所测度的是业绩的前提条件而不是业绩本身。

评价意义

指标所测度的诸侧面就构成了合适的评价标准。

 

需要一个独立的评价框架

 

评价单位

评价研究人员个体。

 

不要将科研人员与其机构环境截然分开:应专注于对科研团队的评价

 

排序原理

得分越高,业绩越好。

采用指标来确定低限业绩标准,而不是识别谁名列榜首。

政策决策准则

总体业绩最佳者获得最多的支持。

根据新崛起的科研群体的数量来给相关机构拨付经费。

 

    本文提出的评价模型,大家可看原文。在本文“应用情境与应用条件”一节,作者写道(大意):

    不同国家的学术研究资助模式有很大差异。美国的科研资助往往是分散式的,基于个体研究者之间的竞争;而欧洲大陆国家的主导资助模式是国家将一揽子经费拨给学术机构。本文提出的模型更适合于后者,不过,模型的某些要素对于美国可能也有用。实施该模型的关键挑战,是资助者和学术研究共同体之间要建立相互信任的关系。若双方缺乏基本的相互信任,本文建议的模型是不会起作用的。但该模型若付诸实施,则有增进双方互信之效。

    本博主在发表于2015年1月16日《光明日报》的文章“科研评价指标纵横谈”(http://blog.sciencenet.cn/blog-1557-859857.html)中写道:

   “提倡参与式的评价指标制定过程。如果管理者在制定评价指标时可以任意恣行,而被评价者只有俯首帖耳的份儿,那么,管理者欲达到的目标就很难达到,只能是南辕北辙的效果。无论是评价考核的频次、评价指标的选择、指标权重的设定等,都可以而且应该听取评价对象的意见。另外,应当将评价考核工作与职业生涯咨询结合起来。这样的话,评价指标就可能成为推动人才成长的利器,而不是千夫所指的靶子”。

    我的上述观点,与Moed教授所说的资助者和学术共同体之间的互相信任关系有相通之处。不然,若评价者与评价对象双方对立起来,那么,不管你用什么指标评价我,我总能对付你。无论在什么领域,都是如此。

     典型的例子是,英国警察部门和中国公安部门都曾采用过“结案率”(结案率=报告期内的结案总数/同期发案总数×100%)这个评价指标指标设计者的意图是好的:你总不能不好好干活,老是破不了案吧。当时,实际采用这个指标的后果并不好:英国警方采取的对付方式是增大结案率计算公式的分子----破很多的小案子,因为小案子好破啊;中国警方采取的对付方式是减小分母----尽量不给立案。很多很多年前,我认识的北京一位中学生丢了自行车(每天上学的交通工具),就去学校附近的派出所报案。派出所的人说:“嗨!汽车丢了都找不着,自行车丢了报什么案啊!”不予受理。幸好,听说英国和中国都早就取消了“结案率”这个硬性考核指标,尽管结案率这个概念还存在。

本站资源来自互联网,仅供学习,如有侵权,请通知删除,敬请谅解!
搜索建议:新论  新论词条  计量  计量词条  学家  学家词条  科研  科研词条  评价  评价词条  
观点

 高校本科教学的忧思

     目前高校本科教学表面上看国家和学校都非常重视,投入不少资金,搞了一系列的项目。什么一流专业、金课、卓越工程师等,各种教学...(展开)