国际评估可行吗,怎么评——来自中科院的实践启示

 天顺注册招商   2021-01-09 07:52   28 人阅读  0 条评论

天顺娱乐招商【总代QQ223345】

原标题:国际评估可行吗,怎么评——来自中科院的实践启示

国际评估可行吗,怎么评——来自中科院的实践启示  第1张

全文7076,预计阅读 12分钟

当前我国国际评估方法研究尚处于起步阶段,天顺娱乐招商【总代QQ223345】一些关键问题值得深入研究和探讨,如:国际评估的必要性何在?可行性如何?国际评估的内容、专家选择、程序等如何设计?如何用好国际评估结果?

对此,本文所介绍的中国科学院经验或许可以给您一些启发和思考。

国际评估可行吗,怎么评——来自中科院的实践启示  第2张

图文无关

作者 | 徐芳(中国科学院科技战略咨询研究院副研究员);周长海(中国科学院发展规划局评估奖励处副处长)

近年来,国家发布了一系列科技评价改革的政策文件,其中导向之一是引入国际同行的力量,探索开展国际评估

但是目前,我国国际评估方法研究尚处于起步阶段,一些关键问题值得深入研究和探讨,如:国际评估的必要性何在?可行性如何?国际评估的内容、专家选择、程序等如何设计?如何用好国际评估结果?

展开全文

作为我国科技体制改革的先锋,中国科学院(简称“中科院”)早在2004年就尝试对所属研究所开展国际评估。2012年以来,中科院进一步扩大了研究所国际评估的范围,并在其“率先行动”计划第一阶段探索了对中科院卓越创新中心的国际评估。

需要指出的是,中科院的研究所在领域方向布局、科研团队绩效、职称晋升等诸多方面也开展了广泛的国际评估;同时,中科院在重要奖项评审、重要项目立项和验收等方面也采用了国际评估。

本文中所指中科院研究所国际评估,仅限于中科院层面对研究所开展的国际评估,而且特指国际专家到现场对研究所进行的整体评估;不涉及项目、人才等其他类型国际评估,也不涉及研究所内部自己组织开展诸如科研团队绩效、职称晋升等方面的国际评估。

国际评估可行吗,怎么评——来自中科院的实践启示  第3张

01

中科院研究所国际评估的主要实践

中科院在国内率先探索机构层面的国际评估,最早可追溯到2004年知识创新工程二期时的研究所国际评估试点。

在“十二五”时期,作为重大成果产出导向的研究所评价体系中的一个重要环节,国际专家诊断评估在研究所评估中进行了大规模的推行。

在中科院“率先行动”计划第一阶段,依托研究所建设的卓越创新中心的筹建工作验收评估也参考了研究所国际评估的经验。

2004年:中科院研究所国际评估试点

在中科院知识创新工程初期的研究所评估中,定量评价发挥了主导作用,而且评估结果与资源配置紧密挂钩,从而给研究所造成较大压力,并由此引发中科院内部针对研究所评估方法展开了很多讨论。随后,中科院在研究所评估上尝试与探索了多种方法,包括重大创新贡献评价,以及研究所国际评估试点。

2004年,中科院选择了理论物理研究所、计算技术研究所、上海生命科学院、南京地质古生物研究所等4家研究所开展国际评估试点

以中科院理论物理研究所国际评估为例,7位国际一流专家在研究所集中召开3天会议,对其学术水平、发展潜力、机制改革、学术活动和交流措施,以及研究人员的水平进行了“诊断性”的评估。

然而,中科院当时仍然处于知识创新工程改革阶段,研究所的评估理念仍然以保持竞争激励机制为主,因此在之后的研究所评估中没有继续实施和推广国际评估,而是采用了其他评估方法。

2012—2014年:研究所“一三五”国际专家诊断评估

由于知识创新工程极大地提升了中科院的创新能力,新时期中科院的战略目标关键在于“面向世界科技前沿,面向国家重大需求,面向国民经济主战场”作出重大创新贡献,形成一批重大成果产出。为此,中科院推动所属研究所制定了以重大成果产出为核心的“一三五”规划。

同时,中科院该时期在对研究所管理理念上也有调整,试图给予研究所更多的自由发展空间,即“规划森林,让树木自由生长”。体现在研究所评估上,就是减少竞争性排名(或分档)评价,更多采用定性评议,并由此构建了“两个环节一个基础”的研究所评价体系。

其中,“两个环节”分别是专家诊断评估和验收评估,定量数据则作为关键指标发挥监测作用,为“两个环节”提供支撑。基础研究领域的专家诊断评估采用国际评估

2012—2014年,共有193位国际专家对33家基础研究领域的中科院研究所开展了国际评估,重点对重大成果的进展情况、人才队伍水平,以及研究所的国内外地位、核心竞争力和学科布局形成诊断意见,以帮助研究所强化优势、弥补不足。

一开始,中科院内部对国际专家诊断评估还有迟疑,主要担心因中科院研究所通常规模较大、科研活动类型复杂,加之国情不同等原因,难以找到合适的专家开展国际评估实践表明,国际专家诊断评估效果不错,对研究所发展、研究水平和影响力提升及科学文化提升等诸多方面都发挥了积极作用

2016年以来:中科院卓越创新中心国际评估

2014年中科院启动以建设创新研究院、卓越创新中心、大科学研究中心、特色研究所等4类新型机构为核心的“率先行动”计划。

其中,建设卓越创新中心旨在“树标杆、促跨越、聚人才”,在一些重要领域树立中国科技创新旗帜,率先实现重大突破,汇聚优秀人才团队,建设形成国际一流的创新平台。

由于卓越创新中心对标国际一流机构,加上中科院在“十二五”时期国际专家诊断评估中已经积累了许多有益的经验,卓越创新中心的筹建工作验收评估理所当然地采用了国际评估

在2017年8个筹建期满的中科院卓越创新中心筹建工作验收评估中,国际专家重点考察了卓越创新中心的战略定位、重大成果产出情况和人才队伍水平。

从本质上看,对卓越创新中心筹建工作验收评估采用国际评估是建设卓越创新中心的必然要求,也是研究所国际评估的延续和扩展,两者在理念上是一致的

国际评估可行吗,怎么评——来自中科院的实践启示  第4张

02

研究所国际评估

若干重要环节分析

从知识创新工程初期的国际评估试点,到“十二五”时期“一三五”国际专家诊断评估的推广,再拓展到“率先行动”计划第一阶段卓越创新中心筹建工作的验收评估,中科院在研究所国际评估上形成了一套方法

以下,将以“十二五”国际专家诊断评估为主要案例,结合2004年中科院研究所国际评估试点和2016年以来中科院卓越创新中心筹建工作验收评估中国际评估的相关实践经验,聚焦研究所国际评估中的若干重要环节进行分析。

评价对象与内容选择

通过2004年试点,中科院对国际评估“能评什么”和“不能评什么”有了初步认识和判断,即国际评估可以有效评价研究所、科研成果或学术骨干基础研究的水平,但难以有效评价满足国家战略需求的研究工作和研究所管理的水平

在此基础上,结合国情、院情,在“十二五”国际专家诊断评估中,中科院确定了“能国际评估的尽量国际评估”的原则,并进而确定了国际评估的内容,包括研究所整体、领域方向或团队,以及科研骨干(在生物类研究所的评估中还包含对青年科研人员的评估)。

(1)在对研究所的评估上,重点考察4个方面:①围绕“一个定位”的整体学科布局、特色优势和核心竞争力;②“三个重大突破”的进展情况、质量和影响;③“五个重点培育方向”的发展态势,及其在国内外同领域的地位、水平和影响;④投入产出、体制机制、人才队伍和研究生培养、条件平台、创新文化,以及重要决策民主化和规范化等情况。

(2)在对领域方向或团队的评估上,重点判断该领域方向的研究水平和国内外地位、研究意义,以及满足需要的情况、团队中人才队伍和技术支撑情况及重点工作的情况。

(3)在对科研骨干的评估上,由专家根据科研骨干书面材料、现场学术报告等情况,对其工作进行评议

从实践看,在基础交叉前沿、生命健康、资源环境、大科学装置等领域,具有一定领先优势的中科院研究所都开展了国际评估。

评估专家的遴选与构成

国际专家在“一三五”诊断评估中发挥着主导角色,在一定程度上国际专家质量决定了国际评估的质量和效果,这对国际专家的遴选与专家组构成提出了要求。

中科院借鉴了德国马普学会研究所评估等国际经验并结合学科领域特色,确定了国际专家遴选和构成原则。

一般来说,中科院研究所国际评估专家组由领域专家和同行专家或用户专家构成,有8—9位专家,其中包括1—2位能够进行跨领域方向评估的专家(即领域专家),并且每个被评的重点领域方向至少有1位同行专家或用户专家

参与国际评估的专家要有开阔的视野,公正敢言,具有一定的评估经验,同时与研究所没有利益关系

各类专家的遴选参考标准如表1所示。

国际评估可行吗,怎么评——来自中科院的实践启示  第5张

(来源:“中国科学院院刊”微信公众号)

特别要指出的是,促使国际专家对中国科技体制和科研管理有一定的了解,是国际评估“接地气”的一个重要因素。在2017年中科院卓越创新中心筹建工作国际评估中,在专家成员中设置了1—2位华裔专家,他们在帮助国际专家了解中国国情中有效地发挥了“桥梁”作用。

评议过程与方法

一般来说,现场评估会议需耗时2天。在借鉴国际科研机构评估实践基础上,研究所国际评估一般包括4个主要环节

①专家组预备会议。由中科院管理部门重点介绍评估的主要目的和要求,发放专家聘书。专家组组长在明确评估需求和任务后,组织专家组内部会议、讨论并分配评估任务。

②研究所报告。包括研究所整体汇报,如研究所的定位、“一三五”规划的总体部署与进展情况、存在的问题、未来发展思路等,重点领域进展情况;以及重点领域主要项目负责人(原则上不超过5个)汇报研究进展与存在问题等。

③座谈与参观。评估专家组分为2组,分别与科研人员代表和管理人员开展面对面交流,并参观研究所重要基础设施和平台(适用于部分研究所)

④形成评估意见并反馈。专家组召开内部讨论会议,集中讨论评估意见并形成专家组初步评议要点与意见,随后在现场向中科院管理部门和研究所交流专家组评议意见。

评估支撑材料

为支撑国际专家做好诊断评估工作,同时也使中科院管理部门和参评研究所明确各自的职责和任务,中科院在认真总结试点经验基础上形成了国际专家诊断评估的内容、方法、操作程序等方面的规范,并提出了一整套评估支撑材料示例和模板,包括:研究所 “一三五”专家诊断评估工作介绍、专家评议表、研究所数据报告、研究所状态报告、现场评估会议手册。

①研究所状态报告,既是对研究所“十二五”时期各方面工作的系统总结,也包含了对未来重点领域方向研究工作的思考,有助于国际专家对研究所形成全面系统的了解。主要包括3部分内容:研究所整体情况简介、研究所管理及举措、研究所重点领域方向介绍。

②研究所数据报告,涉及了“十二五”时期反映研究所整体情况和发展态势的关键数据和指标,包括科研经费、科技人员、承担重大任务情况、重大科技产出、交流合作等内容。作为重大成果产出导向评价体系中的“关键监测指标”,其为国际专家评估提供参考。

③现场评估手册,对评估程序和主要环节做了细化和分工,有助于国际专家、管理部门、被评研究所明确各自的职责和任务,共同做好“一三五”国际专家诊断评估工作。

评议报告与反馈

一般来说,国际评估报告以定性表述为主,侧重对研究所的地位和影响力、学科方向布局、重大成果产出情况、人才队伍水平等方面提出诊断意见,并就其与国际同类机构相比存在的问题和差距等,提出未来发展建议。为更好发挥国际评估的作用,中科院建立了多渠道、多形式的评估报告反馈机制

①在评估现场,专家组向研究所领导班子和院机关领导反馈初步评估意见。在有些研究所现场评估中,专家组也曾提出向中科院机关领导单独反馈评估意见

②在现场评估结束的1个月后,专家组完成正式的专家组评估报告并反馈至中科院管理部门。

个别专家会通过邮件或其他方式,针对某一方面内容单独起草个人评估报告,一并返回至中科院管理部门。中科院研究所会根据国际专家评估报告中提出的意见建议提出落实改进方案,并报管理部门备案。

国际评估可行吗,怎么评——来自中科院的实践启示  第6张

03

国际评估的影响与效果

中科院研究所评估中采用的国际评估方法,与德国马普学会研究所评估大体相似。对于中科院来说,国际评估的效果和影响可以从多方面进行总结,以“一三五”国际专家诊断评估为例,具体体现在3个方面。

推动中科院研究所更加明确自身定位和战略发展目标

总体上看,“一三五”理念得到了多位国际专家的认可,有国际专家表示考虑将其纳入所在机构的评估体系中。

在现场评估中,国际专家也都认同研究所的定位和“一三五”规划,认为多数研究所具有综合优势和独特性,但同时也对个别研究所的定位和学科领域布局提出许多有益的建议。

例如,中科院某研究所A在规划中提出的重大突破之一是“纳米生物器件”。国际评估专家组认为这是一种能力建设,不是科学意义上的重大突破,建议改为“下一代生物技术”

再如,中科院某研究所B国际评估专家组建议该研究所提出的重点学科领域之一——“对气相反应动力学的研究应包括燃料燃烧过程中发生的基本过程”的研究应拓展到“上述基础研究领域与膜处理、污泥脱水等技术结合等方面”。

推动了追求卓越科研文化的形成

在现场评估中,中科院研究所重点学科带头人向国际专家汇报了自己的研究工作,通过专家一一点评和提问,有利于促进科研人员深入思考如何走向卓越科研。

例如,研究所人员在汇报时习惯于强调论文、获得的奖励等数量,专家们则提出要聚焦研究问题,应注重讲“scientific story”(科学故事)建议要更关注研究质量而不是量化的数据

在与科研骨干座谈时,专家们也引导科研人员更多关注研究工作的挑战和问题。专家通过询问研究人员是否了解本领域的佼佼者、竞争者及其研究内容;通过询问研究者对自身竞争优势的判断等信息来判断研究人员的研究现状和水平,这也促使研究人员开阔视野,深入思考,了解自身的优势与不足

国际专家认真负责的敬业精神也给科研人员都留下了深刻的影响。

例如:中科院广州地球化学研究所评估专家组在组长的领导下,利用休息时间甚至减少吃饭时间,讨论评估意见到晚上12点;中科院数学与系统科学研究院的评估专家为了给出准确的判断和意见,还专门提出回国查阅材料后再填写评议意见

提供了向国际科技界展示的平台,推动了中科院研究所的国际化交流和合作

在对中科院研究所进行诊断评估的同时,国际评估也为其提供了一个全面展现和宣传的机会,推动其迈向国际前沿,拓展了国际合作的渠道

例如,中科院沈阳生态研究所的领导提了道:“这是沈阳生态所历史上第一次国际专家评估,对沈阳生态所而言是一个里程碑式的事件,也是研究所走向国际的重要一步”。

在对中科院数学与系统科学研究院、中科院广州生物医药与健康研究院等机构的评估中,国际专家提到某些领域最好的研究团队,并主动提出可以帮助联系,以促进交流合作

参加中科院大连化学物理研究所评估的一位法国专家介绍到,日本提出“诺贝尔奖计划”后,专门派人到法国宣传日本的科学成果和科学家,以便让国际学术界了解和认可其学术成就。他认为中国科技已经到了这个阶段,需要加强与国际科技界的联系,加强相互了解与沟通。

国际评估可行吗,怎么评——来自中科院的实践启示  第7张

04

结论与展望

结论

(1)国际评估是检验国际研究水平的重要方式,对于优势科研力量来说尤其重要。

从国际上看,国际评估是国际上知名科研机构开展科技评估的通用模式。

对于我国来说,现阶段我国科技发展水平和实力已经得到了显著的提升,特别是在部分优势机构、优势学科领域和优秀科研人员已经进入了国际一流序列。

无论是从提升研究水平和影响力,还是从与世界科技前沿保持同步角度看,对于这批优势机构、优势学科领域和优秀科研人员而言,国际评估都是非常重要和必要的。只有经历过国际高水平同行和国际标准的检验,才是真正意义上达到了国际先进水平

(2)明确国际评估的适用范围和使用条件,是国际评估可行的重要前提。

国际评估遭受质疑的一大原因在于国际评估的可行性。国内很多研究单位通常承担着多样化且处于创新链不同阶段的工作,即使是国内的专家也很难在短时间内完全了解其整体情况,对于国际专家来说难度则更大。

如果国际专家无法出具针对性的评估意见,那国际评估也就失去了意义。这一担忧在中科院开展研究所国际评估初期也同样存在过

但是,回顾中科院研究所国际评估的发展历程,从2004年开始试点,到“十二五”时期在基础领域33个研究所的大规模推行,再到“率先行动”计划时期卓越创新中心筹建工作验收评估,国际评估在方法上实现了对研究所、成果、人才等多个维度的评估,满足了水平判断、问题诊断和验收评估等不同管理需求。

中科院的实践证实了研究所国际评估在中国是可行的,前提是要明确国际评估的适用范围和使用条件

(3)如何用好国际评估结果,还有待进一步的探索与改进。

从国际惯例看,国际专家更善于给出价值判断和定性建议,擅长提供较为客观的评价结论和具体的定性意见,以帮助被评估对象未来更好的发展,但不善于做选择性判断和定量评价。

从国内管理实践要求看,更多希望通过国际专家的国际视野和专业知识,对科研工作或人才队伍的质量水平、国内外地位和影响力等进行打分或定档的选择性判断,以便支撑管理决策。

如何在两者之间寻求平衡、找好结合点,促使国际评估达到更好的效果,仍需进一步的探索与改进。在中科院实践中,国际专家中的华裔专家参与了最后评估意见的形成,在其中发挥了重要的沟通协调作用

展望

当前,国际科技和经济竞争日益加剧,国内经济社会也进入高质量发展时期,国内外的新形势都对科技创新提出了新需求、新挑战。在这过程中,科技国际交流合作也受到了一定程度的影响。在这种情况下,是否还要坚持继续开展国际评估?

本文认为,国际科技合作是大趋势,越是面临封锁打压,越不能搞自我封闭、自我隔绝,要更加主动地融入全球创新网络,开拓国际合作的新途径、新渠道。而国际评估可以在促进我国科技发展、促进国际合作交流等方面继续发挥重要作用

由此,结合党的十九届五中全会提出的“把科技自立自强作为国家发展的战略支撑”,基于中科院的国际评估实践,对未来开展国际评估提出3点建议。

①要探索建立和完善适合我国国情的国际评估方法及规范化、标准化的国际评估实践指南,既充分利用国际评估的优势和长处,又要实现国际评估方法的“本土化”和“接地气”

②重视发挥国际评估的作用,既为研究方向发展、科研质量提升、科技布局优化等提供参考借鉴,同时也推动建立平等交流、客观评价、求真务实、追求卓越的科研氛围和学术环境

③鼓励有基础、有条件的科研机构和高校,结合本领域科研工作特点和本单位科研管理的需要,积极组织开展国际评估,探索有益经验,发挥示范带动作用

国际评估可行吗,怎么评——来自中科院的实践启示  第8张

文获授权转自“中国科学院院刊微信公众号(id:CASbulletin),原题为《国际评估可行吗?怎么评?中科院研究所国际评估实践的启示》,原文刊载于《中国科学院院刊》2020年第12期。文章仅作分享,不代表一读EDU立场和观点。囿于篇幅限制,原文摘要、关键词、参考文献、注释等从略,如欲转载、引用,请参考 徐芳,周长海.中国科学院研究所国际评估的回顾与展望[J].中国科学院院刊,2020,35(12):1455-1462.一读EDU编辑部对原文略有编辑、调整,点击页面左下角“阅读原文”即可浏览“中国科学院院刊”微信公众号推送原文。

延伸阅读

“四唯”如何破:中科院研究所评价的实践和启示

第五轮学科评估将首次在这些学科设置“国际声誉”指标

港城大校长的观察与建议 | 评估专题

打破“一刀切”评价方式,关键靠这个 | 评价专题

KPI不是万能的:高教质量评价方式改革的新思路 | 评价专题

文章不错,点个“在看”吧!

本文地址:https://lkwed.com/post/5548.html
版权声明:本文为原创文章,版权归 天顺注册招商 所有,欢迎分享本文,转载请保留出处!

 发表评论


表情

还没有留言,还不快点抢沙发?