科情智库
陈洁
(陕西省科学技术情报研究院,西安)
摘要:随着科技报告资源的持续积累,为提高科技报告的呈交质量,需要建立一套切实可行的质量评价体系。根据科技报告的特点及要求,基于全面质量管理理论,结合科技报告撰写、呈交、审核、共享等过程,采用专家访谈、问卷调研等方法,构建了科技报告质量评价指标体系,并进一步提出了科技报告质量评价的建议。
目前,国家科技报告服务系统已向社会公众公开共享各类科技报告12万余份,已有28个省(区、市)建立了科技报告制度,22个省(区、市)建成了科技报告共享服务系统并正式运行,实现了与国家科技报告服务系统的统一认证。在推进科技报告制度建设的过程中,如何有效地确保科技报告的质量,需要建立一套切实可行的科技报告质量评价的方法与规范。
1
评价的理论基础
本研究从全面质量管理的“三全”管理角度出发,建立指标体系对报告内容及格式进行全面评价,并对科技报告产出的全过程和涉及的全要素进行质量管理。科技报告产出过程包括审核前、审核中和共享后。科技报告要素涉及报告作者、项目承担单位、科技报告管理机构、同行专家、科研人员及社会公众。
2
质量评价的目的、原则与流程
对科技报告进行质量评价的目的,一是促进科技计划项目的精细化管理,二是提高后续科技报告的呈交质量。三是深化科研诚信管理。
指标体系的设置应具有操作性,某些指标过于宏观或模糊不清,在具体使用中无法进行有效评价,降低了评价的准确性。指标的动态性体现在不同计划项目、不同评价阶段、不同评价主体,应设置有相应不同的动态调整指标。
科技报告质量评价主要包括制定实施计划、建立质量评价体系、开展过程试点、修正指标体系和全面推广运行5个流程。
3
指标体系
科技报告是技术报告,主要体现项目的技术完成过程,对科技报告质量的评价应包括技术内容和文本格式两方面的评价,这两方面也是相辅相成、不可分割的整体。从指标体系的构建来看,各类计划项目的研究性质、资助强度不同,很难用篇幅的长短进行统一的衡量。在选取评价指标时,要从全局把握指标的合理性和可用性,选择共性的通用的评价指标对科技报告质量给出有效评价。在国内外相关研究成果的基础上,根据科技报告的特点及要求,结合科技报告撰写、呈交、审核、共享等过程,采用专家访谈、问卷调研等方法,最终确立了科技报告质量评价的指标体系,包括一级指标2项,二级指标10项。
4
权重系数
技术专家对报告技术内容给出评价,权重为70%,包括技术难度、技术复杂性、技术创新性、方法合理性、效益可行性5个方面的指标。
科技报告管理机构对报告格式给出评价,权重为30%,包括元数据的规范性、图表格式的规范性、正文格式的规范性、正文文本的规范性、返工率5个方面的指标。
5
案例研究
依据文本格式评价的5个二级指标,对陕西省年度提交的份科技报告的文本格式进行了评价,从评价结果来看,报告质量参差不齐,其中质量较好的有份,高校的报告质量普遍比较高,这和高校承担国家和地方各类科技计划项目比较多、对科技报告的格式规范比较熟悉有关,而企业对科技报告的认识较模糊,将科技报告与项目可行性研究、项目汇报、项目结题报告等混淆,在正文格式及正文文本的规范性方面较差,返工率较高。
6
几点建议
6.1把控质量评价的全流程、全要素
从科技报告工作全流程控制科技报告产出质量,包括签订合同、报告撰写、报告呈交、报告审改、报告共享等阶段。要控制及提高科技报告的质量,就要从每一阶段的流程和细节着手,把控好各个阶段的质量要素。
从科技报告工作全要素控制科技报告产出质量,包括项目负责人、项目单位、科技报告管理机构、技术评审专家、科技行政机构等。
6.2建立健全各项管理机制
(1)科技报告质量评价的关联机制。将科技报告质量评价结果与科技计划项目管理过程相结合,探索科技报告质量评价与科技计划项目管理的动态关联机制,将科技报告质量评价与项目结题验收、科研信用体系、专家评审等进行关联,实现科研活动全方位的管理和控制,提高项目申报、项目评审等科研活动效率。
(2)形成科技报告的评价反馈机制。对科技报告质量进行评价是为了不断提高科技报告的撰写质量,推动科技报告资源的共享使用。开展科技报告质量评价的同时,形成科技报告质量评价的反馈机制。
(3)建立科技报告奖励激励机制。科技报告作为科技计划项目完成过程中的一项重要成果产出,其内容详尽专深,具有极大的参考价值。应尽快建立科技报告工作的激励机制,在科研人员报奖、职称评定、项目申报等科研活动中将科技报告作为一项考核指标,促进科技报告质量的不断提升、科技报告资源的有序积累及使用,提高研究起点,避免重复研究。
6.3探索多层次、多角度的质量评价方法
探索构建多层次、多角度的科技报告质量评价方法,不断提升质量评价效果。进一步细化科技报告的评价指标,并调整各指标权重,确保评价结果的准确性和合理性。除了管理机构给出的格式评价和技术专家给出的内容评价外,还可让同行技术人员、社会公众等不同角色从不同角度对科技报告质量进行评价,全方位、多角度的评价能够有效避免专家评价的片面性,确保评价结果的客观、公正、有效。
来源:《中国科技资源导刊》年第2期
此文为缩减版,点击文末“阅读全文”可查看全文
推荐阅读
欧盟材料技术研究与开发主要做法及对我国的政策建议
年全球能源投资稳定,安全和可持续性问题日益严重
中国参与APEC科技创新合作现状研究转载请注明:http://www.baoshijiec.com/ylhx/3577.html