中国人民大学科学研究基金(中央高校基本科研业务费专项资金)项目“中国人文社科学术成果评价存在的问题与对策——基于学者认知的研究”课题组,构建了“中国人文社会科学学术成果评价管控机制”的基本架构,包括管控导向、管控维度、管控问题、管控措施和实施策略共五部分内容。
一、管控导向
学术评价与成果的创新和质量提升之间具有密切的关系,合理的评价可以促进创新性和质量提升,反之,不合理的评价也可以阻碍创新性和质量的提升。中国人文社会科学学术成果评价管控机制以“创新和质量”为导向。
评价管控机制应确保评价不但能够筛选出创新性较强、质量较高的成果,而且能够引导和激励人文社会科学研究生产出创新性较强、质量较高的成果,使学术评价切实发挥促进中国人文社会科学学术成果的创新力和质量得以提升和学术繁荣发展的功能作用。
管控机制也要能发现那些阻碍人文社科成果创新和质量提升的问题,并形成和推行有效的管控措施对其进行纠正,使学术成果评价能满足创新和质量导向的要求。
二、管控维度
管控维度是对评价管控导向目标的分解,集中体现出中国人文社科成果评价在理论和实践方面的迫切需要,包括如下三个。
1、评价信度管控
评价体系相同、评价对象相同,但因随机选择的评委不同或开展评价的时间不同而导致评价结果不一致甚至差异较大,就是典型的评价信度问题。这种不一致的情况越多,说明评价的信度越低,评价结果越不可靠。
对评价信度的管控旨在减少甚至规避评价中的“随机误差”,降低评价过程中的不一致,有利于激励创新性较强但尚不够成熟的研究,并提高对成果质量测量的精确程度。对评价信度的管控,可通过调整评价标准指标、评价程序与细则、评价主体要求等实现。
2、评价效度管控
需通过对评价效度的管控来规避和解决的问题主要包括:因评价体系不合理导致评价结果偏离评价目标;因分类评价不合理导致评价标准或指标不适用;3)因评价结果的区分度过小难以体现被评对象的优劣程度;等。
效度包括三种:内部效度,如评价指标体系与评价目标的吻合程度;外部效度,如评价标准对评价对象的适用程度;测量效度,如评价工具能否恰当表达和量化评价结果。对评价效度进行管控旨在确保评价活动真正确实地测量了预期的评价对象特性,且测量结果较为准确,主要涉及评价的理念目标、标准指标、评价对象、评价程序、方法工具、评价主体、学术环境等要素(下同)。
3、评价调和度管控
人文社科成果评价结果引起诟病往往因为评价活动内生的矛盾冲突,如理想完美性与现实可行性的矛盾、定量评价与定性评价的矛盾、本土标准与国际标准的矛盾、不同评委的看法差异、评价对象对评价结果不认同等,均需要对评价调和度进行管控。
对评价调和度的管控旨在协调学术成果评价中的各类矛盾冲突,重点是确定矛盾冲突的处理原则和措施,基本思路是平衡矛盾的主次方面,主要涉及评价的理念目标、标准指标、评价程序、方法工具、评价主体等要素。
三、管控问题
通过文献调查和问卷调查,总结梳理出中国人文社会科学学术成果评价中存在的较为普遍的32个问题。
学者认知视角的调查显示,当前最严重的问题包括:学术评价管理政策过于利益化、学术评价管理政策缺失严重、许多评价活动的过程透明度和公开性较差、“期刊级别”常常作为评价论文的主要尺度,等。如将这些问题按所涉及的评价要素分类,关于“评价管理政策与学术环境”方面的问题最为严重,关于“评价方法与工具”方面的问题最不严重。
对于同一问题严重程度的认识,被评价者和评价研究者的认知相似,而评审者和评价组织者的认知相似,且前两者认为的严重程度显著高于后两者。
四、管控措施
通过文献调查和问卷调查,总结梳理出中国人文社会科学学术成果评价的关键管控措施共42项。
学者认知视角的调查显示,学者们认为必要程度最高的措施包括:降低行政部门对学术成果评价的干预程度、建立并完善评价利益相关者回避机制和监督机制、进一步完善人文社科成果的评价指标体系、加强评价过程的公开性和透明性及其监督机制,等。如将这些措施按所涉及的评价要素分类,关于“评价管理政策与学术环境”方面的措施必要程度最高,关于“评价方法与工具”方面的措施必要程度最低,但不同类别的评价管控措施必要程度得分相差不大。
不同评价角色对中国人文社科学术评价管控措施必要程度的认知较为一致。对于大部分问题而言,被评价者认为的措施必要程度相对高于其他三类评价角色,但相互之间差异不大。
五、管控实施策略
实施策略是确保评价管控机制得以顺利推进并取得预期效果的有效保障。具体包括如下五点。
1、循序渐进策略:
按轻重缓急依次开展管控
由于管控问题在严重程度上、管控措施在必要程度上均存在差异,因而在有限的资源和条件下,推行人文社会科学学术成果评价管控机制时,应循序渐进地解决相关问题。即,优先解决那些“相对更严重”的问题,暂缓解决那些“相对不太严重”的问题;重点推行那些“相对更为必要”的措施,暂缓推行那些“相对不太必要”的措施。
2、综合平衡策略:
协调不同评价角色认识的差异
由于被评价者、评审者、评价组织者和评价研究者四种不同评价角色对管控问题和管控措施的认知存在一定差异,仅依据单一角色的观点判断相关状况,则会对评价管控机制认识偏颇。因此在实施人文社科成果评价管控机制时,应充分
转载请注明:http://www.baoshijiec.com/ylyz/5493.html