学术期刊定性评价过程以及评价效果对比分析来源：《中国出版》

admin

学术期刊定性评价过程以及评价效果对比分析
作者：赵  均        来源：《中国出版》        时间：2014/3/11 10:53:58
分享到： 更多 1
　　定性评价学术期刊是一种历史悠久、经验丰富、考察全面的评价方法，但由于在学术质量的评价上缺少数量值的明显区别，给人一种不科学、不透明的印象。在引文统计分析方法被引进和普遍推广之后，定性评价方法的影响力似乎日渐式微，但随之而来的定量评价中对数字的崇拜日益严重，甚至到了唯影响因子马首是瞻的程度，学术界和期刊界对此质疑之声不断。我们有必要重新认识学术期刊的定性评价方法，深入分析定性评价指标和评价过程控制因素，对其中的优缺点与定量评价相比照，以便于在实际工作中有针对性地加以利用。
　　一、定性评价指标
　　学术刊物的定性评价必须基于各项定性评价指标来进行，各类评价体系根据评价目的的不同自主选择相应的评价指标。学术期刊的定性评价指标主要有政治标准、学术质量、编辑质量、出版质量、社会影响、质量保障水平等。
　　1.政治标准
　　政治标准分为思想指导和法律规定两大类。思想指导类标准要求刊物坚持正确的舆论导向，全面、准确地宣传党的路线、方针、政策，严格按照办刊宗旨及专业分工范围出刊，促进社会科学的繁荣与发展。法律规定类标准要求刊物严格遵守国家宪法和法律，遵守《中华人民共和国保守国家秘密法》和《中华人民共和国著作权法》，严格执行《出版管理条例》和《期刊出版管理规定》等法规和制度。
　　在按照政治标准评价学术期刊，尤其是评价人文社科学术期刊时要注意两个问题，一是把握政治原则与学术自由的界限，学术自由是学术繁荣发展的必备土壤，既要反对片面扩大政治标准，对学术观点上纲上线，限制学术研究的争鸣与探索，也要警惕以“学术自由”为幌子，对党和国家的意识形态建设产生消极影响。二是在刊物政治标准的具体考评上，对政治标准可以采用打分制，也可以采用一票否决制。一票否决制指的是如果刊物在政治标准上出现了问题，直接取消其参选资格。
　　2.学术质量
　　刊物的学术质量来自于刊发论文的整体学术研究价值和学术影响，包括学理框架的创新和构建、学术前沿的探索和突破、科学研究的互通和融合、实践经验的梳理和提炼、对后续学术研究的影响和激活等。刊物的学术质量是评价学术期刊的主要标准，对于长期持续关注本专业领域学术刊物的专家来说，各家参评刊物的学术水平高低在心中早有大致把握，主要精力可能会集中在水平相近刊物的细致比对和相对陌生刊物的仔细查看上。
　　对综合性学术期刊学术质量的评价是个难点，可以把各学科专家组的评价按照各家期刊在各专业领域刊发论文上的比例作为权重综合评分，也可以组成跨专业专家组对参选刊物综合讨论评价。不管使用哪种方法，专家组成员最好不发生变化，以保证判断标准的相对持续统一。
　　3.编校质量
　　编校质量的评价是考评编辑和校对对刊物所做的贡献度。要求学术刊物具有清晰明确的办刊思路、新颖独特的栏目设置，体现为解决重大理论与现实问题服务的特点；刊物注重学术规范建设，所刊发论文学风严谨；刊文符合学术论文的写作要求，遵守国家语言文字规范和学术期刊编排体例，论文注释和参考文献注引标准化；刊物整体文字差错率控制在较低水平；图表编排和标点符号的使用正确等。
　　4.出版质量
　　出版质量包括刊物能否按时出刊，封面、版式的设计是否得体，刊物印刷精美程度和装订水平的优劣。出版质量是学术期刊直观显性的外在质量呈现，其深层考量是要达到形式与内容的和谐统一。反对固守过时老旧的期刊形象作为高深学术的代表面孔，也要防止过度包装带来的喧宾夺主。
　　5.社会影响
　　刊物的社会影响包括刊物的学术影响、行业影响、经济效益、公益贡献等内容。具体体现为刊物在学科领域中的地位，对学术人才的培养和支持力度，在发现和培养科研人才方面所起的直接或间接作用；刊物对行业实践的指导价值和意义； 促进相关的研究成果应用所获得的经济效益；刊物自身的发行收入水平等。
　　6.质量保障水平
　　质量保障水平包括刊物人员状况、制度建设、工作流程、硬件条件等。人员状况指刊物主编的政治素质、业务水平、学术素养和学术声望，编辑人员职称、学历、年龄结构等；制度建设指刊物的内部管理制度、审稿制度、用稿制度、考核制度和分配制度等的合理公正程度，是否体现科学管理、鼓励先进的原则，是否建立符合实际需要的用人制度和严格、科学的绩效考核指标体系；工作流程是否科学高效，有没有质量监督和管控设计；硬件条件包括办公用房、办刊经费、图书资料建设、办公设备等是否达标，在编辑、审稿、出版、稿件管理等工作中的现代化程度等。
　　二、定性评价过程控制
　　定性评价过程控制主要由评审人员、评价指标、评价标准、评议方法等要素决定，严谨精准的要素选择是评价结果公正客观的基础。
　　1.评审人员遴选
　　在定性评价过程中，评审人员的遴选无疑是最重要的一环。期刊评审人员主要来自于主管部门、编辑出版界、本专业领域、图书馆、读者群等。政治标准一般应由来自主管部门的专家评价；编辑质量、出版质量和质量保障水平一般应由编辑出版界和图书馆专家评价；学术质量和社会影响一般应由本专业领域专家来评价，由于学术期刊的读者群是高度专业化的小众，本专业领域专家评审和读者评议可以合二为一。
　　评审人员可以是海量专家参与，也可以由小范围权威专家组成。前者用大数量的海评来淹没个别学者的意见偏向，需要依靠专家数据库和计算机辅助遴选；后者主要由评价管理者和专业权威共同来选择评审人员，由于在学科领域有较深造诣的权威专家对学术期刊的认知水平高，也较少有求于特定学术期刊，且时间成本少，因而被广泛采用。当然权威专家的选择也需要仔细甄别，一是评审专家的研究领域应和被评审刊物尽可能切合，尤其是要注意分支学科和交叉学科专家的选择；二是应选择责任心强、学术品德高尚、对学术期刊评价怀有良知的专家参与评审。
　　在评审人员名单是否公示的问题上也一直存有争议，一方面，公示评审人员名单被认为是评审过程公正透明的重要环节，尤其是评审前的公示可以接受各方面的质询和申诉，会有利于评审人员名单的最终尽可能公正的确定；另一方面，公开评审人员名单会给评审人员带来各种压力，招致来自各方面的人情请托、利益输送，颇受评审人员的抵制，所以目前大都普遍采取不公开评审人员名单，也就是专家匿名评审，以免招致不必要的麻烦。
　　2.评价指标的选择和评价标准的设置
　　任何一次定性评价过程都必须要选择合适的一项或多项评价指标，在评价指标的选择上要有针对性，避免求全责备。如果要整体评价学术期刊，可以按照多项指标来考评，但各种评价指标在权重上也应有分别。倘若只是评价期刊的学术质量，那么编辑质量、出版质量、质量保障水平等指标要减少权重甚至可以忽略，以免出现一本印刷精美但学术质量欠佳的期刊堂而皇之地成为重要学术期刊。
　　评价标准是指在评价指标内划分的等次标准，在评分标准的划分上有两种设计:一种是尽可能具体明确规定打分标准，而且在标准的划分上越细致清晰越好，引导评审人进行科学有效的评定，减少评审中的不确定性，[1]避免在综合专家意见时出现幅度小的打分被幅度大的挟持。另一种是只在大方向上有规定，由专家依靠个人总体感觉来评判，避免陷入细碎考究，影响全面权衡刊物的办刊质量。
　　3.评议方式、方法的选择
　　评议方式一般有通讯评议（通过网络或邮函）、小型会议评议、评审组评议、实地调研、多次评议、落选申诉等方式，可以根据评审工作量的大小、资金投入的多少、评审周期的长短、评审程序的繁简等因素综合考虑，采用其中一种或几种方式组合来安排评议方式。
　　在小样本的学术期刊评审时，有时要求专家提供评议意见，帮助期刊在今后的发展中确立努力目标和改进方向。在大范围的评审中，普遍采用专家打分法，包括各自独立打分法、共同讨论评议法、集体讨论单独打分法、德尔菲法等评审方法。
　　（1）各自独立打分法
　　这种方法主要基于本专业领域权威专家学者的良好专业素养能为期刊评价带来高度专业化和有价值的意见。每位专家的打分值可以有相同的权重，也可以根据专家意见的重要性给予不同的权重。集合评委的意见，最后汇总得出一个综合评分值。这种方法的优点在于评委不需要集体开会，节约了会议成本和时间成本；采用匿名和背靠背的方式，可以使每一位专家独立地做出自己的判断，不会受到其他外界因素的影响。
　　（2）共同讨论评议法
　　评价的最终结果是由评审委员会或小组做出决定，所有评审成员都必须就最终决定达成共识。这种方法的优点是大家可以充分讨论，并当场就别人的意见做出反驳或者妥协，有利于各方意见的较快收敛。但如果现场出现一个有强势话语权的人，会对其他评委施加过多的影响，甚至强迫别人同意他的意见，就会使最终结果被个别人左右；如果出现两个或多个有话语权的人，评审意见可能会相持不下，就会使最终决定难产。
　　（3）集体讨论单独打分法
　　集体讨论单独打分法在形式上是前两种方法的结合体，先召开评委会议进行意见交流，然后各自独立打分。评审人员在前期讨论中可以吸收多方观点以修正自己的偏见，避免了讨论当场公开做决定时的随声附和或意见冲突。
　　（4）德尔菲法
　　德尔菲法的形式是由组织者向每位专家组成员单个通信联络，专家之间背靠背发表意见，组织者在对专家意见进行整理、归纳、统计后，再反馈给各专家，再次征求意见，如此反复多次直至得到一致的意见。德尔菲法的优点在于专家组成员在完全匿名的情况下交流思想，可以消除权威的影响。缺点一是过程比较复杂，花费时间较长；二是议题不能太复杂，那样会导致意见难以实现集中。
　　三、学术质量的定性评价与定量评价
　　评价的本质是人对事物和现象所作的主观价值判断，评价的结果可以是公平、公正的，但不可能是绝对客观的，学术期刊的评价当然也概莫能外。学术期刊的定量评价主要来自于被引用量的统计，是对微观同行评议个例的宏观计量，本质上还是定性评价，依然是属于主观判断性质。虽然对评价结果的解释可以有各种自圆其说，但并不能说主观判断就没有高低之分，主观判断的高低之分在于是否有失公允，是否符合大多数人对此的期望。
　　1.定量评价的“错位”
　　学术期刊的定量评价目前只适用于对学术质量的考察，主要通过使用引文分析法计算出的总被引频次、影响因子、即年指标等计量指标来考评刊物。由于有明确的数值比较，使得过去饱受手续烦琐、人情往来等争议的学术期刊定性评价变为操作简便、可排序比对，定量评价方法因而得以大行其道，深受科研管理部门的欢迎和广泛采用。
　　定量评价的主要依据是刊物间的被转摘和引用行为。被转摘行为源于文摘刊物对符合自身办刊宗旨和选文倾向的文章向读者推荐阅读，引用行为只是标示研究者在学术研究过程中受到某文献的足够影响。影响效应、扩散程度和显示度本身并不是论文学术水平的直观呈现方式，用影响力和扩散度来衡量刊物的学术质量其实是一种“错位”。而且把被转摘和引用行为统一对待,无法体现出被转摘和引用行为性质的千差万别，被转摘和引用行为在实际操作中也受到各种不正当转摘和引用因素的干扰，这些因素都会影响到刊物学术质量评价的可印证程度。这也是被转摘和引文分析法应用到学术评价领域一直存有争议的主要原因。
　　2.定性评价的不确定性
　　应该看到，任何一种评价方法都不是完美无缺的。学术期刊的定性评价毕竟是刊物学术质量在认识上的投射，在本质上优于定量评价学术期刊带来的“错位”效果，但符合期望的定性评价还有赖于在评价过程控制中各环节的完美表现，在实际工作中却不可能做到尽善尽美。
　　（1）评审程序的设置水平
　　评审的过程在选择评审人、指标、标准、方式、方法等方面的设置上存在着多种选择，这些选择并没有直观的优劣之分。不同类型的期刊学术质量评审在最初的方案制定上，需要依据评审目的、评选范围、经济成本、时间效率、结果呈现等多方面的因素综合考虑。评审程序设置水平的高低必然会影响到最终评审结果的公正合理性。
　　（2）评审人员的学术水平和主观倾向
　　即使是从专家数据库中随机遴选评审专家，评审组织人员对评审领域非常熟悉、对评审工作有责任心，也不能保证最终选择的专家完全能够胜任评审工作。有些专家的知识面、学识与影响力不符，缺乏全局视野和前瞻性，学术观点落后保守，其评审意见也就自然会失之偏颇。
　　在定性评价过程中，评审人员完全依靠主观学术直觉独立进行价值判断，不掺杂个人利益在内的主观偏见会或多或少存在，在程序上可以通过多人多次评价来消减这些偏向。但在实际评价工作中出现的权威主义、人情关系、利益驱使、盲目服从多数等不良倾向会严重侵蚀评审结果的公平公正性。定性评价实行的是科学民主制度，意味着不徇私情，而科学民主制度与人情交往从原则上是格格不入的。人际关系在评审过程中会表现出合作和对抗两种方式：评审人员相互或多人合作，结成临时利益联盟，互相给对方的目的刊物打高分，使特定刊物在评审中拥有优势。评审人员也可以由于与被评审刊物主办者存有个人恩怨，邀集同情者打压目的刊物。已经有研究者提出对专家评议状况进行评估，通过评估指标对专家进行排序。部分科学基金项目也已建立了对同行评议专家的评估，以便于筛选出重点评审专家，增强评审工作的公正性。[2]
　　（3）评审管理者的责任心和组织能力
　　定性评价完全是人为操作，评审管理者虽然隐于幕后，但在评审人员、评审标准、评审程序的选择安排上，其实是具有超越评价的管理权力。不管是通过专家数据库检索还是专业权威协助遴选评审人名单，不管是多方征求意见还是由专业机构制定评审标准和程序，评审管理者都拥有最终确定权。评审管理者如果责任心不够、组织能力有限，必然会反映到定性评价的最终结果上。如选择专业能力不够或听命于自己的评审人、在评审标准和程序上主观故意不合理设置，都会使定性评价在实施的第一步就走向异化。
　　3.两种评价效果与学术质量的印证关系
　　对学术期刊学术质量的正确评价，只能是来自于定性评价各环节的公平公正实施。也正是由于评价的主观判断性质，即使是同样的参选期刊名单，在保证过程控制因素同等水平的情况下，其评价结果也不能保证完全一样。也就是说，学术质量的评价没有可重复验证性。期刊学术质量的评价是多维度的，在下面的学术期刊学术质量定性评价与定量评价比较的示意图中以域的形式表示。实际操作中的定性评价效果常常溢出刊物学术质量的正确评价，也就是对学术质量的不恰当评价。

　　学术期刊学术质量定性评价与定量评价比较的示意图
　　定量评价由于其与生俱来的与刊物学术质量反映的“错位”，以及无法克服和难以校正的人为错误引用干扰，其实际评价效果虽然与刊物学术质量有比较明显的相关性，[3]但依然存在着无法完全反映刊物学术质量的缺憾。比如一篇被后来公认为非常具有学术价值的论文并没有得到在评价时限内的大量引用，从而也影响到对刊物的学术质量定量统计。
　　从期刊学术质量的实际评价来看，定量评价效果的“错位”是被大家认识到的，从而在选用时是可控的，而定性评价效果的“不确定性”是不可控的，定性评价效果的“不确定性”范围远大于定量评价效果的“错位”程度。公平公正的定性评价效果优于定量评价效果，但不公平公正的定性评价却远劣于定量评价效果。依据定量评价数据获得的期刊学术质量排名出现的不合理之处，我们可以寻找出原因进行后续调整，实践证明这种调整有时也是非常必要的。如个别在学界非常有影响力的刊物由于曲高和寡，在定量评价上的表现与实际学术质量有差距，可以通过加权等方式加分。学术期刊的定性评价结果却是难以改变的，评价背后的人为操作、不合理程序设置等带来的最终评审结果很难找出其原因，而这种定性评价结果有时与真实情况相去甚远。
　　各家学术期刊引文数据库的成年累月的统计、各种评价指标的精心设计和使用起来的简便易得，与定性评价的高成本、程序繁琐和不确定性相比，定量评价学术期刊也就具有非常大的优势，以至于在时下的期刊学术质量评价上占据了统治地位。定性评价在定量评价无法介入的政治标准、编辑质量、出版质量等评价方面仍然使用，在对学术质量进行高端、精细的评价时还是需要依靠定性评价方法，仅依据定量评价指标的细微数值差异显然无法看出刊物间的真实差距。对定性评价和定量评价片面夸大或缩小其评价功能都是不可取的。定量评价学术刊物不是最好的也不是最坏的评价方法，其使用优势在于简便易行和与学术质量的较大相关性。
　　4.定性定量相结合评价
　　定性定量相结合的评价方法目前被认为是把定性和定量评价的优点最大化的评价方法，也在实际评价中被广泛应用。目前在期刊学术质量评价中定性定量相结合的评价方法主要有调整定量指标排序法和定量指标加权法两种。
　　调整定量指标排序法，主要是在已有定量评价指标排序的基础上，按照定性评价适当给予调整。其本质依然属于定性评价，依然存在着定性评价中人为因素的不可控性。但调整定量指标排序法毕竟是对完全定性评价的一种改良，在一定程度上会对定性评价的“不可控性”有所限制。如在评审时向评审专家群提供学术期刊定量评价数据，由专家依据已有排名提供调整意见，并对该项调整做出相关说明，这样就对其主观评审设置了调整范围和难度，也尽可能地保证了调整的有理可循。
　　定量指标加权法，主要是对已有的定量评价数据分类加权后，再进行一轮加权后的定量指标排序。这种方法在本质上依然是定量评价，也不可能改变定量数据不是学术水平直观呈现的“错位”，有时甚至还会让这种“错位”进一步加深。定量指标加权法的出发点是调整定量评价的“错位”向尽可能完全反映学术质量的方向靠拢，在一定程度上也实现了部分目的。如某学术期刊评价系统对其选用的若干个国内外学术期刊定量评价数据进行加权，然后综合计算排列出期刊学术质量排名表。
　　现有的定性定量相结合评价并没有从根本上消除定性和定量评价原有的缺点，离我们心目中众望所归的权威方法还有距离。是调和也好，折中也罢，但毕竟是在综合两种评价方法之后的积极尝试。对学术期刊的高质量评价是关乎科学研究持续繁荣发展的重要一环，对此进行深入的理论研究和实践探索者众多。如何能够对学术期刊的办刊质量实施更科学有效的评判，还有待于我们在评价机制研究上的继续探索。
　　（作者单位：中国传媒大学《现代传播》编辑部）
　　*本文系教育部人文社会科学研究青年基金项目“人文社科学术期刊评价体系研究”（09YJC870030）和中央高校基本科研业务费研究专项——中国传媒大学科研培育项目“学术期刊评价对当代中国学术文化生态建设的影响研究”（CUC10A04）的研究成果
　　注释：
　　[1]江虎军，冯雪莲，杨新泉，唐隆华，何建庆.影响科学基金项目同行评议质量的因素及改进措施[J].中国科学基金，2006（6）：359-363
　　[2]谷瑞升，张飞萍，李永慈，于振良，杜生明.国家自然科学基金专家评议状况评估初探[J].中国科学基金，2005（5）：298-301
　　[3][美]尤金·加菲尔德.引文索引法的理论及应用[M]. 侯汉清等译.北京：北京图书馆出版社，2004