以下文章来源:学术规范与评价微信公众号,作者叶继元
编者按
2025年11月社会科学文献出版社隆重推出自主知识体系蓝皮书《中国哲学社会科学原创学术理论分析报告》(徐拥军、杨红艳、戴鹏杰编)。该报告在文献调研、文献计量、问卷调查、同行评议、案例分析等研究方法基础上,对中国哲学社会科学原创学术理论的发展情况进行了系统梳理和深入分析,遴选出10个原创学术理论示例,叶继元教授的学术“全评价”体系名列其中。《学术“全评价”体系:缘由、要义与展望》一文作为“分报告”被该分析报告收录。该文由叶继元教授撰写,首次发表,较全面、完整地阐述了全评价体系的来龙去脉,可供读者参考。
全文如下:
学术“全评价”体系:缘由、要义与展望
叶继元,南京大学特聘教授,主要研究方向为学术评价与规范、信息资源建设与组织检索、期刊研究等。
摘要:为了解决学术评价中存在的过分数量化、过分形式化等“六化”问题,笔者应用价值论、实践论、系统论、信息论、知识论等理论,采用文献与历史研究法、概念分析法、比较分析法、抽象思维法、定性与定量相结合的综合集成法,构建了以六大要素、三个维度和六大推论等为主要内容的学术“全评价”体系。本报告概述了学术“全评价”体系产生的背景、核心概念、主要内容、理论依据、创新之处、成果价值、影响意义和研究展望等。学术“全评价”体系对于评价的历史与现实具有很强的解释性、指导性,对评价的未来亦有很好的预测性。较之于国外同类研究,其逻辑性、系统性和学理性较强,在导向性、民族性、自主性等方面体现出中国话语特色,并在学术评价实践中得到了检验,为确立中国特色哲学社会科学评价体系奠定了学理基础,可以视为中国特色学术评价体系建设的早期探索。学术“全评价”体系的特点是贯穿于学术评价的全要素、全角度、全方位、全过程,具有开放性和发展性,强调用全面、系统、发展的观点指导学术评价活动,反对评价中的片面化、简单化、单一化,主张根据不同的评价目的,选择不同的评价主体,制定多样化、差异化的评价标准及指标、方法、制度等。
关键词: 哲学社会科学;学术评价;学术“全评价”体系
学术“全评价”体系(The System of All-round Evaluation of Research)是笔者于2010年独创的评价理论分析框架,是指学术评价的一套概念系统、应用原则和规则。“全”主要是指学术评价的全要素、全角度、全方位和全过程。“全评价”不是不看评价目的的面面俱到,而是要根据评价目的具体分类讨论。对于简单的、单一的合格评价,形式评价就可以解决问题,不必关注内容与效用维度,但对于高质量、精细的综合能力的评价,则要看形式、内容及效用三个维度,并对每一个维度的权重、重点进行调整。构建学术“全评价”体系对澄清评价领域的模糊认识,避免评价中的片面化、简单化、单一化倾向,明确评价理论与实践的大方向、路径,提供评价研究的思想和方法论基础均具有重要意义。
一 理论阐释
(一)前提假设
普遍性假设:在人类活动中,为了满足各种需要,任何人每时每刻都在对与已相关的事物进行价值判断(评价),以做出选择、诉诸行动。
难度性假设:研究成果、学者、学术机构等,与其他事物一样,都是可以作为评价客体被评价的。但由于学术研究是探讨事物规律、真善美问题的精神活动,研究者对其的评价相较于其他事物更为复杂。
导引性假设:任何有组织、公正、合理的学术评价,都对被评价者有明显的导引(含诊断、预测、选择、激励等)作用。
充分性假设:对评价客体的信息掌握得越多、越深刻,评价的合理性越高。
(二)基本概念
1.学术
学术,又称学术研究,是指对文、理各学科系统知识的探讨和应用,包括原创的学术、综合的学术、应用的学术和教学的学术。
2.评价
评价是指主体根据需求对客体的意义、价值做出判断的行为。
3.学术评价
学术评价是指评价主体根据一定的目的和标准,采用一定的理论和方法,对评价客体展开的价值判断活动,也可以表述为评价主体衡量评价客体学术活动及其相关事项作用、影响或价值的过程和结果。狭义的学术评价是指根据评价主体要求,依据一定标准,达到一定目的、有组织的行为;广义的学术评价还包含个人自发的评价,诸如学术批评(含书评)等。
4.体系
体系是指若干要素以一定结构形式构成的,具有某种功能的,互相联系、互相制约的统一有机整体。
5.学术评价体系
学术评价体系是指评价工作的各个有关方面或各个要素互相联系而构成的一个整体。
6.评价主体
评价主体是指评价的主办者(委托方)、组织者、承办者、实施者,如对评价客体发表评价意见的个人、团体、社会及媒体等。在现行的学术评价实践中,评价主体是多元的,可以是学者、专家、同行个人或群体、学术机构、学术期刊、媒体、科研管理部门等,它们都按照一定的标准对评价客体发表自己的看法,都能发挥不同的评价作用,但起主导作用的是同行专家的评价。
7.评价客体
评价客体是指被评价的对象,包括研究人员和学者、学术机构、研究项目和计划、学术成果、学术媒体等。
8.评价目的
评价目的是指评价要达到的预期希望和总的原则要求,即评价的理由,为什么要评价,要解决什么问题。
9.评价方法
评价方法是指评价中使用的工具或手段,包括同行评议法(专家意见法、德尔菲法)、引文评价法、文摘评价法、加权求和评分法、指数加权求和评分法、混合评分法、系统分析评价法、模糊评价法、分层评价法、因果评价法、间接评价法、直接评价法等。
10.评价标准及指标
评价标准是指人们在评价活动中应用于评价客体的价值尺度和界限。评价的客观性因素是评价标准具有科学性的重要依据。评价标准是评价活动的关键部分,是对人们价值认识的反映,它表明人们重视什么、忽视什么,具有引导评价客体的作用。评价指标则是评价标准的细化。每一个评价指标都是对评价客体某个或某些属性的概括,必须在质和量两方面都得以确定。
11.评价制度
评价制度是有关部门制定的为保证评价活动顺利进行,要求相关人员共同遵守的规程,包括评价专家遴选制度、监督制度、评价对象申诉制度、评价结果公示制度、反馈制度、评价结果共享制度、第三方独立评价制度等。
12.形式评价
形式评价一般是从评价对象的外部形态进行的评价,可以用数据来表示。例如,某研究机构有多少教授,科研经费多少,办公室多大,发表多少文章,等等。对论文的题名、作者、字数、格式、参考文献数、基金资助等的评价也可看成形式评价。形式评价的优点是简单易行,有时也能反映某些内容,但缺点是不能反映全部内容,故不能“唯形式评价”。它适用于简单评价目的的评价。
13.内容评价
内容评价则比形式评价高一个层次,它被我们定义为是同行专家对评价客体的内在情况进行考察或解读后的价值判断。例如,对博士学位论文的内容评价就是同行专家在对论文文本进行阅读、分析后,对其逻辑性、学理性、思辨性、解释性、预见性、创新性等方面做出评价。相较于形式评价,内容评价费时费力,但其优点是能够把握真实情况,使评价主体不被形式化的“标题党”所迷惑。
14.效用评价
效用评价是指对评价客体产生的实际贡献、社会和经济效益、应用结果以及影响人们思想变化的程度等的评价,它需要同行专家的判断,还依赖于实践和历史评价或检验。这里体现出历史唯物主义和辩证唯物主义的思想,强调实践在评价中的独特作用,效用评价需要一段时间或较长时间才能呈现,是“进行时”或“未完成时”,往往通过事件、案例等来表述。效用评价是三个维度的评价中最重要的,但评价起来更加费时费力,对在某一段有限时间内(如4~5年)无法出现明显效果的评价客体的判断更是如此。
15.引文
引文(citation)与参考文献(reference)既有联系又有区别。当引文是指“引语”时,那它是大小同行间科学对话的一种方式,是同行作者个体发出的主观判断或评价,即能够读懂、会利用被引文献内容的大小同行对其研究或写作做出是否“有用”或“有帮助”的判断或评价。这属于广义的同行评议(包括个体与组织的评价),诚然,引文不仅具有同行评议的优势,也有其局限性。当引文是指参考文献时,那它是“引语”的文献出处,是查找“引语”的索引,是“引语”的外在标识,这些索引或标识是可以被明确计量的。引文在学术评价上的本质特征是:它既包含定性(同行评议)评价的要素,也包含定量(通过参考文献条数计量)评价的要素。它不完全等同于有组织、有目的、有标准、有制度、被精选的同行专家进行的定性评价。它与科研质量评价正相关,有时能在一定程度上间接反映质量,但不等于就是质量评价。引文数据可以用来评价影响力,但影响力评价也不等于质量评价。在简单评价、宏观评价、粗略评价、形式评价等评价目的下,评价主体通过引文进行学术评价是简洁、省力省时的,但在复杂评价、微观评价、精细评价、质量评价等评价目的下,引文只能供同行专家在评价时分析、参考、验证,不能替代同行专家的评价。
(三)学术“全评价”体系分析框架
学术“全评价”体系是指学术评价的一套概念系统、应用原则和规则。所谓“全”,一是指涉及学术评价的“所有的要素”;二是指评价客体的“全部”维度,即从三个维度来评价。具体说来,“所有的要素”是指至少六大要素,即评价主体、评价客体、评价目的、评价方法、评价标准及指标、评价制度,由此组成评价体系;三个维度则是指对评价客体进行形式评价、内容评价和效用评价。换言之,学术“全评价”体系就是指六大要素、三个维度(形式评价、内容评价和效用评价)及其定义、推论、解释和运用原则及规则构成的评价体系,也可称作学术“全评价”体系分析框架或理论(见图1)。

(四)基本结论
学术“全评价”体系针对当时学术评价上存在的质量和创新力评价弱化、过分数量化、过分形式化、过分行政化、评审专家人情化、评价结果软化“六化”问题和许多评价活动的评价目的不明确、一些指标明显不合理、方法失当等常识性问题,分析其原因,提出了评价基本的规范和规则,描绘了评价的理想图景,提出了今后努力的方向。该体系的核心内容是六大要素、三个维度和六大推论。六大要素是评价主体、评价客体、评价目的、评价方法、评价标准及指标和评价制度,每一大要素又可以分成几个下位要素,各要素之间相互作用、影响。其中,评价目的是“龙头”,制约着其他要素,比如其决定如何选择评价主体,评价客体如何分类,评价方法如何选择,评价标准及指标有哪些,评价制度如何设计,等等。评价主体中的同行专家是主导,评价客体是对象,评价标准及指标是关键,评价方法是工具,评价制度是保障。三大维度是形式评价、内容评价和效用评价。六大推论是评价目的制约论、同行专家主导论与元评价论、评价客体分类论、文献计量法辅助验证论、评价标准及指标核心论和适当论、评价制度保障论。通过10多年评价实践,笔者从宏观、中观、微观三个层次,结合国内外评价实例对学术“全评价”体系进行了验证,证明了学术“全评价”体系具有较强的逻辑性、解释性和预测性。学术“全评价”体系的特点是贯穿于学术评价的全角度、全要素、全方位、全过程,具有开放性和发展性。
二 理论的原创性分析
(一)理论缘起
笔者于1981年7月在南京大学图书馆学专业毕业后,就开始对外文期刊和中文期刊进行研究。1989年,参与发起成立全国高等学校图书馆期刊工作研究会,主编研究会会刊《连续出版物管理与研究译丛》(后改名《期刊管理与研究》)。1991年,被美国大型检索期刊《历史文摘》(Historical Abstract)聘为编辑顾问,将我国文科综合性期刊和名校文科学报以及数十篇极具价值的论文推荐给《历史文摘》作为来源期刊和英文文摘引用及发表。
20世纪90年代初,笔者就发文明确提出要建立中文社会科学引文索引数据库,主要目的是“检索”期刊文献,并撰写研制报告上交校图书馆和学校领导,之后在校领导和大家的共同努力下,中文社会科学引文索引(Chines Social Science Citation Index,CSSCI)终于研制出来。该引文索引数据库之所以很受关注,是因为社会上对“评价”很有需求,特别是科研管理部门等。之后笔者还参与过一些有关人文社科评价体系和学术规范的研究项目,1995年出版了国内第一部系统研究核心期刊的专著《核心期刊概论》,1998年该书获国家教委(现教育部)高等学校人文社科研究优秀成果奖二等奖。
1999~2000年,笔者于在美访学期间收集了不少国外学术评价的资料。2004年,主持国家社科基金重大项目“建立和完善哲学社会科学评价体系研究”,正式开始构建文科评价体系。2003~2008年,兼职负责南京大学中国社会科学研究评价中心(编制CSSCI)和南京大学中国人文社会科学评价国家创新基地的工作,应邀参加各层次各类型学术评价活动,与人文社科各学科学者积极对话、交流,对评价中的得失有较多了解,积累了较丰富的评价实践经验。
笔者在读大学之前的个人经历,对后来的学术研究也有较大的影响。1972~1978年在南京钢铁厂期间,受当时的风气影响,阅读过一些理论书籍,产生了对理论研究的兴趣。当时参与过将古代思想家李贽著作中的古汉语译白话文的工作;主编过《马恩列斯论经济危机》书稿;还进入“七二一大学”攻读过电子专业,学习了几个月的“高等数学”“物理学”“机械制图”等课程。进入南京大学后,除图书馆学专业的学习外,还主动地学习了经济系的“高等数学”课程和哲学系的“辩证逻辑”课程等。这些知识上的积累,对笔者之后的学习研究,乃至于提出学术“全评价”体系都有助益。
(二)理论源流
1.价值论、认识论、实践论,尤其是马克思价值理论
马克思价值理论的实质是把价值归结为人与人之间的社会历史关系,价值问题从本质上说是人类社会历史实践活动中的问题。所谓价值,就其深层内涵而言,是指客体与主体需要的关系,即客体满足人的需要的能力。马克思认为,人应该在实践中证明自己思维的真理性。这一论述为确立评价理论的客观性标准提供了基础。实践就是人类根据自己的价值理想对现有状态的改造,实践的范畴内在地包含了人的目的性与价值选择。一个理论是否正确反映了客观实际,是不是真理,只能靠社会实践来检验。但实践是不断发展的,因此作为检验真理的标准,它既具有绝对的意义,又具有相对的意义,二者辩证统一。评价价值论认为,在人的认识活动中评价是一种揭示客观世界的价值、观念性地建构价值世界的活动,是一种较之认知更接近于实践的认识活动。评价作为认识价值的一种观念性活动,既属于价值论研究的范畴,又属于认识论研究的范畴。在价值判断中,事实判断是基础,这个事实既包括客体本身的性质,也包括主客体相互作用的结果,这样以事实判断作为基础的价值判断才有可能被称为合理的。价值并不同于真理,真理是一元的,人们对同一事物的本质与规律的正确认识只有一个,其不会因为认识主体的不同而不同。价值则既有多元性,又有一元性,因为除了事实之外,价值判断中还包含了事实判断所不具有的主体的需要、信念、理想。“应该”不是简单地从“是”中推论出来的,仅从“是”中推不出“应该”。“应该”的产生既依赖于事实,又依赖于人的客观愿望、人的理想。
2.系统论、信息论、知识论,尤其是“全信息”理论
自 19世纪以来,人类知识进入了一个急速分化的时期,科学越分越细,学科越来越多。这种分化使得研究专门化,在一定时期内大大地促进了人类知识的进步。但是,随着分科过细,不同学科之间的误解、隔阂也在增加,出现了彼此漠视的现象,阻碍了知识的交流、对话和沟通,对人类知识进步的负面作用也越来越明显。二战以后,横断科学(比如系统论、信息论)兴起,人类知识进步的历史进程不再总是强调学科分化,而是表现出综合知识的“跨学科”意图。从系统论的观点出发,研究者可以将所有客观事物看成一个系统,“系统表现为一个整体,其中每一要素的变化依赖于所有其他要素”。系统是各个组成要素相互影响、相互作用的有机整体。当系统处于开放状态,其外部环境发生变化时,系统内各要素会自动调节,使系统达到新的平衡。从系统与要素、要素与要素、系统与环境之间的相互联系中去分析系统,综合考察对象的性质、特点与运动过程,可以从整体上把握系统功能、结构和动态变化规律,寻求到解决问题的最佳途径和方案。复杂的评价系统由许多子系统组成,每个子系统则由更小的子系统组成。通过对系统之间和系统内部的分析,研究者可以将许多复杂的问题层次化、清晰化,从而达到解决问题的目的。系统论为构建学术评价体系提供了直接的理论依据。该理论把评价活动看成一个系统,认评价标准及指标、评价方法等均应按系统最优的方法进行运作。系统论的思想构建复杂的学术评价体系提供了实现的路径和方法。为了实现预定目标,系统根据信息反馈,从信息流通上研究调节与控制规律,不断调整自身功能,克服原有的不确定性。研究者可以通过分析系统的信息流通过程、反馈机制和控制机制,寻求能够使系统达到最佳状态的方法。因此,信息论是控制论的基础,二者共同成为系统评价的研究方法。
信息方法是指从信息的角度,而不仅仅是从物质、能源的角度研究问题,包括信息系统分析方法、信息系统综合方法和信息系统进化方法,三者“分合有机互动”。此法由我国学者钟义信先生首先提出,根据他的“全信息、全知识理论”,信息有三个维度,即语法信息、语义信息和语用信息,分别对应信息的形式、内容和效用。学术评价的客体即评价对象,如学术成果、学术机构或学者个人,都可以被视作一个“信息体”,因此研究者可以从其形式、内容和效用三个维度构建评价指标体系或评价体系的通用框架。
(三)理论的原创性阐释
学术“全评价”体系由六大要素、三个维度和六大推论组成,首次将学术成果评价从定性、定量二元评价模式拓展为形式、内容和效用三维评价和“三面三力”的评价框架,提出评价目的制约论等新观点。
1.概念创新
第一,首次提出学术“全评价”这一标识性概念。该概念强调全要素、全角度、全方位、全过程,全要素是指六大要素;全角度即可从形式评价、内容评价、效用评价三个维度来评价;全方位即既涵盖对学术成果、人员、机构等各种类型的共性评价,也包括在共性评价基础上对不同评价客体的个性评价;全过程即涉及评价目的和计划的拟定,评价方法、标准及指标、制度等的设定,评审专家的选定,以及评价结果的呈现、反馈、存档等步骤,突出评价的开放性、相对性、完整性。
第二,首次对形式评价、内容评价、效用评价三个维度的概念组合进行定义:形式评价是评价主体对评价客体内含知识的外部特征的评价,通常可用数据来反映;内容评价是评价主体对评价客体内含知识的本身特征的评价,由同行专家直接观察、阅读文本,并在讨论后做出评价,通常用文字来反映;效用评价则是注重实践、时间、历史对评价客体实际作用、价值的验证,通常用“硬事实”(hard fact)案例等来表示。这里将马克思主义的认识论、价值论、实践论运用到对这些概念的定义中。
第三,首次区分学术评价有广义和狭义之分,有“组织性评价”和“个体自发评价”之分。
第四,对“引文”等概念进行定义或表述,其既有定性因素又有定量因素并对评价主体、客体、方法、标准及指标、制度等概念均有新的界定。
2.观点创新
第一,在六大要素中,评价目的最为重要,该观点也可被称作评价目的制约论。是合格评价还是质量等级评价,评价目的不同,评价主体的选择、客体的分类、方法的选取、标准及指标的设计、制度的安排就不同。在一定的评价目的下,研究者可以对文学家的鲁迅与画家的齐白石在社会功能、影响力方面进行“跨类”比较评价;在一定的评价目的下,评价指标中可以有共性指标,也可以有个性指标(避免千篇一律),可以有定量指标,也可以有定性指标。过程评价、诊断评价、竞争评价、合格评价、质量评价等评价目的不同,评价方法等就不同。评价目的不明确或目的与其他要素不匹配是评价失败最主要的原因。
第二,任何一个评价客体均可以从三个维度进行评价,即形式评价、内容评价、效用评价的三维概念组合。三个维度由低向高、由浅人深、从简到难,作用由小到大,难度也依次递增,这比定量评价和定性评价的二元评价模式更有解释力。
第三,凡合理、科学、权威的学术评价都应在事实判断正确的基础上进行价值判断。事实不清,则不可能有正确的价值判断;而仅有事实判断,也不能得出真正意义上的评价(价值判断)。
第四,一反认为引文等仅是定量数据的流行看法,认为引文既有定性因素(由同行所为)又有定量因素,故对引文不应忽视或觉得数据“至上”,而是要合理利用,不能绝对化。论文发表量、成果转载量、影响因子、H指数等概念也应如此看待。文献计量法不能取代专家评价法,但可以为专家评价提供参考、支撑、校验。在某些简单的评价目的下,诸如国家、地区间等较为宏观的对比评价,或学者年度工作量的评价,文献计量法是简明的、有作用的。
第五,学术质量评价不等于学术影响力评价,尽管二者有正相关关系,但质量评价主要是内容评价和效用评价。事件、案例、贡献说明等是效用评价的重要标志。
第六,学术创新不能统而言之,否则易引误解,或“神化”,或“矮化”,均不足取。学术创新有层次和大小之别,原始的理论创新层次最高,观点、方法等的集成创新、应用创新、移植创新等逐级次之。
第七,在评价目的是质量评价、精细评价的情况下,务必厘清评价组织方与同行评价专家的关系,必须贯彻同行专家主导论的原则,重视评审专家的元评价(对评审专家的可信度进行评价)和申诉制度(这是由评价的阶段性、相对性和局限性所致,一旦发现差错,可及时纠正)。
第八,合理的学术评价体系有助于学术规范和科研诚信度的提高。学术“全评价”体系的实质是反对评价的片面化和绝对化,片面化、绝对化将导致学术失范、失信和学术不端行为的出现。
第九,学术评价工作实际上就是对评价客体相关信息搜集、加工、分析、利用的过程,因此学术评价是信息(资源)管理学科研究的重要内容之一。学术评价研究包括核心期刊筛选、引文分析、网络资源评选、文献计量法应用等,是一个涉及文理等多门学科的交叉学科,因而也就成为图情档新的学科增长点。笔者提出了学术“全评价”体系由六大要素、三个维度、六大推论构成的观点;学术创新有层次、有大小的观点;在一定的评价目的下,文学家的鲁迅与画家的齐白石在社会功能、影响力方面可以进行“跨类”比较评价的观点;在具体评价中,在一定评价目的下,评价指标中可以有共性指标,也可以有个性指标,可以有定量指标,也可以有定性指标的观点;在精细评价中,务必重视评审专家的元评价和申诉制度的观点。这些观点均是首次提出。
3.理论创新
笔者率先构建了一个全要素、全角度、全方位、全过程的能够指导各类型学术评价的分析框架或评价体系。首次将学术评价从定性、定量二元评价模式拓展为形式、内容和效用三维评价和“三面三力”的评价框架,在提出“标识性概念”的基础上,形成了评价目的制约论、同行专家主导论与元评价论、评价客体分类论、文献计量法辅助验证论、评价标准及指标核心论与适当论、评价制度保障论等若干新推论,既概括了成果评价、学者评价、机构评价等的共性,也为各类型的评价提供了自主发挥的空间,既突出了人文社会科学的特色及其评价的特点,又与自然科学评价体系相联系。运用学术“全评价”体系的分析框架,研究者可以更好地认清以往评价的经验与教训,合理解释评价现状,科学预测评价的未来大方向。
4.方法创新
笔者将文献计量法与专家调查法、案例分析法、归纳法与演绎法、分析法与抽象法等有机结合,将所有评价客体看成一个“信息体”,应用信息方法,形成了包含语法、语义和语用信息的“全信息评价法”。
(四)理论的学术意义与现实意义
笔者围绕新时代学术评价体系的建立与完善这一影响学术发展和繁荣的关键性重大理论与实践问题,提出了具有重大价值、有利于构建自主知识体系的新的学术“全评价”体系,填补了研究领域尚未构建出完整、系统性评价体系的空白,从理论上确立了学术评价的大方向和基本路径,从学理、宏观整体上认清了评价中存在的问题及其根源,极大丰富和拓展了图情档学科理论,推动了科学哲学、科学社会学等相关学科领域的发展。该学术评价体系已被学界多次引用、转载、评论,在业界也成为全国性研讨会的主题。
该体系从战略上提出综合治理评价问题的具体方案,从策略上设计出分阶段解决评价问题的办法,从机制上形成评价实践与评价理论之间的良性互动,对解决评价中存在的“四唯”“五唯”“SCI至上”等实际问题,培养优秀的学术品德,营造良好、宽松的研究环境,繁荣发展人文社会科学均具有重要现实意义。
(五)国际比较及优势
2012年和2015年,国际学术界、出版界、教育界针对学术评价中“唯”影响因子论等问题进行研讨,发布《旧金山宣言》和《莱顿宣言》,提出要重视评价目的,反对以影响因子评价论文、学者等,提倡学术评价要以研究的内容为依据,国际国内纷纷响应、引用。但仔细分析这两个宣言中的观点,实际上在2010年提出的学术“全评价”体系及其六大推论中早已有所论及,且更具有逻辑性与系统性。例如,《莱顿宣言》的十大原则,其与学术“全评价”体系中的许多观点极为相近,可谓不谋而合。诸如:“量化的评估应当支持而非取代质化的专家评审”与学术“全评价”体系中的同行专家主导论及元评价;评价“应当首先明确评估的目标,而所采用的指标也应切合这些目标”与学术“全评价”体系中的评价目的制约论;等等。从时间跨度来看,2015年《莱顿宣言》发表,而2010年学术“全评价”体系就已被正式提出。对“评什么”“谁来评”“怎么评”“怎么用”等问题,学术“全评价”体系均给出了一个很好的框架建议。
三 学界评价
2010年,有关学术“全评价”体系的论文发表后,学界就对此有一些报道、转载、评价、引用等。2021年,专著《学术“全评价”体系论》出版后,又有一些同行进行评论。
大连理工大学专门研究学术评价的姜春林教授认为,“全评价”是充分吸纳系统科学、认识论、价值论、实践论等学科理论而提炼出的标识性概念。这一概念的提出,突破了传统评价体系要么强调影响力等外部指标,要么过于依赖同行评议等主观方法的局限,是对学术评价体系要素、结构、功能、机制、效用的高度概括和凝练,是整个评价体系的基础和理论内核。2010年提出的这一概念的内涵不断被著者所发展和深入阐释,广泛被评价界同仁引用,并被《光明日报》等权威官方媒体和《中国图书馆学报》《中国社会科学报》等学术媒体报道评论,表明这一极具特色的标识性评价概念已被广泛认可,产生了积极的学术影响和社会影响。
复旦大学智能评价专家耿哲和赵星教授认为,学术“全评价”体系的提出具有前瞻性和预测性。他们认为,从时间跨度来看,叶继元教授在2010年就已提出学术“全评价”体系,该体系的构建比中国特色哲学社会科学学术评价体系的提出早了6年,也比国际上《莱顿宣言》的发表早了5年。从内容维度上看,学术“全评价”体系主张从形式、内容和效用三个维度进行评价的观点,与2017年中共中央印发的《关于加快构建中国特色哲学社会科学的意见》中“以学术质量、社会影响、实际效果为衡量标准”的论述有共通之处。可以说,学术“全评价”体系在一定程度上预测了学术评价的原则及发展方向。
武汉大学信息管理学院学术评价专家杨思洛教授及其学生江曼发现,《人民日报》、《光明日报》和专业期刊上有20多篇与学术“全评价”体系及其应用相关的文章。截至2023年1月26日,这些文章在中国知网被全文下载19237次,总被引量325次,这充分说明了学术“全评价”体系的科学性和影响力。他们认为,该体系相关理论与方法促进了学术评价体系的完善和评价机制的改革发展,许多论著以此为基础,很多评价实践以此为指南,许多学者也将学术“全评价”体系作为理论或分析框架加以运用,这些研究和实践产生了较大的反响,显示出学术“全评价”体系的重要价值和旺盛生命力。
重庆大学文献计量学者杨新涯教授认,学术“全评价”体系致力于弥补当前人文社会科学学术评价体系的缺失,推动中国特色人文社会科学事业繁荣发展,在一定程度上尝试修正过分数量化、过分形式化、评审专家人情化和评价结果软化等问题。他认为学术“全评价”体系虽侧重人文社会科学领域的学术评价,但其理论和方法同样适用于自然科学领域。
档案学学者胡鸿杰等研究了叶继元教授的《基于质量与创新测度的人文社会科学“全评价”体系及其应用》一文,阐述了其中的一些观点,如任何学术评价至少涉及六个方面,即评价主体、评价客体、评价目的、评价标准及指标、评价方法和评价制度,以及形式评价、内容评价和效用评价三个维度。其中,评价主体即被称为“同行专家评价”的学术共同体;评价客体即按照不同层次、不同类型划分的评价对象,如研究型教材、工具书式的著作、综述性论文等;评价目的即分类评价的动因;评价标准及指标可以从形式、内容和效用三个维度具体设置;评价方法包括同行评议法、引文评价法、文摘评价法等计量方法及各种方法的有机结合;评价制度即根据评价目的而设计的各种规则。他认为学术“全评价”体系至少弥补了只评价期刊论文和只计算影响因子的缺陷,其中的形式、内容和效用评价,不仅仅是“从低到高,从相对简单到相对复杂,可以根据不同的评价目的,评价的难易程度,加以选择、组合和应用”的评价指标,更是一种相互关联的维度关系。
期刊专家高自龙认为:“叶继元提出了从定性、定量二维评价法到根据实际条件层层递进的三维评价法,即形式评价(从评价对象的外部形态进行定量和定性的评价)、内容评价(同行专家对评价对象实质性内容的评价)和效应评价(对评价对象的实际贡献、‘两个效益’、应用结果、影响力的评价)。这些思路和架构对评价研究和实践很有启发。其中,首要的是必须弄清楚评价目的和对象。”
期刊研究者刘翠认为:“叶继元对评价体系的构想既是他多年研究的结晶,也是对学界对学术评价现状反思成果的吸纳,特别是他提出的评价体系六要素说,即评价主体、评价客体、评价目的、评价方法、评价标准及指标、评价制度,值得学界重视。”
文科期刊主编、学术史研究学者余三定教授认为,叶继元教授所提出的学术评价的定义“较具学理性、理论性”,“形式评价、内容评价和效用评价的‘三位一体’组合的观点,既具创新性、学理性,也具有较强的可操作性”。
学者邸乘光提到,“笔者赞同叶继元教授的观点:‘不同的评价目的决定着不同的评价标准和指标、不同的评价方法和评价专家的选择以及评价程序的确定,它是评价的龙头,分类评价的动因,规定、制约和导引着整个评价的方向和具体做法’”。
同行专家王文波、沈阳、林波提到:“叶继元曾提出由‘评价主体、评价客体、评价目的、评价方法、评价标准和评价制度’六部分构成的学术评价体系。笔者借鉴这一观点,可初步得到系统论视角下的四维度社会科学评价体系,即评价客体、评价主体、评价活动、评价结果。”
图书情报学同行李艳提到,学术“全评价”体系是由南京大学叶继元教授于2010年在《人文社会科学评价体系探讨》一文中正式提出的,经过近几年在电子书评价、学术期刊评价、学科馆员评价等实践中的应用,得到了国内外学术评价界的高度认可。李艳认为正如叶教授在文章中所说,所谓学术“全评价”体系,概括起来就是“六位一体”和“三大维度”。“六位一体”即指评价目的、评价主体、评价客体、评价标准及指标、评价方法、评价制度。其中,评价目的是龙头,评价标准及指标是关键,评价方法是手段,评价制度是保障。“三大维度”即指对任何评价客体都可以从形式、内容和效用三个维度去评价。与以往的评价体系相比,该评价体系更全面、科学和精细。李艳在研究中利用学术“全评价”体系构建了科学合理并具有可操作性、能全面评价高校图书馆纸本馆藏的指标体系模型,以期和同行交流与探讨。
图书情报学同行韩子静等提到,浙江大学图书馆在“全评价”理论的指导下,运用了五种方法对哲学外文纸本图书馆藏进行综合评估,构建了人文社科纸本图书馆藏评估指标体系。浙江大学图书馆哲学外文纸本图书馆藏评估是“全评价”理论指导下的馆藏精细化评估,“全评价”理论的核心是六大要素即评价主体、评价客体、评价目的、评价标准及指标、评价方法、评价制度,“三位一体”即从形式、内容、效用三个维度开展评价。
四 研究展望
学术“全评价”体系已提出15年,尽管得到了业界的认可与应用,被视为今后学术评价的大方向,但面对复杂的评价难题和评价实践,该体系中的一些细节问题还需要深入探讨。
例如,学术“全评价”体系中的六大要素及其相互关系,较好地描述了评价体系的关键组成部分和运行机制,但是针对各要素中具体包含哪些子要素、子要素之间如何互动、六大要素之外是否需要增加一些要素等问题,还需深入研究。评价主体中同行专家是主导,但在实际的有组织的评价中,委托方或组织方作用更大,其与同行专家如何划清责任边界,怎样协同又相互制约,如何根据评价目的制定出各方共同认可的评价标准及指标,如何执行得出最终评价结果,都是复杂的问题。从评价体系的运行和结果来看,任何评价结果都是相对的,如有大的偏差,就要反馈到过程,由系统自我纠偏。因此,评价过程与评价结果对系统的动态平衡非常重要,其是否可以作为附加的两大要素纳入体系之中,值得思考。这两者与评价制度密切相关,评价制度越严密,评价过程就越符合“程序正义”的要求,其评价结果就越可靠。可靠的评价结果如何利用,能否另一轮评价(评价目的相同或类似)提供参考或依据,以节省学术评价的人力、物力等细节问题,也值得研究。又如,既包含定性和定量因素,但又不完全等同于质量评价的引文数据、转载数据、稿件评审录用比例、基金论文稿件评审录用比例等,即经过同行评审,且证明其结果有一定合理性的评价数据,在一定的评价目的或需要情况下,是否既可以作形式评价的指标,也可以作为内容评价或效用评价的一部分间接指标或者替代指标而存在,值得深入探讨。
再如,尽管学术“全评价”体系考虑到了哲学社会科学研究评价的特点,但与理想图景的中国特色哲学社会科学评价体系相比,其在评价标准及指标等方面还需更加突出文科的特点。
总体上看,今后可以从评价理论和评价实践两大方面开展研究,也可以从学术“全评价”体系的六大要素着手,进行深化研究。下面是一些议题。
一是关于评价目的。评价目的的类型和层次的研究。为了营造良好的评价环境和学术创新生态,充分调动各类评价主体的积极性,引导科研人员潜心研究、探索创新评价目的,应结合具体评价目的如合格性评价、诊断性评价、水平评价、质量评价、奖励评价、资源配置评价讨论其如何制约评价主体的选择、客体的分类、标准的制定等。
二是关于评价主体。学术共同体,即同行专家,与政府、媒体、社会组织、企业、投融资机构、大众等评价主体的关系研究;评价组织方与同行专家的关系研究;同行评价的元评价研究;“谁委托科研任务谁评价”、“谁使用科研成果谁评价”与评价主体多元化研究;原创/颠覆性创新与一般创新成果评价主体选择研究;等等。
三是关于评价客体。分类评价与跨学科评价研究;引文库来源(SCI、SSCI、CSSCI、Scopus等)期刊、论文合理分类研究;高质量期刊与核心期刊、来源期刊异同研究;基础研究、应用研究等不同成果之间建立合理的换算关系研究;大学评价的理念与政策导向研究;基于质量、成效评价大学排行榜的研究;大学教师“非升即走”、终身聘任制(tenure)利弊研究;国家科技奖、哲学社科奖励、社会力量奖励体系研究;院士制度改革研究;等等。
四是关于评价方法。定量方法与定性方法相结合研究(如何根据评价目的来确定定性与定量方法的各自权重,如何形成有定量基础的同行评价、有定性基础的计量评价);定性因素的细化和可操作化研究;案例评价法、事实认定法与内容评价、效用评价的关系研究。
五是关于评价标准及指标。科研成果的科学、技术、经济、社会、文化五大价值全面准确评价研究;创新质量的概念、层次、大小、权重等研究;共性/通用指标与个性/具体指标相结合(规定指标与自选指标相结合,底线指标与各层次指标相结合)的研究;中长期评价与成果价值早发现、早实现评价的关系研究;评价指标有效性研究;评价指标悖论研究;等等。
六是关于评价制度。原创/颠覆性创新公开展示和开放评价制度研究;宽容失败的容错机制(含明确容错标准、相应制度安排等)研究;大小同行评价专家动态选择制度研究、相互制约和平衡评价研究;如何在引人第三方评价方面发挥市场资源配置的决定性作用,政府如何更好地发挥作用的研究;等等。
总之,中国学术的发展和评价实践的发展,为学术评价的研究提供了足够多的“富矿”,只要我们奋力开采和提炼,那么学术“全评价”体系就一定能够不断完善和发展。
2024年,笔者主持国家社会科学基金重大项目“学术‘全评价’视域下中国特色哲学社会科学评价体系建设研究”,针对一系列问题进行深入研究,比如:如何构建学术“全评价”视域下的中国特色哲学社会科学评价体系;如何使学术“全评价”体系和中国特色哲学社会科学评价体系契合度进一步提高;如何更加明确体现中国特色哲学社会科学的特点;如何对中国特色哲学社会科学评价体系进行实证分析;如何利用人工智能等新技术搭建中国特色哲学社会科学评价体系的示范性数据服务平台;如何进行元评价和中国特色哲学社会科学评价体系的推广应用;如何检测其实施效果;如何实现中国特色哲学社会科学评价体系对中国哲学社会科学发展的导引作用;如何导引中国哲学社会科学原创性研究成果发展,包括自主知识创新成果、学科体系、话语体系等;如何推动创新人才的出现,并最终达到繁荣学术、造福中国和人类的目的;等等。
学术“全评价”体系主要贡献者简介
叶继元 南京大学特聘教授(高层次学科带头人),信息管理学院博士生导师。担任教育部社会科学委员会委员(管理学部委员),中国索引学会副理事长兼学术评价、规范与数据伦理专委会主任,中国科技情报学会科研诚信建设工作委员会主任,中国图书馆学会图书馆统计与评价专业组主任,全国高校图书馆期刊工作研究会副会长兼首席专家。曾任国务院学位委员会第五届学科评议组成员(2003~2008年),美国《历史文摘》(Historical Abstracts)编辑顾问(1991 ~1997年),美国 Kansas 大学访问学者(1999~2000年),美国 Drexel 大学讲座教授和高级访问学者(2006年)。兼任北大、人大、中国社科院等研究顾问、咨询专家,南开、中南、华师大、南航、南师大等兼职教授。主要研究期刊、信息资源建设、组织与检索、图书馆学理论与方法、信息社会论、引文分析、学术规范、学术评价等。主持多项国家社科基金、教育部重大项目。发表论著百余篇/部,代表作有《核心期刊概论》(1995年)、《学术规范通论》(2005年)、《学术“全评价”体系论》(2021年)等。多次获得教育部等优秀成果奖、全国优秀博士学位论文提名奖等,曾发起成立“全国高校图书馆期刊工作研究会”,组织全国外刊订购协调,取得重大社会效益和经济效益。获国务院政府特殊津贴。
版权声明:
本文来源:
叶继元.学术“全评价”体系:缘由、要义与展望[M].徐拥军,杨红艳,戴鹏杰.中国哲学社会科学原创学术理论分析报告(2025).北京:社会科学文献出版社.2025:232-265.
编辑整理并审核:贾毓洁