今年5月,贝鲁特美国大学信息科学家洛克曼・梅霍(Lokman Meho)在 arXiv 预印本平台发布了自己开发的研究诚信风险指数(Research Integrity Risk Index,RI² )及相关成果。这是一个基于撤稿和除名期刊产出的综合指标,用于检测机构出版实践中的结构性漏洞。近期《自然》杂志报道了对这一成果,并表示通过对高校科研诚信“危险信号”评分的方法更容易发现那些牺牲科学严谨性以追求传统出版指标的机构。
在洛克曼・梅霍的设计中,RI² 是一个明确围绕机构研究诚信风险设计的文献计量索引,判断传统高校排名遗漏的异常风险概况综合指标。包括以下两个主要维度:
撤稿风险: 高校在过去两年内每千篇出版物中撤稿文章的比例
除名期刊风险: 高校在过去两年内发表于被剔除学术数据库的期刊产出比例
※ 数据来源: Retraction Watch、PubMed、Scopus、Web of Science。
以“研究世界上出版量最多的 1000 所大学”为例,将每所大学在这两个维度分别进行排名后,大学的 RI²指数可计算为其在两个维度的排名顺序加权总和。例如,一所大学的撤稿率排名(R rank)位于第 1 ,所发表论文在除名期刊的占比排名(D rank)位于第 50 ,即:
RI² 总数越低则表示该机构的科研诚信风险越大。为了便于解读,可将高校基于 RI² 指数经过排名后划分为 “低风险” 到 “红色预警” 五个类别。其中 “红色预警” 表明两项指标数值均高,意味着需要对这些高校进行紧急审查。
谈及开发 RI²指标的初衷,洛克曼・梅霍表示,这一评价指标主要帮助识别“科研诚信可能因高校追求指标最大化的压力而受到损害的情形”,如科研机构因对论文发表率的一味追求等。他强调,该措施的目的不是识别研究不端行为,而是揭示值得进一步审查的漏洞。
如某大学在 2018-19 年至 2023-24 年期间其论文发表数量急剧增长,并且有相当数量论文被撤回或发表在已在被除名的期刊,因此其 RI²指标得分属于“危险信号”类别,与此同时该校的第一作者率则急剧下降。洛克曼・梅霍在预印本中称,诸如此类的数据应当促使该大学以及其它参与分析的机构更仔细地审查其研究人员发表的论文。
洛克曼・梅霍对所调查高校基于 RI²指数的科研诚信风险排名(部分)
来自印度赖布尔的数据科学家、印度研究观察组织创始人阿查尔・阿格拉瓦尔认为,RI²指数是 “很好的第一步”,排名机构应当采用。印度古尔冈 BML 蒙贾尔大学的数据科学家基兰・夏尔马也认为,该指数及时纠正了将科研质量等同于研究数量的体系,把关注点从数量转向诚信,有助于使学术激励与真正的学术价值保持一致。
而另一方面,某在 RI² 指标中排名靠前高校的发言人在接受《自然》杂志采访时称,该校论文发表量激增的情况部分归因于其在数据来源期间启动的一项试点计划。论文撤稿和除名期刊出版物数量的增加“发生在研究产出快速增长的时期”,第一作者和通讯作者的变化则是“扩大研究合作的结果”。该校认为,虽然原则上为科研诚信打分是个好主意,但这种诚信风险指数“缺乏机构背景,依赖于一般性的假设”。
文中部分内容来源:
‘Integrity index’ flags universities with high retraction rates - Nature https://sites.aub.edu.lb/lmeho/ri2 https://sites.aub.edu.lb/lmeho/methodology