生成式人工智能工具在科学研究中被广泛应用,用于支持文献检索、证据整合以及论文撰写工作。虽然这些系统有望大幅提升工作效率,但人们对其可靠性提出了质疑,尤其是这些系统倾向于引用不准确、伪造或已被撤回的文献。之前的文章中也详细讲述了因生成式AI工具参与科研写作,导致的“拼凑引用”(Frankencitations)等引用不端现象。
今年十月,某大学2026届博士毕业生的学位论文被小红书等平台网络举报涉嫌使用人工智能工具辅助生成、大量伪造参考文献,引发学术界和社会公众广泛关注。举报者指出,该论文存在虚构参考文献、出版社名称造假、基本史实错误、AI句式特征明显等多重问题,其性质已触及学术不端认定标准。
来源:涉事大学官网
早在去年年初,“AI乱编文献”的相关话题已经冲上热搜,同年《柳叶刀》期刊和同行评议平台PubPeer也指出,今年收到的论文、书籍引用假文献的线索大幅增加,其中包括捏造引用文献、对真实文献信息的实质性引用错误(文章标题、作者姓名、来源等),以及引用格式错误的情况。可见AI工具在查找获取文献方面依然存在明显不足。
来源:科学网
引用不明来源的虚假文献导致撤稿的专著和期刊论文
另一方面,AI对论文参考文献的真实状态也缺乏最基本的判断能力。今年4月发表的一项研究测试了三个独立的语言模型针对参考论文撤稿情况的判断能力(GPT OSS 120B、Gemma 3 27B、DeepSeek R1),由模型扮演学术研究者,回答文章是否被撤稿,并要求解释撤稿原因、复制撤稿通知。研究测试了217篇“高影响力撤稿文章”和34070篇“正常发表的文章”两组数据。实验结果显示,三个模型认为已撤稿的论文集中超过80%的论文“未被撤稿”,即便正确辨认出撤稿的论文,大模型给出的内容也基本全错:期刊名、卷号、撤稿原因部分或完全编造且内容笼统;对“正常发表论文集”的判断中,有55篇论文被误报为撤稿论文,并生成了详细但完全虚假的撤稿声明:论文的期刊名、DOI、撤稿原因、编委签名均为凭空捏造。
另一篇类似研究的文章测试了9种常见的免费AI大模型,实验从 Retraction Watch 数据库中选取了15篇被撤回的文章(截至2025年5月23日,其中10篇是最常被引用的文章,5篇是最新被撤回的文章)。在这次的测试中,依然没有任何模型能够正确判断测试论文的撤稿情况,其中表现最好的大模型也只达到了53.3%的准确率。
九种免费的生成式人工智能工具对15篇撤稿论文判断结果的准确率
两项研究证明,用AI工具处理参考论文时,依然需要对论文的每篇参考文献进行独立的来源核查,确保研究的可靠性。
万方文察 - 参考文献风险核查对论文参考文献的真实性和撤稿等失信风险进行逐条核查验证,检测报告分为“失信风险核查”、“真实性验证”两部分。
参考文献风险核查报告示例
检测报告的失信风险察验来源包括不同机构官方发布的预警期刊名单、出版商等公布的撤稿信息、官网通报惩处信息及发表后同行评议网站等多类型多维度科技大数据;参考文献真实性验证将论文参考文献分为三类:已验证,即查找到且各项信息核对一致的文献;信息不一致,即查找到相似文献但信息存在偏差;未找到,即因信息不全或不在检索范围内而未能找到的文献。
针对存在失信风险的论文,报告中将列出参考文献失信风险记录
参考文献真实性验证来源包括但不限于万方数据、PubMed、arXiv、OpenAlex等。如出现参考文献未找到的情况,除核实参考文献各项数据是否准确外,也可能因其来自上述之外的数据源,可自行验证或向评审机构提供参考文献真实性来源证明。
针对已验证的论文,报告中将列出参考文献真实来源
万方文察 - 参考文献风险核查:
https://wencha.wanfangdata.com.cn/text
[1] 情况通报 - 河北大学
https://hbu.edu.cn/info/1095/22447.htm
[2] 《柳叶刀》副主编:这类信件,我们一律拒稿
https://news.sciencenet.cn/htmlnews/2025/10/554251.shtm
[3] RETRACTED BOOK: Mastering Machine Learning: From Basics to Advanced - Springer Nature
https://link.springer.com/book/10.1007/978-981-97-9914-5
[4] An expert criticism on post-publication peer review platforms: the case of pubpeer - DARU Journal of Pharmaceutical Sciences
https://link.springer.com/article/10.1007/s40199-025-00580-z
[5] Do Large Language Models know Which Published Articles have been Retracted?
https://arxiv.org/abs/2604.16872
[6] Performance of AI Tools in Citing Retracted Literature : Content Analysis
https://www.jmir.org/2026/1/e88766