如今关于讨论人工智能过度参与论文写作的危害、分析这类论文特征的研究已然层出不穷。在理论之外，专业期刊编辑和审稿人对人工智能所写论文的实际甄别情况又会如何？有研究邀请了 14 位审稿人进行了相关实验。

研究于 2024 年末使用当前 ChatGPT 的最新模型 GPT-4o 参与实验。研究人员仿照某大学医院曾开展的一项调研，要求 GPT-4o 在科学文献的指导下生成相关研究数据，并对数据统计分析后整理出一篇回顾性研究论文。最终经过提示修改生成的论文符合传统的学术格式和 CONSORT（临床试验报告规范）指南，并包含 20 篇相关参考文献。在此期间没有研究人员对数据集或稿件内容做出贡献。

这篇完全由 GPT-4o 完成的论文被发送给 14 位曾担任过 SCI-E 索引期刊的审稿人或编辑进行评估。在评估开始前他们已经被告知即将审核的论文可能由人工智能模型生成。在论文评审的编辑阶段，2 位审稿人接受了该论文；6 位审稿人决定拒稿；另有 6 位审稿人选择将其转交同行评审。在同行评审阶段，6 位审稿人建议拒稿；4 位审稿人建议对论文进行重大修改；其余 4 位审稿人建议进行少量修改后接受了该论文。

此外，14 位审稿人中只有 3 位审稿人辨认出论文由人工智能所写，他们指出文中存在句子及措辞模式化、讨论内容浅显和语言重复等特征。

1. 语言特征：

语言结构和流畅度：论文总体表述较为恰当，但有些“模板化”。同时语言上过于依赖专业术语，不够自然流畅。

格式：论文中对数据、统计资料和表格的呈现方式相当机械，需要更多分析和阐释的部分则缺乏深度。

缺乏原创性：这项研究的贡献十分有限。虽然它的研究主题很重要，但就“新颖性”或原创性而言，这篇论文更像是人工智能“总结和解释现有文献”能力的体现，而非提供独特的见解。

批评与讨论：论文在讨论部分内容浅显，似乎摘录自已发表文献。

内容重复：一些观点在论文中反复出现。这可能源于人工智能倾向于在多个片段以不同的措辞阐述相同的数据。

2. 数值格式不符合学术规范：

文中数据出现了如“45 %i”，而不是“25（45%）的表述方式”，p 值和文本格式也很突兀。文字内容不够人性化，反而会为读者带来更多疑问。

3. 使用标准讨论句型、讨论中缺乏深入分析、引用参考文献不正确、未能提供类似研究之外的其他发现。

研究者在文中特别指出，由于审稿人在此前被告知自己正在参与有关人工智能生成论文的研究，因此他们可能在审查这篇论文的过程中相较以往更加细致和细心。如果忽视实验中潜在的霍桑效应，日常工作中审稿人对人工智能论文的判断情况或许更不乐观。文章认为，目前期刊编辑和审稿人可能还没有做好充分的准备来评估人工智能生成的科学内容。

《泰晤士高等教育》近期发表的一篇文章从编辑角度佐证了这一观点：文章作者在近几个月收到 20 多份由人工智能根据已发表研究改写的稿件。作者称自己遇到的案例只涉及对单篇论文的重复，所以相对容易发现，一旦论文由混合了数十个来源的已发表内容，那么检测就会变得更加复杂。“编辑和审稿人更擅长评估稿件的科学质量，在缺乏相关培训的情况下，他们难以区分人工或机器写作的文章——尤其是当工作过于繁重或编辑们对论文的相关主题了解不够深入时，这将为同行评审员带来更沉重的负担。”

对编辑和审稿人来说，分辨论文是否具有捏造或误导性内容始终是一项重大挑战。早在 2013 年，《卫报》发表的一篇文章报道称科学记者约翰·博汉农（John Bohannon）向全球 304 种开放获取期刊提交了一篇伪造包含伪造数据的稿件。这篇文章被包括 Sage、Elsevier 和 Wolters Kluwer 等主要出版社在内的共 157 种期刊接受。考虑到这一点，有文章建议审稿人、编辑和出版商熟悉 ChatGPT 等大语言模型，以了解其功能和局限性，从而更好地监控此类工具的开发并识别潜在的相关陷阱。

而在人工识别之外，研究结合实验开展过程中的限制以及人工评审论文中的客观不足，认为开发人工智能生成论文的检测系统同样至关重要。对编辑委员会和学术机构而言，则必须制定明确、可执行的人工智能应用指导方针，以规避人工智能服务对学术交流完整性的损害。

[1] Artificial intelligence as author: Can scientific reviewers recognize GPT-4o-generated manuscripts? - The American Journal of Emergency Medicine

https://www.sciencedirect.com/science/article/pii/S0735675725004954#bbb0035

[2] AI-based fake papers are a new threat to academic publishing - Times Higher Education

7https://www.timeshighereducation.com/opinion/ai-based-fake-papers-are-new-threat-academic-publishing

[3] From human writing to artificial intelligence generated text: examining the prospects and potential threats of ChatGPT in academic writing - Biology of Sport

https://www.termedia.pl/From-human-writing-to-artificial-intelligence-generated-text-examining-the-prospects-and-potential-threats-of-ChatGPT-in-academic-writing,78,50268,0,1.html