黄小茹
(中国科学院科技战略咨询研究院，北京100190)
摘要：当前，科研论文成果不可验证的问题呈现严重化趋势。基于传统的科学研究的组织结构、研究成果 的发表程序、科研成果的评价方式，我们很难系统地、有效地阻止和发现存在不可验证问题的论文。在实践中，一些看起来比较有效的发现问题的渠道，比如论文的同行评议、周边同行(同事、合作者、领域内同行)的监督和举报实际上也面临多重困难和阻力。这提示我们亟需探讨、制定和实施相应的对策。目前多方在重复实验、数据公开、同行评议、统计分析、科学家自律等方面的一些尝试可以给我们提供一些思路。
关键词：不可验证；重复实验；不端行为；同行评议 中图分类号:F124.3 文献标识码：A
研究成果能够被同行重复,具有可验证性，是科学研究的基本特征和要求。在学术期刊等上正式发表的论文所涉的研究理论上都应该能够被其他研究者依据论文作者所提供的研究方法得到再现，由此来检验成果的真实性和有效性。然而，在当前的科 学研究和发表体系中，却存在一部分论文的调查、实 验无法被其他研究者重复、结果无法验证的现象，我 们称之为科研论文成果不可验证，比如不同实验室甚至同一实验室也无法重复某一实验、获得相同或相似的数据和结果；根据同一调査方案其他人无法获得相近的调查数据和统计结果，等等。
同为不可验证还应区别不同的类型。一类是实验设备、试剂、条件等方面存在差异，或者问卷设计、限制条件等不同，造成实验和结果无法重复验证，但这可以通过改进实验条件、操作等来解决。第二类是源于统计学上的误差、对实验数据的误读、错误操作等，比如在整理、发表数据时，有时候会出现一些统计学上的误差；在实验过程中，一些错误的操作会导致不真实的结果；对数据进行解释的时候,可能会有一些误读；在收集数据时，没有保存原始数据或者原始数据保存不全。我们可以将这些归于“诚实的错误”。这些“诚实的错误”虽然不是有意为之，但这样一些错误仍可能会使得所谓的成果无法被重复 验证。此外还有一类不可重复验证问题却源于主观原因，比如作者故意不给出相关的完整信息，过度解读数据，围绕研究目标挑选数据、选择性发表，甚至篡改数据，伪造数据，等等。这些行为显然会导致他人甚至自己都无法重复实验和结果。近几年来，我们可以看到不少科技界和社会媒体曝光的这类不可验证的案例。
基于主观原因导致的科研论文成果不可验证会 给科学研究的发展和科学事业的声誉带来了极大的负面影响，它“歪曲了科学的本质，令社会各界不仅 仅是对科学研究这一行为更是对研究人员这一群体 大失所望”。近年来，学界和社会越来越关注科研论文成果不可验证的问题，但是相关的深入、系统性的研究还很少。不可验证的数据是如何“制 造”出来的？科研论文是如何撰写成的？如何通过 期刊的同行评审？目前的发表机制为何没有发现? 从这些问题我们可以进一步推论，当前科学研究及成果发表系统可能存在某些漏洞，而有效的对策措施亟待探讨、制定和实施。
1 科研论文成果不可验证问题
前两类不可重复验证在一般情况下都是可以解释和说明的，并且可以通过改进或者改正的方式实 现重复调查、实验和验证结果。本文主要讨论由主 观因素造成的科研论文成果不可验证的问题。这一 类不可验证主要可以区分为三种情况：
第一种情况是作者故意不给出完整的信息。比如，论文中的研究数据、结果和试验现象都是真实的，但作者为了商业利益或者个人利益，以保密为借口故意在发表的论文中隐去关键步骤、数据等信息或者修改相关参数，从而使得他人无法直接重复自己的研究。这种行为虽然不一定会被界定为科研不端行为，但是从促进学术交流和推进科学进步的角度来看，仍然是有问题的行为。
第二种情况是挑选数据和选择性发表。比如，多次实验只成功过一次，一旦这一次取得理想数据就马上停止实验；故意省略“不合适”的数据；在不同批次的数据中挑选有利数据；不客观地分析数据从而得到理想结果，等等。这些行为的结果就是实验和结果能够被他人重复的概率很低。
第三种情况是存在伪造数据、篡改数据等严 的科研不端行为。比如日本理化学研究所小保方晴子造假事件、日本东京大学多比良和诚及助手造假事件、前美国爱荷华州立大学助理教授Dong - Pyou Han造假事件，都是存在这类不端行为的案例。这些案例曝光均是源于其他人无法重复作者发 表的科研论文成果，进而产生怀疑，最终证实实验、论文存在数据篡改、伪造等不端行为。
基于主观原因的科研成果不可验证的情况到底有多严重？以医学研究为例，通常我们认为已发表的临床前研究中的成果是可信的—尽管可能在细节上会存在一些错误，但是论文中的主要信息应该是可以信赖的，数据中的绝大部分也是经得住考验 的。然而事实可能并非如此。2011年国际医药 界巨头德国拜耳医药保健有限公司的研究人员在一个验证项目的运行中发现，很多公开发表的研究论 文中的关键数据不可重复。他们对23位研究人员 （实验室主任）发表的67个实验项目的数据进行重复性实验，其中12% （8个）为心血管疾病项目， 18%（12个）为女性健康项目，70% （47个）为肿瘤学项目，得出结果后再与已发表的结果进行对比。 对比结果显示：只有21%的项目（14个）数据完全可重复，3%的（2个）几乎可重复数据，7%的（5个） 可重复主要数据，4%的（3个）可重复部分数据，而高达65%的（43个）不能重复。进一步的研究还显示，数据的可重复性与论文发表期刊的影响因子之间没有明显关系。
2012年，世界最大的生物科技公司之一美国安进生物技术公司血液学和肿瘤学研究组的研究人员对相关领域的53份“里程碑式”研究论文进行验证，希望能在以这些论文为基础的新药研发之前确 证这些研究发现的可靠性。尽管临床前研究具有局限性，但验证结果仍然令人震惊：只有6项（11%） 研究发现得到验证。此外，更加令人不安的是，不可验证论文在领域和学界的实际影响非常大：其中论文发表期刊的影响因子大于20的21篇论文中，不可验证论文的有效被引次数为248次，可验证论文 为231次；期刊影响因子在5-19之间的32篇论文 中，不可验证论文的有效被引次数为168次，可验证论文为13次。依据这些本身无法验证的研究产生 了大量的二手文献。由此看来，整个血液学和肿瘤学临床前研究情况非常“堪忧”。
我们还可以通过被撤销论文的情况来进一步分析问题。2012年美国《国家科学院院刊》发表了一项关于论文撤销与不端行为的研究：对截止到2012 年5月3日被撤销的2047篇PubMed检索的生物医学和生命科学研究论文（其中最早的论文发表于1973年，1977年撤销）进行了细致的分析，结果显 示：有21%的论文被撤是因为存在错误；涉及不端行为的多达67%，其中存在伪造或涉嫌伪造的占 43%，重复发表的占14%，剽窃的占10% ；余下的 12%涉及多种原因或者被撤原因不明。自1975年以来，在所有已发表论文中因学术造假或涉嫌造假 的被撤论文的比例已升至10倍，2000年之后增幅更加明显。从涉及国家来看，来自美国、德国、日本、中国的论文占到3/4。撤稿声明通常都由被撤论文作者自己撰写。虽然有一些声明写得很明确并且很详细，但大多数都没有多少信息含量或者不透明。一般所述理由为：很遗憾由于研究结果无法重复，我 们不得不撤销论文。由此单从数量来看，不可验 证的情况也是很严重的。
2 发现论文成果不可验证的机制
专门机构的验证、研究显示，不可验证的数量和性质均已呈现严重化趋势，但是这些发现不可验证成果的机制却是特例。我们将能够揭露、发现实验不可重复、结果不可验证的论文的机制称之为发现机制。当前存在多种发现机制：
第一种是由期刊、医药公司、专门网站等进行有 针对性的重复验证，能够发现一定数量的不可验证 的科研论文研究成果。这一机制的实例除了上文所 述的德国拜耳医药保健有限公司的研究、美国安进生物技术公司血液学和肿瘤学研究组的研究、美国 《国家科学院院刊》的研究之外，还有一些组织和机 构开展过这类验证工作，比如2012年“心理文件 柜”(psychFiledrawer)网站对20余项具有影响力的心理学实验进行了一系列严格的直接重复研究。“公开科学协作”(open science collaboration)运动更是邀请了来自全球范围内41个心理学研究机构的 71位志愿科学家来为心理科学研究的可重复性把脉。相关的结果均显示存在不同程度的不可验证问题。
第二种是更大范围内学术共同体的重复验证。 虽然学术共同体的重复验证是科学研究和进步中的常规行为，但在现代科学中这种重复验证通常是因为研究成果本身足够“吸睛”受到学界广泛关注，其他研究者试图重复实验而无果，进而发现存在伪造数据或篡改数据等不端行为。小保方晴子的案例是一个典型。2014年1月29日，日本理化学研究所的小保方晴子团队在《自然》(Nature)上发表了两篇研究论文。研究声称将从新生小鼠身上分离的细胞暴露在弱酸性的环境中，能够使细胞恢复到未分化状 态，并使其具备分化成任何细胞类型的潜能。他们将这种现象称之为“刺激触发的多能性获得” (STAP)。小保方晴子的论文一发表就引发了极大震动。在一片惊叹之余，其他研究者也很快提出了质疑。在论文发表的当天，美国加利福尼亚大学戴 维斯分校的保罗•纽泼勒(Paul Knoepfler)就在他的科学博客上一口气提出了 6个问题，其中第一个 问题就是“这个结果能被其他实验室再现吗？”接着，世界上多个实验室开始按照论文提供的方法重复实验，但都无法重复出相同的结果。这一事件的最终结果是小保方晴子在全方位监控条件下无法再 现STAP细胞，日本理化学研究所调查认定小保方晴子在STAP细胞论文中有篡改、伪造等问题，属于科研不端行为。
小保方晴子的论文之所以能够在非常短时间就 到极大关注，继而多个实验室和多位研究者跟进展开重复实验，在很大程度上是因为她的研究足够“吸睛”：一是以第一作者身份、同一天在影响因子极高的《自然》杂志发表了两篇文章；二是研究成果 本身非常震撼，小保方晴子提出的STAP方法从操作性来说，远简单于2012年诺贝尔生理学或医学奖 获得者山中伸弥提出的IPS方法，如果可行的话，将大大提高多能干细胞的制备效率，将又是一个诺贝尔奖级别的成果。在这种情况下，论文一发表就引 起了界的密切关注，之后的验证活动可谓顺理成章。
第三种是一定范围内同行(同事、合作者、领域内同行)的监督和举报。这是科学共同体自我管理的模式，但我们可以发现被举报揭发出来的不端行为只是冰山一角，还有大量的不端行为一直潜在水底。其中一个原因就是很多有问题的研究成果具有 一定的创新性但又没有非常扎眼、引人注目到最终引起身边同行的怀疑而被举报，进而被发现成果不可验证，甚至存在不端行为（比如小保方晴子案 例）。荷兰社会心理学家戴德里克•斯塔佩尔 (Diederik Stapel)的案例是一个典型。斯塔佩尔时任荷兰蒂尔堡大学社会心理学学院社会与行为科学系的主任，在世界顶级期刊上发表过多篇论文，其中数篇论文很有影响力。2010年，一个研究生在斯塔 佩尔帮他做的3个实验数据中发现了一些问题，在他要求看原始数据时，斯塔佩尔推脱没有保存数据。 同年，另一位研究生仔细检查了斯塔佩尔近年来提供给他的学生与博士后的实验数据（其中有许多构成了他们博士论文或已发表论文的基础），发现多处问题，最严重的一处是斯塔佩尔明显复制、粘贴了 一组数据，导致表格中有两行数字几乎完全一致。 之后，这两位学生将此事报告给社会心理学学院院长马塞尔•泽伦伯格。之后实验室的几位年轻研究人员也向荷兰蒂尔堡大学校长报告斯塔佩尔在实验中有欺骗行为。2011年11月底，荷兰3所大学联合公布了调查报告，称斯塔佩尔在至少55篇论文以及10 篇博士生论文中有造假行为。之后，斯塔佩尔在《科 学》等发表的30余篇论文均因学术造假被撤稿。
斯塔佩尔之能够长期造假而不被发现，关键在于他对业内文化的深度了解。他曾解释，“我并不研究奇怪的课题，我从来不会设计一个实验去证明地球是平的。哪怕我的确在背后操纵，但我总是检查了我的实验是合理的，它们有其他实验结果的支持，而我不过是踏出了每个人都在期待的那一步。 我的实验假设总是基于阅读大量的相关文献。只有这样，我的结果才会是可信的。大家都希望看到有创意的研究，但它也得是真实可信的。你得有本事证明，这不仅是个富有创意的新研究，还是一个符合人们直觉的研究”。如此，斯塔佩尔“创造”的研究成果既具有创新性，同时不至于立刻引起极大关 注，引发其他人进一步验证的欲望，从而能够在领域内长期“潜伏”。
第四种发现机制基于同行评议的纠错机制。在现代科技成果发表体系中，期刊论文是最主要的成 果体现形式之一。20世纪中叶以后，同行评议成为 科技期刊出版的基石，这与二战后论文数量的激增以及期刊种类和数量的激增密切相关。同行评议首先是保障是期刊出版的质量，但同时，同行评议中的专家审稿过程以及期刊的编辑过程也有望阻止可能存在错误，或者存在伪造、篡改等行为的不可验证的论文发表，可以称之为纠错机制。当然，纠错机制的确发现并防止了这样一些论文发表，但是仍有相当数量的不可验证的所谓成果发表了。虽然其中一部分已经被发现、处理，还是有相当数量未被发现。
第一、二种发现机制虽然发现了不少问题，但它们难以形成针对所有论文的有效的检査机制。第三 种、第四种发现机制更加具有“普遍意义”，应当可以发挥更大的作用，但是在斯塔佩尔的案例中我们看到，斯塔佩尔能够在长达15 -20年的时间里制造和发表大量数据伪造、论文却未被发现，而举报者 举报过程中也面临多重压力和阻力，不能不说这两种发现机制是存在困难的。
因此，从整个科技界和出版界来看，问题与揭露显然不成比例，已经曝光的不可验证的科研论文成果可能只是冰山一角，大量的事实还未浮出水面。
3 发现机制的失效及其缘由
在大科学时代中，科学家几乎不可能完全依靠个人，不与他人交流或合作。在科学研究过程中，同 事、合作者、领域内同行间交流合作、相互促进，同时也会形成特定的相互监督。同时，科研成果也需要公开发表，发表之后也就进入到了更大的检验范围。 应该说，在理想状态科学共同体内的这种交流合 作、互相监督、信息分享的机制有助于发现问题，然而为什么那么多问题没有被发现？
我们来看更加具有普遍性的第三种、第四种发现机制面对的困难。与很多造假行为被揭露的情况相似，斯塔佩尔的行为也是被其身边的合作者所怀疑并举报，继而由大学立即组织调查。同行监督和举报机制无疑是有效的。但是，众多不端行为举报和调查、处理的案例都显示这一机制实际上面临很多困难。科学社会学的研究表明，科学家不是单纯地追求真理的探索者，他同时还处在科学体制中。 面对科研不端行为，科学家可能面临人际、制度上的阻力，举报可能会导致自身或机构某些利益受损。 这在很大程度上导致同行监督和举报机制可能失效。比如根据斯塔佩尔所在的蒂尔堡大学调查委员会的初期报告，斯塔佩尔实验室的其他研究人员曾几次提出过问题，但都没有了下文。最终，几位年轻研究人员鼓足勇气收集证据并向院长报告。“举报者冒着风险向前走，大学当局要做出恰当回应也困难重重，因为当欺诈行为被断言时，学生、同事和大学都有相当的损失”。
期刊的同行评议和编辑程序为何没有筛查出存在伪造、篡改等行为的不可验证的成果？同行评议本意是对论文的研究发现的价值、意义、重要性和创新性进行评价，从而提高发表质量。在传统的同行评议制度中，审稿人对所评审的研究结果并不负有 重复验证的责任。而作者的有意造假、篡改、筛选数据等欺诈行为，往往具有较强的隐蔽性，无论是单向匿名（单盲）评议、双向匿名（双盲）评议外还是开放评议，常常都很难发现问题。近几年发展起来的利用网络技术完善审稿过程、保证期刊质量、缩短出版周期的评审模式——交互评议方式，在进行传统同行评议的同时，将论文放入网络数据库，充分利用网络的潜力鼓励审稿专家、学术同行和作者参与交互式的科学讨论，这些对审稿和编辑程序的完善虽然有更大的可能性发现问题，但是仍无法杜绝问题。
在论文发表之后，实际上它将面临更大范围的科学共同体的检验。理论上同行们可以按照论文所提供的方法进行重复实验，重复实验是证明一项成果是否能够被验证的最直接的方式，但是同时它也非常耗时、耗力、耗经费，而且几乎没有可能成为创新性工作。因此，一般研究人员基于各种考虑，很少只为求证而去重复他人的研究工作。这一抑制性因素使得同行极少开展重复验证，从而在很大程度上使得欺诈行为不易被察觉。能够主动进行这类工作 的，如前所述，主要是企业研发团队、出版机构、编辑 会等，比如美国安进公司（Amgen）、德国拜耳医药 保健有限公司（Bayer Health Care）、美国《国家科学院院刊》（XPNAS）等，有着开展这项工作的需求和动力：新药研制、医疗技术研发都需要经过严格的科学研究和试验，为了减少研发投资成本和风险，很多制 药公司通过运行内部目标验证项目，即通过验证公开发表的成果来直接获取自己的研究积累，而公开发表的期刊论文、学术会议报告是重要的参考基础，有同行审议和高影响因子，在世界一流学术刊物上 发表的论文一般被认为是至少在真实性上是“可靠 的”。因此，生物技术公司愿意开展重复实验验证 论文的成果。而出版机构、编辑学会等则更多地 从维护出版秩序和发表质量的角度介入这个问题。 这些组织和机构由此关注到并开始研究科研论文成果不可验证的问题，虽然这成为了一种有效的发现 机制，但是这类工作具有学科、领域限制，往往只能发现问题的“九牛一毛”。
4 改进的对策
层出不穷的存在不可验证问题的科研论文的发表显然损害了科学研究的社会声誉，进而削弱社会 对科学研究的支持，影响了科学研究事业的发展。 当前发现问题的各种机制面临困境，也提示亟待探讨、制定和实施相应的对策。然而，重复实验、验证结果是非常复杂的问题。从科学家个体的视角，它是一个研究与发表的诚信问题，涉及到实验设计、数据收集、数据保存、数据使用等的规范；从科学家群体的视角，它是一个科学共同体治理的问题，涉及合作研究、同行评议等；从科学研究事业的视角，它是一个科研管理的问题，涉及科学评价、不端行为调查与处理等。因此，就对策来说，它涉及科学家、出版商、研究机构、学术团体、资助机构、管理机构、企业、公众与传媒等不同主体，需要各方采取更多的办法和设置更多的环节来应对，一些举措已经开始被采用。
4.1 同行评议
项目评审、论文评审均直接面对那些可能存在错误、伪造、篡改及其他一些不当行为从而导致结果无法验证的研究申请和学术论文。因此，评审理论上有很大机会发现问题。但实际上我们可以看到， 利用传统的评议程序发现问题非常困难。为了更加 有效地发现问题，在传统的同行评议程序之外，还需 要做更多的有针对性的评估工作。比如，美国国立 卫生研究院(National Institutes of Health, NIH )的一些研究所和中心正在测试一种核对单，以提醒基金评审人对研究设计进行系统性评估。核对单提醒需要核对的内容包括实验设计是否适当，数据搜集和分析是否依照随机、单或双盲原则等。2013年，NIH 已经对这一改革内容进行了尝试，要求每份申请书 至少有一位评审人对项目申请所依据的关键文献的科学性进行专门评估。
2013年5月《自然》集团声明，废除对研究方法部分篇幅的限制，以确保作者对关键技术方法的详细描述。编辑和评审人通过“核对单”对实验设计进行评估，同时鼓励作者在线提交更多支持论文的原始数据。之后《科学转化医学》和《科学》等杂志也相继提出了与《自然》类似的规定。
4.2 重复实验
虽然重复实验是证明一项成果能否被验证的最直接的方式，但是由科学家自己开展重复实验显然不够客观，都由其他科学家开展重复实验也不现实， 而期刊、资助机构等也不具备相应的条件。重复验证工作面临很多实际困难：一则它耗时、耗力、耗经 费，不是所有的研究或机构都能够负担得起的，有数据显示对一项重要论文开展独立验证性实验至少需要花费25000美元；二则普通实验室也不具备验证尖端科学所需要的条件。
因此，独立第三方验证受到关注。NIH最近的系列改革中已有一些资深官员在考虑要对一些与临床应用关系密切的研究项目增加常规验证性实验流程。一些NIH的研究机构已经在这方面先行一步， 比如Silberberg负责神经病研究所重复性研究项目，已经开展了一个预实验，针对许多科研机构正在准备将一些动物实验证明有效的药物进行人体监测的研究进行验证。对此，相关调查也显示科学家并没有一味地排斥，比如2013年1月科学实验外包平台Science Exchange的首席执行官做的针对22000 篇论文的通讯作者的调查显示，虽然有416名作者拒绝Science Exchange对他们的研究进行独立验证,但仍有1892名作者表示允许。现在，重复验证面临的一个重要问题是选择标准的问题——对哪些研究开展重复实验？
4.3数据公开
实验数据公开，提高研究的透明度，是应对不可验证问题的另一个重要思路。这是因为数据公开可以让研究接受更大范围的公开检验。“让数据有更高的透明度，包括将数据存入数据库中让本领域中的其他科学家也可获取，这样也许可以提高造假行为被检查出来的速度，研究人员也应该仔细分析他们将要发表的材料。尽管有科学家担心自己的分 被批评或工作被抢先而不愿分享数据，但增加透明度是重要的方法之一
以PLOS One为代表的一些杂志已经要求作者共享数据；必须共享的数据包括用来得到论文结论的数据以及能够用来让他人重复研究的方法；杂志有权要求作者提供某些特定的数据。作者需要使用公共数据库上传数据，这些数据库可以是专业领域内的，也可以是通用的。包括伦敦自然出版集团和洛克菲勒大学出版社在内的一些出版机构已经表达了对这一做法的支持，希望能够对它们发表的论文进行验证。
4.4 统计分析
很多存在伪造、篡改、操纵数据等学术不端行为 的科研论文都有一个特点，即数据看起来过于完美， 包含过多高度效应和统计学上的重要结果。但是真实的数据往往存在一定的误差。因此，通过统计学分析，专业人员有可能发现其中的猫腻，实际上也已经有通过统计分析发现问题和判定学术不端的案例了，比如美国宾夕法尼亚大学的社会科学家Uri Si- monsohn在阅读荷兰鹿特丹伊拉斯姆斯大学Dirk Smeesters及安阿伯市密歇根大学Lawrence Sanna的论文时对数据产生怀疑，为了检验自己的怀疑并证明论文结果的不真实性，Simonsohn将论文中的实验模拟了数千次。之后，他又将自己的分析应用于同一作者的其他论文，发现同样的模式再次出现。通过对数据的阴性对照，他发现其他心理学家使用相同研究结构的论文无法得出与上述两位研究者同样的模式。2012年,Smeesters和Sanna从原有岗位辞职，他们的一些文章也被撤回。再比如，荷兰阿姆斯 特丹大学社会心理学家Jens Frster操纵数据案例中的一篇论文撤稿也是基于统计和方法论上的证据， 除此之外该校诚信小组并未发现直接的确凿证据。
4.5 科学家的努力
上述举措可以归为单纯的规范性的检査运动， 但是如果没有从良好研究理念和实践上进行改进， 这些举措常常会沦为失败的形式主义。要从根源上解决问题还是需要落实到如何促进和鼓励科学家的科研诚信上。2014年，NIH发布了“临床前研究报告原则和指南”(Principles and Guidelines for Reporting Preclinical Research) 。该文件在严谨的统计分析、透明化的报告(釆用学术共同体标准、研究的重复性、统计方法、随机化、致盲、样本大小的估计、纳入和排除标准)、数据和资料的共享等方面提出了具体的指导意见。虽然这个文件是针对协会、期 刊和学会(截止到2015年4月8日，已有包括《自 然》《科学》《细胞》杂志、美国癌症研究学会等在内 的79家协会、期刊和学会签署了该文件)发出的， 但是对于研究者更好地开展研究和发表论文也有很好的指导意义。
点击获取原文查看全部原文内容
