这个说法的来源，我猜可能是这篇时代周刊的报道 A Researcher’s Claim: 90% of Medical Research Is Wrong。
关于这个问题，推荐同人于野老师的这篇博文 科学新闻没告诉你的那些事儿 1 « 学而时嘻之。
摘录关键的几段如下：
说这句话的人叫 John P.A. Ioannidis，他去年刚刚被任命为斯坦福大学预防医学研究中心主任。Ioannidis 说，“ignore them all”. 他攻击的不仅仅是营养学，而是整个医学研究。2005年，Ioannidis 发表两篇论文，证明大部分医学研究都是错的。这两篇论文在医学界被引用好几百次，但是没有人说他这个看似无比偏激的结论是错的。甚至没人表示惊讶。所有搞医学研究的科学家都知道这个秘密：医学研究根本不靠谱。
科学新闻常常教育我们要用现代医学的常识去反驳民间偏方，用科学家的论文去反驳普通人的常识，再用欧美科学家的论文去反驳中国科学家的论文。然而现在 Ioannidis 说欧美科学家的论文其实也不可靠。而且错误率是90%？民间偏方没准还比这个好点。所以以上这几篇报道大概也有点标题党，我们必须看看 Ioannidis 到底说了什么。
光玩数学当然不行，批评现实得有真实证据。这正是Ioannidis另一篇论文干的事情，发表在权威期刊 JAMA上。没有人能把所有医学论文都研究一遍，所以他的做法相当具有戏剧性：他只看1990到2003年间发表在顶级临床医学期刊上的顶级论文，入选标准是被引用超过1000次。符合这个标准的论文一共有49篇，其中45篇声称发现了某种有效的药物或者疗法。
我们都知道科学结果必须都是可重复的，我们不知道的是有多少科学结果真的被人重复过。这45篇论文虽然都被引用了千次以上，其中只有34篇被重复检验过。
而后人检验的结果是其中7篇的结论错误。比如有一篇论文说维生素E对降低男子冠心病风险有好处，有一篇论文说维生素E对降低女子冠心病风险有好处，而后来的大规模随机实验则证明维生素E对降低冠心病风险根本没好处。另有7篇论文被发现是夸大了有效性。也就是说34篇经过检验的论文中的14篇（41%），被发现结论有问题。这45篇最权威的论文中只有20篇接受了并抗过了时间的考验。
顶级论文尚且如此，一般论文又能怎么样呢？真有90%都不可靠么？我从未发现 Ioannidis 说过“90%的医学研究都错了”这句话，时代周刊的报道的确是标题党。
Ioannidis 说的不是90%，而是432分之431。没有人能彻查所有医学论文，所以 Ioannidis 的做法是选择一个热门领域，彻查这个领域内所有的论文。这个领域是研究男女患各种疾病的风险不同，是不是因为基因的影响。在2007年 JAMA 的一篇论文中，Ioannidis 与合作者找到这个领域的所有77篇论文，然后逐篇分析这些论文处理数据的方法是否足够严谨。这些论文一共提出了432个论断，其中只有60个论断可以称得上是方法严谨。而这60个拿的出手的论断中，曾经被其它研究至少重复验证了两次的，只有一个。
如果我们对正确科学论断的要求是方法严谨，结果至少经过两次检验，那么这个领域的合格率只有1/432。如果我们放宽要求，只要一篇论文不被证明是错的，就算它是好论文，那么发表在最权威期刊上的被引用次数最多的医学论文中，有7/45是坏论文。
这个事情，其实说白了，大众对什么是科学、什么是科研有着很深的误解。科学并不是神圣的，也不是永远正确的，更不是灵丹妙药。科学家都是人，都会犯错误，科学的发展就是试错的过程，牛顿、爱因斯坦的理论等等，现在看来都有着各种错误。总体来说，科学的发展需要大量的错误和不靠谱作为前提，说是铺路石也好，说是炮灰也好，这些都是必不可少的。
或者，也可以从另一方面理解。世界顶级名校出的成果、参与者都是博士或者在读博士生、砸了这么多钱、经过严格的同行评议、发表在柳叶刀或者新英格兰或者CNS上的这些结论，尚且如此不靠谱。反观张悟本之流、微博大V们的那些言之凿凿的结论和说法，你仔细想想，有没有相信的价值？
借用一下同人于野老师的结论：
把学术论文的结论推广到真实世界的真理，有时候是非常危险的事情。因为不理解科学研究的思维方式，导致大多数人对科学有两个重大误解：第一，认为科学研究绝对真理；第二，认为每一项科研都是在生产我们日常决策的答案。真实的科学研究其实一个充满曲折，甚至有时候错进错出的过程。
更重要的是，科学的野心其实比公众设想的小。而恰恰是因为这个原因，科学才有这么强大的力量。很多论文不严谨，甚至很多都是错的，这并不表明科学中没有正确答案，它只是表明得到和判断正确答案并不简单。
— 完 —
本文作者：猪小宝
知乎是一个真实网络问答社区，在这里可以寻找答案、分享知识，发现一个更大的世界。
下载知乎 iPhone 客户端： http://zhi.hu/ios
下载知乎 Android 客户端： http://zhi.hu/zhwdj
此问题还有 3 个回答，查看全部。
延伸阅读：
微生物学研究生有哪些就业方向？
电子专业的本科生有必要学 Python 吗？
没有评论:
发表评论