こんにちは、リベルタです。
皆さんはどんな情報が一番信頼できますか？
私は高校から理系を選択し、大学院まで研究をしてきたので、科学で裏付けされた情報が最も信頼できる情報であると思っていました。
人間は、様々なバイアスにより、根拠のない情報でも簡単に信じてしまうことが知られています。
例えば、同じ情報でも、人から教えられた場合良よりも、自分で見つけた場合のほうが信じやすいという傾向があります。また、信頼できる人や権威のある人から聞いた情報も、無条件に信じてしまうことがあります。
そのため、科学論文などの根拠がしっかりしている客観的な情報を中心に情報収集していたのですが、衝撃的なタイトルの記事を見つけてしまいました。
「科学論文にご用心、大半は誤り 専門家が継承」
※記事が削除されたのでリンクを外しました
「！！」
驚きました。
『何を信じればよいの？』となりますよね。
どうやら、私も科学論文の情報に対して偏見を持っており、盲目的になっている部分もあったので、改めて、どんな情報を信じるべきかということを考えてみたいと思います。
最も信頼できる情報とは
信頼できる情報とは、根拠がしっかりしている情報と言えると思います。
学術分野においては、根拠のことを「エビデンス」といい、根拠が信頼できるかどうかは、エビデンスレベルが高い、低いで表します。
そして、学術分野で最もエビデンスレベルが高いのは、様々な実験結果を集約、評価し、要約してまとめた「システマティックレビュー、メタ分析」になります。
このシステマティックレビュー、メタ分析というのは、個別の科学論文を集めて分析評価しているため、そもそもの科学論文が間違っているとなると、そこから導き出される結論も誤ったものになってしまうことになるのです。
因みに、私たちが良く信じ込んでしまう、医者の意見や、専門家の意見は、最もエビデンスレベルが低いので注意してください。
なぜ科学論文に誤った情報が掲載されるのか
科学論文が掲載された記事では「再現研究で同じ結果はまれ」と紹介されており、心理学の100件の論文のうち再現に成功したのはわずか3分の1だったそうです。
私も科学者の端くれではあったので、再現することの難しさは十二分に理解しているつもりです。
実際、私が学生の頃の研究で、良いデータが出ても再現性が取れずお蔵入りしたデータがいくつあったことか。
再現性にこだわりすぎて、成果らしい成果は何も残せませんでしたが、決して私が無能であったということではなく「科学に真摯に向き合っていたためだ！」ということにしておきます。
そして、その当時は、再現性まで確認が取れている研究が論文化されると思っていました。
しかし、現実はそうではないようです。
では、私の実体験も踏まえ、誤りがある科学論文が世に出回ることになるのか考察してみたいと思います。
誤った科学論文が掲載されてしまう原因
論文査読者の専門性の限界
論文の査読には、基本的にはその研究に精通している専門家が選ばれます。しかし、査読者の知識の及ぶ範囲の論文ばかりが投稿されるわけではありません。
特定の分野に特化した内容だと、少し分野が異なるだけで全く理解できない内容になってしまう可能性があり、査読者の知識でカバーできる範囲を超えてしまうのです。
例えば、同じ外科医でも、消化器のスペシャリストは、心臓に関するマニアックな論文は審査できないといった感じです。
特に新規の発見、新たな分野などでは、専門家はいないに等しいので、近い分野の研究者などが査読することになるので、論文の研究に対する知識が不十分な可能性が生じてしまいます。
専門の人が見ても研究の妥当性などの判断は難しいのに、近い分野の人では十分な判断が下せない可能性があるため、論文の誤りに気づけないケースがあると思います。
審査の難しさ
論文を審査する場合、検証結果の一連の流れが論理的に筋が通っていれば、査読の段階で検証結果自体が正しいか否かの追試を行いません。そんなことをしていたら、いくら人手があっても足りません。
そのため、基本的には、書いてあることを信じたうえで、これまでの知見からの矛盾点等がないか判断することになります。
よって、論文としての文章の査読はできても、結果についての検証が十分に審査できないため、再現性が取れないといったことが起こってしまうと考えられます。
研究者自身のバイアス
研究者は、実験を始める前に仮説を立て、研究し、仮説を証明するという一連の流れで研究を行います。
当然、仮説を立てる段階から、実験の出口を見据えて、ポジティブな結果を期待している場合がほとんどでしょう。自分の考えに捉われすぎると、研究者自身にバイアスがかかってしまうのです。
そして、あらかじめ「仮説は正しいはずだ」といった思い込みを持った状態で研究を始めると、明確に仮説から外れた結果にならない限り、仮説が正しいとの思い込みに沿った結果の解釈をしてしまうことになります。
そのため、自分のストーリーに合わない本質的なデータを見逃してしまったりすることが起こり得るのです。
研究者自身の知識不足
実験において、結果に影響するすべてのファクターを検証するのは非常に困難になります。
心理学の研究において再現性が取れないといった結果になっているのは、条件が抜け落ちていたせいかもしれません。
例えば、30年前のダンスパーティーで行った心理学の実験では、その当時の世論やダンスパーティーに関する人々の認識などが結果に影響を及ぼす可能性があったとします。
しかし、その可能性に気づかないと、30年前は再現性高い結果が得られたとしても、ダンスパーティーに対する認識が変わっている現在では、同じ結果が得られないといったことが起こるのです。
企業との利害関係
研究はお金がかかります。そのため、企業と共同研究という形を取ることもあります。
研究者としてはスポンサーである企業が研究から撤退しては研究ができなくなるので、企業にとって良い結果を出したいと思います。
その結果、研究の本質と外れたような特殊な実験条件を設定してしまったり、結果を焦り、検証不十分な状態での発表に踏み切ってしまうといったことも起こり得ます。
また、このようなことは企業との共同研究以外の場面でも起こり得ます。
「科学論文にご用心、大半は誤り 専門家が継承」の記事においても、研究者らへのプレッシャーや学術誌間の競争、革新的な発見を告げる新たな論文をメディアが常に渇望していることなどが原因で、一般化された結論を支持するのに十分な量の試料を収集した研究が少ないと述べられています。
誤った科学論文が掲載されないための対策例
今回参照した記事にて、「論文の執筆者らに対し研究計画書（プロトコル）の事前登録と未加工データの提供を求める」ことが対策になると述べられていますが、これは、研究での不正を減らすための対策として紹介されています。
誤った論文が掲載される原因として、意図的な不正などのケースには言及しませんでしたが、どうやら意図的な不正などを行った悪質な研究も多いようです。
研究者がなぜ不正を行おうとするのか、といった根本的な原因を除くのが一番好ましいですが、人によって不正の理由が違ったりもするので、難しいでしょう。
そのため、研究計画書の事前提出や未加工データの提出は、論文提出のハードルを上げることにはなりますが、有効な対策であると思います。
何を信じればよいか
では、結局何を信じればよいのでしょうか？
明確な指針はないかと思いますが、それでも私は科学的な研究で裏付けされた情報が一番信頼性が高いと思っています。
不十分な研究などは、再検証などの結果いずれ淘汰されていくと思いますので、良質な研究が残ると信じています。
ただ最も大切なことは、自分で情報の真偽について吟味することです。
これは研究論文に関わらず全ての情報に関して言えることかと思いますが、無条件で信じてはいけないのです。自分で情報の信憑性を判断するしかないのです。
そのため、情報の真偽を判断するための判断基準などを自分の中に設けておいた方が良いかもしれませんね。
まとめ
『偏見などにより情報が間違っている可能性がある、そのため偏見(バイアス)をなるべく排除した、システマティックレビュー/メタ分析を信用しよう』と考えていましたが、システマティックレビュー/メタ分析の元となっている情報が間違っている可能性については、考えていませんでした。
私もバイアスがかかっていたようです。
最近はネットの生活への浸透により情報が溢れています。科学論文でさえ誤っている可能性があるのだから、ネット上の情報には十分注意してください。