「ピアレビュー」の代わりに「ピア複製」へ置き換える（2021年）
(blog.everydayscientist.com)- 多くの科学分野で独立した再現が不足しているにもかかわらず、現在のピアレビューは誤りの可能性が高く、重要な研究の伝達を遅らせる障壁になっている
- 提案されているピア複製は、匿名査読者が原稿を評価する代わりに、別の研究室が中核的な結果を実際に再現したうえで出版判断に反映する仕組みである
- 複製に参加した研究者は論文に別ラインで名前が入り、引用とCV項目を得られ、著者は査読者の追加実験要求に対応する代わりに再現可能性によって結果を擁護することになる
- 高度な手法、長い時間、多くの資源を必要とする実験はどれも複製が難しく、編集者・著者・査読者は厳密さと実行可能性のあいだで再現対象を選ばなければならない
- 失敗した複製、反復試行、ジャーナルショッピングを減らすには、事前登録、失敗事例の公開、却下論文の保管といった透明性の仕組みが必要である
ピアレビューの代案として提案されたピア複製
- 科学における理想的な検証は、少数の専門家が原稿に承認印を押すことではなく、論文の発見が現実世界で再現されるかを確認することにある
- 新しい方法論にとって最良の試験は論文査読ではなく、同僚研究者が実際にその手法を使ってみることである
- すでに出版された結果を独立研究室が再検証するインセンティブはほとんどなく、出版論文の大半はその後独立に複製されない
- ピア複製では、プレプリントや原稿が別の研究室へ送られ、その研究室が中核的な発見を実際に再現する
- 中核的な発見が複製されれば、原稿は承認され出版される
- 著者は同僚に意見を求めて原稿を修正できるが、編集者が意見集約や修正要求を代行することはない
複製結果を論文に併載する方式
- 出版論文には元データとともに複製試行の結果が含まれる
- どの試薬と手法が元の実験と同一だったかを表形式で示せる
- 元の実験と複製実験のあいだで異なるパラメータが多いほど、似た結果が得られた場合、最終的な発見はより頑健な結果となる
- 読者は複製結果をもとに、証拠全体が論文の主張を支えているかを自ら判断できる
参加者に生じるインセンティブ
- 伝統的なピアレビューは、きちんと行うには多くの時間と労力がかかるが、報酬はほとんどない
- ピア複製では、複製作業を行った研究者の名前が出版論文に別ラインで記載される
- 査読者は引用を得られる
- CVに記載できる、もう1本の論文に相当する報酬を得られる
- 著者は自分の結果が厳格な検証後も維持されることを示せる
- 従来の査読では著者が追加実験を行い査読者の批判に対応しなければならないが、ピア複製では査読者が原稿の発見を実験によって擁護する役割を担う
実行可能性と副次効果
- 複製が難しい研究も多い
- 高度な科学技術を必要とする場合
- 長い時間を要する場合
- マウス実験のように多くの資源を必要とする場合
- 編集者は著者と査読者とともに、どの実験を再現するかを決めなければならない
- 目標は厳密さと実行可能性のバランスである
- 非常に複雑な実験の一部は複製されないまま残る可能性がある
- このとき読者は論文全体をどう評価するかを自ら判断しなければならない
- ピア複製は、対立的な査読プロセスを真実を探るための同僚間の協力へと変える
- 別の研究者の目と発想が加われば、新たな対照群や代替的な実験アプローチが導入され、元の発見を強化できる
- 実験手順の共有が増えれば、将来の共同研究、新しいアプローチ、学生や博士研究員の技術訓練に役立つ
- 個々の研究室の中に閉じ込められている手技の知識を広める経路になり得る
- 別の研究者が実際に実験結果を再現しようとすれば、捏造データや改ざん画像を本物のように通過させることが難しくなり、研究不正を減らせる
想定される問題と始め方
- ピア複製は、投稿から最終出版までにより時間がかかる可能性がある
- 従来のピアレビューも通常は数か月かかるため、多くの場合、複製実験が実際の時間を追加しない可能性がある
- 著者が原稿全体の完成を待たずに研究の断片を提出すれば時間を短縮できる
- ReviewCommons のようなジャーナル非依存メカニズムで部分的な発見の複製を準備する方法が理想的である
- 複製が失敗したときには判断が必要になる
- 失敗した複製が原稿にとって本質的かを判断しなければならない
- 複製試行が十分適切に実施されたかも検討しなければならない
- 2回目の複製試行が必要になる場合もあるが、成功するまで繰り返して止める方式は警戒すべきである
- 複製計画の事前登録がこれを減らす助けになり得る
- 失敗した複製の詳細は出版論文に必ず含めなければならない
- 著者があるジャーナルで複製失敗により却下された後、別のジャーナルへ再投稿するジャーナルショッピングの問題も残る
- 却下論文は透明性と説明責任のため、何らかの形で保管されるべきである
- 複製に参加した研究者がその努力に対するクレジットを得られる仕組みも必要である
- 役割分担は次のとおり
- Editor: 投稿原稿を選別し、明らかに欠陥のある科学、複製する価値のない実験、必須対照群の欠落、あまりに退屈な結果を却下する
- Editor: 適切な査読者を探し、著者・査読者とともにどの実験をどう複製するかを決める
- Editor: 査読者と相談し、論文の発見が正式出版に足るほど十分再現可能かを最終判断する
- Authors: 原稿を書き、bioRxiv のような経路でフィードバックを求めた後、ジャーナル投稿前に修正する
- Authors: 実験設計、試薬、必要に応じて人員や特殊機器へのアクセスまで含め、査読者を支援する
- Referees: 原稿の中核実験結果を誠実に再現しようと試み、必要なら追加実験や対照群を実施し、結果を整理する
- Readers: 中核実験が別研究室で独立に複製されたという信頼にもとづき、証拠が主張を支えているかを判断し、再現可能な科学を引用する
- 始め方としては、eLife のようなジャーナルによるパイロットも可能だが、従来型出版社が先に動くのを待つ必要はない
- Review Commons のような組織が bioRxiv で有望な候補を見つけ、著者とともに複製を行う査読者を募り、その全体パッケージをジャーナルへ提出する方式が近道になり得る
- 科学者たちがピア複製で検証された論文を実際の出版物で目にするようになれば、ピアレビューだけを経た論文を真剣に受け止めにくくなり、より良い科学が再現されていない発見と競い合うことになる
1件のコメント
Hacker News のコメント
この方法が実際に機能するのかは分からないし、非科学者はすべての論文を再現するために必要な作業を大きく過小評価しているように思う
分野によって異なるが、論文1本をきちんと再現するには数か月かかることもある。元の論文が経験した試行錯誤を繰り返す必要はなく、サンプルを受け取って準備工程を短縮できる場合もあるが、最初の試行でうまくいかなければ、実験をデバッグし、ミスがなかったか確認しなければならないため、時間は大幅に増える
さらに、この作業は再現する科学者にとってほとんど利益がなく、費用と時間だけがかかる。誰かがその研究を土台に発展させたいほど関心を持っているなら、いずれにせよ再現を試みるだろうし、成功すれば後続論文が直接の再現論文でなくても、元の論文を間接的に支持することになる
ただし、後続実験が失敗した場合、通常は出版されないという問題が大きい。とはいえ、単に否定的結果を出版しようと言うだけで解決するわけではない。堅固な否定的結果を作るには、実験してみて見込みがなければ打ち切るよりも、はるかに多くの作業が必要になる
再現されていたとしても、他の条件が合わなければ出版されない場合がある。たとえば、あるチームが複雑な工学的問題を解く革新的な新素材を探していて、1980年代に一度合成され、その後再現されたことのない物質を見つけたとしよう。その物質が望む特性を持ちそうだと考えて合成してみたところ、構造は正しいが期待した特性はなかった。そうなると論文にはせず、次の候補に移る可能性が高い。複数のチームが同時に同じことをしていても、後から続く人たちは何も知ることができない
「審査過程の独特な特徴は、論文で報告されたすべてのデータと実験が、出版前に再現可能性を確認するため、編集委員会メンバーの実験室で成功裏に反復されなければならない点である」
https://en.wikipedia.org/wiki/Organic_Syntheses
たとえば論文数を x 本減らす代わりに再現 x 件を求め、自分の専門分野で再現実績を持たせる、といった形だ。再現研究用の研究費枠も作り、それを独立したシステムに移す必要がある。無作為割り当てのような仕組みも必要だ。再現は独自研究と同じ価値で評価されるべきだ
R2クラスの小規模な学科が再現ハブに転換することもできる。生物学、化学、心理学の一部領域では、素粒子物理学より容易かもしれない。再現コストが比較的低い分野から始めて、細部を詰めていけばよい。場合によっては十分可能だが、分野によっては永遠に難しいかもしれない
ロボット工学では、既知のアルゴリズムや機械学習モデルを3つか4つ持ってきて、既製のハードウェアに適用する論文があまりに多い。その分野の教育を受けた人なら、結果をほぼ予想できるレベルだ。義手、山火事監視ドローン、博物館案内ロボットのような人気の問題領域ごとに、毎月何百もの変種が出てくるが、そのうち実際に有用になり得る量をはるかに超えている
本当に重要な発見を主張する研究には、別の手続きが必要かもしれない。それが具体的に何であるべきかは分からないが、正直なところ、論文数そのものを減らすべきなのかもしれない
科学出版の目的は、新しい成果を他の科学者と共有し、他の人がその上に積み上げたり、正確性を検証できるようにすることにある。
ここには常に「功績の認定」という要素もあったが、科学の発展を最大化するという観点で実際に重要なのはコミュニケーションである。
昔の出版は、手紙を回覧したり、大きな成果であれば本を自費出版したりするような、非公式なプロセスに近かった。その後、出版社が正式なジャーナルを作り、一部のジャーナルは評判だけで掲載するようになったり、検証しきれないほど投稿が増えたりした。人気ジャーナルは、ひどく書かれた論文や明らかなスパムをふるい落とすため、基本的な編集基準を適用し始めたが、編集者があらゆる分野の専門家ではなかったため、ボランティアに助けを求めた。それが査読である。
後に官僚たちは、科学者の生産性を測って予算や昇進を配分する方法を求め、いくつかの権威あるジャーナルでの出版実績を指標にした。その結果、有用なプロセスだった「成果の共有」が、外部の人の目には学術スコアを得るプロセスのように変わり、成果の検証プロセスの途中段階ではなく、出版そのものが最終目標であるかのように見えるようになった。
また、一部の外部の人々はこのプロセスを誤解し、中間結果が間違っている可能性があるという事実に腹を立てる。検証可能性を高めるために成果を広く共有することこそ出版の核心だと受け入れたり、より良い昇進指標を作ったりするのではなく、核心である共有プロセスを妨げて非効率にし、出版の伝播範囲と速度を下げようとする。この混乱は、はるかに賢く扱えるはずだ。
ここには、科学者ではない一般大衆が学界の情報をどう受け取るかも変数として加わる。かつての学界は、知識そのものを追求する比較的閉じた集団だったので、この問題はそれほど重要ではなかった。新しくなった点は、社会が、国家運営や行政は学界の成果や見解に大きく従うべきだという考えに執着するようになったことだ。
科学に基づく政策への熱意は、三重の打撃を与える。研究成果が政策に影響し得るという事実は、科学の進め方そのもののインセンティブを変え得る。学界の成果が外部への影響力を持つという事実は、どのような科学が行われるかも変え、不公正な行為者を引き寄せ得る。影響力が大きくなると、よく知らない大衆が、まだ予備的だったり再現されていなかったりする結果を見て、未熟な結論を下すようになる。範囲の狭い、あるいは貧弱な研究でも、相手を叩くのに都合のよい棍棒のように見えれば、過度な注目を集め得る。
好むと好まざるとにかかわらず、研究者は結局出版で評価されるし、それを誤解している人はほとんどいないと思う。問題は、そのインセンティブが悪いことにある。再現を求める新しい出版ランクを作ることは、光学／フォトニクスのような一部の分野では可能かもしれないが、実験素粒子物理学のような分野ではほぼ不可能だろう。
数学、理論物理学、哲学のような純粋に知的な分野には、このような制度は必要ない可能性が高い。その中間にある機械学習は、理論上は再現が容易に見えるが、たとえば大規模言語モデルのベースライン学習はコストが高くなりすぎる可能性がある。
権威あるジャーナルに載った論文を確立された真実とみなす大衆の認識も、助けにはならない。
今日の出版は、インターネット以前と同じ役割を果たしていない。研究なしでも説得力のある論文を書き、出版させることは、今では些細なことになっている: http://theatlantic.com/ideas/archive/…
査読は再現を保証するための仕組みではなく、論文の可読性と理解可能性を保証するための仕組みである。
実験によっては実施に数十億ドルかかるため、すべての論文に「ピア再現」を適用することは不可能だ。
代わりに、再現された論文に関するメタデータを追加することはできる。
学会は違うかもしれないが、査読は方法論、範囲、主張、方向性、結論、関連性が妥当で信頼できるかを確認するものに近いと理解している。
論文1、2本でしか説明されていないものを、誰かが時間をかけて再現しようとするなら、それはコミュニティにとって価値のあることであり、奨励されるべきだ。博士課程の学生が技術を磨く機会として行うなら、なお良い。派手ではなく、完全に新しいことでもないが、有用で重要だ。
こうした研究は一般のジャーナルに掲載されるべきだ。再現専用ジャーナルだけができれば、インパクトファクターがひどく低くなり、誰も気にしなくなる。
100%の解決策でなければ不適切だと見なし、何もしない人は常にいる。査読は不十分だと明らかになっているにもかかわらず、人々は必死にそれにしがみついている。一部の学問分野では、すべてに再現を求めるべきだ。心理学や社会科学一般を名指しするつもりはないが、一部の分野の再現失敗率は受け入れ難い水準だ。
再現をテニュアや昇進の有効な経路として認め、博士課程の必須要素にするなど、価値基準を変えるべきだ。
どちらの査読コメントにも、「論文は非常によく書かれており、学部生でも読めるほどだ」といった言葉が入っていた。査読は結局、門番役を保証するものだ。
しばらくの間、Reddit には「写真がなければなかったこと」というスローガンがあった
少なくともコンピュータサイエンス／機械学習には、コードがなければなかったことが必要。論文は曖昧で、数式があってもすべての構成要素が定義されていないことがある
この分野でのピア再現は、ほかの科学分野の手本になり得る、簡単で低コストな課題だ
最新の Alzheimer 病のブレークスルー研究のようなものは再現に価値があり、どうせ商業的な関心によって再現もされる。しかし平凡なニッチなテーマには、すべての研究を再現するだけの資金がついているわけではない。コンピュータサイエンス／人工知能研究が再現しやすいからといって、すべての研究に拡張できるわけではない
だからこそ査読が存在する。もっともらしくない、あるいは労力が低い・関連性の低い研究をふるい落とすための仕組みであって、不正防止用に設計されたものではない
GitHub、GitLab などがある今では、これが標準であるべき。実装を扱う論文がコードを提供していないなら、たいていはでたらめである可能性が高い
「査読」を二つに分け、ある分野で一定の引用数を超えたら論文を再現すべきだという引用基準に合意する方式が気に入っている。ジャーナルには再現試行専用のセクションもあるべき
一部の分野では、専門知識に加えて、良い実験のために「手」と呼ばれる熟練が必要になる。たとえば空気に敏感な化合物を扱ったり、凝縮・結晶状態の物質を扱ったりすること。私の学位論文の実験では、装置の一部を自分の手で作った
ときには特殊な施設も必要になる。私の博士論文プロジェクトにはおよそ 50 万ドル相当の装置が使われ、私が使った装置の一部は卒業するころにはすでに製造終了で入手できなくなっていた
より現実的な案は、再現可能性審査と、論文ごとの方法論マップ提出を求めることだと思う
前者は、査読者が論文に基づいて結果の再現を目指して質問し確認する往復プロセスだが、実際の再現までは要求しない。著者がその分野の人なら皆知っていると想定して省いた細部を見つけるのに、たいてい有用だ。実際、論文にない実験の細部を追跡するのに何か月も無駄にした生物学の博士たちを見たことがある
後者は前者の成果物になる。本文に長い付録を入れる代わりに、実験と方法論を綿密に扱った別文書を査読者と一緒に作り、査読者名を載せて適当に済ませられないようにする方式だ
再現に重要な情報が抜けている論文をあまりにも多く読んだ。機械学習／強化学習では、コードがあると論文にない実装上の細部を無数に見つけた。実際に、そうした細部が特定のアルゴリズムの成否を分けるという結果もある [1]。重要な細部がコードコメントにだけ書かれていた例も見た
さらにひどかったのは、ある論文がベンチマークで手法を評価したと主張していたのに、確認してみるとそのベンチマークには該当タスクが存在しなかった件だ。ベンチマークをフォークして自分のタスクを作ったうえで、それを明確に示していなかった [2]
こうしたことのせいで、特定の科学的方向性への信頼を失うことになる。家全体がトランプで建てられているようだと結論づけ、研究を完全にやめた若手研究者も何人か見た
[1] https://arxiv.org/abs/2005.12729
[2] https://arxiv.org/abs/2202.02465
あまりに面倒、あるいは高すぎると思うなら、出版社が記録的な利益を上げていることを思い出すべきだ。リソースはすでにある
https://youtu.be/ukAkG6c_N4M
今では原稿を査読するとき、実験やシミュレーションを再現するのに十分な情報があるかをずっと気にするようになった。解釈が間違っている論文が出ても構わない。ほかの人たちが自分の研究をしながら見つけられるからだ。しかし結果を再現できない論文は、出版させてはいけない
実験セクションに入れるには長すぎる内容は、電子補足情報の文書に入れるべき。ただし PDF をダウンロードするときに、補足情報が論文に添付されているとよい。別に追跡するのは本当に面倒だ。材料特性評価の分野のように、多くのデータと詳細を含む補足情報をよく提供する分野もある
大きなデータセットはリポジトリやデータセットジャーナルに送るべき。そうすれば方法は引き続き査読を受け、データセットには DOI が付き、再利用しやすくなる。博士課程の終わりに学生の論文数を倍増させる良い方法でもある
ベンチマークをフォークして自分のタスクを作り、それを明確に示していなかったというのは、単に邪悪だ
再現が難しい、あるいは不可能であっても、観察科学は依然として科学の一分野です。
2005年に発表された、自然生息地にいる生きたダイオウイカの初の写真を考えてみてください: https://royalsocietypublishing.org/doi/10.1098/rspb.2005.315...
ほかの誰かがその結果を再現するまで出版すべきではなかった、と本気で考える人がいるでしょうか。
薬物の臨床試験結果も、再現されるまで出版してはいけないというのでしょうか。
恒星、海王星外縁天体 486958 Arrokoth、そしてアルゼンチンの特定地域が精密に整列している必要があった “A stellar occultation by (486958) 2014 MU69: results from the 2017 July 17 portable telescope campaign” は、どうやって再現するのでしょうか: https://ui.adsabs.harvard.edu/abs/2017DPS....4950403Z/abstra...
Pluto の接近飛行や、Mars でヘリコプターを飛ばした結果はどうやって再現するのでしょうか。
“In The Pipeline” で知った “Insights from a laboratory fire” という論文もあります: https://www.nature.com/articles/s41557-023-01254-6
化学実験室での火災は比較的よくある一方で過小報告されており、結果は致命的になり得る、という内容です。この場合、ピア再現に何の関係があるのでしょうか。
そのような場合の再現とは、別の人がそのデータセットにそのコードを実行し、同じ結果を得られることを意味します。
実験室はソフトウェア環境を改善し、新しいツールを学ぶべきなのでしょうか。昔ながらの秘伝のノウハウを手放すべきなのでしょうか。まさにそれが要点です。
問題は新発見の出版ではなく、出版後にそれを確認するインセンティブが不足していることです。
ダイオウイカの新たな観察は、もはや新しくなくても依然として非常に価値があります。だから新たな観察は奨励されるべきです。
Pluto の接近飛行や Mars ヘリコプターも、実は良い例ではありません。別の探査機を送ればよく、Mars の大気中での飛行体の事例とデータは今後豊富に出てくる可能性があります。シミュレーションも非常に大量にできます。Pluto には分光計やさまざまな機器を今後も向け続けることになるでしょう。
こうした場合でも、同じ実験装置から出たデータであっても、異なるチームが独立に分析すれば堅牢性を高められます。すべてが白黒ではありません。観察はスペクトラム上にあり、あるものはほかよりはるかに信頼でき、再現はその一要素です。
実験室火災の場合、特定の実験室の特殊性に由来する現象が何なのかを知るには、2件以上の事例が必要です。統計的分析や要因分析のようなものが必要です。このとき再現とは、実際の実験室にわざと火をつけるという意味ではありません。
自動車事故研究と同じです。わざと人を殺すことはしませんが、実際に起きた事案をもとに研究し、以前の観察を確認または反証する新しい論文が継続的に必要です。
完璧な世界ならデータ収集も再現するでしょうが、私たちは完璧な世界に住んでいるわけではありません。
薬物の臨床試験も同じです。企業は原資料が営業秘密だと主張するため、臨床試験の原資料を入手するための争いが常にあります。そのため独立検証は非常に高くつきますが、FDA が編集済みの結論と一部の裏付け資料だけでなく、収集されたデータの100%公開を求めるなら、はるかに良くなると思います。
たとえば FDA は、COVID ワクチン臨床試験の原資料公開には数十年かかると言っていました。なぜそうでなければならないのでしょうか。しかもそれは訴訟で強制された後の話です。
コンピューターサイエンスの大学院時代、かなりの時間を論文の実装の細部に費やしましたが、繰り返し思い知らされたのは、論文が手法の欠点や失敗例をすべて述べていないということでした。優れた例外もあります。
出版しなければ死ぬというプレッシャーのせいで、研究には誠実さがほとんどありません。幸い、自分の仕事を透明に公開する人たちもいますが、全体として科学は、透明性の不足と再現失敗に満ちた研究の海に沈んでいます。
CI/CD は、何かを本番環境に入れるために、ビルド方法とデプロイ方法を正確にコード化することを強制します。Docker と仮想マシンは、簡単にコピーして共有できる「私のマシン」を提供することで、この問題を迂回する方法です。
プログラミング言語の分野では、学会が著者にパッケージ化されたアーティファクトを提出できるようにし始めている。通常はソースコード、入力データ、学習データなどで、多くの場合、論文査読後に別途評価される。
アーティファクトは通常、大学院生で構成される別委員会が評価し、いつものように全員ボランティアである。明示的な指針があっても、同じコードを別の環境で実行して同じ結果を得ることだけでも十分に難しい。ソフトウェア手法の「再現」が、別チームによるゼロからの再実装を要求するなら、実現不可能に見える。
物理学、化学、生物学の最前線の実験を、別の研究室が成功裏に再現できるような手順を書くことがどれほど難しいかは、想像もつかない。専門機器だけの問題ではなく、最先端研究を行う科学の境界線で起きていることだからだ。
こうした提案は、どの分野のピアレビュー過程も経験したことのない非科学者が書いたもののように感じられる。現実はそうは動かない。
「ハード」サイエンスでは、再現はそれほど難しくない場合が多いように見える。LK-99は興味深い例で、急いで書かれた論文で詳細が不足しているという点には概ね同意があったにもかかわらず、人々は実験をうまく再現しているように見えた。最先端の科学ではあるが、再現それ自体は問題ではなかった。科学の大半はLHCではない。
再現の本当の問題は、より「ソフト」な分野に見られる。そこではランダム性や実験の難しさだけの問題ではない。原理的にも再現不可能な論文や、分野全体をよく目にする。研究者たちは、他人が自分の仕事を再現できるべきだとは考えていなかったり、時には再現を妨げようとしたりする。最も一般的な方法は、再現不可能な形でデータを集め、意図的に公開しないことであり、時には研究設計そのものが問題になる。
こうしたものを見ると、最も自然な推論は、彼らは自分たちの主張が事実ではない可能性を知っているため、再現の試みを望んでいない、ということだ。
だから、ピアレビュアーやジャーナルがごく基本的なこと、たとえばこの主張が原理的にでも再現可能かを確認するだけでも、よい出発点になる。依然として、よく再現されるが結論が間違っている論文、方法論が非論理的な論文、あまりに当然なので再現される論文は残るだろうが、簡単に取れる果実があまりにも多い。
ピアレビューは、間違った問題に対する正しい解決策である: https://open.substack.com/pub/experimentalhistory/p/science-...
再現は価値ある目標だが、キャリア上のインセンティブが必要だ。ほとんどのプログラムで、研究の再現をカリキュラムの一部に入れるべきだと思う。論文1本の代わりに、博士号へ進むための段階になり得る。
強い結合と弱い結合という区別は、ある文化圏が刺激剤をよく思わず、別の文化圏が弛緩剤をよく思わない様子にも似ている。