「ピアレビュー」を「ピア複製」に置き換える (2021)

• この記事は、科学研究において従来の査読を「ピア複製」に置き換えるというアイデアを論じている。
• 著者は、現在の査読プロセスには欠陥があり、重要な科学的発見を伝えるうえで重大な障害になり得ると主張している。
• 提案されている「ピア複製」プロセスは、数人の専門家に査読してもらう代わりに、プレプリントを別の研究室に送り、結果を複製してもらうことを含む。
• 著者は、論文の真の試練は、その結果を現実世界で再現できる能力であるべきだと提案している。
• この記事は、現在は独立した研究室が掲載済みの結果を複製する動機がほとんどなく、これは科学が理想的に機能すべき姿とは逆である点を強調している。
• 提案されたシステムでは、複製作業を行う研究者は掲載された論文でクレジットを受けられるため、その努力への動機づけが与えられる。
• 著者は、このアプローチには、投稿から出版までに追加の時間が必要になる可能性や、高度な科学技術を用いる、あるいは相当な資源を必要とする結果の再現が難しい可能性など、潜在的な課題があることを認めている。
• 著者は、このプロセスをより実現可能にするため、ストーリーの詳細を先に提出し、原稿がまだ準備中の段階で複製の手配を進めることを提案している。
• この記事は、Review Commons のような組織がこの新しいアプローチの試験運用を企画できる可能性があり、科学者たちが誌面上でピア複製を目にすれば、従来の査読よりも好まれる方法になるかもしれないとして結論づけている。

[GN⁺]

Hacker Newsの意見

• この記事は、科学研究における現在の査読システムを「ピア・レプリケーション」に置き換えることを提案しています。
• 批評家たちは、公開されたすべての論文を再現するには相当な労力と資源が必要であり、再現を行う科学者にとって利益にならないと主張しています。
• 科学出版物の目的は、新しい結果を他の科学者と共有し、彼らがその研究を発展させたり検証したりできるようにすることです。査読プロセスは当初、書き方の拙い論文や明らかなスパムを却下するために設計されました。
• 査読プロセスは再現を保証しませんが、論文の可読性と理解可能性は保証します。
• 「ピア・レプリケーション」は数十億ドル規模の実験には非現実的だと示唆する人もいます。代わりに、再現された論文に関するメタデータを追加するほうが、より実行可能なアプローチかもしれません。
• コンピュータサイエンスや機械学習のような分野では、論文の曖昧さのために「コードがなければ起きなかった」というアプローチが求められています。
• 「ピア・レプリケーション」という概念は誤解されていると主張する人もいます。これが別の研究室が一致するデータセットを生成して結果を再現することを意味するのであれば、データ収集にかかる費用と時間のために実行可能ではないと見なされています。
• 「査読」を「可読性レビュー」と「再現可能性ステートメント」に分けることが提案されています。後者は、実験の実施に用いられた方法論と戦略を詳しく説明するものです。
• 「再現可能性レビュー」または各論文に対する「方法論マップ」の提出を求める要件が、より現実的なアプローチと見なされています。これはレビュアーと著者のやり取りを含み、その目標は結果を再現することです。
• 一部の批評家は、結果を再現するために必要な重要情報が論文からしばしば省略されており、特定の科学的方向性に対する信頼が不足していると主張しています。
• 「ピア・レプリケーション」への共感があるとしても、批評家たちは、特にLIGO、LHC、JWSTのような大規模プロジェクトでは、これが常に実用的であるとは限らないと主張しています.