- 研究をオープン・透明・再現可能に設計して共有すると、結果の到達範囲や検証可能性、再分析可能性が高まる
- 有料論文、非公開コード、アクセス不能なデータ、廃止されたソフトウェアは、他の研究者が実際の分析過程を確認しにくくする
- 不十分な実験設計と分析は、誤った発見を文献に蓄積させ、新しい研究者が信頼できる結果を見分けるコストを増やす
- 公開と再現性には追加作業や報酬構造の限界があるが、ミスを早期に発見し、研究の信頼性を高めるのに役立つ
- ハンドブックは、研究設計、データ分析・報告、研究資料の公開をモジュール型の実践法に分け、必要な部分から適用できるよう構成されている
オープン性と再現性が必要な理由
- 研究がオープン・透明・再現可能な方法で実施・共有されなければ、研究の利益は小さくなる
- 有料アクセスのみの出版経路に論文が掲載されると、研究成果を見られる人が制限され、成果物の潜在的な到達範囲も狭くなる
- 多くの分析は複雑であり、本文の論文だけであらゆる選択や手順を説明するのはほぼ不可能である
- 付随するコードがなければ、他者が正確に何が行われたのか確信するのは難しい
- コードが公開されていても、データにアクセスできなかったり、廃止されたソフトウェアのために過去の研究を再現・再分析しにくい場合がある
- 過去の研究を容易に再分析できなければ、コミュニティは別の分析経路を探ったり、データセットを結合したり、実験を新しい環境へ一般化したりしにくくなる
誤った研究慣行のコスト
- 実験設計と分析に十分な注意を払わなければ、文献に誤った発見がより多く蓄積される可能性がある
- 信頼しにくい結果が増えるほど、新しい研究者は研究対象を理解し、実際の進展を得るまでにより多くの時間を費やさなければならない
研究者が公開と再現性に消極的な理由
- オープンで透明かつ再現可能な研究には追加の作業が必要であり、現在の報酬構造が常にその努力を報いるとは限らない
- ただし、多くの分野で変化は起きており、一部のコミュニティではこうした努力が高く評価されている
- ミスのコストは大きくなり得るため、オープン性はミスを避ける助けになる
- 一部のデータは、個人情報、著作権、その他の事情により、合法的に共有できない
- こうしたデータを使う研究は、よりオープンなデータを使う研究より、一般に世界にとっての有用性が低い可能性がある
- それでも、実施した分析、データ収集プロトコル、事前登録などの方法を透明に公開すれば、研究への信頼を高められる
- データとコードを公開すると、ミスや低いコード品質が露呈するのではないかと心配する場合がある
- こうした懸念は理解できるが、たいていは方向が誤っている
- エラーは早く見つけるほうがよく、ほとんどの人はコード品質とは無関係に、公開そのものを前向きに受け止める
- 最初から最終公開を念頭にコードを共有すれば、改善にも役立つ
- どこから始めればよいかわからない人も多い
- 既存のオープンサイエンスや再現性ガイドは、完全な書籍や膨大な資料集の形を取ることが多く、全体の哲学や包括的な研究アプローチを学ぶ負担が生じがちである
ハンドブックのアプローチ
- このハンドブックは、研究を一度に完全に変えるのではなく、さまざまな方法で少しずつよりオープン・透明・再現可能にしていく方法を扱う
- 各ステップは、それ自体である程度の利益をもたらしうる
- 分野ごとのニュアンスや要件は存在するが、データと統計分析を扱う大半の領域には、互いに学べる点が多い
- 形式は以下を目指している
- モジュール型: 個々のアイデアを単独で使うことも、組み合わせることもできる
- 実用的: 実行可能で影響の大きい実践に集中する
- 汎用的: データと統計分析を扱うどの分野にも適用できる
- 簡潔: 今すぐ講義全体を受ける時間がない忙しい科学者を対象とする
3つの主要セクション
- 第1セクションは、結果と結論が妥当で有用であることを保証し、示すための慎重な研究設計を扱う
- 検出力分析を用いて適切なサンプルサイズを推定するなど、実験パラメータを慎重に決定する
- 探索的研究と確認的研究を区別する
- 統計分析を事前に計画する
- 過去の研究と比較可能にするため、関連データをすべて収集する
- 事前登録、潜在的問題への備え、倫理的含意の考慮といった追加要素を含む
- 第2セクションは、データ分析と結果報告のベストプラクティスを扱う
- データを扱う前に必要な決定と考慮事項
- 事前の統計分析計画
- 適切なデータ生成
- 透明なデータ準備
- 情報量の多いデータ可視化
- 適切な統計を用いたデータ要約
- よくあるミスを避けるデータ分析
- 医学研究のための追加考慮事項
- 透明で包括的な統計分析報告
- マニュアルの原則を示す出版文献の事例
- 第3セクションは、関連する研究資料をすべての人に公開する方法を扱う
- Open Data: 追加研究と複製のために生データを公開する
- Open Source Code: 分析パイプラインを透明化し、他者が借用または検証できるようにする
- Reproducible Environments: データやコードだけでなく、分析を容易に再実行できる環境も提供する
- Open Publication Models: 研究に関連する学術成果物を誰もが見られるようにする
- Documenting Processes and Decisions: 何をどのように行ったかだけでなく、なぜそうしたのかも、公開実験ノートのような仕組みで明確にする
付録の範囲
- 付録では、よくある質問、分野別の考慮事項、追加資料へのリンクといった補助リソースを扱う
1件のコメント
Hacker Newsのコメント
使用したパッケージのバージョンを記録するのもよいが、よりよい方法は、コードと一緒に Guix channel や Nix flake のような、依存関係チェーンが完全に固定された環境記述を提供すること
Dockerでも固定バージョンを強制することはできるが、
apt updateを一度実行するだけで完全に壊れることがあるNixとGuixは、同じツールとバージョンでコードを実行するための環境を提供するだけでなく、共有可能なコンテナイメージの生成も可能にする
Stanfordのように通常は学費が高い大学が 学習資料を無料で 提供しているのはとてもよいこと
使ったことがある人いる？ いい感じ？
うちのチームは今、ソフトウェア分野からデータサイエンスへ移行しているところで、この資料はそのギャップを埋めてくれそうに見える
ページには https://stanforddatascience.github.io/best-practices/index.h... が埋め込まれている
このハンドブックは、ベストプラクティスを提示して科学をより オープンで透明性が高く、再現可能 にするためのガイドだと要約できる