- 企業の持続可能性と株価パフォーマンスの相関関係を主張した論文が6,000回以上引用されたが、重大な誤りと虚偽の記述が明らかになった
- 研究の再現を試みたAndy Kingは、著者、学界、ジャーナル、大学のいずれもが、自身の訂正と検証の要請を繰り返し無視したと述べている
- 論文には、統計的有意性の誤記、方法論の誤記、非現実的な標本マッチングなど多数の問題が含まれ、一部は単純な誤植として処理された
- KingはLinkedInでの公開と複製研究専門ジャーナル(JOMSR) を通じて問題提起したが、Harvard Business SchoolとLondon Business Schoolは軽微な事案だと結論づけた
- 著者は今なお論文を撤回しておらず、記事は科学的信頼性を管理するシステムの崩壊と改革の必要性を強調している
問題の論文と再現の試み
- 論文 “The Impact of Corporate Sustainability on Organizational Processes and Performance” は6,000回以上引用され、ウォール街の経営幹部や元米国副大統領まで引用した影響力のある研究と評価されている
- Andy Kingはこの論文を再現しようとして、方法論の不一致、統計的誤り、欠落した検定、異常な標本構成を発見した
- 著者に何度もメールを送ったが、返答はなかった
- 既存研究には、再現・複製(Replication)研究者からの要請を無視または遅延させる慣行が一般的だとする Bloomfield et al.(2018) の研究もある
学界とジャーナルの対応
- Kingは同僚研究者たちに協力を求めたが、多くは対立回避や時間不足を理由に断った
- 一部の研究者は「出版済み論文の誤りを指摘することの方がキャリアにとって不利だ」と述べた
- ジャーナル Management Science に批判的コメントを投稿したが、「論調が不適切だ」 という理由で却下された
- 著者らは主要結果の有意性表記が誤っていたことを認めたが、それを**「誤植」**だと主張した
- Kingによる追加の訂正要求はすべて拒否された
外部公開と複製研究の出版
- KingがLinkedInで誤りを公開した後、ジャーナルは遅れて訂正文(erratum) を掲載した
- 複製研究は Journal of Management Scientific Reports(JOMSR) に掲載され、複製研究専用ジャーナルの役割を強調した
- Kingは、元の論文では報告された方法と実際に使われた方法が異なっており、実際の方法では結果を再現できないことを確認した
研究倫理調査と大学の反応
- Kingは Harvard Business School と London Business School に研究倫理違反の申告を提出した
- 著者らは「編集過程のミスで誤った文章が残った」と説明したが、すべての草稿で同じ誤りが繰り返されていた
- Harvardは調査を行うかどうかを非公開とし、LBSは「意図的な虚偽ではない」として教育的措置のみを勧告した
- Kingは「データにアクセスできるかどうかは本質ではなく、誤った記述は研究の解釈可能性を破壊する」と批判した
制度的失敗と改革提案
- 論文は一部のみ訂正され、誤った方法の記述は今も修正されていない
- Kingは「信頼できる科学管理システムが機能していない」として、次を提案した
- 単一研究の引用を控え、複製の有無を確認する
- 誤りを発見したら即座に訂正する
- 非倫理的行為をする同僚に警告する
- 複製研究と JOMSR のようなジャーナルを支援する
- 機関の研究倫理ポリシーを強化する
- さらに、学術運営における透明性・独立した監視・段階的制裁を制度化し、FurtherReview のような事後検証体制を導入する必要性も示した
Andrew Gelmanのコメント
- Gelmanは著者らの行為を研究不正と位置づけつつも、個人よりシステム上の問題に焦点を当てた
- 「過去の誤りを認めない態度」が科学を**『死んだ学問(dead science)』**にすると指摘した
- 学術コミュニティが誤りの訂正と責任ある態度を奨励しない限り、同じ問題は繰り返されると警告した
1件のコメント
Hacker Newsのコメント
私は2003年からメンテナンスしているオープンソースのエージェントベース・モデリング・ツールキットを開発した
最近、別の言語で作られた新しいツールキットの論文が私のソフトウェアと比較して自分たちの方が優れていると主張していたが、実際には私のツールを誤って実行し、データも歪曲していた
修正を求めたが、ジャーナルは体面のために黙殺し、著者たちも言い訳を並べるだけだった
こういうことが学界ではあまりにもよくあるのが問題だ
その件以来、学術論文への信頼が大きく落ちた
彼らのテスト方法論が根本的に誤っていて、「本当の正解」がない問題を恣意的な基準で学習させ、自分たちの結果が最高だと主張していた
私は掲載不可を勧告し、ジャーナルも同意したが、数か月後、その論文が修正なしで別のジャーナルに掲載されているのを見て学問的な絶望を感じた
結局、「心理学専攻にコーディングを任せるな」という結論になった。少なくともCS専攻者に検証してもらうべきだった
大学の法務チームも同様で、それ以来、学界への信頼はほとんど消えた。これがまさに再現性の危機の理由だ
最近では被引用数は昔ほど意味がない
問題のある論文がコピー＆ペースト的に引用され続けている
そこで、引用グラフの上に信頼ネットワークを重ねるサービスを構想している
問題のある論文を無批判に引用した論文は「汚染の可能性あり」と表示し、そうした論文が多い著者や機関にもタグを付けるようなものだ
だが実際に論文を読んでみると、ひどい論文があまりにも多い
悪い論文が例外的だという前提自体が間違っていて、結局は「泥の中からダイヤを探す」レベルだった
だから、ある分野の90%が偽物なら、もうその分野を無視した方がいいという結論になった
関連研究を要約しただけでも不利益を受けそうだ
だが信頼システムを作っても、結局はゲーム化されるだけだろうと懐疑的だ
どの分野にもひどい論文はあるが、本物のビジネススクールの論文を見ると自尊心が回復する
その分野でまともな研究をしている人はほとんどガリレオ級の例外だ
面白くはあるが深みが足りず、まるで歴史ドキュメンタリーのように表層的だった
「単一の研究を決定的な根拠として引用するな」という意見には全面的に賛成だ
たとえば有名な「Harvard Goal Study」は実在しない
ハーバード図書館のFAQでもそのような研究は存在しないと明記されている
逆に後続の引用がほとんどないなら、それは逃げるべきサインだ
根本的な問題は**「publish or perish」**文化だ
教員採用や研究費が被引用数に左右されるため、相互引用と論文量産が日常化している
データ公開と再現性検証を含む多段階の評価システムが必要だ
世の中にはひどい科学論文が多すぎる
私の好きな文章はJohn P. A. Ioannidisの“Why Most Published Research Findings Are False”だ
問題の核心は統計的有意性と学術誌の構造だ
「有意な結果なし」は出版されないため、自然に偏った結果だけが残る
事前登録と再現可能なデータ公開が重要だが、昇進競争と商業的利害のために、うまく守られていない
「飲酒運転者は悪人ではない」という主張には賛成しがたい
他人の命を脅かす行為を擁護したら、「悪い」という言葉の意味がなくなる
研究者が非倫理的な行動をしても「訓練のせいだ」と言うのは責任回避に聞こえる
システムが悪い行動を起こしやすくするなら、結局のところ構造的問題が原因だ
「訓練された」というのは「教え込まれた」という意味ではなく、環境によって馴化されたという意味だ
‘bad’という語は道徳的含意が弱い
結局はダニング＝クルーガー効果によって自分を過信していた結果だ
こうした錯覚に陥るのが人間なら、人間そのものを悪いとは言えない
「再現研究者は気をつけるべきだ」という言葉は科学の本質に反する
再現できない結果は無意味であり、再現研究はむしろ奨励されるべきだ
あるジャーナルの論文の被引用数がサイトごとに異なって表示されている
SSRNでは109回、ResearchGateでは3936回、Google Scholarでは6269回となっている
被引用数の基準がばらばらで信頼しづらい
また、「すべての論文に対するコメント・訂正・撤回要求を公開しよう」という提案もあったが、
そうするとアインシュタインの論文にさえ妙なコメントがあふれそうだ
思ったほど悪用の問題は大きくない