- 2024年11月に arXiv で “Artificial Intelligence, Scientific Discovery, and Product Innovation” 論文のプレプリント掲載後、この研究の正確性と真正性に問題が提起された
- MIT は非公開の内部調査を実施し、論文の信頼性が不十分と判断して、arXiv と The Quarterly Journal of Economics に正式な撤回要請を送った
- MIT 懲戒委員会（Committee on Discipline）名義の公開書簡によると、論文データの出所、信頼性、正確性についてまったく信頼しておらず、研究結果そのものにも確信がないという立場である
- arXiv の方針上、著者のみが論文の撤回を要請できるが、著者が要請していないため、MIT が代わって正式要請を行い、論文ができるだけ早く撤回され、その旨が明確に表示されることを望んでいる
論文の影響と MIT の対応
- プレプリント論文は**査読（peer review）**を経ていない研究である
- 当該論文は AI と科学分野の学術的議論において相当な影響を与えている
- MIT は論文の不正確な内容が議論に及ぼす悪影響を和らげるため、正式な撤回を進めている
- 著者はもはや MIT に所属していない
研究の真正性の重要性
- 研究の真正性は MIT の中核的価値であり、大学の中核的使命に当たる
- MIT は研究不正の問題に迅速に対応するため、非公開手続きと関連方針を整備・運用している
- 関連する方針と手続きは MIT 公式ウェブサイトで確認できる
教員の公式見解
- Daron Acemoglu 教授と David Autor 教授は当該論文で脚注に言及されており、次のような公式声明を発表した
- 当該論文は経済学部の元博士課程2年生の成果であり、まだ査読を経た学術誌には掲載されていないが、すでにAI および科学関連の文献で活発に議論されている
- 時間の経過とともに研究の妥当性に疑問が提起され、関連部門に報告された
- 2024年2月、MIT は内部方針に従って非公開調査を進めた
- 情報公開の制限により結果の公表は難しいが、データと研究の出所、信頼性、真正性についてまったく信頼していないことを改めて強調した
- こうした内容を公表する理由は、当該論文が未刊行の状態であるにもかかわらず、AI が科学に与える影響を論じるうえで影響を及ぼしているためである
- MIT は正確な研究記録の確保を重視しており、学界および公論の場でこの論文の結果に依拠して議論するのは不適切であることを明確にした
結論および勧告事項
- MIT は学界と一般社会に対し、当該論文を学術的参考資料として使用しないよう勧告している
- 研究の正確性と信頼性の確保を最優先課題としている
1件のコメント
Hacker News の意見
arXiv の論文撤回を依頼できるのは著者本人だけだと理解しており、MIT は著者に撤回を求めたものの、まだ実行されていない状況だと説明する立場表明として話が進んでいるという見方。MIT がプライバシーを適度に守りつつ、事態の経緯をある程度明らかにする情報の出し方は悪くないと思う。著者は論文を残したまま MIT を自発的に去り、新たな機会につながることを期待していて、MIT がこれについて公式声明を出すとは予想していなかったのではないかという推測もある
MIT が学生にすべての責任を押しつけ、自分たちの過失を隠しているという主張。著者は有名で裕福な MIT 教授たちの推薦を受けており、博士課程2年目の学生が業界内の接点もなく、独力でこのような大規模な不正研究をやり遂げるのは難しいはずだという考え。論文の要旨にある「AI が新素材を 44% 多く発見し、特許出願が 39% 増加し、下流のイノベーションが 17% 増加した」という統計は、産業界の研究実態に照らすと数字だけ見ても疑わしいという見解。これほどの数値なら、基本的な感覚だけでも不正だと分かるはずだという
著者が自分の痕跡を隠そうとして偽サイトを作り、Corning という企業で働いていたかのように見せるためドメインまで登録していた事実も確認されている。これにより Corning が WIPO を通じてドメインの強制移転を行うことになった件も添えられている
著者が Zoom で自身の論文セミナーを行った映像資料も共有されている。振り返ると、嘘をつくときに視線を画面やカメラに向けない癖が目立ち、こうしたその場しのぎの嘘がすでに日常化した習慣なのかもしれないという不安にも触れている
論文のプロットデータがあまりにもきれいすぎて、実データではなく捏造のように見えるという第一印象の共有。特に 2022年5月、chatGPT が世に出るわずか 6 か月前の時点で、博士課程2年目の学生が大企業の素材実験研究所で千人規模の実験を実施させるよう説得できた理由が説明されていない。モデルの説明も GAN+diffusion などと大まかに済まされており具体性がなく、実際の大企業実務の経験からしても、こうした大規模導入が短期間で実現することは絶対にないと断言している
論文の実験設計が現実的に不可能だという点で、Michael LaCour の論文不正との類似性にも言及している。当時もアンケートパネルの回答率や再回答率などが常識外れで、実際にその実験を遂行できる能力がある企業でさえ、そのような手順は不可能だと答えていた事例に注目している
当該論文の著者は MIT IRB から人間実験の承認を得たとして番号まで挙げていたが、その当時はまだ博士課程に入学すらしていなかった点を指摘している
Q&A セッションで著者は GAN ではなく GNN（グラフニューラルネットワーク）を使ったと主張したが、発表の聴衆側も論文の妥当性を深く問わない雰囲気だったことが共有されている
論文の再現が難しく、分野自体も広大な場合、その論文が実際にいつ検証されるのかという疑問と、その分野に不正論文がどれほど多いのかをもっと考えるべきだという意見。実際、ML 分野では数字をでっち上げる人がかなりいたという個人的経験も述べられている
科学者たちの月ごとの業務時間配分データを自動テキスト分析で年間ほぼ一定に得られたというのは、そもそも成り立たない話だという考え。そうしたデータなら品質が想像を超えて高くなければならないが、現実には不可能な水準だという
MIT の著名な経済学者たちは論文の信頼性に疑問を抱く側につき、実在する素材大手のイノベーション事例を検証する中で意見の相違を解消できず、MIT に調査を委ねることになった状況。学生を追放しただけで済む話ではなく、論文を積極的に後押しした教授たちも実際に研究に関わっていたなら、千人規模の謎の研究所が存在するのか、実際に AI ツールが使われていたのかといった基本確認はすべきだったという問題提起
論文の謝辞リストに載っている 21 人のうち誰一人としてデータの出所を疑わなかった状況を皮肉っている。そのうちの一人は研究について人気のある Twitter スレッドまで書いていたが、最近の事件の知らせに対しては「論文データは信頼できないようだ」という短い返答だけだった
学界のあちこちに、名声だけ大きくて論文はまともに読まない教授が多く、個人的にもその実態を経験しているという嘆き。実名は出せないが、厳しい状況の中でも良い共同指導教員がいるので、その点では前向きに考えているとも述べている
引用した出典がどこかと問われ、ワシントン・ポストと WSJ の記事だと明かしている
当該論文がすでに 50 回近く引用されている事実に注目している。かつての伝統的ジャーナルなら論文の問題に関するメッセージを残すこともできたが、arXiv の場合は論文を追っても論争や問題点を知る手段がほとんどなく、プレプリントサーバーの弱点が露呈していると指摘している
50 件の引用の大半は arXiv などのプレプリントや ResearchGate のような場所で発生していると説明している。実質的には査読ジャーナルでの引用数が現実的な尺度だとも述べている。arXiv は査読のない PDF ブログのようなもので、多少の招待システムがあるだけで防御力は弱いという感想も共有され、話の流れで過去の奇妙な暗号論文の例にも触れている
こうした弱点は査読の欠如に由来するもので、arXiv には一種の管理はあっても実際に信頼に足る水準ではないと指摘している。論文を信頼するには著者を信頼するか、自分で精査するしかなく、撤回時にも理由が別途残らないため各自で追跡しなければならない環境だという。例として、自分が見た撤回論文のメッセージも引用している
この論文は数か月前にも HN で議論されていた資料だという共有
その時点ですでに怪しいと見抜いていた人がいたことを、添付リンクとともに強調している
議論投稿のタイトルとリンクも補足して情報共有している
論文を完全に削除するより、研究プレプリントに問題点や不正の可能性を知らせるメモを追加する形のほうがよいという意見。すでに引用されている以上、後から論文の実際の影響を確認する必要が生じるかもしれず、論文が消えると空白だけが残ることを懸念している
論文撤回時には旧バージョンが残り、MIT 側が撤回を要請した事実も記載されると述べている。報道記事の見出しはやや誤解を招きやすいとも指摘している
犯罪的な論文が引用され続けないよう、引用している論文側にも警告マークなどを付けるべきで、不正の影響が最後まで残らないよう対策が必要だと考えている
arXiv に「ここにはかつて論文があったが撤回された」というページだけでもあればよいのに、という希望も述べている
MIT が単に博士課程学生の過失だけを語り、VC 資金、裏取引、組織的腐敗の可能性をすべて否定する姿勢に疑問を抱いている。当該論文がいつか露見すると分かっていながら、AI 市場の価値や期待感を煽って先に大きな利益を得て、論争が大きくなったら少額を払って謝罪するだけなら、結局は大きな利益を確保できる構造だという見方。製薬会社がしばしばこうしたやり方を使うという市場の現実にも触れている。信頼できそうな機関や出版物にも虚偽または多少歪められた論文は多く、記事引用だけでは論理的妥当性は保証されないという警戒感も示している
MIT の公式発表はディテールが少なく、WSJ の記事にはまだ少し情報があるが、それでも具体的内容は乏しいと指摘している。論文を積極的に広めた経済学者たちをめぐり、外部の計算機科学者による問題提起の後に MIT の内部調査が行われた状況だとあらためて伝えている
「博士課程2年目出身」という点が明らかになっているだけでも、彼が追放されたことを示唆しているのではないかという意見