現時点で Jeff Dean に最低限の信頼をすぐ与えない理由があるのかと思う。彼の実績は誰とも比べがたく、今も活発に活動している。彼に影を落とすような出来事があったのだろうか。時にはメッセンジャー自身が重みを持つものだ
ここでは、間違った人たちの側についてしまったように見える。彼は本質的にはシステムビルダーであって、チップ設計や EDA の専門家ではないし、厳密に言えば機械学習研究者でもない
カリスマ性のある若い詐欺師に巻き込まれ、今では深く入り込みすぎて引き下がりにくくなったと見る人もいるだろう。このプロジェクトに注力したことも Google 内での立場には役立たず、昨年の重要な仕事はすべて Demis に移り、彼には名誉職に近い肩書だけが残った。彼の業績を考えると、かなり残念だ
Jeff Dean が 2020 年、2021 年、2022 年に講演していた頃は、その信頼は理にかなっていた。しかし今は、EDA コミュニティの懐疑論に対して非学術的な個人攻撃と、「多くの企業」が使っているという曖昧な言及で応じている
もはや善意に解釈する段階を過ぎ、かなり疑ってよい領域に入ったと思う
再現する方法もなく大それた主張をして、メディアに駆け込めば、メディアは何でも食いつく
「AI が AI を設計する……いや、チップを設計する」という言葉は文系専攻の人たちには未来的に聞こえるし、あらゆる「AI」を疑うべきプログラマーたちにもそう見えるらしい。Nature に出したことから始まって、出版プロセス全体が不誠実に見える。なぜ ISCCC のような場ではなかったのか？
金のためだ
この程度が不快だと感じるなら、Twitter で Jeff Dean を攻撃しようとしている環境活動家たちを見るべきだ
問題は、AI をめぐるビッグテックの商業的インセンティブが「退屈な学術」の水を汚染し、ジャーナル論文や arXiv プレプリントに偽装した不誠実な情報広告を生み出していることにある[1]
その結果、現代の AI 研究は社会科学よりはるかに深刻な再現性の危機に陥っており、正当な言い訳はずっと少ない。Google が嘘をついていないのなら、独立した人々が見られるようベンチマークデータを公開するだけで論争の多くは消えるはずなのに、いまだに拒んでいる: https://cacm.acm.org/news/updates-spark-uproar/ Google は、結論をただ権威として受け入れろと考えているようだ。また、Google が 2022 年に解雇した内部告発者 Satrajit Chatterjee の流出論文では、RePlAce の「30〜35%」の優位性が、Google が当時チップ設計 AI アプローチについて掲げていた「超人的」な主張を反証する結果と一致するとしていた。Jeff Dean への「個人攻撃」は完全に適切だ。批判の核心は、彼の性格が不誠実で権威主義的だという点にあるからだ。彼は疑わしい研究を発表し、反対する人を解雇した
[1] Jeff Dean が批判論文を学会論文だという理由で嘲笑するのは、とりわけ胸糞が悪い。信じがたいほどひどい態度だ
Jeff Deanのツイートによると、ChengらはGoogleの研究者らの成果を再現するために必要な手順に従っていなかったという
特に「著者らは事前学習をまったく行っておらず、Nature論文で事前学習が37回言及されていたにもかかわらずそうしたため、学習ベースの手法が他のチップ設計から学ぶ能力を奪われた」としている。ところがGoogleのCircuit Trainingリポジトリ[1]では、「ゼロから学習した結果は、事前学習モデルをファインチューニングした論文の結果と同等かそれ以上」と明記されている。私が何か誤解しているのかもしれないが、どちらなのか？ 事前学習をしなかったから失敗したのか、それとも元のリポジトリに書かれた「手順」に従って公正な再現を試みたのか？ UCSDグループが複数の段階をリバースエンジニアリングしなければならなかった点を見ると、論文の結果だけでは再現可能ではなかったように見える
[1]: https://github.com/google-research/circuit_training/blob/mai...
リンク先の記事で悪役のように描かれていた Chatterjee は、今は Google を訴えているようだ。自分が解雇された理由は、上司の Jeff Dean が虚偽の主張だと知りながら発表していると指摘したからだと考えているらしい。
「明確に言えば、RL が学術界の最新水準や最強の商用マクロ配置ツールより優れていると信じる証拠はない。後者との比較はあまりにずさんで、多くの場合、商用ツールはインストール問題で実行すらされていなかった」という文言が、Jeff Dean の社内発表画面のスクリーンショットだという。 https://regmedia.co.uk/2023/03/26/satrajit_vs_google.pdf 外部の人間としては、Chatterjee が同僚たちの良い成果を押さえ込んだ悪くて高くつく採用だったのか、それとも虚偽の発表を止めようとした非常に価値ある社員だったのかを判断するのは非常に難しい
本当に多くの時間が無駄になった。
彼は Markov とともに社内研究まで進めたが、AlphaChip の著者らはこう説明している。2022年に Google の独立委員会が検討し、「草稿の主張と結論は実験によって科学的に裏付けられていない」と判断し、「[AlphaChip] の元のデータセット結果が独立に再現されたことで、[Markov et al.] の RL 結果に疑問が生じた」という。著者らは委員会に、Markov らが報告したものよりはるかに良い RL 結果を生成する1行スクリプトを提供し、その結果は彼らの「より強い」焼きなまし法のベースラインよりも良かったという。いまだに Markov と共著者らが論文の数値をどう作ったのか分からないという。
(https://arxiv.org/pdf/2411.10053)
Jeff がここで答えるべきだという圧力を受けるのは理解できる。「Google Brain」の研究成果物のほとんどすべてに名前が載っているからだ。
しかし「彼らは馬鹿だから再現できなかったので再現可能だ」というような言い方は反論ではなく嫌がらせだ。批判者たちは痛いところを突いたのであり、彼の研究が示す再現性問題に反論する良い方法がないように聞こえる。
批判者の雇用主を理由にバイアスがあると主張するのは実に滑稽だ。Google で働くことには利益相反がないかのように言っている。
Google は株価を押し上げるために、あらゆる「うちもやっている」式の AI 開発を必死に誇張している会社ではないのか。Jeff はクールエイドを飲みすぎて、水が何かも忘れたようだ。
Google の究極の証拠は、競合他社より良いチップを作ることだ。今のところ、そうはできていない。
「我々の方法を再現する際に計算資源を十分に使っていない」という批判は、最近では少し笑える。もちろんそうだろう、あなたたちは Google なのだから。
クラウドを所有していなければ我々の方法論を検証できない、と言っているように聞こえる。より多くの計算量とより多くの事前学習が有用だというのが事実でも驚きはしないが、そうなると検証は難しくなる。興味深い反対側の面もある。Google には膨大な計算資源があるが、Synopsys には学習に使えるデータが膨大にある。もちろん、顧客の知的財産で学習してよいかどうかが非常に大きな条件だ。
1件のコメント
Hacker News のコメント
AlphaChip について書いた記事（[https://vighneshiyer.com/misc/ml-for-placement/](https://vighneshiyer.com/misc/ml-for-placement/）の末尾に、Google の反論と AlphaChip アルゴリズム全般を扱う付録を追加した
要約すると、Nature 論文の著者たちは ISPD 論文の著者たちの学習方法論について、妥当な批判をいくつか行っていると思う。ただし AlphaChip は依然として、商用の自動フロアプランナーや AutoDMP と比べて計算コストと実行時間が大きすぎ、競争力は低い。それでも ISPD 論文の著者たちは、Nature 論文の著者たちのすべての批判に対応する、より厳密な研究を出すべきだし、Google が公開した事前学習済みチェックポイントを評価するだけでも、この論争に有用な材料になるはず
この一点だけでも ISPD 研究の結論の妥当性を疑うには十分に見えるが、どう考えるか知りたい。また、このコメントは中立的だが、記事では AlphaChip の著者たちに対して「arrogance」「disdain」「hyperbole」「belittling」「hostile」といった表現を使い、Synopsys の副社長には「excellent」と言うなど、はるかに強い調子だった。この違いがどこから来たのかも気になる
クラウドでは GPU は 1 時間あたり 1〜2 ドル程度なので、推論は約 100〜200 ドル、事前学習は約 800〜1600 ドルで、事前学習コストは複数のチップにわたって償却される。クラウド価格は上限に近く、ほとんどのコンピューターサイエンス研究室はこれよりはるかに多いオンプレミスのリソースを持っている。産業の現場では、こうしたコストはチップ設計プロセスの残りの費用に比べれば完全に小さく、商用 EDA ソフトウェアのライセンス費用だけでも数百万ドル規模だ
現時点で Jeff Dean に最低限の信頼をすぐ与えない理由があるのかと思う。彼の実績は誰とも比べがたく、今も活発に活動している。彼に影を落とすような出来事があったのだろうか。時にはメッセンジャー自身が重みを持つものだ
カリスマ性のある若い詐欺師に巻き込まれ、今では深く入り込みすぎて引き下がりにくくなったと見る人もいるだろう。このプロジェクトに注力したことも Google 内での立場には役立たず、昨年の重要な仕事はすべて Demis に移り、彼には名誉職に近い肩書だけが残った。彼の業績を考えると、かなり残念だ
もはや善意に解釈する段階を過ぎ、かなり疑ってよい領域に入ったと思う
この論争に、なぜこれほど感情や不快感が多いのか気になる。ベンチマークや有意性のような退屈な学術論争が、どうして個人攻撃の争いに変わったのだろうか？
「AI が AI を設計する……いや、チップを設計する」という言葉は文系専攻の人たちには未来的に聞こえるし、あらゆる「AI」を疑うべきプログラマーたちにもそう見えるらしい。Nature に出したことから始まって、出版プロセス全体が不誠実に見える。なぜ ISCCC のような場ではなかったのか？
その結果、現代の AI 研究は社会科学よりはるかに深刻な再現性の危機に陥っており、正当な言い訳はずっと少ない。Google が嘘をついていないのなら、独立した人々が見られるようベンチマークデータを公開するだけで論争の多くは消えるはずなのに、いまだに拒んでいる: https://cacm.acm.org/news/updates-spark-uproar/ Google は、結論をただ権威として受け入れろと考えているようだ。また、Google が 2022 年に解雇した内部告発者 Satrajit Chatterjee の流出論文では、RePlAce の「30〜35%」の優位性が、Google が当時チップ設計 AI アプローチについて掲げていた「超人的」な主張を反証する結果と一致するとしていた。Jeff Dean への「個人攻撃」は完全に適切だ。批判の核心は、彼の性格が不誠実で権威主義的だという点にあるからだ。彼は疑わしい研究を発表し、反対する人を解雇した
[1] Jeff Dean が批判論文を学会論文だという理由で嘲笑するのは、とりわけ胸糞が悪い。信じがたいほどひどい態度だ
Jeff Deanのツイートによると、ChengらはGoogleの研究者らの成果を再現するために必要な手順に従っていなかったという
特に「著者らは事前学習をまったく行っておらず、Nature論文で事前学習が37回言及されていたにもかかわらずそうしたため、学習ベースの手法が他のチップ設計から学ぶ能力を奪われた」としている。ところがGoogleのCircuit Trainingリポジトリ[1]では、「ゼロから学習した結果は、事前学習モデルをファインチューニングした論文の結果と同等かそれ以上」と明記されている。私が何か誤解しているのかもしれないが、どちらなのか？ 事前学習をしなかったから失敗したのか、それとも元のリポジトリに書かれた「手順」に従って公正な再現を試みたのか？ UCSDグループが複数の段階をリバースエンジニアリングしなければならなかった点を見ると、論文の結果だけでは再現可能ではなかったように見える
[1]: https://github.com/google-research/circuit_training/blob/mai...
さらにベンチマーク数が少ない状況で、出所の分からないGoogleの事前学習モデルを使うのは逆効果になり得る。Googleはおそらく利用可能なすべてのベンチマークで学習させ、商用ツールの最適解を吐き出すようにした可能性が高い
それなら矛盾はない。過去の設計で事前学習した後に新しい設計でファインチューニングする方法と、ゼロから全期間を通じてすべてのデータを混ぜて学習する方法の違いである。ファインチューニングは破滅的忘却を引き起こす可能性があり、どちらも過去の設計をまったく含めない場合より性能が良くなり得る
混乱は、その例で論文の事前学習結果と同程度の結果が出たと述べたことに由来しているのかもしれない。しかし、これが事前学習全般を否定したものではないのは明らかだ。Chengらが本当に曖昧だと感じたなら、責任著者に問い合わせるべきだった。リポジトリの一部を「リバースエンジニアリング」しなければならないと感じたなら、それも尋ねるべきだった
関連記事。他にもある？
AI Alone Isn't Ready for Chip Design - https://news.ycombinator.com/item?id=42207373 - 2024年11月、コメント2件
That Chip Has Sailed: Critique of Unfounded Skepticism Around AI for Chip Design - https://news.ycombinator.com/item?id=42172967 - 2024年11月、コメント9件
Reevaluating Google's Reinforcement Learning for IC Macro Placement (AlphaChip) - https://news.ycombinator.com/item?id=42042046 - 2024年11月、コメント1件
How AlphaChip transformed computer chip design - https://news.ycombinator.com/item?id=41672110 - 2024年9月、コメント194件
Tension Inside Google over a Fired AI Researcher’s Conduct - https://news.ycombinator.com/item?id=31576301 - 2022年5月、コメント23件
Google is using AI to design chips that will accelerate AI - https://news.ycombinator.com/item?id=22717983 - 2020年3月、コメント1件
Jeff Deanの回答の文脈はここ
https://news.ycombinator.com/item?id=41673769
https://news.ycombinator.com/item?id=41673808
採用を誤るとどれほど高くつくか、笑ってしまうほどだ: https://www.wired.com/story/google-brain-ai-researcher-fired...
「明確に言えば、RL が学術界の最新水準や最強の商用マクロ配置ツールより優れていると信じる証拠はない。後者との比較はあまりにずさんで、多くの場合、商用ツールはインストール問題で実行すらされていなかった」という文言が、Jeff Dean の社内発表画面のスクリーンショットだという。 https://regmedia.co.uk/2023/03/26/satrajit_vs_google.pdf 外部の人間としては、Chatterjee が同僚たちの良い成果を押さえ込んだ悪くて高くつく採用だったのか、それとも虚偽の発表を止めようとした非常に価値ある社員だったのかを判断するのは非常に難しい
彼は Markov とともに社内研究まで進めたが、AlphaChip の著者らはこう説明している。2022年に Google の独立委員会が検討し、「草稿の主張と結論は実験によって科学的に裏付けられていない」と判断し、「[AlphaChip] の元のデータセット結果が独立に再現されたことで、[Markov et al.] の RL 結果に疑問が生じた」という。著者らは委員会に、Markov らが報告したものよりはるかに良い RL 結果を生成する1行スクリプトを提供し、その結果は彼らの「より強い」焼きなまし法のベースラインよりも良かったという。いまだに Markov と共著者らが論文の数値をどう作ったのか分からないという。
(https://arxiv.org/pdf/2411.10053)
これを減らす最良の、おそらく唯一の方法は、内部のインセンティブと統制、文化だ。サイクルごとに数パーセントずつ果てしない改善を強く求めながら、そもそもその成果が存在したのか確認せず、着実に持ってくる人を昇進させれば、結局は規模に関係なく同じことが起きる。小さなチーム、部門、会社、それらの会社を多数保有するヘッジファンド、そのファンド・オブ・ファンズ、連邦政府、どこでも起こり得る。やがてリーダー層には良心のない人々がかなり入り込む。学界で相次ぐ出版スキャンダル、金融界の数え切れない事件がその例だ。Holmes と SBF は刑務所にいるが、彼らが資金提供した人々や同じ一派は今も影響力の頂点におり、そのイデオロギーを持ち歩き、より良い弁護士まで手に入れている。「魚は頭から腐る」という古い言葉がある。STEM 産業の象徴的リーダーたちが見せるあらゆる怪しさと絶え間ないスキャンダルを見て「よくやった、システムに勝ったな」と言うなら、正直で公正な既存秩序が全面的に攻撃される結果以外は期待しにくい。私たちも結局、「力こそ正義」という準宗教的な理想に足で投票してきたし、私も嫌気が差して辞めるまではその一部だった。Objectivism、Effective Altruism、Capitalism などさまざまに呼ばれるが、本当の資本主義ですらない。すべてが粘つくように汚れてしまったことに驚くことはできない。今日の答えはよく分からない。よりましな会社で働き、少なくとも匿名ででも濫用を告発し、リーダーたちのインタビューでの発言を聞いて綿密に検討するくらいだ。他の提案も聞きたい
Jeff がここで答えるべきだという圧力を受けるのは理解できる。「Google Brain」の研究成果物のほとんどすべてに名前が載っているからだ。
しかし「彼らは馬鹿だから再現できなかったので再現可能だ」というような言い方は反論ではなく嫌がらせだ。批判者たちは痛いところを突いたのであり、彼の研究が示す再現性問題に反論する良い方法がないように聞こえる。
ツイートは、再現試行が元の方法論に実際には従っていなかったと言っているだけだ。再現試行の著者らが「馬鹿」だとか似たようなことは書かれておらず、それは単なる作り話だ。「再現できなかったから再現可能だ」という明らかに誤った論理も完全な捏造だ。
Google は株価を押し上げるために、あらゆる「うちもやっている」式の AI 開発を必死に誇張している会社ではないのか。Jeff はクールエイドを飲みすぎて、水が何かも忘れたようだ。
Google の究極の証拠は、競合他社より良いチップを作ることだ。今のところ、そうはできていない。
「我々の方法を再現する際に計算資源を十分に使っていない」という批判は、最近では少し笑える。もちろんそうだろう、あなたたちは Google なのだから。
クラウドを所有していなければ我々の方法論を検証できない、と言っているように聞こえる。より多くの計算量とより多くの事前学習が有用だというのが事実でも驚きはしないが、そうなると検証は難しくなる。興味深い反対側の面もある。Google には膨大な計算資源があるが、Synopsys には学習に使えるデータが膨大にある。もちろん、顧客の知的財産で学習してよいかどうかが非常に大きな条件だ。