AlphaEvolve: Geminiベースの先進的アルゴリズム設計コーディングエージェント

 (deepmind.google)
3 ポイント 投稿者 GN⁺ 2025-05-15 | 1件のコメント | WhatsAppで共有
  • AlphaEvolveはLLMと自動評価器を組み合わせた進化型アルゴリズム生成エージェント
  • 数学・コンピューティング・AI・ハードウェア設計分野で実質的な成果を示し、Googleインフラ全体に適用されている
  • Gemini FlashとGemini Proを組み合わせて、アイデアの幅と深さを同時に探索する
  • データセンターのスケジューリング、TPU設計、AIカーネル最適化などで高速化とリソース削減の効果を実現
  • 50件以上の数学的難問にも挑戦し、新たなアルゴリズムを提案、一部の問題では既存解法を改善

AlphaEvolve: Geminiベースのアルゴリズム進化エージェント

概要

  • AlphaEvolveはGoogle DeepMindが開発した大規模言語モデル（LLM）ベースのコーディングエージェント
  • 創造的なコード生成はGeminiモデルが、検証は自動評価器が担当
  • 進化アルゴリズムを通じて最適なコード候補を反復的に改善

実際の適用分野と成果

Googleコンピューティングインフラの最適化

  • データセンター、ハードウェア、ソフトウェア全般にAlphaEvolveを適用
  • 効率性の改善がAIインフラ全体に継続的な波及効果をもたらす

データセンタースケジューリングの改善

  • GoogleのクラスタマネージャーBorg向けに新しいヒューリスティックを提案
  • 1年以上にわたり実サービスで運用され、世界全体のコンピューティングリソースの0.7%回収に貢献
  • 人間が理解できるコードで保守が容易

ハードウェア設計支援

  • Verilogで記述された行列積回路の最適化案を提案
  • 今後GoogleのTPU設計に統合予定
  • ハードウェアエンジニアとの協業を促進

AI学習と推論の高速化

  • 行列積をより小さな問題に分割 → Geminiの学習速度を1%向上
  • カーネル最適化時間を数週間から数日に短縮
  • FlashAttentionカーネルを最大32.5%高速化
  • コンパイラ最適化が極端に適用された領域でも追加の性能向上が可能

数学およびアルゴリズム分野での革新

新しい行列積アルゴリズムの発見

  • 既存の**Strassenアルゴリズム（1969）**より優れた方法を発見
  • 4x4複素行列を48回のスカラー乗算だけで処理

数学的難問の探索

  • 解析学、幾何、組合せ論、数論など50件以上の問題を実験

    • 75%で既存の最良解法を再発見
    • 20%では既存解法を上回る結果を導出

  • 例: kissing number問題の新たな下限を発見

    • 11次元で593個の球の配置により既存記録を更新

動作方式

  1. プロンプトサンプラーが入力を生成
  2. Gemini Flash/Proモデルがコードを生成
  3. 自動評価器が正確性と品質を定量評価
  4. 遺伝的アルゴリズム方式で高性能なコードを進化
  5. 最適なコードは再利用、配布、拡張が可能

今後の計画

  • コーディング能力の向上に伴い、AlphaEvolveも継続的に改善予定
  • People + AI Researchチームと協力してユーザーインターフェースを開発中
  • Early Access Programを通じて学術界のユーザーに公開予定
    関心登録

応用可能性

  • アルゴリズムで解法を定義し評価できる問題であればあらゆる分野に適用可能
  • 例: 新素材開発、新薬探索、持続可能性、技術・ビジネス課題の解決

参考リンク

関連記事

1件のコメント

 
GN⁺ 2025-05-15
Hacker Newsのコメント
  • 論文の引用によれば、ストラッセンのアルゴリズムを繰り返し適用すると 4x4 行列積には 49 回の乗算が必要になるが、AlphaEvolve は 4x4 複素行列の乗算をわずか 48 回の乗算で実現する初の方法を見つけたとのこと。実際に行列を掛けてみると、似たような計算を何度も繰り返しているように感じられる。たとえば、2 つの集合の和集合の大きさを求めるときも重複部分を引く必要がある。ストラッセンのアルゴリズムは後の段階で必要になる計算を追跡しておく方式で、ある種の動的計画法に似ている。興味深いのは、追加の削減効果が複素数でのみ現れる点で、単純な方法では複素平面上で何らかの重複カウントが起きているように思える
    • 「4x4 matrices multiplication 48」でググっていたら、math.stackexchange の投稿を見つけた。2019 年の時点で、4x4 行列積を 48 回の乗算だけで計算できるという言及と博士論文へのリンクがあった。この結果はすでに知られていたものかもしれないと思う（まだアルゴリズムの概要は確認できていない）
    • ストラッセンのアルゴリズムについて誤解があるようだ。第一に、ストラッセンは動的計画法ではなく、分割統治法の代表的な例だ。第二に、ストラッセンのアルゴリズムは複素数ではなく実数だけでも動作する
  • AlphaEvolve が Transformer ベースの AI モデルの FlashAttention カーネルで最大 32.5% の高速化を達成したという話がある。75% のケースでは既存の最良解を再発見し、20% では従来の最高記録をさらに改善したという。本当に印象的な結果だが、実際にどのような手法と改善が行われたのか具体的に気になる。32.5% の改善が極端な例外ケースでしか出ないのか、実際のベンチマークが知りたい
    • GPU にはキャッシュ階層があるので、ブロックサイズを最適に合わせるだけで非常に大きな効果があるが、実際にはさまざまなカーネルや GPU、チューニングの努力が必要になる。カーネル融合や API 境界の問題もある。AlphaEvolve の結果は非常に印象的だが、魔法でも裏技でもない
    • AlphaEvolve は巨大な行列積演算を、より扱いやすい部分問題へと賢く分割することで、Gemini アーキテクチャの中核カーネルを 23% 高速化し、Gemini 全体の学習時間を 1% 短縮した
    • こうした数値は最近かなり誇張されて見える。本当に FlashAttention が 32.5% も速くなったなら、なぜ Flash Attention リポジトリに PR として出さないのか気になる。もっと詳しく読めるといいのだが
  • 今この瞬間は重要な節目だ。AI システムが現実世界に実質的な価値をもたらす新しい研究を行えるという、確かな証拠が生まれた。1% の削減は始まりにすぎず、こうした効果が積み重なればかなり大きな利益になるはずだ。またこのプロセス自体が gemini 2.5 pro の進歩にも使われており、段階的な自己改善に向かっている。完全に自動化されてはいないが、どこへ向かうのか輪郭は見えている
    • 遺伝的プログラミングのシステムは長年にわたってアルゴリズムを改善してきた。LLM ベースの遺伝的プログラミングが画期的な変化になるのか、漸進的な進化にとどまるのかはまだ分からない。自己改善という概念については慎重であるべきだ。「GP が GP で自分自身を改善する！」というアイデアは本当に古くからあるが、いまだに大きな成果を出していない。関連する他社の事例や論文もある
    • この結果が本当に新しいのか疑問だ。48 回や 46 回の乗算による解法はすでに知られているという資料もあるし、AI がシンギュラリティに到達したかのような興奮も見える。もし本当に大きなブレークスルーなら、論文より先に広く知られていたはずだ
  • こうした進歩がどれほど漸進的なのか気になる。例として B.2（第 2 自己相関不等式）を選び、以前の論文（https://arxiv.org/pdf/… Mathematica で数値探索を行って従来の上限を求めたと書いていた。この部分をさらに改善するのは労力に対して得られる利益が小さいため、やらなかったとも述べている。つまり AlphaEvolve の今回の進歩もかなり漸進的だ（それでもすごい結果ではある）
    • 今はその「労力」が大きく下がり、もはや「苦労に見合わない」と言えない地点に来たということだ。それ自体が重要だ
    • 人間にとっては時間価値のない仕事でも、AI で自動化すれば無数の「機会」が積み上がり、途方もない差を生む
    • これこそ本物の AI が離陸し始めた兆候のように感じる
  • こういう大胆な主張に対しては防御的な立場を取りにくい。もし本当に説明どおりなら、すでに「暴走する AI」が完成しているのと大差ない。哲学的に言えば、旧世代の LLM に新しい発見を段階的に説明すれば、その情報は「新しい」知識になるわけで、結局そこには人間の知性が間接的に入り込んでいる
  • すごいことではあるが、本質的には Google の Co-Scientist と似たようなものではないか。複数の LLM が互いに文脈をやり取りしつつ検証する構造だ。実行面では印象的だが、根本的にまったく新しいものではないように感じる。LLM がコード最適化や、人間が見逃すパターンや重複の検出に有用なのは確かだが、このニュースも Google のまた別の華やかなブログ記事のように見える。「Alpha」というブランドも以前は AlphaGo や AlphaFold のような明確な革新にだけ付いていたが、最近では比較的インパクトの小さいシステムにも付けているようだ。ちなみに Co-Scientist にも評価方法はあった。（ https://research.google/blog/accelerating-scientific-breakth... 参照 ）
    • AlphaEvolve の論文ではこの点を扱っている。AI Co-Scientist が科学的仮説と評価を自然言語で表現していたのに対し、AlphaEvolve ではコードの進化とプログラム的な評価関数によって進化が進む。これにより LLM の幻覚を大きく避けられ、多数の段階を通じて連続的な進化手続きを進められた
    • Google らしく、似た機能の製品を異なるチームが同時に作っているように感じる
    • 「Google's Co-Scientist」が複数のプロジェクト名なのかどうか分からない
  • シンギュラリティを待ち望む人たちは、こういう文言に関心を持つだろう。「AlphaEvolve はチップ設計エンジニアが使う標準言語で修正を提案し、AI とハードウェアエンジニアが協業できるようにする」
    • 論文の関連箇所を引用すると、AlphaEvolve は matmul ユニット内の演算装置コードから不要なビットを取り除き、この変更は TPU 設計者が正しさを検証した。原因としては、MAC 回路出力の上位ビットが下位のアキュムレータなどで使われていない場合が考えられる。実際、同等の最適化は後段の合成ツールでも自動で行われる部分であり、ソース RTL で事前にビットを削ることが合成後の最適化より意味があると主張している。しかし合成ツールは回路の意味が変わらないことを保証する一方、ソース RTL の修正はそうではないため、人間による検証が必要になる。ただ、合成結果のどの部分が最適化されたのかをソースに注釈として戻せない点は残念だ。LLM ベースのコード進化はハードウェア設計の初期探索には意味があるが、AlphaEvolve の実際の達成は誇張されているように思う
    • 要するに、これはコンパイラの中間表現やデバッグ用テキストの上で動作するという意味だ
    • このアプローチは、評価関数が明確に定義できる、あるいは測定可能な最適化問題にしか適用できない。「一般知能」のための評価関数を書くことはできない
    • 「AlphaEvolve は Google のデータセンター、チップ設計、AI トレーニングの効率を高める。これには AlphaEvolve を生み出した LLM の学習も含まれる」という文言が印象的だ。AI が人間より速く自分自身を改善し始めた現実が来たように感じる
    • シンギュラリティとは常に過剰な自信の頂点に存在するもので、AI は実際には「自動化されたチェアリフト」のような擬似知能にすぎない
  • 興味深いのは、AlphaEvolve がすでに 1 年前から使われていて、今になってようやく公開されたことだ。論文によれば Gemini 2.0（Pro と Flash）ベースで動作しており、Gemini 2.5 の学習に Gemini 2.0 が使われたという少し変わった状況になっている。典型的な「自己改善フィードバックループ」まではいかなくても、ある程度その文脈は感じられる。この 1 年の間、AlphaEvolve が開発だけされていたのか、それとも実運用まで進んでいたのか気になる。AI 研究で得た成果を、必ずしもすぐ共有する必要はないのだと感じる
    • 十分な頭脳、計算資源、ハードウェアをすべて持っているなら、本当のフィードバックループを止められるものはなさそうだ。DeepMind はそうした点で突出した立場にある
    • Gemini 2.0 を使って Gemini 2.5 を改善するプロセスは、OpenAI が RLHF を導入して以来の、構造化データや蒸留型モデルを作る戦略に近い
    • 重要なのは自律性だ。自ら加えた変更が人間の検証なしでも通用してこそ、本当の意味がある。完全に説明不能な解法が増えていくなら、それが実際に役立つのか疑問だ。むしろ不要に難解なコードが積み上がるだけかもしれない。そういうことが目的なのだろうかという気もする
  • AlphaEvolve の進化手続きについての説明があまりに少なくて驚いた。「MAP elites アルゴリズムと island-based population model に着想を得たアルゴリズム」という表現の「着想を得た」が、実際にはかなり多くを意味しているように見える。MAP-elites の変異次元をどう決めるのか、2 つのアルゴリズムをどう組み合わせるのか、着想の範囲がどこまでなのか、具体性が足りない。進化手続きの核心が事実上ブラックボックスのまま残されている感じだ
    • 2023 年の Nature に載った island ベースの LLM 進化論文（https://nature.com/articles/…
    • いちばん簡単な方法は、モデルに異なる評価基準を生成させ、それぞれを次元として使うことだ
  • 論文では進化的な部分の説明が不足している。一般に進化アルゴリズムには交叉（クロスオーバー）の要素が含まれるが、それがないなら実質的には hill climbing や beam search に近いものとして分類すべきだ
    • あるキャプションでは 16 回の「突然変異」が必要だと述べられていたが、その突然変異の過程が気になる
    • 一般的な突然変異や交叉がなくても、候補集団を使って勾配地形を近似する「進化戦略」アルゴリズムもある
    • 気がかりなのは、これが進化アルゴリズムというより、単に名前だけ似た別方式である可能性だということ