AlphaEvolve: Geminiベースの先進アルゴリズム設計コーディングエージェント
(deepmind.google)- Google DeepMindが公開した AlphaEvolve は、Geminiモデルと自動評価器を組み合わせ、アルゴリズムを発見・最適化する進化型コーディングエージェント
- Gemini Flashは幅広いアイデア探索を、Gemini Proはより深い提案を担当し、候補プログラムは実行・検証・スコア化を経て有望な変種へと発展する
- 過去1年間で発見されたアルゴリズムは データセンターのスケジューリング、TPU設計、Gemini最適化 に展開され、Borgでは世界中のGoogle計算資源の平均 0.7% を継続的に回収
- Gemini行列積カーネルは 23% 高速化されて学習時間が1%短縮され、FlashAttentionカーネル実装では最大 32.5% の速度向上を達成
- 数学分野では4x4複素行列積を 48回のスカラー乗算 で実行するアルゴリズムを見つけ、50件を超える公開問題のうち約20%で既存の最良解を改善
AlphaEvolveがアルゴリズムを進化させる仕組み
- AlphaEvolveは、汎用的な アルゴリズム発見と最適化 を目指す進化型コーディングエージェント
- 大規模言語モデルの創造的な問題解決能力に 自動評価器 を組み合わせて解答を検証し、進化フレームワークで有望なアイデアを継続的に改善する
- 2023年、Google DeepMindはLLMがコード関数生成を通じて公開科学問題で証明可能な新知識を見つけられることを示しており、AlphaEvolveはこれを単一関数からコードベース全体、さらにより複雑なアルゴリズムへと拡張した
- モデル構成は、探索の広さと提案品質を分担する構造
- Gemini Flash: 高速かつ効率的なモデルとして、より広いアイデア空間を探索
- Gemini Pro: より強力なモデルとして、洞察に富む提案を提供
- 生成されたプログラムは自動評価指標によって実行・検証・スコア化され、正確性と品質を定量評価できる数学・計算機科学の問題に特に適している
Googleインフラへの適用結果
- 過去1年間で、AlphaEvolveが発見したアルゴリズムはGoogleの データセンター、ハードウェア、ソフトウェア 全般に展開された
- 個別最適化が大規模なAI・計算インフラに適用され、同じ資源でより多くの処理をこなせる効果を生んでいる
-
データセンターのスケジューリング
- AlphaEvolveは、BorgがGoogleの大規模データセンターをより効率的に調整できるようにする、単純だが効果的な ヒューリスティック を発見
- この解法は1年以上にわたり本番環境で稼働し、世界中のGoogle計算資源の平均 0.7% を継続的に回収している
- 人間が読めるコードで実装されており、解釈可能性、デバッグのしやすさ、予測可能性、デプロイの容易さも備える
-
ハードウェア設計
- 行列積向けの高度に最適化された算術回路において、不要なビットを除去する Verilog の書き換え案を提案
- 提案された修正は、回路の 機能的正確性 が維持されていることを確認するため、強力な検証手順を通過する必要がある
- この提案は、GoogleのカスタムAIアクセラレータである今後の Tensor Processing Unit に統合された
- チップ設計者が使う標準言語で修正を提案することで、AIとハードウェアエンジニアの協業のあり方にも適合している
Geminiの学習・推論最適化
- AlphaEvolveは、大きな行列積処理をより小さな部分問題に分割する方法を見つけ、Geminiアーキテクチャの中核 カーネル を 23% 高速化
- このカーネル改善によりGeminiの学習時間は 1% 短縮され、生成AIモデル開発に必要な計算資源も削減された
- カーネル最適化にかかるエンジニアリング時間は、専門家の数週間の作業から数日間の自動実験へと短縮された
- 低レベルの GPU命令 も最適化対象に含まれる
- この領域は通常、コンパイラがすでに強く最適化しており、人間のエンジニアが直接修正しないことが多い
- Transformer ベースAIモデルの FlashAttention カーネル実装で最大 32.5% の速度向上を達成
- こうした最適化は、専門家が性能ボトルネックを見つけ、改善点をコードベースへ容易に統合する助けになる
数学とアルゴリズム発見
- AlphaEvolveは、最小限のコード骨格だけが与えられた状態でも、複雑な数学問題に対する新しいアプローチを提案できる
- 新しい 勾配ベース最適化 手順の複数の構成要素を設計し、行列積のための新たなアルゴリズム群を発見
- 例では、オプティマイザ、重み初期化、損失関数、ハイパーパラメータ探索など複数の要素を変更し、進化過程では 15個の突然変異 が必要だった
- AlphaEvolveの手順は、4x4複素行列積を 48回のスカラー乗算 で実行するアルゴリズムを見つけた
- この設定では、従来の最良とされていた Strassenの1969年アルゴリズム を改善する結果となった
- 行列積アルゴリズムに特化していた AlphaTensor は、4x4行列で二値演算についてのみ改善を見つけていた
- 数学的解析、幾何学、組合せ論、整数論の公開問題 50件以上 にも適用された
- ほとんどの実験は数時間以内に設定できた
- 約 75% のケースでは、既知の最先端解法を再発見した
- 約 20% のケースでは、既存の最良解を改善し、当該公開問題の前進につなげた
- kissing number problem では、11次元で外接球 593個 の配置を発見し、新たな下限を打ち立てた
公開計画と適用範囲
- AlphaEvolveは、特定分野のアルゴリズム発見を超えて、実問題向けの複雑なアルゴリズム開発へ拡張していく流れを示している
- Google DeepMindは、大規模言語モデルのコーディング能力が向上するにつれて、AlphaEvolveも継続的に改善されると期待している
- People + AI Research team とともに、AlphaEvolveと対話できるユーザーフレンドリーなインターフェースを構築中
- 選ばれた学術ユーザー向けの Early Access Program を計画しており、より広い公開の可能性も検討中
- 関心登録は このフォーム で受け付ける予定
- 現在の適用分野は数学とコンピューティングだが、解法をアルゴリズムとして表現でき、自動検証できる問題であれば適用可能
- Google DeepMindは、材料科学、創薬、持続可能性、さらに幅広い技術・ビジネス応用でもAlphaEvolveが変化をもたらせると見ている
- 関連資料
まだコメントはありません。