Waymo、自動運転向けEnd-to-EndマルチモーダルモデルEMMAを公開

• EMMA: End-to-End Multimodal Model for Autonomous Driving
• GoogleのGeminiマルチモーダルLLMを活用し、センサーデータから直接車両の将来軌道を生成する
• 自動運転に特化した学習とファインチューニングを通じて、道路状況に対する理解力を高める

主な研究内容

• マルチモーダルモデルが自動運転にどのように適用できるかを示す
• End-to-End方式の長所と短所を探る
• マルチモーダルな世界知識活用の利点を強調する
  • 空間理解力と推論能力が必要な自動運転タスクでも役立つ
• 複数の主要な自動運転タスクに対して、肯定的な転移学習効果を実証する
  • 経路計画、物体認識、道路グラフ理解などを共同学習すると、個別学習より性能が向上する
  • より多くの中核的な自動運転タスクを同様の方法で統合することが、有望な研究方向であることを示唆する

EMMAの紹介

• EMMAは、大規模マルチモーダル学習モデルと技術をより多くの領域に統合しようとするAI研究トレンドを反映している
• Geminiをベースに、経路計画、3D物体認識など自動運転タスクに特化したモデルを構築した

主な特徴:

1. End-to-End学習
   • カメラ入力とテキストデータを処理し、経路、認識対象、道路グラフ要素など多様な出力を生成する
2. 統合された言語空間
   • 非センサー入出力を自然言語テキストで表現し、Geminiの世界知識を最大限活用する
3. 連鎖思考推論
   • 連鎖思考推論によって意思決定プロセスを改善し、End-to-End計画性能を6.7%向上させ、運転判断に対する解釈可能な根拠を提供する

主な成果

• 公開および社内ベンチマークで最高水準の性能を達成した
  • End-to-End経路計画、カメラベース3D物体認識、道路グラフ予測、シーン理解など
• 共同学習によって性能が向上する
  • 1つのEMMAモデルで複数タスクの出力を同時に生成しながら、個別学習モデルと同等またはそれ以上の性能を示す
  • 多くの自動運転応用に活用可能な汎用モデルとしての可能性を示す

限界点

• 長期ビデオシーケンス処理に制約があり、リアルタイム走行状況の推論が難しい
  • 長期メモリが必須である
• LiDAR、レーダー入力を活用していない
  • 高度な3Dセンシングエンコーダの統合が必要である
• 効率的なシミュレーション手法、最適化されたモデル推論時間、中間意思決定段階の検証などの課題がある

今後の展望

• EMMAは独立した走行モデルとしては限界があるものの、マルチモーダル技術によって自動運転システムの性能と汎化能力を高められることを示している
• 先端AI技術を実際のタスクに適用することで、AIの能力を複雑で動的な環境へと拡張している
• 不確実な状況で多様な入力に基づく迅速かつ正確な意思決定が必要な、他の重要分野でもAIが役立つ可能性がある
• マルチモーダル大規模言語モデルの自動運転への活用可能性を探りながら、道路安全とアクセシビリティ向上への貢献を目指している
• 複雑な実環境をより効果的に探索し推論できるAIの発展に寄与すると期待される

GN⁺の見解

• EMMAは自動運転技術の発展における重要なマイルストーンとなる研究である
  • マルチモーダル学習の強みをよく示す事例である
  • 複数の自動運転の中核タスクを統合することが性能向上に役立つことを実証している
• まだ実走行へ直ちに適用するには限界があるが、関連技術開発の良い参考資料になるだろう
  • 特に長期メモリ、マルチモーダル融合、シミュレーション最適化などは今後重点的に研究されるべき分野である
• 自動運転だけでなく、医療、製造、災害対応などさまざまな分野でマルチモーダルAI技術が活用されることが期待される
  • データ形式が多様で意思決定が重要な領域で特に役立つだろう
• ただし、マルチモーダルモデルのブラックボックス的性質ゆえに、説明可能性や倫理性の問題が浮上する可能性がある
  • モデルのバイアスを最小化し、出力結果の根拠を示すことが重要になるだろう
• 類似研究としては、NVIDIAのDriveNet、WayveのAV2.0、TeslaのFSDなどがある
  • 各社がそれぞれ少しずつ異なるアプローチを取っているが、マルチモーダル学習を共通して活用している
  • 企業間の競争と協力を通じて、自動運転技術はさらに発展すると期待される