Mistral、単一カメラのロボットナビゲーションモデル「Robostral Navigate」を公開
(mistral.ai)- ロボットが1台のRGBカメラと自然言語の指示だけで複雑な環境を移動できるようにする、Mistral初の8B embodied navigationモデル
- R2R-CE validation unseenで76.6%の成功率を記録し、単一カメラ方式だけでなく、depth・マルチカメラベースの最高性能システムも上回った
- 現在画面内の目標の画像座標と到着時の向きを予測するpointing方式を使い、視野外の目標はロボットのローカル座標系における変位命令で代替する
- 既存のオープンソースVLMに依存せず社内で構築され、シミュレーションで生成した約40万件のtrajectoryと6,000のsceneで学習した
- prefix-cachingにより学習トークンを22倍削減し、その後CISPOオンライン強化学習で成功率をさらに3.2%引き上げた
単一カメラベースのロボットナビゲーション
- Robostral Navigateは、RGB画像と自然言語の指示を入力として受け取り、ロボットが環境内を移動できるようにするMistral初のembodied navigationモデル
- 指示の例は「ロビーを出て廊下を進み、備品室に入った後、2つ目の棚の方を向いて止まれ」といった形式
- depthセンサー、LiDAR、複数カメラを併用するアプローチと異なり、このモデルは一般的なRGBカメラ1台だけを使用する
- R2R-CE（Room-to-Room in Continuous Environments）validation unseenは、学習に含まれていない環境で指示に従って移動するベンチマーク
- Robostral Navigateはvalidation unseenで**76.6%**の成功率を記録した
- 最高性能の単一カメラアプローチを9.7ポイント上回る
- depthまたはマルチカメラを使う最高性能システムを4.5ポイント上回る
ベンチマーク性能とロボット互換性
- このモデルは、オフィス、住宅・商業施設、屋外環境のような複雑な空間でロボットが自律移動できるように設計されている
- 1つの指示だけで、人や障害物がある実空間においてタスク全体を自律的に実行できる
- 主な性能と動作条件は以下の通り
- R2R-CEで最先端の性能を記録
- validation seenの成功率は79.4%
- validation unseenの成功率は76.6%
- LiDARやdepthセンサーなしで、単一のRGBカメラで動作
- 社内構築の8Bモデルで、学習は完全にシミュレーションベース
- 車輪型、歩行型、飛行型ロボットで動作し、ロボットのサイズ差にも汎化する
- カメラ内部パラメータの違いに対して堅牢
- prefix-cachingによるトークン効率の高い学習を使用
Pointingベースの移動方式
- Robostral Navigateは、タスクと観測履歴をもとに、ロボットが次に移動すべき位置をpointing方式で予測する
- 予測対象は、現在のカメラビュー内の目標位置に対応する画像座標と、到着時に必要な向き
- metric displacementに依存する命令と異なり、pointingはカメラ内部パラメータや実世界のスケール変化に対して自然に堅牢
- 目標位置が現在の視野外にある場合、pointingだけでは処理が難しい
- この場合、ロボットのローカル座標系での変位命令に代替する
- 例は「前方に2メートル、左に1.5メートル移動し、左に25度回転」といった形式
社内構築モデルとシミュレーションデータ
- Robostral Navigateは既存のオープンソースVLMに依存せず、完全に社内で構築された
- 初期化には、pointing、counting、object localizationのようなgroundingタスクに特化したMistralのビジョン言語モデルを使用する
- ナビゲーションは、物体の位置を理解したうえで移動方法を学習する方式であり、こうしたgrounding能力の拡張にあたる
- データ生成パイプラインはすべてシミュレーション内で構築された
- データの反復改善を迅速に実行できた
- 最終データセットは約40万件のtrajectoryと6,000のsceneで構成される
効率的な学習とオンライン強化学習
- 教師あり学習の中核要素は、prefix-cachingベースの効率的な学習アルゴリズム
- treeベースのattention masking戦略により、episode全体を1つのsequenceに圧縮する
- すべてのtime stepを単一のforward passで学習できる
- time step間の情報漏えいは防ぐ
- time stepごとに1つのサンプルを使う学習と比べ、学習トークン数を22倍削減しながら学習信号は保持する
- 実際には数カ月かかる学習実行を、数日以内に終わる実行へと変えた
- 教師あり学習の後は、CISPOオンライン強化学習アルゴリズムで性能を改善する
- モデルが試行錯誤から学び、失敗から回復し、探索行動を習得できるようにする
- 一般的なbehavior cloningのdistribution shift問題を緩和する
- この段階だけで成功率が**3.2%**向上した
- まだplateauは見えておらず、さらなる学習と実験により数値をさらに高められる
統合embodied agentへの次のステップ
- Robostral Navigateは、統合embodied agentに向けた最初のステップにあたる
- Mistralはナビゲーションを汎用ロボティクスの基盤能力と見ている
- 大規模シミュレーション、効率的な学習、強力なgrounding priorを組み合わせれば、コンパクトなモデルと単一のRGBカメラで最先端のembodied navigationを達成できることを示している
- Mistralはロボティクスチームを拡大中で、研究科学者とエンジニアの採用を進めている
1件のコメント
Hacker News の意見
「R2R-CEで最先端性能」と言っているが、R2R-CE はシミュレーション環境で構成されたベンチマークであることを明確にすべき
このベンチマークに勝つことは、ロボットを Minecraft や他のビデオゲームで上手に動かせるようにするのと同じくらいの意味しかない。クールではあるが、ロボットはデジタル環境ではなく 物理的な現実 で動作しなければならない
現実世界でロボットシステムの性能を評価するのは非常に難しい。性能が悪いと、評価を終えるために予備のロボットもたくさん必要になる
記事には、つるつるした床で、ほとんど空っぽのオフィスのような環境を物理ロボットが2倍速で移動する、お決まりのデモ動画も含まれている。今ではこの分野の象徴のようになった場面で、終盤に3人がロボットの経路を慎重に横切る場面は加点対象だ
とはいえ、これは数年前の Aloha をめぐる誇大宣伝に似ている。大手テック企業にチームを買収してもらったり、すごい技術をさらに研究する資金を得たりするには良いが、家庭やオフィスを動き回るロボット家政婦/執事に向けた実質的な進展だと期待するには足りない
暗黙のうちに、そしてそうであってほしいが、これは 地図なしナビゲーション に見える。もしそうなら印象的だ
環境を事前にキャプチャした地図があれば、この種のタスクはずっと簡単になる。しかし地図なしでやっているなら大したものだ
以前は、ロボットが自分の位置を知らないと少しも動けない「誘拐されたロボット」問題が常にあった。ここでは、現在の視界から解釈できる指示であるか、推測航法で追従できる限り、ロボットは指示を実行しているように見える
「この階でエレベーターを探して」と指示したら、歩き回って地図を作り、人間がエレベーターを探すように振る舞えるだろうか？
現在のこうしたナビゲーションモデルは、指示を書く人が有用な視覚的移動ランドマークを非常によく知っていると仮定しているが、ほとんどのユースケースでは現実的ではない
実際にこれを触れる現実的な方法が気になる。趣味の実験用に OpenClaw へ接続してみたい
夢は OpenClaw を農業ロボットに組み込むことだ。急な丘の除草用のクローラー式 RC 芝刈り機を改造して、「柵線を探索しながら植物の写真を撮り、ウルシと侵入性のスイカズラをすべて見つけて Roundup 噴霧器で散布し、毎週繰り返したうえで種の分布図を報告し、バッテリーが少なくなったら納屋に戻って充電して」といった作業を任せたい
OpenClaw をロボット本体に入れるのは難しくない。YouTube にもそういう動画は多い。しかし実際に人々が作ったものを掘り下げてみると、移動部分 がいつも最も粗く、自分の実験でも同じだった
こうした 8B モデルは、経路設定とナビゲーションの問題を解決するのにぴったりに見える
Mistral や同様の会社にもっと詳しい人がいれば、彼らがこうした趣味の製作者の実験にも関心を持っているのか知りたい。それとも主に商業パートナーだけを探しているのだろうか？ 実験に使うためのライセンス料を払う意思はあるが、一人でやっている個人だと、事業化しない限り協力してくれないかもしれない
それでも Robostral Navigate はハードウェア非依存で設計されており、どのロボットプラットフォームにも取り付けられ、LiDAR や深度センサーなしで単一の RGB カメラだけを必要とするため、理論上は趣味の機材にもよく合う
まだ公開の趣味/非商用ライセンスやオープンソースリリースはなく、個人向け価格やライセンス段階も発表されていない。今できることは、Mistral AI に直接連絡し、「OpenClaw + Robostral Navigate で個人実験をしている趣味の製作者で、非商用ライセンスについて相談したい」と明確に尋ねることだ
Mistral Discord やフォーラムを見守るのもよいし、反応がなければ ROS や Habitat のようなオープンソースのロボティクスプロジェクトで似た機能を実装する流れを待つこともできる
公開モデルではなさそうだが、もし公開されれば 単一カメラナビゲーション を簡単に使えるようになり、素晴らしい趣味ロボットプロジェクトがたくさん可能になりそうだ
とても素晴らしい。Mistral チームにおめでとうと言いたい。屋外での 地図なしナビゲーション はかなり前からあったが、建物内部での地図なしナビゲーションは比較的新しい
Stanford の研究者たちは、任意の画像から地理的位置を当てる視覚モデル PIGEON を訓練したことがある。ストーキングのようなプライバシー悪用の可能性があまりに大きく、公開はされなかったが、このロボットの背後にも似た種類の技術が入っているように思える。もっと知っている人がいれば訂正してほしい
PIGEON 論文リンク: https://lukashaas.github.io/PIGEON-CVPR24/
Mistral は広く展開しつつもニッチを攻めているように見える。今後、賢い戦略 になり得る
非常にミニマルで印象的
一方で、2010年ごろに学術研究者や Willow Garage が投稿していたロボットのデモ動画を思い出す
ロボティクスの問題は、それらしく見えるデモを作るのは簡単だが、一般的な状況でちゃんと動くようにするのは本当に難しいということ。自動運転が良い例
夕食を作って、食器を洗い、ゴミを出してくれる家庭用ヘルパーロボットを待つ準備はできている
ただ、そうしたヘルパーたちが、私のためであれ私を相手にであれ、戦争に動員される時が怖い
私たちのセンサーのサンプリング速度と知能の推論速度は、現在最高水準のロボットより何桁も先を行っている。今は人間のほうがはるかに精巧で有能
十分に軽い装置が実現できることを願うが、バッテリー重量の要件を考えると、どう可能なのかよく分からない
「R2R-CE（Room-to-Room in Continuous Environments）で**76.6%**を達成」とのことだが、残りの23.4%の間に何をしていたのかが気になる
結果グラフのあるページでナビゲーションエラーを見ると、この質問に最も関連する指標が出ている。そのモデルは「間違った方向へ移動しない」ことには優れているので、失敗率は道が分からなかったケースだった可能性が高い
これは本当に素晴らしい。ロボットが指で指し示す方向を使ってどこへ行くかを決められるという点は優れた設計判断で、ロボティクスは本当に次のフロンティア。Mistral をはっきり応援したくなる