Xiaomi-Robotics-1 - 10万時間の実データで学習したロボット基盤モデル

 (robotics.xiaomi.com)
4 ポイント 投稿者 GN⁺ 16 시간 전 | 1件のコメント | WhatsAppで共有
  • 10万時間規模のロボット非依存UMI軌道で事前学習した後、実ロボットデータで追加学習し、ロボット方策モデルのデータ不足を緩和する基盤モデル
  • 1,700件以上のシナリオに自動アノテーションを付与して汎用的な行動生成能力を学習し、追加学習でロボット形態と自然言語命令にアライン
  • 事前学習データとモデルが大きくなるほど検証行動誤差が減少し、追加学習後に未知の環境と物体で測定した実ロボット成功率も着実に上昇し、飽和の兆候はなかった
  • タスクごとに平均10時間未満のデモで、電話機の梱包・プリンター補充・洗濯物投入・箱詰めにおいて**総合成功率75%**を記録し、平均40時間未満では85%に到達
  • RoboCasa・RoboCasa365・VLABench・RoboDojoでいずれも最高性能を記録し、大規模UMI事前学習の汎化効果が実ロボット適応と標準評価につながった

ロボットデータの壁を越える2段階学習

  • 言語・ビジョンベースのモデルは、データ、パラメータ、計算量が増えるほど性能が向上してきたが、ロボット方策モデルは大規模で高品質なデータ不足により拡張が制限されてきた
  • Xiaomi-Robotics-1は、大規模なロボット非依存UMIデータで事前学習し、比較的少量の実ロボットデータで追加学習する2段階学習方式を採用
  • これにより、ロボット方策モデルのスケーリング傾向と、事前学習の改善が実ロボット性能へ転移するかを評価した

事前学習・追加学習データの構成

  • 事前学習データは10万時間のUMI軌道で構成される
    • 家庭、商業施設、産業現場、屋外空間を含む1,700件以上のシナリオと多様なタスクを網羅
    • 軌道を固定長区間に分割した後、各区間のシーン状態変化を言語で記録する自動アノテーションパイプラインを開発
  • 追加学習には、複数のロボット形態をまたぐデータセットを使用
    • 独自収集した実ロボットデータ
    • フィルタリングしたオープンソースのロボットデータ
    • 厳選した高品質UMIデータ
  • 独自データには、実際の家庭で収集した7,200時間以上の実ロボット作業が含まれる
    • ソファの片付け、靴箱の分類、キッチン用品の収納などの作業を扱う
  • 追加学習用UMIデータは、時間区間と命令プロンプトを人手でアノテーション
    • 事前学習データで用いた自動生成の状態遷移説明とは異なる方式

UMI事前学習と自動アノテーション

  • 事前学習は、多様な実環境とタスクに触れさせることで、汎用的な行動生成表現を学ぶ段階
  • データ規模の観点から手動アノテーションが困難なため、強力なビジョン言語モデル（VLM）を用いた自動化パイプラインを構築
    • 長い映像を固定長クリップに分割
    • 各クリップでグリッパーと相互作用物体の状態変化をVLMが記述
    • 実際の操作軌道と精密な言語説明を組み合わせた大規模コーパスを生成
  • モデルは、言語で記述された状態遷移に合わせてシーンを変化させる行動を生成するよう学習する
  • データとモデルサイズが増えるほど、検証行動誤差が継続的に減少する明確なスケーリング傾向を示した

実ロボットと自然言語命令の整合

  • 追加学習は、事前学習で得た行動生成能力を2つの軸で整合させる
    • ロボット形態の整合: 高品質な多形態の実ロボットデータで、汎用行動生成能力を物理ロボットへマッピング
    • 命令の整合: シーン状態遷移の説明を入力としていたモデルを、自然言語命令を理解して直接実行できるよう変換
  • 追加学習を終えたモデルは、別途調整なしで多様な実世界の移動・操作タスクに利用できる
  • 事前学習のスケーリング効果が転移するかを確認するため、未見の環境と物体インスタンスで実ロボット性能を評価
  • 事前学習データとモデルサイズが大きくなるほど、実ロボット成功率も着実かつ予測可能に上昇した
    • より強力な事前学習モデルは、追加学習後もより高い実ロボット性能を示した
    • データとモデル規模の増加に伴う成功率向上には飽和の兆候がなかった

少ないデータで新しいタスクを学習

  • Xiaomi-Robotics-1は、タスクごとに数時間の実ロボットデモだけで複雑な新規タスクに適応する
  • 電話機の梱包、プリンター補充、洗濯物投入、箱詰めを評価タスクとして使用
  • タスクあたり平均10時間未満のデモで総合成功率75%を記録し、同じデータ予算でベースラインモデルÏ0.5の40%を大きく上回った
    • 電話機の梱包: XR-1 70%, Ï0.5 30%
    • プリンター補充: XR-1 70%, Ï0.5 20%
    • 洗濯物投入: XR-1 80%, Ï0.5 40%
    • 箱詰め: XR-1 80%, Ï0.5 70%
  • タスクあたり平均40時間未満に増やすと、総合成功率はXR-1 85%、Ï0.5 53%へ上昇
    • 電話機の梱包: XR-1 80%, Ï0.5 40%
    • プリンター補充: XR-1 60%, Ï0.5 20%
    • 洗濯物投入: XR-1 100%, Ï0.5 50%
    • 箱詰め: 両モデルとも100%

4つのシミュレーションベンチマーク性能

  • 汎化を重視する4つの主要シミュレーションベンチマークでいずれも最高性能を記録
    • RoboCasa: 平均成功率74.5%、2位の72.6%比で2.6%向上
    • RoboCasa365: 57.4%、2位の46.6%比で23.2%向上
    • VLABench: 59.1%、2位の53.2%比で11.1%向上
    • RoboDojo: 13.93%、2位の8.80%比で58.3%向上
  • 事前学習で得られた汎化およびスケーリング効果が標準的なシミュレーション評価にも及んだ

スケーリング結果と活用範囲

  • 大規模UMI事前学習はロボットデータのボトルネックを緩和し、実ロボットおよび命令整合は汎用行動生成能力を物理ロボットへ転移させる
  • 事前学習データとモデル規模に応じた性能向上は、追加学習後の実ロボットの即時利用性能にも直接反映される
  • 完成した基盤モデルは、少ないデータで新しいタスクに適応しながら、汎化を評価する4つのシミュレーションベンチマークでも最高性能を達成
  • 実活用例として、編集していない旅行かばんの梱包映像も公開している

関連記事

1件のコメント

 
GN⁺ 16 시간 전
Hacker Newsのコメント

  • ここの悲観的な反応が理解できないほど、動画を見て満面の笑みになった。ついに洗濯するロボットが出てきたし、しかもモデルも少なくとも無料公開されたということではないか。これこそ私たちが望んでいた未来であり、ロボティクスはまさにこういうことに使われるべきだ

    • HNにはほのかに、あるいは露骨に反中国感情があり、それが悲観的な反応にもかなり影響している可能性が高い
    • 最近の中国のAI・ロボット分野の成果は、世界全体に大きな純利益をもたらしている。オープンソースは出所に関係なく良いことだ
    • 最高のAIや大規模言語モデルは、また別の質疑応答チャットボットやメール・エッセイ自動化ではなく、ロボティクスから生まれるはずだ。皿洗いや洗濯をして、どこに置いたか忘れた物まで見つけてほしい
    • 数年前には不可能だった技術を示すリンクが、Kagiの類似ブラウザの話題の下に埋もれているのは、HN読者層の優先順位をよく表している。西側はベンチャー投資家と開発者の誤った優先順位のせいでロボティクスで後れを取るかもしれない
    • シンギュラリティはすでに来ていると感じるほど、生涯で見た中で最も驚くべき技術だ。そう遠くないうちに、こうしたロボットが赤ん坊の世話をし、育てるようになる可能性すらある

  • この動画には古典的に非常に難しい課題がいくつも含まれているので、これを見て感銘を受けないなら、10年前に自分で作らずに済んだことを幸運と思うべきだ
    両手協調、移動型ボディ、変形可能な物体、バッグのジッパーのような細い操作点、複数物体の同時把持がすべて入っている。それぞれが認識や操作の分野で個別に研究されてきたもので、博士論文が何本も書けるような問題だ

  • 両手ロボットを見ていると、触手型グリッパーのような別能力を持つ第三の手があれば、多くの作業が楽になりそうだ。手足が増えるほど問題も増えるが、物体を保持して回転させる方法が増える利点は大きい

    • 第三の手を学習させるには、人間が直接操作したデータが大量に必要になる。両手なら人間の行動動画が豊富だが、追加の手足についてはそうではないので、将来的にはロボット自身が改善するか、新しい最適化手法が必要になりそうだ
    • SF小説The Mote in God's Eyeには三本の手を持つ異星人が登場する。腹部付近の物を保持する手が1本と、精密作業用の手が2本あるため、「一方では、もう一方では、保持する手では」といった表現まで生まれる
    • 車を整備したことがある人なら、手がもう1本あればいつでも役立つとわかる
    • 手足の本数にもアムダールの法則のようなものが必要だ

  • ロボットが服を多少しわくちゃで雑に畳んでも、きれいに畳んでアイロンをかけるより楽だから受け入れる、そんなやり方をSlopfoldと呼びたい

    • コーヒーマシンも最初はバリスタに及ばなかったが、改良を重ねて今では多くの場合でより上手になっている。技術はたいてい、こういう不完全な利便性から始まって改善される
    • ロボットが服を畳むのを見ると、もう自分より上手だ
    • 服を畳むこと自体、広げて置いておくこととハンガーに掛けることの中間的な妥協案だ

  • 発展のスピードは非常に速く、AIが未来を支配するようになるだろう。まだ可能なことの表面をかすったにすぎないと思うが、悲観的に見れば Bill Joy の予測は先見の明があったとも思う
    https://www.wired.com/2000/04/joy-2/

  • 予想されるAIの未来で最も楽しみなのは家事労働の自動化だ。東洋では家事代行が比較的安価で利用しやすいが、西洋では掃除人やハウスキーパーを雇うのはぜいたくに近い。毎週、家を維持するために膨大な時間を使っているので、その時間を取り戻せる日を待っている

    • 東洋でも、ほとんどの人が家事代行を安く手軽に利用できるわけではない。貧しい人々を「大多数」から除外しているからそう見えるだけだ
    • 実際の家の掃除では、Roombaより進んだロボットでも家事代行より安くなるのは難しいと思う
    • そうして取り戻したい自由時間で何をするつもりなのか気になる

  • 未編集の映像なのでなおさら素晴らしい。階段や狭いドアのようにできないことはいくらでも挙げられるが、すでにできている作業だけでも驚くべきで、チャットパネルのおかげで対話性も高い

  • 非人型ロボットを設計する方向が適切だ。将来は人間とロボットが共用するように道具や家電も変わっていくだろうし、靴バッグのジッパーひもは精度を要求しすぎる

    • この見方はもう間違っているという証拠が十分にある。数か月前まではロボティクス界の事実上の標準的見解だったが、量産が始まる前からヒューマノイドロボットの価格は急激に下がっている
      膨大な現実作業の学習投資を活用して、安価なヒューマノイドの敏捷性・バッテリー寿命・力が改善し続けるほうが、現在のタスク別ロボットに合わせて日用品を数百万点も再設計するより現実的だ
    • 退屈な作業をこなす非人型ロボットは、水中保守などではすでに広く使われている。人間に似た作業をするからといって、人型である必要はない
      蚊を駆除する昆虫型ロボットの群れ、配管を修理するヘビ型ロボット、表面を清掃するクモ型ロボットが欲しい
    • 2つのアプローチを混合するのがよい。ドアのようにすでに手足向けに作られている物もあるが、別の形のグリッパーや追加の腕を入れると役立つ場合もある
    • ロボットは人間のような見た目である必要はなく、作業をきれいにこなす数本の腕だけで十分だ

  • 数年後にはHome AssistantとLLMが外出中の家事を調整できるようになりそうだ。LLMが家の中の物品リストを作り、掃除機やロボットを送って片付けさせられる
    マルチモーダルLLMが写真を分析して、食洗機や洗濯機に入れる物と磨きが必要な物を区別し、クローゼット整理・ベッドメイク・植物の世話までこなせるかもしれない。太陽光パネルがエネルギーを供給している間、一日中作業すればよい

  • 専業で家事をしているので、このロボットは本当に欲しい。洗濯物を畳むことが嫌いでいつも先延ばしにするので、洗濯機に入れる機能まではなくても、畳んでくれるだけで十分だ