RoboCat - 自己改善するロボットエージェント

• Google DeepMindが、ロボットアームを通じてさまざまな作業をこなしながら自ら学習するRoboCatを紹介。
• 実環境とシミュレーション環境の両方で動作できるマルチモーダルモデルGato（スペイン語で「猫」）をベースとしている。
  • 自己改善のため、まず新しい作業について実データを収集。
  • 実データを基にベースモデルをファインチューニングし、スピンオフエージェントを生成。
  • 新しいエージェントが約1万回の練習を行い、学習データセットを作成。
  • 実データと自己生成データをRoboCatの学習データセットに統合。
  • 新バージョンのRoboCatを訓練。
• これにより、関節数が多い、またはグリッパーが多い新しいロボットアームにも数時間で適応可能。
• さらに、学習の好循環が生まれ、特定の作業で36%の成功率だった初期モデルが2倍以上向上して74%まで上昇。

[nicewook]

ついに人工知能が現実世界に出会い、体験する場が開かれるのですね

[kuroneko]

• 論文
• HN スレッド

HN スレッドのコメントがとても面白いですね。
私もまったく同じようなことを考えていて、ロボット猫を期待していたのは私だけですか？ ちょっとがっかりです... と思いました...

ロボットアームに猫のステッカーでも貼ってくれたらいいのに。

[kuroneko]

論文を要約すると、次のようになります。

RoboCatは、ロボット操作のための自己改善型エージェントです。これは、複数のシミュレーションと実機のロボットアームを用いたロボット作業の大規模かつ多様なデータセットで訓練されます。

RoboCatの主な目標は次のとおりです。

1. 最小限のデータで新しいタスクやロボットに汎化します。RoboCatは、わずか100〜1000個のデモ例だけを使用して、新しいタスクやロボットに適応できます。
2. 反復的なプロセスを通じて自己改善します。ファインチューニングされたRoboCatモデルは、より多くの訓練データを生成するために使用され、このデータが訓練セットに追加されることで、汎用エージェントが改善されます。
3. 異なるタスクおよび観測空間を持つ複数の実装を扱います。RoboCatは、最大14自由度と異なるグリッパーを持つアームでテストされます。
4. さまざまな形状・サイズ・質感の物体を使った多様で器用な操作タスクを解決します。タスクには、積み上げ、挿入、持ち上げなどが含まれます。

主な結果は次のとおりです。

• RoboCatの訓練データが増加し多様化するにつれて、タスク間転移がよりうまく機能し、新しいタスクへの適応もさらに効率的になります。
• RoboCatは、少量のデモデータだけを用いて新しいタスクやロボットに成功裏に適応でき、ベースラインと比べて必要な学習労力が少なくて済みます。
• 自己改善によって訓練データを拡張することで、RoboCatは元の訓練タスクでもより良い性能を示し、さらにファインチューニングされます。

要約すると、RoboCatは大規模かつ多様なデータセットで訓練されたロボット操作向けの自己改善型エージェントであり、ファインチューニングと自己改善を通じて、新しいタスクやロボットに対して最小限のデータで汎化できることを示しています。大規模で異種なロボット経験を活用する能力は、ロボット学習を変革しうる潜在力を持っています。