OK-Robot: どこでもピック＆ドロップ可能なオープンモジュラー型ホームロボットフレームワーク
(ok-robot.github.io)- OK-Robot は、新しい家庭環境において言語指示だけで物体を見つけてつかみ、移動させる pick-and-drop 作業をゼロショットで実行することを目指したオープンモジュラー型ロボットフレームワーク
- ビジョン言語モデル（VLM）、ナビゲーションプリミティブ、把持プリミティブを組み合わせ、追加学習なしで 物体認識・移動・操作をつなぎ合わせる
- ニューヨーク市の 10の実際の家庭 で 171 件のタスクを評価し、完全に未知の家で 58.5% の成功率を記録
- 清潔で散らかっていない環境では成功率が 82% まで上昇し、Open Vocabulary Mobile Manipulation（OVMM）で従来研究比約 1.8 倍の性能を示す
- 主な失敗は物体探索、難しい操作姿勢、ハードウェア問題 で発生しており、オープン知識モデルとロボットモジュールの緻密な統合が性能を左右する
フレームワーク構成と目標
- OK-Robot は、任意の家庭でゼロショットの言語条件付き pick-and-drop タスクを実行するためのオープンモジュラー型フレームワーク
- システムは 3 つの構成要素を組み合わせる
- ビジョン言語モデル（VLM）: 言語クエリに基づく物体検出
- ナビゲーションプリミティブ: モバイルシステムの移動制御
- 把持プリミティブ: さまざまな物体操作
- 追加の学習段階なしに物体認識、移動、把持を統合し、実際の家庭タスクを実行するシステム優先のアプローチを採用
- プロジェクト資料:
実家庭での評価と失敗要因
- ニューヨーク市の 10の家庭環境 で 171 件の pick-and-drop タスクを試行
- 完全に未知の家での成功率は 58.5% で、Open Vocabulary Mobile Manipulation（OVMM）において従来研究比約 1.8 倍の性能を示した
- 成功率: {p:58}
- より清潔で散らかっていない環境では成功率が 82% に上昇
- 整理された環境での成功率: {p:82}
- 失敗要因はロングテール型に分布しており、主な 3 つの原因は次のとおり
- 意味メモリから移動対象となる正しい物体を見つけられない: 9.3%
- 操作モジュールに難しい姿勢が入力される: 8.0%
- ハードウェア上の困難: 7.5%
- VLM のような オープン知識システム をロボットモジュールと組み合わせる際には、モデル性能だけでなく、物体メモリ、操作姿勢、ハードウェア安定性まで含めて整合させる必要がある
3件のコメント
https://hello-robot.com/purchase
本体は2.5万ドル……
さらにiPhone Proが必要
ドッキング式充電器は995ドルｗｗｗ
カモ向けの価格ですか
ドッキングステーションは本当にどうしてあんな値段なんでしょうね。
接続方式もDCコネクタを直接差し込む方式なんですね..（笑）
https://hello-robot.com/stretch-docking-station
Hacker News のコメント
こういうロボットは、障害物への対処ができるようになるまでは市場が小さい気がする
猫が床の真ん中に置いたおもちゃ、開いた窓のせいでテーブルから飛ばされた紙、子どもたちが散らかしたおもちゃ、席を外している間に机から転がり落ちた鉛筆、床に置いた洗濯物、カーペットとフローリングの段差、開いている／閉じているドアなどが全部問題になる
本来の作業の前に、おもちゃを片付ける、紙を拾う、洗濯物を拾う、ドアを開けるといったいくつもの中間タスクが割り込む可能性がある
ケーブル、動かしてはいけない積み上げられた物、家具、眠っているペット、配達された箱の山のようなものは、車輪付きロボットを半永久的に足止めし得る
だから汎用家庭用ロボットには車輪ではなく脚が必要で、安定性のために2本より多いかもしれないと思う
奇妙に聞こえるかもしれないが、理想的な設計は大きくて親しみやすいクモと犬の中間あたりなのかもしれない
ロボティクスが概して世界を2次元平面として見る発想に囚われているのは不思議で、3次元世界で移動性を扱う本当に難しい問題を理想化して消し去ってしまっているように見える
このロボットが行うこともすべて平らな水平面上だけで行われていて、動作させるには人間が先に部屋を歩き回って片付けておいたように見える
Roombaにも同じ問題がある
床にケーブルを長く這わせなければよいし、家具にマーキングテープを貼ることもできるし、ロボットが物を拾って片付け、つまずく危険として残さないようにすることもできる
食洗機が簡単につかみ、運び、洗える食器のように、人間にもロボットにも扱いやすい物へ置き換えることもできる
すでに私たちは電子レンジ対応や食洗機対応の製品を買うことでそうしており、何かが対応していないと分かると驚くほどだ
ペットが自分で使えるように、人間用のドアにペットドアを取り付ける費用も受け入れている
人間は適応力の高い種だ
もう一つ、私はロボットを天井レールから吊るすというアイデアがずっと好きだった
素晴らしい映画 Moon でも見られるが、家具の上を漂って移動できるので、人間より機動性が高いという利点がある
ロボットの前の床にある物をアームが拾えるようになりさえすればよい
不可能には見えないし、複数のモデルを接続して「Takisを寝室のナイトスタンドへ運んで」と言うと実行できるようにしたデモは驚きだ
あとはアームが床まで届くほど十分に関節化されるようにするという「小さな」ロボティクス上の問題が残っているだけだ
そこではコードプッシャーで解決している
床の物を押しのける、一種の家畜よけ格子のような装置だ
すべての問題に複雑な解決策が必要なわけではない
このプロジェクトの素晴らしさは、とりわけロボット設計のシンプルさにあると思う
とてもクール
ロボティクスの経験がほとんどないので馬鹿げた質問かもしれないが、気になる
物体が何であるかをどうやって知るのか？リアルタイムの物体分類ニューラルネットワークのようなものを使っているのか、限界は何か？
ロボットはリクエストを実行できないことを認識できるのか？たとえば大きな箱や非常に重いケトルベルを運ぶよう頼まれた場合は？
物体が隠れていたり遮られていたりすると、どの程度うまくいくのか？探し回るのか？依頼された物体にアクセスするために別の物体をどかす必要がある場合はどうなるのか？
この研究は本当に素晴らしいが、現代のロボット学習システムの多くの限界をそのまま示している
ここ(https://github.com/ok-robot/ok-robot/tree/main/ok-robot-navi...)で説明されているが、私の理解では基本的にViTモデル、つまり画像分類モデルで画像にラベルを付け、それをボクセルグリッドに投影している
その後、CLIPの言語埋め込みで言語とボクセルグリッドを結び付ける
限界は、これをロボット上で動かすにはこうしたモデルの超大型版を使えないことだ
クラウドで大きなモデルを使うこともできるが、大きな遅延が発生する
言語埋め込みがカバーしていないリクエストなら、ロボットは何もしないかもしれない
しかしこのシステムは、物理コントローラーのハードウェア上の限界を除けば、物理に関する知識はなさそうだ
ボクセルのラベリングは、ボクセルにラベルを付けるモジュールに依存しており、視覚情報がなければラベルを付けられない
また、フォークは引き出しの中にあり、引き出しはキッチンにあり、キッチンは普通家の奥にある、といった複雑な高次推論はないように見える
部分的に遮られている場合は視覚分類器の限界次第なので、できるかもしれない
ViTは非常に優れているが、物体がどれだけ遮られているかによるだろう
物体認識はほとんどLang-SAM(https://github.com/luca-medeiros/lang-segment-anything)を使っており、画像とテキストを結び付ける重い作業はCLIP埋め込み(https://openai.com/research/clip)が担っている
CLIP系モデルの利点の一つは、後から問い合わせるクラスを事前に指定しておく必要がなく、実行中に思いついた表現をそのまま使える点だ
現在のロボットは、実行不可能なリクエストを認識しない
今のモデルは非常に単純で、特に賢い処理を試みてはいない
ただ、そのためにコードを公開しており、コミュニティがこのプロジェクトの上で、環境の視覚的手がかりをもっと活用する、より賢いロボットを作れることを願っている
初期スキャンで物体が隠れていたり遮られていたりすると失敗する
それでも追加研究の良い出発点になり得ると思う
一つの利点は、全体の3D情報を考慮するため、ある物体が一部の角度からしか見えなくてもロボットが見つけられる可能性があることだ
障害のある人、高齢者、ゲーマー、極度に怠け者の人、そしてその人たちを介助する人にとって、人生を変え得る技術に見える
歩道を車椅子に優しいものにすれば、ベビーカーを押す親、重い荷物を持つ人、杖を使う人、自転車に乗る小さな子ども、視力のよくない人にも役立つ、という具合です
個人的には、AIに、誰もが欲しがる仕事ではなく、誰もやりたがらない仕事を担うよう教えられることを願っています
すばらしい
洗濯物をたたんで所定の場所にしまうよう訓練できるなら、2万5千ドルのロボットでも本気で買うつもりがあります
存在しない物を探すような長期タスクを解くには、注釈付きのシーンをテンプレート化された説明に変換し、インタラクティブフィクションで学習した十分に大きなモデルに入力できます
「あなたはキッチンに立っています。前方右手には、取っ手が右側に付いた大きな冷蔵庫があります。左側にはキャビネットがあり、その上のカウンターには皿が置かれています。」
> get beer「ここにはビールは見当たりません。」
<< COT: 맥주는 냉장고에 자주 있다는 것을 안다. 냉장고를 열어봐야 한다> open fridge「冷蔵庫を開けると、ビール缶が4本見えます。」
> get beer「取りました」
もちろん、これが実際に動作するようになるにはまだ数年はかかるでしょうが、考えてみると非常に興味深いです
実センサーが供給するインタラクティブフィクションの物語と、内的独白としての思考連鎖ブロックを組み合わせる方式です
キッチンの写真を撮って、ChatGPTにビールをどこで探せばよいか聞けばいいのです
実際、かなり頻繁にこう使っています
怠けて部品と基板の写真を撮り、ESP32にどう配線すればよいか尋ねるのですが、数枚の写真だけで基板、チップ、ピン配置を見分け、どの線をどこにつなぐべきか、注意点まで教えてくれます
部品に役立つライブラリまで提案してくれることも多く、実質的に魔法のようです
失敗分析が本当によくできています
ハードウェアの失敗が何を意味するのか気になります
たとえば「Realsenseが誤った深度を返した」という試行が5回ありますが、それをどう判断したのか気になります
言及した5回の試行では、Realsenseが透明または半透明の物体で誤った深度値を出しており、そのためロボットのヘッドカメラから生成されたポイントクラウド自体が間違っていました
オープンソースなのにほぼ2万5千ドルもします
なぜこんなに高いのか気になります
ほとんどの移動マニピュレーションロボットは5桁以上の価格ですが、主に市場が小さく、材料費と工学コストが高く、ロボット製作自体が厄介だからです
労働は無料ではありません
カスタムPCBやハードウェアを少量で作るのも安くなく、ロボットを製作し、キャリブレーションし、テストするのも安くありません
製品ページへのリンクがあるのか気になります
ハードウェアはプロプライエタリで、特許で保護されています
これはDobb-Eと同じものでは？
https://dobb-e.com/
ただし、チームには一部同じ人たちがいます
たとえば私はDobb-Eの筆頭著者で、私の指導教員が両方のプロジェクトを指導しています
主な違いは、このプロジェクトがゼロショットで、新しい家で新しいデータを0件しか必要としない一方、スキルは「つかむ」と「置く」の2つだけという点です
一方Dobb-Eは複数のスキルを持てますが、新しい家でいくつかのデモンストレーションを提供する必要があります
どちらも使用したロボットのウェブサイトで言及されています: https://hello-robot.com/stretch-embodied-ai
しばらくこのプロジェクトを追っていましたが、進展はすばらしいです
手足の制御が制限されている人のために、車椅子のような移動補助機器と統合される姿を想像しています
これまで不可能だった作業を助ける「スマート」外骨格のようなものになれば、本当に多くの人にとってゲームチェンジャーになり得ます
荷物を載せて地点間で送れる安定化プラットフォーム車両が本当に欲しいです
Segwayのようなジャイロ安定化プラットフォームを、A地点からB地点まで、ひどくはないものの凸凹のある散策路のような経路で往復させられるとよいのですが
以前から選択肢を見続けようとしていましたが、この用途に合うものを見たことがありません
こうしたユースケースに合う新製品を知っている人がいるか気になります
具体的には、飲み物とオードブルを載せたトレイを、敷地の一方からもう一方へこぼさずに運ぶ必要があり、少なくともある程度の全地形走行が必要です
飲み物を運ぶのを見たことがあるかは分かりませんが、料理は確実に運びます
技術はすでにあり、あとは全部うまくつなぎ合わせるだけです
重力が常にグラスの底へ向くよう保ってくれるので、電子式の安定化は不要です