AnySkin: ロボットにタッチセンサーを装着して超精密作業を学習する

 (any-skin.github.io)
1 ポイント 投稿者 GN⁺ 2024-09-21 | 1件のコメント | WhatsAppで共有
  • ロボット操作において触覚は有用だが、従来のセンサーは取り付けが難しく再利用性も低かった。AnySkinはエンドエフェクタに簡単に装着・交換できる皮膚型センサーとして、この問題を軽減する
  • センシング電子部と表面を分離し、損傷した皮膚だけを交換できるため、統合プロセスはスマートフォンケースをはめて充電器を接続する程度まで単純化されている
  • 磁性鉄粒子を含む柔軟な表面が接触時に生む磁場の歪みを、5個の磁力計が3軸の磁束密度として測定する
  • 行動複製（Behavior Cloning）ポリシーは、皮膚交換後も Card Swiping、Plug Insertion、USB Insertion 作業で成功を維持し、センサーインスタンス間の一般化の可能性を示した
  • 30個の日常物体データで学習した LSTM すべり検知モデルは、slip event を92%の精度で予測し、論文・コード・CADファイル・設計ツールが公開されている

プラグアンドプレイ触覚センサー設計

  • AnySkinはロボット触覚用の皮膚センサーで、触覚センシングが視覚や固有受容感覚よりもあまり使われていない状況において、より簡単に取り付けて使える構造を目指している
  • 既存の触覚センサーの限界は、汎用性、交換可能性、データ再利用性の不足にある
  • ReSkin の単純な設計をベースに、センシング電子部とセンシングインターフェースを分離している
    • 損傷した柔軟な表面だけを簡単に交換できる
    • さまざまなロボットエンドエフェクタと互換性を持つよう設計されている
  • 接触は、センシング表面内の磁化された鉄粒子が作る磁場が変形することで検知される
  • センシング電子部は5個の磁力計（magnetometer）で構成され、各センサーは3軸の磁束密度を測定する

交換後も維持される学習性能

  • AnySkin は、1つのセンサーインスタンスで学習した操作ポリシーを別の新しい皮膚インスタンスにも適用する cross-instance generalizability を目標としている
  • 行動複製で学習したポリシーは、皮膚を交換した後も3つの作業で成功を維持した
    • Card Swiping
    • Plug Insertion
    • USB Insertion
  • すべり検知では、30個の日常物体データで学習した LSTM モデルが slip event を92%の精度で予測した

製作方法と公開資料

  • 製作は Smooth-On DragonSkin 10 Slow と MQFP-15-7 25μm 磁性粒子を 1:1:2 の比率で混合し、2パート金型で硬化させる方式である
    • 硬化した skin は pulse magnetizer で磁化される
    • グリッパーチップの設計ファイルは公開されている
  • 関連資料もあわせて提供されている

関連記事

1件のコメント

 
GN⁺ 2024-09-21
Hacker Newsの意見

  • シリコーンゴムに磁性粒子を入れて磁化し、複数の基準点から磁力計で磁場の変化を検知してゴムの変形を読み取り、表面の「圧力点」を解析する方式だと理解した
    ここでの革新は、製造工程に十分な一貫性があるため、特定の磁性シリコーンインターフェースごとに「入力信号」を長時間再校正しなくても、交換可能な部品のように使える点なのだと思う
    高級触覚センサーを、特注の手作り釘ではなく機械切削のネジに近いものにする感じ

    • グリッパーを完全に開いた状態で電源を入れるときに再校正すればよさそう
    • 良いアイデアで、同じ方式は静電容量式xyセンサーにも適用できそう

  • この分野はよく知らないが、本当に印象的だ
    ごみやリサイクル品の分類に使えるのか、異物が付着したり経年劣化したりしたときに再校正できるのかが気になる。シリコーンはおそらく経年劣化にはかなり強そう
    トマトを洗ってヘタを取ることもできるだろうかと思う
    これで作ったトラックパッドも欲しい。どれくらいの解像度が出せるのか気になるし、圧力や傾きのような機能を得る代わりに解像度を大きく犠牲にしたくはない
    ただ、指で皮膚をこするような感触だとしたらかなり不気味かもしれないので、ノートPCに肉のような部分が付くのは望まない

    • 産業用ロボット自動化と特定目的向けのカスタムエンドエフェクタの分野で働いたことがあり、この触覚センサーがどこで役立つかは大体こう見る
      ごみ・リサイクル分類ではロボットは多くなく、ほとんどは物体の材料特性を利用している。一部の企業が、収益性に必要な高い処理量を満たそうとしてデルタロボットを導入してみたが十分ではなかった。予算の大きい自治体や大学なら可能かもしれないが、財政的に正当化するのは難しい
      再校正については、時間とともに磁場が弱まる問題や、異物を開発者たちがどう扱うのかが気になる。シリコーンは洗浄可能グレードかもしれないが、高処理量の環境で柔らかい素材が部品と継続的に接触すると摩耗し、把持特性も変わる
      トマト洗浄とヘタ取りは、ロボットとエンドエフェクタのコストが今後10年以上さらに下がり、効率も上がらないと、大量洗浄と手作業のヘタ取り、あるいは粗い機械作業には勝てない。理論上の将来の家庭用ロボット向けの大学院生プロジェクト程度に見える
      Lenovo TrackPointはトラックパッドに必要なものの95%をすでに提供している可能性が高く、この触覚センサーはその市場を狙っていないだろう
      役に立ちそうなのは、既存のエンドエフェクタに貼り付けて「部品検知」というブール値のフィードバックだけを与える単純版、把持中に部品が大きく動いたかを検知してロボットを停止させる用途、複数の圧力の組み合わせが必要な食品把持、長いエンドエフェクタのため関節だけでは位置検知が難しい位置合わせ作業、そして布地操作だ。布地はロボットにとって難しい問題なので、「部品」に関する情報が増えれば役に立つし、靴製造の自動化を妥当な価格で実現する大きな障壁を下げられるかもしれない

  • 核心は、配列で配置されたまともな3軸磁力計チップ[1]のようだ
    交換可能なスキンに埋め込まれた磁性粒子は、製造中の磁化工程で平行に整列される。家庭用ワークショップでも使えそうな最先端に近い複数の要素が興味深く組み合わさっている
    [1] https://www.digikey.com/en/products/detail/melexis-technolog...

    • 論文では回路設計と部品がもどかしいことに省かれていて、過去の研究だけが参照されている
      ReSkin: versatile, replaceable, lasting tactile skins
      https://arxiv.org/abs/2111.00071

      Z- coordinate system [36]. For an overall sensing area of 20mm x 20mm (Figure 3), we measure magnetic flux changes using 5 magnetometers. Four magnetometers (MLX90393; Melexis) are spaced 7mm apart around a central magnetometer. All 3D-printed molds, circuit board files, bill of materials, and libraries used have been publicly released and opensourced on the website
      https://reskin.dev/
      ブレークアウトボードはここで入手できる https://www.adafruit.com/product/4022

  • 電子楽器に本当に役立ちそう。たとえば、力感知抵抗ストリップの格子を使うLinnstrument(https://www.rogerlinndesign.com/linnstrument)のようなもの
    こうしたセンサーを並べて置いたとき、互いに干渉しないのか気になる

    • 同感。互いに干渉せずに配列化できるなら、本当に素晴らしい表現力のある楽器になりそう
      コストは気になるが、既存の楽器も別に安くはない
    • 私も最初に思ったのがこれだった。このカテゴリで知っている他のものとしては、Roliの楽器群（Seaboard、Blocks）やHaken Continuumがある
      大きなモデルはどれもかなり高価なので、この新技術がこうした製品をもっと安くする方法になり得るのか気になる
    • なぜ必要なのかわからない。制御部を直接配線すればいいだけだ。指をまねることは何も付け加えない
      ハンドドラムやバイオリンのように触覚フィードバックがもっと多い楽器なら興味深いかもしれない。だが、そのような電子制御サーフェスが存在するのは、人間の演奏者がそもそもロボットではないからにすぎない
    • 単に大きいものを作ればいいのかもしれない

  • USBの挿入のような作業では、ロボットが穴に合わせるときに角度の変化や2本の「指」の間の圧力差を検知しているのか気になる。
    ロボットがUSBプラグを整列させるために「手探り」で合わせている感じなのか知りたい。
    また、基本のスキン材料が成形用シリコンなのか、それとも3Dプリント可能なTPUの可能性があるのかも気になる

  • とても良いし、昔のTakktileセンサー https://biorobotics.harvard.edu/takktile.html より製造がずっと簡単そうだ。
    チップとスキンの間に十分に硬い層を置けば、回路基板をまったく傷めずにスキンへ破壊的なレベルの力を加えられそうに見える。Takktileはエポキシが圧力センサーに直接接する構造だったので、保護層をかぶせることはできても感度は必ず落ちていた。
    政策学習の部分が技術とどれほど独立しているのかも気になる。モデルが接触位置ではなく、ボードが与える方向ベクトルに依存するようになるのか知りたい。それ自体が問題だという意味ではなく、方向性が特定の変化を「分離」して学習過程を単純化するのか知りたい

    • センサーは方向ベクトルを与えるが、ReSkinで示されたように、これは接触位置の良い代理値として機能する https://reskin.dev
      ただしディープラーニングを使っているため、政策が正確にどの量に依存しているのかを解釈するのは難しい。潜在的には様式に依存しないかもしれないが、これまでは (1) 接触位置や3軸力のように直感的に関係する量を検知し、(2) ディープラーニングモデルが個体間で一般化できるだけの十分に一貫した信号を示すセンサーがなかった。
      これがAnySkinの中心的な動機であり、磁気センシング方式でそれを可能にする比較的単純な製造手順を見つけた

  • ロボット触覚の研究を少しやったことがあるが、本当に面白かった。
    私たちは「biotac」センサーを使っていて性能は非常に良かったが、1) とてつもなく高価で、2) 摩耗するスキン交換が非常に難しかった。
    biotacがこの方式より優れている点が一つあるとすれば、大きな小切手を送れば実際に買えることだ。こうした学術発のものは、価格にかかわらず入手できないことが多い。すごく良さそうだし、いくつか欲しい

  • 「Fabrication process」の図が気に入った。これ以上単純にするのは難しそうだ

  • 応用は触覚センサーだが、本当のブレークスルーは柔軟な媒質の中に平行方向の磁性粒子を入れることにあるように見える。
    すぐにいくつか疑問が浮かぶ。Magnequenchを作っている会社は、磁性粒子を別の材料に入れられることを当然知っているはずだが、こうした粒子の最も一般的な用途は何だろうか。普通は固定された非柔軟の固体媒質に入れるのか、それとも液体に入れるのか気になる。
    Dragon Skinを必ず使わなければならないのかも気になる。半固体媒質に磁性粒子を混ぜるという発想は興味深い。ゼリーやSilly Puttyに粒子を入れるような形なら、外部磁場を加えて粒子入りの媒質を変形させたり形を作ったりできるのだろうかと思う

  • 「USB挿入やクレジットカードのスワイプのような精密作業のための学習済み視覚-触覚ポリシー…」と「大規模基盤…」という文句を見ると、ロボットがドアノブや取っ手を使って文字どおりドアを開けられるようになるように思える。楽しみだ

    • その通り。そして重要なのは、スキンを交換しても視覚-触覚ポリシーが機能することを発見した点だ。
      知る限り以前には示されておらず、このセンサーの興味深い大規模応用を開く結果だ