口ベースのタッチパッド、麻痺患者のコンピューター利用を支援する MouthPad

 (news.mit.edu)
2 ポイント 投稿者 GN⁺ 2024-06-15 | 1件のコメント | WhatsAppで共有
  • 手の使用が難しい人にとって既存の音声支援機器が常に適しているとは限らず、AugmentalのMouthPadは口の中の動きをスマートフォン・コンピューター・タブレットへの入力に変える
  • 口蓋に触れる圧力感知タッチパッドと2つのモーションセンサーが、舌・頭のジェスチャーをBluetooth経由でカーソル移動、スクロール、クリックに結びつける
  • 脊髄損傷のあるユーザーはすでにMouthPadを毎日使っており、四肢麻痺のあるある大学生は、図書館での学習や数式の記述のように音声が使いにくい状況で活用している
  • 製品はユーザーの口腔スキャンに基づく3Dモデルでカスタム設計され、歯科用素材のリテーナーを3Dプリントした後に電子部品を追加する方式
  • Augmentalは今後1年以内にFDA承認を取得し、車いす・ロボットアームの制御や保険償還まで広げようとしており、発声器官のより微細な動きを認識する次期版も開発中

手を使うのが難しい人のための入力デバイス

  • Augmentalは、運動障害のある人がパーソナルコンピューティング機器とより自然に相互作用できるよう支援するスタートアップ
  • 最初の製品であるMouthPadは、ユーザーが舌と頭の動きでコンピューター、スマートフォン、タブレットを制御できるようにする
  • 目標は、重度の手の機能障害がある人でも、手を使える人のように電話やタブレットを自在に使えるようにすること

口の中の動きをカーソルとクリックに変える仕組み

  • MouthPadの圧力感知タッチパッドは、口蓋に接触する位置に置かれる
  • タッチパッドと2つのモーションセンサーが、舌・頭のジェスチャーをBluetooth経由でリアルタイムの入力信号に変換する
    • 舌を滑らせると、上下左右にスクロールできる
    • 吸い込むジェスチャーで右クリックできる
    • 口蓋を押すと左クリックできる
  • 舌の制御が難しいユーザーは、噛む、食いしばる、別のジェスチャーを使える
  • 首の制御がより可能なユーザーは、ヘッドトラッキングで画面上のカーソルを動かせる
  • Augmentalは、各ユーザーの身体条件に合ったマルチモーダルインターフェースを作ろうとしている

舌を入力媒体に選んだ理由

  • 舌の位置制御には、脳の大きな領域が関与する
  • 舌は8つの筋肉で構成され、筋線維の大半は疲労しにくい遅筋線維である
  • Vegaはこの特性をコンピューターとの相互作用に活用できると考え、口を入力媒体として実験した
  • MIT最後の学期には、複数のセンサーを付けた「ロリポップ」形状の試作品で可能性を確認した

実際のユーザーと活用例

  • 脊髄損傷のある人々は、MouthPadを毎日使用し、好みのデバイスと独立して相互作用している
  • 四肢麻痺があり、大学で数学とコンピューターサイエンスを学ぶあるユーザーは、MouthPadで数式を書き、図書館で勉強している
    • その状況では、音声ベースの支援機器は適していなかった
    • 授業のノート取りや友人とのゲームにも使えるようになった
  • 現在のユーザーの多くは脊髄損傷があり、一部は手を動かせず、一部は頭を動かせない
  • ゲーマーやプログラマーもMouthPadを使用している
  • 最も頻繁に使うユーザーは、1日最大9時間MouthPadと相互作用している

カスタム製作方式とMITでの出発

  • Augmentalはユーザーの口腔スキャンを基に3Dモデルを作成し、そのモデルでMouthPadのデザインを生成する
  • チームは歯科用素材でリテーナーを3Dプリントした後、電子部品を追加する
  • VegaはUC Berkeley在学中に共同創業者のCorten Singerと出会い、その後MIT Media LabのFluid Interfaces研究グループに参加した
  • MITではマイクロファブリケーション、信号処理、電子工学の授業を受け、オンライン情報へのアクセス、睡眠改善、感情調整を支援するウェアラブルデバイスを開発した
  • 初期開発の過程では、Venture Mentoring Service、MIT I-Corps program、E14 FundのようなMITのリソースを活用した
  • AugmentalはVegaが2019年末にMITを卒業したのに合わせて正式に発足した

脳-機械インターフェースの代わりに選んだアプローチ

  • Vegaは一時期脳-機械インターフェースに関心を持っていたが、Neuralinkでのインターンシップ後に別の解決策を探すようになった
  • 脳インプラントは将来人々を助ける大きな可能性を持つが、開発期間が長いという限界がある
  • Vegaは、すでに今すぐ解決策を必要としている人々に多く出会っており、MITで脳インプラントの可能性を持ちながらもその限界を避ける方法を作ろうとした

FDA承認と次期版

  • Augmentalは今後1年以内に米国のFDA承認を取得し、車いすやロボットアームの制御といったユースケースを支援しようとしている
  • FDA承認は保険償還を可能にし、製品へのアクセスしやすさを高められる
  • 同社は、ささやき声や内部の発声器官のより微細な動きに反応する次期版を開発中
  • この機能は、肺機能を失った、または損傷した初期顧客層にとって重要である
  • VegaはAIエージェントと関連ハードウェアの発展も前向きに見ており、Augmentalが常に利用可能で堅牢かつプライベートな知的インターフェースになることを望んでいる

関連記事

1件のコメント

 
GN⁺ 2024-06-15
Hacker Newsの意見

  • なぜ10〜15年前にはこういうものがなかったのだろう？支援技術は、自分に直接影響するようになるまでは、十分な数の人が作ったり気にかけたりしないように感じる

    • 大学の研究室で、障害のある音楽家向けの支援的な音楽制御デバイスを作っている。短期間見てきた限りでは、こうしたプロジェクトのかなり多くは、研究の領域から実際に持続可能な事業へとうまくつながっていない
      身体的・神経学的な特性は非常に多様なので、支援機器は特定のユーザーに合わせたカスタマイズ、チューニング、サポートが必要になることが多く、そのため価格も高くなりがち
    • いくつか理由があるように思う。第一に技術的なギャップで、支援技術が必要になった人が、自分で作り始める方法を知らない場合がある。第二に視点の違いで、健常者の技術者としては問題を正しく理解できず、適切なものを作るのが難しい
      第三にコミュニケーションで、必要としている人が自分のニーズを説明できなければならないが、そこには内省とある程度の技術が必要な場合がある。最後はお金で、数か月や数年を費やしても収益にならない可能性が高いプロジェクトに取り組める人がどれだけいるのか、ということ
    • 目の動きでタイピング: https://www.optikey.org/
      ヘッドポインターでタイピング: https://www.alimed.com/adjustable-head-pointer.html
      片手タイピング: 複数のキーボード配列がある https://en.wikipedia.org/wiki/Dvorak_keyboard_layout#Variant...
      音声認識、テキスト読み上げ、Windowsのアクセシビリティ機能もある。製品は実際に開発され、発売されてきたが、さらに多くの取り組みが必要で、この製品も歓迎すべき新たな選択肢
    • 約9年前に試してみて、ソリューションもオープンソースとして公開した。当時は市場が十分に大きくないと感じたので、誰でも研究結果をもとに作れるように公開しておくことにした
      http://pallette.io/instructions.html
    • その通り。世の中がこう回っているのは残念だが、MouthPad^ がその古いパターンを変えられることを願っている
      ユニバーサルデザインは極端な状況にいる人たちだけでなく、すべての人に利益をもたらすので、誰もが関心を持つべきだ。小さな例として、歩道の縁石カットの歴史を見ればよい

  • コンピューター使用による過使用障害を経験したことがある人なら誰にでも役立ちそう。ひどい腱炎のせいでマウスやトラックパッドを使うのがとても痛かったので、こうしたデバイスが別の選択肢としてあったら本当に良かったと思う

    • なぜまだ足で操作するマウスを誰も売っていないのか不思議。両手でタイピングする一般ユーザーにとってもかなり実用的だろうに

  • 最近発売されたVision Proと視線追跡も、比較的ニッチだがアクセシビリティの高い入力方式を提供している。すでにこの文脈で使われている

    “I was having trouble getting around that day,” he said, so he took the day off and did work for his consulting agency, Equal Accessibility, from bed, wearing the Vision Pro, surrounded by screens he controlled with his eyes and a series of custom mouth-sounds that triggered selections. “As I get older, and this happens more often for me,” he said, “I envision myself working virtually with the AVP even more.”
    https://nymag.com/intelligencer/article/apple-vision-pro-dis...

    • 視線追跡はiPhoneとiPadにも入る予定。Vision Proのハードウェアほどはうまく動かないだろうが、ヘッドセットを一人で装着したり外したりするのが難しい人にとっては、選択肢があること自体が良い
      https://9to5mac.com/2024/06/13/turn-on-iphone-eye-tracking-i...

  • ゲームで追加の操作オプションとして使いたい。舌で照準を合わせるのが上手くなれそう。脳から舌までの距離は脳から手までより短いから、反応時間ももっと速いのだろうか？舌操作がeスポーツを支配するかも ;) RGBマウスガードが近いうちに出てきそう

    • RockyNoHandsというストリーマーがいる。彼はWarzoneをすべて口でプレイしている
      コントローラーには、息を吹き込んだり吸い込んだりしてキャラクターを操作するチューブが付いている。競争の激しいゲームをライブでプレイしているのを見ると本当に印象的
      [0] https://en.wikipedia.org/wiki/RockyNoHands
    • 平均的なゲーマーの舌の持久力や舌の器用さはどの程度なのだろう？実際に役に立つほど伸ばすには、どれくらい練習しなければならないのか？
      これをうまく扱うのはかなり難しそう
    • 記事に出ている舌マウスの写真はレンダリングかもしれないが、おおよそ16dpiくらいに見えるので、世界を回転させる補助マウスとしては合っていそう。ごく小さなピクセルをクリックする用途なら、倍率調整のようなものがあるデバイスが欲しくなりそう

  • 障害のある人のための支援技術こそが口入力のより重要な用途ではあるものの、アクションスポーツ向けに、再生、一時停止、次/前といったメディア再生操作ができるシンプルな Bluetooth マウスガードがあってもよさそう

    • まさにこんな感じが思い浮かぶ: 口蓋を1回タップすると再生/一時停止、上の左/右の歯の内側をタップすると前/次、歯の内側に沿って舌を滑らせると再生位置の移動、口蓋で舌を前後に滑らせると音量調整
      かなり直感的だし、今使っている指ジェスチャーよりずっと精密になりそう。気になるのは装着感、誤入力、発話への影響くらい。それでも歯のアクセサリーを着けている人もいるし、そこまで悪くはなさそう
    • こういう用途の例をいくつか挙げられるだろうか？

  • brolylegs がこれを見られる時まで生きていたらよかったのに :( 彼は普通のコントローラーを使っていた
    付け加えると、Microsoft も障害のあるゲーマー向けに良いものをいくつか持っている。Adaptive Controller があり、Byowave と近日登場予定の Proteus Controller でも協力していた
    https://www.xbox.com/en-US/accessories/controllers/xbox-adap...
    https://www.byowave.com/product/proteus-controller-early-bir...

  • 少し脇道にそれるが、なぜキーボード/マウスレイヤーがもっと広く定着しなかったのかわからない。数年前に UHK[1] を Kickstarter で支援して以来、マウスをまったく使っていない
    慣れるまで少し時間はかかるが、キーボードでマウスを操作するのは本当に素晴らしい
    [1] Ultimate Hacking Keyboard

  • 名前が完璧だという点にも触れるべき。MouthPad は、MouthPad を口にくわえた人が mouse pad と言おうとしているように聞こえる。美しい

  • かなり昔に似た技術について読んだことがある。たぶんこれだったはず
    https://www.researchgate.net/publication/224648269_Tongue_dr...