Project Gameface の Android 版をリリース

• Google I/O 2023 で発表されたオープンソースの Project Gameface
  • ハンズフリーのゲーミング「マウス」で、頭の動きや顔のジェスチャーを使ってコンピューターのカーソルを操作できるようにする
  • 眉を上げてクリックやドラッグを行ったり、口を開けてカーソルを移動させたりでき、ゲームのアクセシビリティを高める
• このプロジェクトは、筋疾患により四肢麻痺を抱えるビデオゲーム配信者 Lance Carr のストーリーに着想を得て始まった
  • Lance と協力して Project Gameface を現実のものにした

プロジェクトの活用

• 今後さらに多くのコードをオープンソースとして公開し、開発者があらゆる Android デバイスをよりアクセシブルにするアプリケーションを開発できるよう支援
• デバイスのカメラを通じて表情や頭の動きを滑らかに追跡し、それを直感的でパーソナライズされた操作へと変換する
• 開発者は、ユーザーが表情、ジェスチャーの大きさ、カーソル速度などをカスタマイズして体験を構成できるアプリケーションを構築できる

Android 向け Project Gameface を構築する際の 3 つの基本原則

1. 障害のある人に Android デバイスを操作するための新たな追加手段を提供する
2. 拡張可能なコスト効率の高いソリューションを構築する
3. 初代 Gameface のリリースから得られた教訓と指針を生かし、使いやすくカスタマイズ可能な製品を開発する

Android デバイスでのカーソル実装

• Android デバイスを操作するための新しい方法を提供
  • Project Gameface に対する好意的なフィードバックを通じて、開発者やユーザーが頭の動きでカーソルを移動し、表情で操作を実行するというアイデアを高く評価していることがわかった
• Android デバイスに新しい仮想カーソルを導入するため、同じアイデアを再現
  • Android アクセシビリティ サービスを使って新しいカーソルを作成し、MediaPipe の Face Landmarks Detection API を活用して、ユーザーの頭の動きに応じてカーソルが移動するようにプログラムした
• API には、左眉を上げる、口を開けるといった 52 種類の顔ジェスチャーの表現力を示す 52 個の顔ブレンドシェイプ値が含まれている
  • その一部の値を使って幅広い機能を効果的にマッピング・制御し、カスタマイズや操作の可能性を広げている
  • また、ブレンドシェイプ係数を活用することで、開発者が各表情ごとに異なるしきい値を設定できる機能を提供し、体験をカスタマイズできるようにしている

Project Gameface の可視化

• Android アクセシビリティ サービスの優れた機能を Project Gameface に導入
• モバイル操作
  • Windows 版の Project Gameface では、ユーザーが一般的なクリック操作を再現できるようにしていた
  • しかし Android では、ユーザーが実行する必要のある機能はさらに多様である
  • OS に入力されるタッチイベントと、「戻る」「マルチタスク切り替え」「ホーム」のようなグローバル アクション イベントがある
  • Android アクセシビリティ API を使って、ユーザーに提供できる操作を決定した
  • 現在、Android 向け Project Gameface は GLOBAL_ACTION_HOME、GLOBAL_ACTION_BACK、GLOBAL_ACTION_NOTIFICATIONS、GLOBAL_ACTION_ACCESSIBILITY_ALL_APPS をサポートしている
• カメラフィード
  • カメラフィードはユーザー体験を大きく向上させ、正確なしきい値の設定やジェスチャーへのより深い理解を可能にする
  • また、カメラが頭の動きやジェスチャーを理解するために積極的に使われていることを、ユーザーにはっきりと示す
  • カメラフィードを単なるオーバーレイとして生成するだけでは、Android 設定のような重要なセクションにアクセスできなくなってしまう
  • Project Gameface と Android アクセシビリティ サービスを組み合わせることで、Android 設定やその他の重要なセクションでもカメラが表示されたままになるようにしている
• 「ドラッグ機能」の実行が可能
  • Android アクセシビリティ サービスには現在、ユーザーがリアルタイムで操作している画面上でドラッグを実行する簡単な方法がない
  • しかし製品をアップグレードしてドラッグ機能を追加し、ユーザーが開始地点と終了地点を定義できるようにした
  • その結果、指定された経路に沿ってドラッグ操作をスムーズに実行できる
• 期待とオープン性
  • Project Gameface の可能性に期待しており、開発者や企業がこれを活用して新しい体験を構築することを望んでいる
  • Gameface のコードは現在 GitHub でオープンソースとして公開されている