HN公開: 6自由度をサポートするオープンソースのデジタルスタイラス

 (github.com/Jcparkyn)
1 ポイント 投稿者 GN⁺ 2023-11-13 | 1件のコメント | WhatsAppで共有

D-POINT: 光学・慣性トラッキングを用いたデジタルペン

  • D-POINTは、カメラトラッキングと慣性計測を用いて6DoF（6自由度）入力を実現するオープンソースのデジタルスタイラス。
  • 低遅延、圧力感知、サブミリメートル精度を提供し、あらゆる平坦な表面で使用でき、一般向けWebカメラと互換性がある。
  • このプロジェクトは電気工学学部の卒業論文の一部であり、コードと設計ファイルをオープンソースとして公開し、他の人に役立ててもらいたいとしている。

設計

  • スタイラスの主要部品は3Dプリントで製作され、力センサー、USB-Cで充電するリチウムイオンバッテリー、Bluetoothおよびロジック用のArduinoベース開発ボードを含む。
  • 視覚的姿勢推定のため、スタイラス後部に8個の印刷されたArUcoマーカーが取り付けられている。

視覚的姿勢推定 (VPE)

  • VPEのプロセスは4つの主要ステップで進行する:
    1. マーカー検出: OpenCVを使用して、スタイラス上の各ArUcoマーカーの角を検出する。
    2. ローリングシャッター補正: 単純な2Dモーションモデルを用いて、ローリングシャッターが観測された角の位置に与える影響を推定し、補正する。
    3. Perspective-n-Point (PnP): これらの角位置から、PnPアルゴリズムを用いてカメラに対するスタイラスの姿勢を推定する。
    4. 座標変換: カメラおよび描画面に対して較正されたスタイラスの姿勢を用いて、描画面に対するスタイラス先端の位置と方向を計算する。

慣性融合

  • 拡張カルマンフィルタ（EKF）を使用してVPE推定値と加速度計・ジャイロスコープの慣性データを融合し、Rauch-Tung-Striebel（RTS）アルゴリズムを用いてリアルタイムで推定値を洗練する。
  • カメラフレームの時間遅延を考慮するため、負の時間測定更新アルゴリズムを使用する。
  • EKFはNumPyとNumbaを用いて実装されており、慣性計測を使うことでカメラのみを使用する場合より遅延を大幅に減らし、高速な動きに対する精度と報告レートを向上させる。

GN⁺の意見

  • D-POINTは、高度な技術と革新的な設計によってデジタルスタイラスの新たな可能性を示している。
  • オープンソースで提供されており、技術に関心のある人々が自由に利用し、改善できる機会を提供する。
  • この技術は一般向けWebカメラと互換性があり、あらゆる平坦な表面で使用できるため、ユーザー体験の向上に重要な役割を果たし得る。

関連記事

1件のコメント

 
GN⁺ 2023-11-13
Hacker Newsのコメント

  • プロジェクトへの感嘆

    「本当に素晴らしいプロジェクトだ。自分が想像していただけのものを実際に実現してしまった。『Elite: Dangerous』をプレイするとき、HOTAS（手で操作するスロットルとジョイスティック）とペダルを使っていたが、宇宙船をもっと良い方法で操縦できるはずだと思っていた。手に持った宇宙船のモデルを動かすと、ゲーム内の宇宙船も同じように動く。そういうものが自分の欲しかったものだ。このプロジェクトならそれが可能になりそうだ。推力も、もう片方の手で似たような方法で操作できるだろう。こうした新しい、あるいは奇妙な入力モデルは本当に驚くべきもので、この能力があれば想像力を思い切り広げられる。」

  • プロジェクトの学術的価値

    「このプロジェクトは電気工学の学部卒業論文の一部だった。学部生だなんて！ このプロジェクトで最高評価を取れなかったのなら、それは正義がないということだ。」

  • ウェブカメラの未来についての興味深い考察

    「ウェブカメラの使い方が興味深い。従来の単一の約78° FOVのウェブカメラが、デュアル（ステレオ）の魚眼ウェブカメラに置き換わる未来が来るのか気になる。こうしたウェブカメラは、新しいUXインタラクション（視線追跡を含むジェスチャー）を可能にし、このスタイラスやレーシングゲーム向けのステアリングホイールのような新しい周辺機器とのインタラクションも可能にし、さらにVRでの存在感を含む、はるかに柔軟なウェブ会議のための3D 180°撮影も可能にするだろう。コンピュータディスプレイの前にある3D空間全体を入力手段として使えるというアイデアが近づいてきていて、ウェブカメラの使い方はその方向への一歩のように感じられる。」

  • ローリングシャッター補償技術への認識

    「ローリングシャッター補償はかなりクールで、最初から問題になると分かっていたのか、それともシステムを構築してから気づいたのか気になる。」

  • 入力デバイスへの創造的なアプローチ

    「特に技術の融合が印象的だ。『ノートPCキーボード... 手の形、3Dスタイラス、タッチ』を探っていて思いついたことがいくつかある。ボタンを追加すれば3Dマウスになり得るが、カメラのカバレッジが問題になるかもしれない。ノートPCの筐体の中はほとんど空いていて（バッテリーも薄くできる）、マーカー付きのスタイラスを持ったままタイピングすることも可能だ。大きなチップならThinkPadのキーボード上を滑らかに動かせるし、より疎な力センサーや追加のチップ用マーカーのためのスペースも確保できる。薄いシリコンのリボンケーブルは非常に柔軟にできるし、自分ならスタイラスをArduinoにつなぐだけでもよい。また、慣性センサーが金属製クリッカーのようなものをどう認識するのかも気になる。」

  • 6DOF（6自由度）コントローラーへの情熱と、プロジェクトのソフトウェア面への称賛

    「自分は6DOFが大好きだ！ ハードウェアやコンピュータビジョンのポーズ推定の仕事も素晴らしいが、回転可能なソフトウェアの表面を描いている点は、それ以上に印象的ですらある。これは何らかの物理的ユーザーインターフェース制御と組み合わせて使えるし、同じ効果を得るための指スライダーのようなものにもなり得る。問題解決スキルを磨くのに良いプロジェクトに見える。よくやった、ブラボー！」

  • プロジェクトへの感嘆とカルマンフィルター使用の実例

    「とてもクールなプロジェクトだ。ドキュメントも役に立つ。カルマンフィルター活用の良い実例だ！」

  • プロジェクトへの感嘆と自分でも作りたいという願望

    「本当に印象的なプロジェクトだ！ とても気に入ったし、ぜひ一度作ってみたい。」

  • ロボティクス/VRへの応用可能性と技術的な質問

    「本当にすごい！ ロボティクスやVRにも役立つかもしれない。ウェブカメラを使った片手トラッキングはどうだろう？ 質問：ジャイロ＋加速度計を使って圧力を追跡できるのか？ 少なくとも『タップ』くらいは？ もう一つの質問：コストはいくらくらい？ 特に圧力センサーの価格は？」

  • カメラを使った外部トラッキングへの好奇心と技術への惜しさ

    「カメラを使った外部トラッキングは思いつかなかったクールなアイデアだ。Valve/HTCが使っているLighthouse技術を安価に再現する良い取り組みがないのは残念だ。」