私のアクセシビリティスタックとWaylandでの未来
(nocoffei.com)- Waylandへの移行はX11ベースの入力アクセシビリティツールを断ち切り、一部のユーザーにとってはコンピューターと職業生活そのものへのアクセス手段を失わせる
- Talon Voiceは音声認識、スクリプティング、Pythonを組み合わせ、アプリ切り替え・ディクテーション・ブラウザー操作・スクロールを手を使わずに可能にする
- gaze_ocrとCursorlessはOCR・視線追跡・構文木参照を組み合わせ、アプリ側の協力なしに画面操作とコーディングの範囲を広げる
- WaylandにはTalonが必要とするウィンドウ管理、入力自動化、マウス位置指定、クリップボード、画面読み取りのための共通標準APIが不足している
- Talonの主任開発者は公開リリースからのLinuxサポート削除を予告しており、GNOME・KDE・wlroots全体でのAPI実装はコミュニティの課題として残されている
Wayland移行が入力アクセシビリティを断ち切る問題
- KDE Plasmaは2027年初頭にX11サポートを削除すると発表しており、X11に依存するアクセシビリティツールの利用者は約9か月後には現在のデスクトップ環境を使い続けることが難しくなる
- アクセシビリティの議論は、視覚制限や全盲のユーザー向けの出力アクセシビリティに集中しがちだが、コンピューターに命令を伝える入力アクセシビリティも同じくらい重要である
- Ehlers-Danlos Syndromeと診断されて以降、手首や指を使う小さな筋肉が損傷し、キーボードやマウスの使用が難しくなった。専門的な理学療法によって手の使用は一部回復したが、勤務日全体を乗り切るには不十分だった
- LinuxデスクトップがWayland専用へ移行すると、ほとんど手を使わずにコンピューターを操作できる現在のツール群は、必要なレベルのシステム統合を得られない
- Waylandへの移行は単なるディスプレイサーバーの置き換えではなく、一部のユーザーにとってはコンピューターと職業生活へのアクセス手段を失わせる変化になる
Talon Voiceが提供するハンズフリー入力環境
- Talon Voiceは高速で高精度な音声テキストMLモデル、専用スクリプト言語、Pythonを組み合わせ、ユーザーがアプリケーションの操作方法を自ら拡張できるようにする
- Talonは、アプリケーションがアクセシビリティ統合を提供していなくても迂回的に操作できるようにし、このような方法は敵対的アクセシビリティ(adversarial accessibility) と表現される
- talonhub/communityのスクリプト集は、Talonを実用的にするために最初に導入する中核コンポーネントであり、ユーザーの必要に合わせて手作業で書かれた数万行のコードから成る
- Talonで可能なこと:
- タスクバーでマウス選択する代わりに、アプリケーションフォーカスを音声で切り替える
- Dictation Modeでテキストを作成し、元記事の大部分もTalonで書かれている
- ブラウザー向けのRango extensionを使って、ブラウザーを完全にハンズフリーで操作する
- 長文の散文を書くときは、D-Bus経由で外部音声テキストプログラムのdsnoteを呼び出す自作スクリプトを使う
- どの入力デバイスを使ってもスクロール動作は継続的に痛みを伴うため、シーッという音でスクロールする
- 将来的にはTalonにフットペダルを統合することも検討している
gaze_ocrと画面の直接操作
- gaze_ocrはOCRで画面内容を読み取り、画面上のオブジェクトを直接クリックできるようにするTalon拡張である
- LinuxではOCRバックエンドが標準では提供されないが、RapidOCRを接続して利用できた
- 視線追跡装置を併用すると、ユーザーが実際に見ている位置をもとに画面上のテキストを識別できる
- 60秒の紹介動画はhttps://youtu.be/qkFy66WF3bUで見られる
- gaze_ocrはアプリケーション側の統合がまったくなくても操作できるため、アプリ非協力環境でも機能するアクセシビリティの代表例となっている
Cursorlessと音声ベースのコーディング
- CursorlessはVisual Studio Code拡張で、ソースコードの構文木を認識した表現と各トークン上のhatを使って、音声でトークンを参照できるようにする
- テキストデモはXe IasoのCursorless解説で見られる
- talonhub/communityの各種プログラミング言語向け音声入力支援と組み合わせることで、完全に手を使わずにコードを書ける
- たとえば文頭へ移動するには、「Cursorless」の上にあるhatの色と文字位置を見て、「pre pink cap」のように発話し、その文字を参照する
- この方式はTalonの音声スペリング体系を用いている
- Cursorlessは従来のキーボード中心エディターや音声中心エディターよりも強力な記述方法を提供し、仕事で使うソフトウェア向けに独自実装まで書くほどの中核ツールになっている
- Talon全体の価値は、障害を補う水準を超えて、コンピューターと対話するより新しく強力な方法を提供する点にある
WaylandでTalonが壊れる理由
- Linuxデスクトップは40年以上続いたX11からWaylandへ移行中であり、FOSSデスクトップコミュニティはWaylandを未来として選んでいる
- Talonは基本的な作業を行うためにウィンドウマネージャーやコンポジターと深く統合される必要があるが、Waylandはそれらの動作を行うための標準手段を提供していない
- 最も基本的なテキスト入力自動化でさえ「真のWayland方式」では不可能に見え、X11の事実上の標準入力自動化ツールであるxdotoolのメンテナーもこれを調査したが、混乱した結論に至っている
- Talonが必要とする範囲はテキスト入力を超え、ウィンドウ管理、マウス位置指定、クリップボード管理、画面読み取りにまで広がる
- GNOMEならできるがKDEではできない、あるいはwlrootsにはすでに実装されている、といった答えでは不十分である
- クロスプラットフォーム開発者がGNOME、KDE、wlroots、SmithayベースのNiriのような複数のコンポジター向けに別々の実装を書くのは非現実的である
- どのコンポジターもTalonに必要なAPIの全表面を実装していないことが、核心的な制約となっている
TalonのLinuxサポート削除方針
- Talonの主任開発者Aegisは、X11が消え、ユーザーが動作しない環境へ移行していく状況の中で、公開リリースからすべてのLinuxサポートを近く削除すると宣言した
- Talonは無料層と有料層に分かれており、有料層では当面X11サポートが維持される
- 公開リリースからLinuxサポートを削除する決定は、無料ユーザーがインストール後にWayland環境で動かない事実に驚く負担を減らす目的と結びついている
- この決定は悪意ではなく、2027年にLinuxデスクトップをサポートする手段がないという実務的判断に基づいている
- Linuxデスクトップをサポートする方法がないなら、取りうる答えはLinuxデスクトップサポートそのものを削除することになる
コミュニティが担うべき課題
- AegisがLinuxでTalonを存続させたいユーザーに求めた条件:
- どのような理由でもAegisとWaylandサポートについて議論しないこと
- コミュニティが協力して、Talonに必要なAPIの全表面をGNOME、KDE、wlrootsで成功裏に実装すること
- その後でTalonの新しいWaylandバックエンドを検討できること
- この課題は依然としてコミュニティが取り組みにくい問題として残っており、Waylandエコシステムはユーザーが直面する問題に親切ではないと描写されている
- xdg-session-management protocolは最初のプルリクエストから完了まで6年かかった
- 最近マージされたext-zones protocolもマージまで2年以上を要し、初期コンセプトを作るための数年にわたる研究開発期間はこれに含まれていない
- 当初は、メンテナーたちが入力アクセシビリティの要求を知らないため解決が遅れているのだと考えていたが、過去のメーリングリストや議論記録を読んだ後では、「誰も話していない」という状態そのものが自己充足的な結果に見えるようになった
Waylandエコシステム参加の難しさ
- 過去の議論では、次の2つの反応が特に問題として残っている:
- これらの反応とwayland-protocolsの現状は、追加のコミュニケーションだけで解決できるという期待を大きく弱めている
- Waylandエコシステムは参加を求めながら、アクセシビリティ要件を無視したり、わずかな前進のために何年ものフルタイム労働を要求したりする構造に見える
- 入力アクセシビリティの問題が公に十分議論されていない理由は、試みても意味がないように見えるからだ、という結論に近づいている
- Talon開発者がLinuxデスクトップを見込みのない対象とみなし、存続の可能性をコミュニティに委ねた背景も、この文脈で理解できる
Linuxデスクトップを離れたくない理由
- Linuxデスクトップは今後も使い続けたい環境であり、Plasmaデスクトップ、望むゲーム対応、必要な開発ツール、新しいハードウェアブロック向けの最新ツールなどを提供してくれる
- 広告や質の悪いUI再設計、至る所に注入されたAIのないクリーンな体験も、Linuxデスクトップを維持したい理由である
- Firebornの昨年の記事が述べるように、Waylandは成長し、今では貢献しようと努めるしかない
- 必要なのは、アクセシビリティ要件、Talonがそれをどう満たしているか、そしてWayland専用の未来がなぜそれを満たせないのかを明確に伝えることだ
- 前へ進む方法を知っている人がいるなら、入力アクセシビリティのユーザーを助けられる状況にある
人間の入力デバイスの可能性と限界
- Talonと関連技術を6か月使ったことで、従来のキーボードとマウスを使えない状況でも生活と仕事を続けられた
- キーボードとマウス中心の発想から離れると、人間の入力デバイスの可能性がはるかに広いことが見えてくる
- 現代のコンピューターは、画面上のすべての文字をMLモデルでスキャンし、ユーザーがどの文字を見ているかを追跡して、1秒以内にそのテキストを直接クリックできるレベルの入力方式を可能にしている
- 特殊キーボードのSvalboardについても、近く別の記事で扱う予定であり、この装置は3年前には存在していなかった
- Talonは継続的に改善されており、すでに非常に多くのコマンドが提供され、足りないときは自分でコマンドを書く方法も用意されている
- こうした新しい入力方式を自分で試したいなら、現時点ではWaylandを使うべきではない
1件のコメント
Lobste.rs の意見
この長くて冗長な文章は、弱い立場の人を攻撃しようという意図ではなく、本当に 大きくて難しい問題 を解決するために話すべき適切な相手を探そうとしているものです。
自分がその相手かもしれない、あるいはそういう人を知っているなら連絡してほしいです。
以前に lobste.rs に投稿された記事もあります: https://lobste.rs/s/o0x7rb/your_mouse_free_setups
そのときの提案のおかげで Talon と Svalboard を初めて知ることができ、とても感謝しています。
このスタックで作業しているわけではありませんが、本当に申し訳なく思っており、KDE 側の場でこの問題がもっと知られるよう最善を尽くします。適切な知識を持った誰かが状況を改善できるかもしれません。
繰り返しますが保証はできないものの、私たちは話を聞いていて、確かに助けたいと思っていることは伝えたいです。
関心のある人は Matrix チャンネルに入ってください:
#kde-accessibility:kde.org,#kwin:kde.orgさらに、誰かが Talos 開発側に Wayland で動作させる方法を問い合わせたところ、Talos の開発者は “Wayland is not supported.” と返答したとのことです。
この記事が 政府のソフトウェア調達 の意思決定者に届く可能性はあるだろうか、と思います。
適切な人物が「補助入力の利用者はまもなくサポートされたアクセシビリティ経路を失うことになるため、EN 301 549/Section 508 の基準上、Ubuntu や Red Hat のような Wayland ベースの Linux デスクトップ配布を認証できない」というメールを送れば、現在の膠着状態を打開するのにかなり役立つかもしれません。
今の時代、Linux のアクセシビリティを改善する非常に間接的な方法として、どこかの組織が政府に Linux デスクトップを売って利益を得ようとする必要があるのではないかと思います。そうなればアクセシビリティ問題を解決しなければならない可能性が高いです。
今の世界情勢なら、政府が Apple や Microsoft への依存を減らせるようにする事業で利益を得ようとするところが出てくると思っていました。
UNIX 関連のアクセシビリティの多くの進歩も、Sun が政府にデスクトップを売っていた時代に生まれたものだと理解しています。
私も元記事の投稿者と同じく EDS の診断を受けましたが、それは 12 歳のときでした。誰もこの病気が悪化すると言ってくれず、むしろ「時間がたてば自然に消える」と聞かされていました。
時間がたち、この 1 年で手の筋力が落ちてきており、神経学的な問題だと何度も誤解されるほどになっています。
手を使わずに済むようシステムを設定するための時間が残り少ないことは分かっています。Wayland コンポジタが標準になり、X が追いやられていくのを見ていると、EDS のある別の友人に勧められた Talon を学ぶ意欲がくじかれます。
まだできるうちにサポート作りを手伝いたかったのですが、どこから始めればいいのか分からず、気にかける人もほとんどいないように感じます。この状況は本当につらいです。
「古い」アーキテクチャに戻って本物のアクセシビリティシステムを使えるようになったのは大きな前進で、もっと早くそうしなかったことを後悔しています。Linux デスクトップのアクセシビリティの未来がどうなろうと、今すぐ Talon を使ってみるのがよいです。
筋力については、今は無理に聞こえるかもしれませんが回復は可能で、早く始めるほどよいです。前にも述べたように、数か月の集中的な理学療法のあと、私は手を部分的に再び使えるようになりました。回復は数か月単位で追跡しており、前年に失った地点を逆順になぞるように取り戻していく進展が見られました。
ですから、治療を早く始めるほど回復も早くなります。最終的にそれがどんな意味を持つにせよです。私自身もまだその道の途中にいて、おそらくこれからもそうでしょう。
アメリカにいるなら、助けてくれる理学療法士を探すためにこのサイトを見てみるとよいです: https://www.ehlers-danlos.com/eds-echo-healthcare-professionals/
どんな理学療法士でもよいわけではありません。EDS 患者を治療する準備ができていないため、問題がよくなるどころか悪化することがあります。
診断と治療を受けるまでの私個人の経緯は、DM や別のプラットフォームでもっと共有できます。望むなら連絡してください。
多くの人に影響する問題を提起してくれてありがとう。
ただ、一つの文は入れないでほしかったです: 「重要なのは、あのゴミ捨て場のようなコードベースにはもう誰も触れたがらず、Wayland が FOSS デスクトップコミュニティの選んだ未来だということだ」
freedesktop、Red Hat、GNOME、あなたも私も、FOSS デスクトップコミュニティ全体 を代表して語ることはできません。このコミュニティは単一の存在ではなく、もちろんいくつものエコーチェンバーがあります。
一部の人が信じ込ませようとしているほど、感情や合意が満場一致だとは思いません。いくつかの主要プロジェクトはまだ決めていないようですし、完全に Wayland に移行して X を捨てると約束したわけでもありません。すでに結論が出たことのように扱うのは、石に刻まれた事実ではありません。
とはいえ、Linux を諦めて BSD に行かなければならないのだとしたら残念です。
これは FOSS の do-ocracy が持つ具体的な欠点です。何かをやりたいと思う人が十分にいない、あるいはそのコストを払え、かつ払う意思のある人が十分にいなければ、そのことは起こりません。
誰でも Xorg のフォークをメンテナンスして配布し、火を絶やさないことは可能ですが、まだそれが起きていないという事実そのものが、「FOSS デスクトップコミュニティ全体を代表して語っている」と言えます。
BSD も Wayland サポートを追加していますし、私の知る限り、メンテナンスされているフォークを発表した BSD プロジェクトはありません。そして XLibre を実用的なフォークだとは見ていません。
まだ大きな身体的障害を経験していないという特権が自分にあることは認めますし、元記事の投稿者の状況には共感します。Talon が必要とするレベルのアクセス権は、KWin プラグインとして実装するほうがよいかもしれません。
ただし Talon はクローズドソースなので評価が難しく、メンテナンスもかなり厄介になりそうです。
Waylandの制約はある程度わかっていたが、ライトユーザーとしては小さな癖のようなものに遭遇する程度で、この種の問題を直接扱ったことはなかった。
この記事が、実際に変化を起こせる人たちの間で認識の拡大に寄与することを願っている。
届く範囲を広げるために、インターネット上の別の場所へこの記事を再投稿してもよいか気になっている。弱い立場の人を攻撃する意図がまったくないという元の断り書きを明確に含めたうえで、怒った反応は控えるよう案内するつもりだ
Talonは印象的だ。こんなことが可能だとはまったく知らなかった。
表意文字言語でも状況は似ている。結局、Wayland導入は一部の地域で壁に突き当たるか、この問題を修正しなければならないだろう
この問題がEuropean Accessibility Actの文脈で議論できるのか気になる。
法案の文言には詳しくないが、OSのアクセシビリティが中核部分だということはわかっている。Linuxが準拠するには解決しなければならない問題として、開発者や Sovereign Tech Agency、NLNet のような欧州の資金提供機関と話してみることはできそうだ。
Talonは使ったことがないが、ピアノのサステインペダルのようなMIDIデバイスを小さな受け渡しプログラムで別の入力に変換して使うことは、かなり簡単にやったことがある。
ハードウェアもかなり安く、選択肢も多いので、少しの接続用コードがあれば創造的に再利用できる。検討する価値はある。
ploopy のトラックボールも、足で操作する派生形を作れそうだ。より大きなボールと感度調整が必要で、ボタンは再設計しなければならないだろうが、いちばん単純には分離型キーボードのように、もう片方の足で別のボタンパッドを押す方式も可能だ
「昨年、X11の事実上の標準入力自動化ツールである xdotool のメンテナがこれをどう実現するか調べていたが、混乱して去っていった」という部分については、今年もう一度試して、かなり多くの進展を出している。
たとえば https://hachyderm.io/@whack/116554328265192238 がある。今は複数のデスクトップ環境で自動テストを行う、それに関連した付随作業をしているようだ
Wayback が短期または中期の暫定的な回避策になりうるのか気になる
Alpine 側の人たちが主導しているが、まだ Wayland に移行していないウィンドウマネージャーを切り捨てずに Xorg のパッケージングをやめたいからだ。
元記事が言っているのは、Plasma と Gnome がそれぞれのX11セッション対応を削除する問題だ