中国のグレート・ファイアウォールが完全暗号化トラフィックを検知して遮断する方法 [pdf]
(gfw.report)- 中国のGreat Firewall(GFW)は、2021年11月初旬から完全暗号化された回避トラフィックをリアルタイムで受動的に検知して遮断する新たな検閲手法を展開した
- Shadowsocks、VMess、Obfs4のようにペイロード全体がランダムに見えるよう設計されたlooks like nothingプロトコルも遮断対象となった
- GFWは暗号化トラフィックそのものを復号せず、一般的なプロトコルのフィンガープリント、ビット比率、ASCII文字の比率や位置といった例外ヒューリスティックで正常らしく見える接続をまず除外する
- 推定された検知アルゴリズムを実トラフィックに適用すると、正常な接続の約**0.6%**が遮断されうるため、GFWは全接続の26%と特定のデータセンターIP範囲のみを監視することで副次的被害を抑えていることが示された
- この分析に基づく回避戦略は主要な検閲回避ツールに共有され、2022年1月以降広く配布され、2023年2月時点でも中国で引き続き有効だった
2021年11月に登場した受動検知による遮断
- 完全暗号化された回避プロトコルは、TLSのように平文ハンドシェイクで始まらず、接続のすべてのバイトがランダムと見分けがつかないよう設計されている
- VMess、Shadowsocks、Obfs4は、このlooks like nothingアプローチを使う代表的なプロトコルである
- 2021年11月6日、中国のインターネット利用者がShadowsocksとVMessサーバーの遮断を報告し、11月8日にはOutline開発者が中国発トラフィックの急減を確認した
- 遮断の時期は、2021年11月8〜11日に開かれた中国共産党第19期中央委員会第6回全体会議と重なっていた
- 中国は2019年5月からShadowsocksサーバーの識別に受動的トラフィック分析と能動探査を併用してきたが、今回の事例は完全暗号化プロキシを受動的トラフィック分析だけで大規模かつリアルタイムに遮断した最初の事例に当たる
GFWの検知方法
- GFWは「完全に暗号化されたトラフィック」を直接定義せず、まず完全暗号化トラフィックではない可能性が高い接続を除外する
- 少なくとも5群の粗いが効率的な例外ヒューリスティックが使われている
- 一般的なプロトコルのフィンガープリント
- 設定されたビット比率を用いた大まかなエントロピーテスト
- 最初のTCPペイロード内にある表示可能なASCII文字の比率
- ASCII文字の位置
- 連続するASCII文字の最大数
- 例外規則に引っかからなかった残りのトラフィックが遮断対象となる
- GFWはブラックボックスシステムであるため、推定された規則が完全でない可能性はある
測定結果と副次的被害の可能性
- 研究チームはインターネットスキャンにより、GFWがどのトラフィックとどのIPアドレスを検査しているかを確認した
- 推定したGFW検知アルゴリズムをCU Boulderのネットワークタップで収集した実トラフィックに適用し、網羅性と誤検知の可能性を評価した
- 推定規則は、GFWが実際に使っている規則とかなり重なっていることが分かった
- この検知アルゴリズムを広く適用すると、ネットワークタップ上の全接続のうち約**0.6%**が通常のインターネットトラフィックであるにもかかわらず遮断されうる
- 誤検知による過剰遮断を減らすためか、GFWは戦略的に全接続の**26%**のみを監視し、人気のあるデータセンターの特定IP範囲だけを対象にしている
能動探査と回避戦略
- 新しい受動的検閲方式は、GFWの既存の**能動探査(active probing)**システムと並行して動作する
- 能動探査システムもこのトラフィック分析アルゴリズムに依存し、さらにパケット長に基づく規則を適用する
- 新しい遮断を回避できる戦略は、GFWがプロキシサーバーを識別し、その後に能動探査する過程も防ぐことができる
- 研究チームは、Shadowsocks、V2Ray、Outline、Lantern、Psiphon、Conjureなど複数の検閲回避ツール開発者に、結果と回避提案を責任ある形で共有した
- これらの回避戦略は2022年1月以降広く採用・配布され、数百万人の利用者が新たな検閲方式を回避する助けとなり、2023年2月時点でも採用された戦略は中国で引き続き有効である
2件のコメント
本文とコメントで要約した記事が違うようですね
Hacker Newsのコメント
記事では VPN についてまったく触れられていないので、単にVPNを使えばいいのではと思ったが、WikipediaのGFW項目を見ると、中国でのVPN利用は国際インターネットへのアクセスを可能にする一方で、法的リスクになり得ると書かれている。
2017年に中国政府は認可されていないすべてのVPNサービスを違法と宣言しており、例として University of Washington の学生 Vera Zhou は、新疆にいる回族の両親を訪ねた際にVPNで学校の課題へアクセスしたところ、2017年10月から2018年3月まで新疆の収容所に送られ、その後も自宅軟禁を受け、2019年9月まで米国へ戻れなかったという。
周月明(Vera Yueming Zhou) は、University of Washington のWebサイトにアクセスしようとしてVPNを使ったからというより、宗教的少数者だったために中国の収容所へ送られたように見える。
当時Kuytunの警察はデジタル監視ツールで、Veraが大学のGmailアカウントのようなWebサイトにアクセスしようとしてVPNを使用したことを把握しており、イスラム系少数集団の一員という立場のため、これが「宗教的過激主義の兆候」と見なされ得た、という内容である。
ベトナムにいた1年のあいだずっと警察が私のパスポートを保管していたので慎重にしていたが、数日後に試しにNYTを数分開いてみたところ、インターネットが約3時間切断され、次は24時間切断されたので、偶然の障害ではないとわかった。
即座に切れたわけではなく数分かかっており、私のトラフィックを監視する専任の人員が割り当てられているとかなり確信した。
VPNは使っておらず、あえてトラフィックを見えるようにしていたが、VPNで接続すると疑いを強めるだけだとわかっていたので、その後メール確認用のVPNはカフェで短時間だけ使った。
海外ゲームをするときに遅延を下げるために使う人もおり、問題はVPN接続が簡単に遮断されることであって、法的な問題を大きく心配する空気ではない。
ただし「白紙デモ」の時には、特定地域の警察が人々の家を訪れて携帯電話にVPNが入っているか調べたことがあったようだ。
若くて技術に明るい人はたいていVPNを持っている感じで、高速道路で制限速度より10mphほど超過して走るような、ありふれていて軽いことだった。
ほとんどの人はVPNを使っただけで迫害されることはなく、政府がもともと迫害したいと思っていた人を拘束する口実が必要なときに使われるもののように見える。
この事例はVPN利用に伴う法的リスクの例というより、別の理由で標的にされた人物に処罰が下された例に見える。
つまりVPN禁止法をすべて廃止したとしても、実際には何も変わらない可能性が高い。
パンデミック前、中国に長期滞在しながら GFW を相手にかなり多くの実験をしたが、shadowsocks や任意のSSHトンネルをどれだけ早く見つけ出すのかにはいつも驚かされた。
通常は48時間以内にIPを変える必要があったが、このレポートは今では即座に捕捉されることを意味しているように見える。
最も安定した方法は、Shenzhen から Hong Kong に入る物理回線に相乗りし、中国国内の移動中はVPNでそのShenzhenゲートウェイに接続することだった。
記憶では常に機能していたので、VPNトラフィックの分析と遮断の大半はGFWの境界で行われ、国内内部ではそれほど行われていないと思っていたが、今では古い情報かもしれない。
即座に遮断されてクライアントは接続できず、試す前から複数の正体不明のIPが接続を試みていた。
GFWがどれほど隙がないかに驚かされ、安定したインターネット接続が必要なので、中国で働きながら旅行したいと思っても難しいのが本当に残念だ。
ローミングトラフィックは自国の通信事業者へトンネリングされ、なぜかそのトンネルはまったく検査されない。
eSIMの登場で、数分でローミングSIMを買ってそのままスマホで使えるようになった。
境界ではなく内部で干渉しているように見えたが、実際の仕組みはよくわからない。
Hangzhou の技術力を考えると、その地域のISPのほうが有能で、より新しい対策を導入していた可能性もある。
約20年前、Shanghai に駐在スタッフがいた会社で働いていたとき、初期の GFW と格闘した記憶がある
毎朝、中国の同僚たちがメールクライアントを開くと海外にある当社サーバーへ接続していたが、最初の1人はたいてい問題ないものの、その後の人たちは接続に失敗していた
当時は GFW についてほとんど知られておらず、今ほど賢くもなかったが、POP 接続が数分後に素早く遮断されることに気づき、遅いファイアウォール規則が途中で発動しているように見え、かなりランダムだったのでファイアウォール設定が統一されていないのではと推測していた
POPS/SMTPS に移行するとしばらくは改善したが依然としてランダムに遮断され、最終的にサーバー側で既知のポートではなく複数の任意ポートで POP/SMTP 接続を受けるようにしたところ、数年後にシステムを入れ替えるまで問題は消えた
深くは調べていないが、検査のために接続が迂回されているのだと推測しており、もし本当ならアクセス中のデータで産業スパイ活動までしていても不思議ではないと思う
難読化プラグイン付きの Shadowsocks を取り締まっている点が興味深い
2017〜2019年に中国へ行ったときは、SS と v2ray の組み合わせが事実上の標準にかなり近かった
当時は6月初旬や大きな政府会議のような特定の時期に VPN の取り締まりがあり、手続き的に正確に遮断するのは難しいが、VPN っぽく見えるものに対してざっくり広範囲の遮断をかけていたように思う
たいてい接続自体はできるが、速度制限がかかって実質的に何もできないレベルだった
ある程度以上の複雑さを持つ VPN は非公式に容認されているような雰囲気があり、一般大衆が簡単に使える楽な標的を塞ぐことにより関心があったように見えた
もっと洗練されたツールを使う少数の技術オタクについては、誰が使っているかをすでに把握したうえで、問題が大きくなれば直接訪ねるほうを好んでいたのだろう
中国は、こうしたことに無意味な時間と専門性を投じることでどれほど足を引っ張られているのか分かっていないように見える
国内抑圧機構に使う GDP の割合は、米国が軍事費に使う割合とほぼ同じだ
国内の情報交換に非効率を加えるために、そこまで多くの人材と富を燃やしているのは、もしかすると世界にとっては幸運なのかもしれない
そもそも PRC に国内情報エコシステムがあるのも、外部コンテンツを先見的にふるい落としてきたからであり、そのシステムはすでに何度も元を取っている
PRC が軍事費を GDP 比でそれほど多く使っていない点も見るべきだ
無駄だと言うなら、PRC が国内治安に米国並みの支出をしていることのほうであり、米国の警察がどれほど軍事化されているかを考えれば好ましくない
一方で PRC の国防支出は 2% 未満、米国は約 3.5% で、シャドーバジェットの推計を入れても 3% 対 6% 程度だ
ソーシャルメディアが世界中の民主主義をどう壊してきたかを見ればいい
米国の民主主義はある種の死のスパイラルに陥っている: https://www.theatlantic.com/ideas/archive/2021/04/how-stop-m...
抑圧は嫌だが、中国は何千年もこうしたことをやってきたし、今となっては我々がそれより良い何かを持っていると確信するのは難しい。Citizens United、Roe v. Wade、affirmative action のような事例もあるし、中国の平均寿命はついに米国を上回った
用途は限られるが、このようなシステムの内外へ情報を移す際には chaffing and winnowing が使えるかもしれない: https://en.m.wikipedia.org/wiki/Chaffing_and_winnowing
制限国家に行ったことがなさそうな反応がかなりあって笑える
おそらく承認済みのシャドーサービスに近いいくつかの VPN プロバイダ は動くのだろうが、彼らが GFW より賢いからだとはとても思えない
制裁されずに許可され、監視されていると確信している
政府と何の問題もなければ構わないが、問題が生じたかどうかは実際に起きるまで分からない
socks5、shadowsocks、WireGuard のようなものはずっと前から役に立たなかった
家の中にいて誰にも見えずに外へ出ようとする状況に似ていて、どれだけうまく試みても、試みそのものが露見して捕まることになる
GFW からの脱出も同じで、承認済み VPN か、長く維持できる非従量課金の RDP が最善の選択だ
自分が GFW より賢いかは分からないが、自作の検閲回避ツールは毎回ちゃんと動いたし、最も怠惰なやり方ですら通用した
VPN プロバイダを使ったことは一度もない
参考までに、未改変の WireGuard もまだ動くが、それを見つけるオフラインのトラフィック分析があるようで、週に1回くらい朝起きると VPN 接続が切れていて、サーバーの ListenPort を変えなければならなかった
個人的にいちばん腹立たしいのは、AWS の送信トラフィック料金が高すぎることだ
彼らは VPN を使っているかどうかは分かっても、トラフィックの内容までは監視できないように思える
この論文は良いのですが、かなり細かい技術的な話を扱っています
GFWそのものの話ではありませんが、https://github.com/salesforce/ja3 のようなプロジェクトは、完全に暗号化されたトラフィック（TLS/HTTPS）をどのように フィンガープリント識別 できるかを扱っています
README の "How it works" セクションがうまく説明しています
オープンソースのファイアウォールでもやっていることなら、GFW がこれをやっていないほうがむしろ驚きでしょう
それでも、順序を無視して共通して広告される TLS パラメータからフィンガープリントを作ることはできます
リンク先の論文は、暗号スイート一覧で Tor-obfs 接続を検知した事例を参照しています[2][3]
[1] https://www.fastly.com/blog/a-first-look-at-chromes-tls-clie...
[2] https://gitlab.torproject.org/legacy/trac/-/issues/4744
[3] https://blog.torproject.org/ethiopia-introduces-deep-packet-...
発見されたアルゴリズムはあまりに直感に反していて、AI が見つけたのではないかと思ってしまいます
クライアントが送った最初の TCP ペイロードが例外条件のいずれかを満たせば接続を継続して許可し、そうでなければ遮断するというものです
例外は、popcount/長さ比が特定範囲の外にあるか、先頭 6 バイト以上が [0x20,0x7e] の範囲にあるか、バイトの 50% 超がその範囲にあるか、連続 20 バイト超がその範囲にあるか、TLS/HTTP プロトコルのフィンガープリントと一致する場合です
目的は、異常な 暗号化トラフィック をふるい落とすことです
最初のルールは、ほとんどの暗号化の IND-CPA 性質を利用して、1 バイトあたりおよそ 4 ビットが 1 に設定される、つまり「ランダムに見える」トラフィックを落とそうとするものです
続くルールは、許容可能な暗号化または圧縮トラフィックに対する例外です
圧縮は IND-CPA ではありませんが高エントロピーを生むため、最初のルールに引っかかる可能性があります
この方式はかなりうまく機能し得ますし、論文の研究者たちもそれを確認しています
CCP の場合なら、基本的な 統計分析 で生成し、副作用と巻き添え被害を許容可能な閾値以下に抑えるよう調整した可能性が高いです
世界中のトラフィックの約 0.6% が意図せず遮断されるレベルです
研究者たちのことなら、論文はこれらのルールを発見するのに使った基本的な統計分析を詳しく説明しています
高エントロピーデータでは 1 と 0 の分布が平均に収束し、暗号化データは高エントロピーのように見えます
これは粗いものの、組み込みハードウェアで計算するには非常に効率的な方法です
Ex2〜4 は多くの非暗号化プロトコル、たとえば IMAP で使われる ASCII テキストを例外扱いするもので、こうしたテキストもエントロピーが十分高く、最初のテストに統計的によく失敗し得ます
Ex5 は、TLS が本質的に暗号化されていて高エントロピーだから必要であり、HTTP も圧縮されたアップロード、たとえば画像や動画が引っかからないよう例外扱いされているように見えます
GFW 回避の鍵が「低エントロピー」であることはまったく驚きではありません。高エントロピーはほとんどの暗号方式にとってほぼ必須の特徴だからです
理論上は、暗号化は情報を追加するものではないので、暗号化前に圧縮しないなら、いくつかの客観的指標でエントロピーを保つストリーム暗号方式も可能ですが、暗号化前に圧縮し、その後の暗号文をステガノグラフィ風にパディングするメタ方式以外は知りません
もちろん、これはメッセージの負のエントロピー分だけ情報を漏らしますが、通常それは文脈からは分からない情報、たとえばメッセージが HTML+テキストである程度のことでしょう
では TLS を base64 でエンコードすればいいのでしょうか？
これはすでに 10〜12 年前にも明らかでした
中国で勉強していたとき、学校の VPN は数日しか持ちませんでした
でも非常に小さな VPN ソフトウェアが出回っていて、本当かどうかは分かりませんが、法輪功が CIA と協力したものだと記憶しています
当時は検知を回避できていて、おそらく IP を回し続ける方式だったのだと思います
そのツールが留学生の間で「オフライン」でどれほど速く広まったかが興味深かったです
中国人も持っていましたが、彼らの間ではそれほど知られていませんでした
まだ動くのかは分かりません: https://en.m.wikipedia.org/wiki/Freegate
[Edit] 動かないという古い HN コメントと、やはり難しい別の選択肢: https://news.ycombinator.com/item?id=10101965