米国の携帯通信サービス障害、AT&T・T-Mobile・Verizonの利用者に影響
(cnbc.com)- 木曜日に米国で発生したAT&Tの無線障害により、通話・SMSと一部の911緊急通話に支障が生じ、AT&Tは米東部時間午後3時過ぎに影響を受けたすべての顧客のサービスが復旧したと伝えた
- 初期調査では、原因はサイバー攻撃ではなく、ネットワーク拡張の過程で誤ったプロセスが適用・実行されたことだと把握されており、AT&Tは追加評価を続ける予定
- Downdetectorへの報告は米東部時間午前4時ごろから増え始め、午前8時30分ごろに約74,000件でピークに達し、正午ごろにも約58,000件が報告された
- 障害が起きた端末では信号バーが消えたり、SOS表示が出たりしており、利用者はWi-Fi callingを有効にすると通話できた
- VerizonとT-Mobileでもそれぞれ数千件の報告があったが、両社は他社ネットワーク利用者との接続を試みる過程で生じた問題が反映された可能性が高いとみている
AT&Tの障害と復旧状況
- 木曜日、米国内の数千人のAT&T利用者が携帯通信障害を経験し、通話やSMSの利用に支障が生じた
- AT&Tは米東部時間午後3時過ぎに、影響を受けたすべての顧客のサービスが復旧したと案内した
- 会社は、顧客の接続維持が最優先であり、顧客が同じ事態を再び経験しないよう対策を講じていると伝えた
- AT&Tはsystem updatesウェブサイトを用意したが、木曜日の障害で影響を受けた顧客数は公開しなかった
障害原因と規制当局の対応
- AT&Tが木曜日遅くに行った初期調査では、障害原因はネットワーク拡張の過程で使われた誤ったプロセスの適用と実行だと把握された
- 同じ説明で、今回の障害はサイバー攻撃ではなかったと確認した
- FCCはXで、この件を調査中であり、AT&Tおよび安全当局と連絡を取っていると明らかにした
- AT&Tは障害の評価を引き続き行う予定
Downdetector報告の推移と株価
- Downdetector.comによると、障害報告は米東部時間午前4時ごろから増え始めた
- 報告件数は午前8時30分ごろに約74,000件でピークに達した
- 正午ごろには約58,000件の障害報告が寄せられた
- AT&Tの株価は木曜日、2.41%下落で取引を終えた
端末表示と911への影響
- 障害の影響を受けた携帯電話では、画面右上の信号バーが消えるか、SOSの文字が表示された
- 利用者はWi-Fi callingを有効にすると通話できた
- San Francisco Fire DepartmentはXへの投稿で、AT&Tの無線利用者が発信・着信できず、911通話も含まれると知らせた
- アトランタ市長Andre Dickensは、市は911の受発信が可能だったが、地域のAT&T利用者から携帯電話がSOSモードになっているとの報告があったと述べた
- Massachusetts State Policeは、携帯電話の911サービスが機能しているか確認しようとする電話が911センターに殺到しているとして、そのような行為をしないよう要請した
- 通常の番号に非緊急通話を正常に発信できるなら、911サービスも機能していると案内した
VerizonとT-Mobileの報告
- Downdetectorによると、米東部時間午前10時時点でVerizonとT-Mobileの利用者もそれぞれ数千件の障害を報告した
- 両社は、これらの報告が他社ネットワーク利用者との接続を試みる過程で発生した困難を反映した可能性が高いとみている
- T-Mobileはメール声明で、Downdetectorが利用者が他社ネットワーク利用者への接続を試みた際に経験した問題を反映した可能性が高いと説明した
1件のコメント
Hacker Newsのコメント
これは深刻なアーキテクチャ上の欠陥だ
Bell Systemの電磁式交換の歴史全体を見ても、自然災害やNYCの大規模火災を一度除けば、どの中央局も30分を超えてサービス停止したことはなかった
1960〜70年代のAT&T Long Linesシステムでは、10の地域センターがすべて独立し、密に相互接続されており、ニュージャージー州Bedminsterの制御センターは監視と15分間隔のルーティング更新だけを担当していた
必要ならすべての交換機がデフォルトルーティングに戻ることができ、負荷が高ければ一部の通話は失敗しても大半は動作し続けた
ルーティングを処理していたCコードで
break文をcontinue文に変えたことが原因で、連鎖的な影響が起きたただし長距離電話サービスだけに影響した
単なる想像なのか実際にそうなのか、もしそうなら何を意味するのか気になる
502の発生元はAzureで、クラウドアーキテクチャの問題に見える
ここであまり議論されていないことがある。この障害の連鎖的影響、特にドライバーへの影響はどうだったのだろうか？
建物内の多くの人はWi-Fiで迂回できただろうが、ドライバーにはかなり広い影響があったのではないかと思う
例えば、携帯電話の地図アプリに依存していたUPS、FedEx、Amazon、トラック運転手の配送遅延、Uber/Lyft/タクシー運転手が乗車・降車ルート案内を受けられないこと、経路最適化や目的地案内を受けられず悪化した交通などが思い浮かぶ
大企業は自社インフラや専用GPS機器のような冗長構成を持っていたかもしれないが、実際にこうした影響があったのか、あるいは回避策があるのか気になる
ドライバーとは別に、電話できないことで緊急時に治療を受けられないリスクも高まったと思うし、緊急通報がどのように影響を受けたのかもはっきりしない
トロントでは信号タイミングの変更のため、全交通信号の4分の1がRogersのセルラー網に依存しており、市有建物の火災報知器とスプリンクラーの遠隔監視にもRogersのGSM網が使われていた
公営駐車場の支払いと公共自転車サービスも利用できなかった
https://en.m.wikipedia.org/wiki/2022_Rogers_Communications_o...
夏だったので、子ども向けの公園プログラムの一部も中止になったと記憶している。職員が9-1-1に電話できる携帯電話を持っている必要があったためだが、少なくともその通話自体はここでは機能していたようだ
携帯電話への依存度を意図的に下げていたので、何か障害があることにも気づかなかった。以前はごく短い移動でもGoogle Mapsを自動的に開いていたが、会社に自分の位置を追跡され指示されることに完全に依存すると、自分で道を探す能力を失うと気づき、脱Googleの過程でOrganic Mapsに切り替えた
それでも可能ならGPSの助けなしに自分で道を探そうとしているが、道案内なしで道を見つけることは、練習しなければ本当に失われ得る技能のように感じる
今朝、市街地を横切って用事を済ませた後、知っている中で最も大きな幹線道路へ戻ろうとしたら、西向きに少なくとも1マイルは続く完全な渋滞にすぐ巻き込まれた。事故でもあるのかと思ったが何も見えず、みんなただ止まっていた
すぐにUターンして、北へ0.75マイル離れた別の西向き道路に行くと車はまったくなく、制限速度で家まで帰れた
よく使われるナビアプリは渋滞があると代替ルートを提案するが、1マイルも離れていない並行道路が空いているのに、なぜみんなその渋滞に座っていたのだろう？ 携帯電話が別の道に行けと言ってくれなくなったことで、携帯電話の指示に慣らされた人が多すぎて生じた連鎖効果だったのかもしれない
自動ローカル地図機能もあるようだ
ほとんどのドライバーは慣れた経路を走っており、電子的な手段で道案内を受けているわけではない
より良い問いは、自動運転車がどうなったかだ。セルラーのカバレッジなしでは道を見つけられず、路肩に止まっていたのだろうか
根本原因を推測しようとしている人たちに言うと、これまでのコメント情報だけでは結論を出すには不十分です
通信事業者で働いていたとき、カナダ全土規模のセルラー問題を何度も扱いましたが、全国的な影響は本当にさまざまな原因から起きていました
新しいルートがネットワークに注入されたことで、特定のセルラー機器のルーティングエンジンが全国的にクラッシュしたことがあり、その結果、全国のセルラー端末のインターネット接続だけが停止しました。幸い午前2時のメンテナンス時間帯で、業務時間前に発見してロールバックしたため、ほとんどの人は気づきませんでした
技術者が新しいルーターを差し込むと、既存のコアルーターがクラッシュして再起動したこともありました。ニュースになるような影響は20分ほどの地域障害でしたが、その後12時間にわたって太平洋岸から大西洋岸までバグと副作用を見つけました
なので「場所 x で影響を受けた」というデータは、その地域全体がダウンしているのか、多くの人に問題があるのか、1〜2人だけの問題が別地域に波及したのかを区別しにくく、特定の場所で使える/使えないという情報の価値は限定的です
メッセージングリレーが設定されたレート制限に引っかかり、プロトコルの再試行でメッセージ率がさらに上がって、特定のプロトコルで事実上の輻輳崩壊が起きたこともありました。状態伝播の輻輳問題だったため全国的な影響がありましたが、それでも x% の確率でメッセージフローが完了し、サービスが使えるという形でした
有名な Rogers の障害も、全体の根本原因を認めたのかは覚えていません。ルーティング網の変更またはアップグレードをしている最中に、問題の副作用で技術者たちまでネットワークから締め出されたという推測がありました。全国ネットワークが死に、従業員も同じネットワークを使っていたため調整が難しくなり、復旧が困難でした
確認した CRTC への提出資料は有用な情報がすべて黒塗りされていて、学べることはほとんどありませんでした。推測は面白いですが、今回は AT&T がカナダの通信事業者より透明性を高め、業界が学べることを願っています
また別の巨大組織が、企業を破滅させ得る変更に対してロールバックや失敗時の計画を用意していないのを見るのは興味深かったです。基本的な IT 101 すらないか、限定的でした
前向きに学べたのは、大手3社、実質的には2つの通信事業者が、自社ネットワークが落ちたときに主要スタッフへ他社網用の緊急バックアップ SIM を相互に提供するのがよいと考えた点です。2015年になってようやくそうしましたが、遅くてもやらないよりはましです
Rogers は無線と有線接続に同じコアを使っていたため、Rogers 上で動作する第三者インターネットプロバイダーを使っていた人たちまで完全なブラックアウトを経験しました。Webサイト、企業回線、ほぼすべてが落ち、Rogers のコミュニケーションも事実上ありませんでした
幸い私たちの組織は複数回線構成だったので、午前6時に回線を切り替え、現場はほとんど問題なく継続できました
もう一つ興味深かったのは、基地局が携帯電話が接続できる程度にだけ稼働していて何もできない状態だったため、9-1-1 通話が他のネットワークへ移らず、そのまま失敗した点です。GSM 仕様か Rogers SIM のプログラミングの欠陥のように見えますが、対処されたかどうかは分かりません
https://en.m.wikipedia.org/wiki/2022_Rogers_Communications_o...
かなり大ざっぱに一般化すると、科学系の人は太陽フレアを推測し、私の右派の友人は国際的なハッカーを推測し、私は失敗したソフトウェアデプロイを推測し、この投稿の誰かは軍人の友人が燃料を入れておけと言ったと書いています
でも他の皆と同じく、私も自分の推測がおそらく正しいと本気で感じています
同じ家にいる6人が全員 AT&T なのに、そのうち1人だけが問題を経験しているという報告が多くあります
半分だけ適用されたアップグレード、あるいは発生時刻を考えると半分だけ適用されたロールバックのように聞こえます
Verizon と T-Mobile はどちらも自社の障害はなく、自社顧客が AT&T 顧客へ電話をかけられない問題だと発表しました
ただし米国内の AT&T 網の大部分は落ちているようです
同時に登録しようとする端末の急増が、それらのネットワークの一部を過負荷にした可能性があります
関係ない可能性が高いですが、AT&T がカリフォルニア州の一部地域で固定電話サービスの終了を申請したタイミングなので、間が悪いです
https://www.wired.com/story/att-landline-california-complain...
障害終了
状態: 復旧済み
AT&T FINAL, Service Degradation, Global Smart Messaging Suite
AT&T Global Smart Messaging Suite
イベント説明: FINAL, Service Degradation
影響サービス: MMS MT
開始: 2024-02-21 東部 22:00、中部 21:00、太平洋 19:00
終了: 2024-02-22 東部 11:00、中部 10:00、太平洋 08:00
停止時間: 780分
お客様各位、Global Smart Messaging Suite が現在利用可能になったことをお知らせします。MMS MT サービスは復旧し、当社チームが監視中です
AT&T Business Solutions
Kind Regards,
The AT&T SMS Service Administrator
私が深読みしすぎているだけかもしれませんが、その内容が抜けているのが気になります
最近のステータスページに関する議論を思い出す: https://news.ycombinator.com/item?id=39099980
ステータスページは正確であるべきなのに、AT&T のステータスはすべて正常だと主張している。
私の無線サービスは落ちていて、DownDetector には数万件の報告があるのだから、明らかにすべてが正常というわけではない。
自動テストで更新されるか、手動で更新されるかのどちらかだ。
自動ならほぼ常に社内向けであって公開用ではなく、手動ならほぼ常に遅く、どうせ障害が HN に上がってから更新される。
マーケティング部門がステータスページを握って、悪名高い緑のチェックと小さな「i」が表示される状況は本当にうんざりする。
“Service Alert: Some of our customers are experiencing wireless service interruptions this morning. We are working urgently to restore service to them. We will provide updates as they are available.”
https://www.att.com/outages/
まだ NANOG には情報がないが、今後数時間以内にこのスレッドに何か投稿されそうだ: https://mailman.nanog.org/pipermail/nanog/2024-February/2250...
https://mailman.nanog.org/pipermail/nanog/2024-February/2250...
myATT アプリを使っても、自分の無線アカウントがまったく見えない。
家族アカウント全体もサービスとして表示されない。ハッキングか、アカウントを削除した社内問題のように見える。
ほかの人もアカウントが見えるか確認してくれないだろうか。
SIM がネットワーク認証を失い、ネットワークからすべて切り離された状況だということだ。だとすれば、失敗したソフトウェア展開だった可能性が高そうだ。
オンラインアカウントも何らかの形でこの情報を取得しているはずなので、ポータルが壊れた理由も説明できるかもしれない。
プリペイドのホットスポットは問題なく動いているが、「ファミリープラン」の月額契約の携帯電話は一台も動いていない。
物理 SIM と eSIM の違いが、「新型」モデルが動いている理由を説明できるのかも気になる。
携帯電話が使えないのを見て最初にしたのは、料金を払っていなかったのかもしれないと思ってログインし、料金を支払うことだった。
少し追加のトラフィックがあっただけで倒れた可能性も排除しない。相関関係は因果関係ではない。
障害マップというものがある[1]。だが役に立たない。
単に米国で人が多く住んでいる場所を示した地図にすぎない。
[1] https://www.cbsnews.com/news/outage-map-att-where-cell-phone...