CrowdStrike障害が航空業界に与えた影響

 (heavymeta.org)
1 ポイント 投稿者 GN⁺ 2024-07-30 | 1件のコメント | WhatsAppで共有
  • 2024年7月19日04:09 UTCに配布されたCrowdStrikeのWindows向けセンサー構成アップデートは、約850万台のコンピューターでブルースクリーンを引き起こし、航空会社の運用にも影響した
  • 米国全体の航空交通は、消防・警察・軍・一般航空まで含めると、7月19日04:00以降の累計離陸数が前週金曜日より2.6%多かった一方、08:00〜09:00には378便から261便へ31%減少した
  • 米国大手4航空会社への影響は大きく分かれ、Deltaは**-1,087便（-46%）**、Unitedは-596便（-36%）、Americanは-376便（-16%）、Southwestは+101便（+3%）と集計された
  • Deltaは数日間にわたり数千便を欠航し、復旧が長引いた。SouthwestはCrowdStrikeを使用していなかったため影響を受けなかった、とのABC Newsの説明がある
  • 分析ではADS-B Exchangeの生のADS-Bデータから離陸を検出し、フライトに近いものと見なした。絶対的な便数は少なめに出る可能性があるものの、期間ごとの比率比較には有効という前提を置いている

2024年7月19日のCrowdStrike障害の出発点

  • 2024年7月19日04:09 UTC、CrowdStrikeはWindowsシステムにセンサー構成アップデートを配布した
  • その後、約850万台のコンピューターがブルースクリーンに見舞われ、病院・銀行・911システムなど多くの分野が影響を受けた
  • Linux、Mac、携帯電話は、この障害の直接的な影響対象としては言及されていない
  • Gmail、Facebook、Twitterのようなサービスは動き続けた一方で、予約・口座開設・警察の出動といった実務を処理するWindowsマシンが障害に見舞われるという対比が見られた
  • 航空会社のシステムも、このWindowsベースの運用領域に含まれる

欠航件数より実際の航空交通の比較に焦点

  • 航空会社の欠航件数だけを見るのではなく、実際に空を飛んでいた航空機数と、本来飛んでいるはずだった航空機数を比較する方法が選ばれた
  • FlightRadar24を基にしたAmerican Airlines、Delta、Unitedの12時間タイムラプス動画が共有されたが、比較基準がないため影響の規模を判断しにくい
  • 夜間に航空機が減る現象は毎日発生するため、同じ曜日の通常パターンと比較する必要がある
  • Bellingcatの“OSHIT: Seven Deadly Sins of Bad Open Source Research”でいう「発生している現象に対する文脈の不足」の問題が、この事例に当てはまる

米国全体の離陸数の時間帯別変化

  • CrowdStrike障害が発生した7月19日と、前週金曜日である7月12日の米国内における時間帯別離陸数が比較された
  • 比較対象には商業航空だけでなく、消防機、警察、軍、一般航空も含まれる
  • 7月18日も併せて確認されたが、前週金曜日と非常によく似ていたため、主要な比較基準は7月12日のままとされた
  • 06:00〜13:00ごろには飛行数が小幅に減少し、その後は小幅に増加した
  • 04:00以降の累計では、7月19日の飛行数は前週金曜日の同じ期間より2.6%増加した
  • 最も大きな減少は08:00〜09:00の区間で見られ、前週金曜日の378便に対して261便と31%減少した

航空会社別に大きく分かれた影響

  • 米国大手4航空会社の変化は互いに大きく異なっていた
    • Delta Air Lines: -1,087便、-46%
    • United Airlines: -596便、-36%
    • American Airlines: -376便、-16%
    • Southwest Airlines: +101便、+3%
  • Deltaが最も大きな影響を受け、次いでUnitedで、Americanの減少幅はより小さかった
  • Southwestは集計上、影響を受けていないように見える
  • SouthwestがWindows 3.1を使い続けていたため影響を避けられたという説明はTechRadarの記事に出ていたが、OSNewsはこれを誤りとして扱っている
  • ABC Newsの記事は、SouthwestがCrowdStrikeを使用していなかったため影響を受けなかったと伝えている

Deltaの復旧遅延をめぐる説明と限界

  • Delta Air LinesはCrowdStrikeアップデート後、数日間にわたり数千便を欠航し、復旧に長い時間がかかった
  • ABC Newsの記事は、障害対応には各コンピューターシステムの手動修正が必要で、修正自体は10分以内に可能だが、Deltaのデジタル端末数が多いため多くの人員が必要だったと伝えている
  • この説明だけでは、他の航空会社とDeltaの差を十分に説明するのは難しい
  • あるRedditコメントは、Deltaには適切な災害復旧計画とIT事業継続計画がなく、United・American・Frontierは計画を即座に実行して迅速に復旧した、という未確認の説明を示している
    • このコメントは、UnitedとAmericanもDeltaと同程度にWindows依存度が高いと主張している
    • Americanは金曜日終了時点までに復旧して土曜日に通常運航を再開し、Unitedは土曜日午前に解決した後、土曜日午後に通常スケジュールを再開したという内容も含まれる
    • この説明は出典のないRedditコメントであり、誤っている可能性があるという但し書きが付いている

ADS-Bデータに基づく分析方法

  • 分析にはADS-B Exchangeの生のADS-Bデータが使われた
  • ユーザー定義コードで航空機の離陸を検出し、離陸をおおむね1つのフライトに相当すると見なした
  • 離陸数と便数は完全に同じではないが、この目的には十分近いという前提を置いている
  • ADS-B Exchangeのカバレッジ外にある飛行場から離陸した航空機のように、一部のケースは過少集計される可能性がある
  • 過少集計は体系的に発生するため期間間の比較には使え、絶対的な飛行数は少なめに出る可能性があるものの、パーセント変化は正確だという判断を置いている
  • すでに離陸検出コードがあったため、飛行中の航空機数を新たに数えず、離陸数を使用した

関連記事

1件のコメント

 
GN⁺ 2024-07-30
Hacker Newsのコメント

  • Deltaは乗務員追跡ソフトウェアが大きな影響を受け、復旧に時間がかかったと読んだ
    出典: https://news.delta.com/update-delta-customers-ceo-ed-bastian
    「特に乗務員追跡関連のツールの1つが影響を受け、システム停止によって引き起こされた前例のない数の変更を効果的に処理できなかった」という内容がある

    • もう1つの悪化要因は、Deltaの本社と主要な運航パターンが東海岸にある点。CrowdStrikeは航空会社各社をほぼ同じ時刻に直撃したため、Deltaは朝のピーク便に入る前の対応時間が、およそ1〜2時間少なかった
      朝のラッシュでシステムが必要になる時点までに準備が整わず、そのため業務継続戦略である手作業処理へ移行した可能性が高い。この方式は処理能力と復旧時間の面で不利で、その状態が長引くほど当然さらに悪化する
      Southwestの件と今回のDeltaの件で見えてくるのは、大手航空会社が業務継続モードに切り替えたときに耐えられる人員やスケジュール上の余裕を十分に持っていないようだという点。調査が必要で、金銭的制裁が行動を促すことを期待したいが、時間がたってみないと分からない
    • Deltaは単に「ひどく」やられたというより、Deltaが使うハブ・アンド・スポークモデルでは、金曜日にスケジュール管理が少しでも落ち、そこにFAAの勤務時間制限が重なると、便の再割り当ての難度が指数関数的に上がる
      もっと分かりやすく言うと、金曜朝にスケジュール管理ソフトウェアが4時間落ちていたため、遅刻したり病欠したりした職員の代わりの人員をあちこちから「借りる」ことになる。すると次の便で使える人員が崩れ、その頃にはシステムが戻っていることを期待するが、戻っていなければ夕方の便からまた借りなければならない
      その間に遅延・欠航した便は、本来投入可能だった職員の残り勤務時間にも影響する。こうして連鎖が続いた後に週末に入ると、各乗務員が実際に何時間を記録したのかを整理するところから始めなければならず、彼らを時間どおりに元の場所へ戻す方法も不確かになる
    • ラジオで聞いたところでは、コンピュータ自体よりもDeltaの対応方法の方が大きかったという
      他の航空会社は便を遅延させた一方で、Deltaはすぐに欠航にし、その結果、人と飛行機がより多く間違った場所に残り、復旧が難しくなったという内容だった

  • 堅牢で最新の状態に保たれ、十分にリハーサルされた災害復旧計画が実際に誰かを救ったのか気になる。あるいは、ITがバックアップと復旧に金を使おうが使うまいが、みんなただ丸腰で運用しているのか知りたい

    • うちのシステムは大丈夫だった。SentinelOneやCrowdStrikeのようなソフトウェアを含め、何かが失敗することを前提に、足を引きずりながらでも運用を続けられる災害復旧システムを用意していたから
      Thames Barrierが失敗してDocklandsが消えるような別の状況でも動作する復旧システムがある。残念ながら、一部の外部委託先にはそういう姿勢がなかった
    • 間違いなく役に立つ。ある拠点で光ファイバーケーブルが誤って抜かれたとき、HSRPとVRRP、そして他のSD-WAN機能が違いを生んだ。データセンターの技術者が大きなミスをして、うちと少なくとも他の顧客1社を一緒にダウンさせた
      確かに瞬間的な障害はあり、10分ほどページのタイムアウトやプロセス再起動のような問題はあったが、概ね各サイトがフェイルオーバーして、原因を調べている間も足を引きずりながら持ちこたえられた
      データセンターからは19ドルだったか21ドルだったかのサービスクレジットと謝罪があった。CEOは訴訟すると激怒していたが実際には続かず、ITインフラ担当ディレクターは、ほとんど機能したフェイルオーバーを準備していた我々にひそかに感謝していた
    • もちろん災害復旧インフラは用意されていたはず。すべての災害復旧サーバーにCrowdStrikeがあらかじめインストールされた状態で
    • 直接見たことはない。もちろん標本バイアスはあるだろうが、成功例を聞いてみたい
    • 自分が投稿した直後に誰かがこれを投稿していた: https://news.ycombinator.com/item?id=41103486
      なのでDeltaがあれほど壊れた理由は、災害復旧の不足で合っているように見える

  • これらのグラフで理解できないのは、CrowdStrikeのアップデートが配布される少し前から離陸数が相対的に増加している理由
    全体のグラフにもあり、United、American、特にDeltaのグラフでも見える。理由が思い浮かばないが、単なるランダムなノイズかもしれないし、前週の同じ時刻に何か特異なことがあったのかもしれない

    • 絶対的な便数とパーセンテージ変化の両方をチャートに入れた理由の1つは、より大きな文脈を理解するため。そうした相対的な増加はCrowdStrikeが発生する直前、つまり米国東部時間の午前0時頃に起きており、その時点ではすでに運航量が非常に少なかった
      そのため25%増加といっても、米国全体で1時間に離陸した便が12便増えた程度かもしれない。ノイズは明らかに多く、絶対値とパーセンテージ変化を合わせて見ると、何が起きたのか感覚をつかむ助けになる
      2日分のデータならCrowdStrikeの影響の主要な流れを見るには十分だろうが、すべての変動を説明するには不足している
    • かなり久しぶりに最も混雑した旅行日だったと広く報じられており、それが問題をさらに大きくした
    • 変動幅だけでも把握するには、数週間分のデータをさらに入れるのはそれほど難しくなかったはず

  • DeltaがMicrosoftとCrowdStrikeを相手に起こそうとしている訴訟がどう展開するかが一番興味深そう
    https://www.marketwatch.com/story/delta-hires-law-firm-seeking-damages-from-crowdstrike-microsoft-after-massive-tech-outage-report-a882328a

  • 含まれているリンクの内容: https://www.techradar.com/pro/security/southwest-airlines-avoided-crowdstrike-microsoft-outage-because-its-still-running-windows-31-fourth-largest-us-airline-remained-free-of-bsod-errors-because-its-os-hasnt-been-updated-in-decades
    「このOSがどれほど古いかを感じてもらうと、Windows 3.1はもともと1992年にリリースされ、Microsoftは組み込み版を除いて2001年12月31日にサポートを終了し、組み込み版も2008年に正式終了した」という内容
    Windows 3.1の話が繰り返し出てくるのを聞いている。TechRadarの記事で、しかも名前に「Pro」まで付いているのだから、でっち上げたはずはないだろう？ それでも完全には信じられない。Southwestで働いている人で、主要なスケジュール管理システムがWindows 3.1で動いているのか確認できる人はいる？

    • それは誤りで[1]、メディアが主張を独立して検証しているかを見分けるリトマス試験紙のようになっている
      「Southwestが社内開発したSkySolverとCrew Web Accessは『Windows 95で設計されたように歴史を感じさせる』」という話が、「Windows 3.1で実行されている」に歪められたもの
      [1] https://www.osnews.com/story/140301/no-southwest-airlines-is-not-still-using-windows-3-1/
    • TechRadarはTom's Hardwareを引用し、Tom's Hardwareはツイート1件を引用していた
      Southwestのツイートでもなければ、Southwestで働いたことがあると言っている人のツイートでもない。ただのツイートだ
    • それを最初に始めた人は、単なる「荒らしツイート」だったと言っていた
      https://x.com/ArtemR/status/1815408553131426179
    • 「SouthwestがWindows 3.1を使っている」という主張は虚偽で、ある程度「信頼できる」組織がデマを繰り返すと、インターネットででたらめが広がる仕組みをよく示す例だ
      https://kotaku.com/southwest-airlines-windows-3-1-blue-screen-crowdstrike-1851603013
    • 2000年代後半にSITA（https://en.wikipedia.org/wiki/SITA_(business_services_company))で働いていた。世界中の航空会社をつなぐ巨大なX.25シリアルネットワークがあった
      一部の顧客はデータセンターの古いATシステムでまだWindows 3.11を動かしていて、故障時に使うハードウェアを確保するためにcraigslistやeBayで古いコンピュータを買っていた。そういうシステムが今も使われていても驚かないと思う

  • Berlin Brandenburgは大きな打撃を受けた。BERに不満の多い利用者として、そこが最もひどい余波を受けた側の一つだったことはまったく驚きではない

    • ドイツのITはこういうことでよく大きな打撃を受ける。もちろん、まだ紙で運用している場合は例外だ
      それでもWebサイト最上部のバナーで即座に知らせたのはましだった。移民局の予約システムは1か月以上ダウンしていて、その事実を認めるだけで3週間かかった
    • Brandenburgが実際に開港したという事実が今でも驚きだ

  • 訴訟が起きそうだ。Deltaはすでに準備中のように見える
    https://finance.yahoo.com/news/delta-air-lines-seek-compensation-211908080.html

    • 「MicrosoftとCrowdStrikeから補償を求めるために法律事務所を雇った」というくだりがあるが、ここでMicrosoftを標的にするのは方向違いのように思う
      自社IT部門がインストールしたサードパーティ製ドライバとMicrosoftに何の関係があるのか？

  • なぜMinneapolis-St Paulが他の米国の空港よりずっと早く欠航騒ぎに見舞われ始めたのか、知っている人はいる？

  • 破綻しない方法: SouthwestはCrowdStrikeを使っていなかったので影響を受けなかった

  • 私のソーシャルメディアのほうが、より優れたバックアップとインフラを備えているのに、世界中で使われているOS側がなぜそうではないのか、本当に理解できない

    • ITはソーシャルメディア企業の本業だからです。彼らはITを隅々まで理解しており、何が問題になり得るか、どう緩和するかも理解しています
      一方で航空会社の本業は飛行機を飛ばすことで、それは非常にうまくやっています。しかしITは外部から買ってくるツールに近く、ソーシャルメディア企業ほど同じようには理解していません
      そのため、きちんとやってくれる外部業者に依存しますが、その業者はたいてい最安だったり、購入担当者に自社サービスが「業界のベストプラクティス」だと説得して仕事を取ったりします
    • FAANGが、世界を止め得る設定アップデートに免疫があると過大評価するつもりはありません。Facebookも2021年に、エンジニアのデータセンターへのアクセスまで含め、すべてが数時間ダウンしたことがあります
      https://news.ycombinator.com/item?id=28750894
      それに「OSと比較したインフラ」という表現については、Microsoftのインフラの品質はここでは関係ないと思います
    • ソーシャルメディア企業の技術職と、銀行・航空会社のような大手伝統企業の技術職が提供する年収、労働条件、地位を比べればよいです
      前者では報酬が良く、ある程度の地位と政治的資本があります。後者では低賃金で、地位や政治的資本が清掃スタッフと同程度であることも少なくありません
    • Metaは世界で最も価値のある企業の一つで、最高水準のあらゆるものを買えるリソースがあります。時価総額は1兆2,800億ドルで、American、Delta、Unitedを合わせたものより30倍大きいです
      昨年の利益も390億ドルで、米国航空会社全体の78億ドルと比べられます。当然、より優れたシステムを持っています
    • 一方は制御可能なデータセンター内にあり、もう一方は制御できないユーザー所有のハードウェアに配布されるからです