2021/1/8 Google Meet 障害報告書

https://status.cloud.google.com/incident/zall/21001

障害概要:

2021/1/7 12:17 ～ 2021/1/8 08:58まで、25万人の Google Meet ユーザーが 20.7 時間にわたりランディングページにアクセスできませんでした。障害期間中も、カレンダーなどを経由した直接アクセスは可能でした。

障害原因:

2021/1/7 12:00 に新しい Google Meet ランディングページの変更を段階的に適用

ロールアウトは 12:00 に開始し、16:00 から拡大を開始

旧ページと新ページを同時にサポートするため、互いを再び指すようにするページのリダイレクトロジックを実装

誤って一部のユーザーに対し、新ページのリダイレクトロジックが以前に訪問したページへ再度リダイレクトするようになり、リダイレクトループが発生

ユーザーは Google Meet のランディングページにアクセスできず、502 エラーが発生

対応:

21/1/8 04:49 に問題の報告を受け、コード変更を 05:03 に完了し、8:58 に障害が終了

• フロントエンドサーバーの監視とアラートを、より迅速に開発者へ届くようにする。

• トラブルシューティングのための文書を改善する。

• レガシーコードを改善する。

• 新しいコードのローンチに関する社内コミュニケーションを更新し、認識を高めてより迅速な解決を促す。