ChatGPTおよびAPIで発生した大規模障害

 (status.openai.com)
3 ポイント 投稿者 GN⁺ 2023-11-09 | 2件のコメント | WhatsAppで共有
  • 11月8日 5:42AM〜7:16AM PT の間、OpenAIのChatGPTとAPI全体で相当数のリクエストが 502 または 503 エラーで失敗し、すべてのモデルとAPIエンドポイントが影響を受けた
  • ルーティング層ノードがメモリ上限に達して準備状態チェックに失敗し、十分な数のノードが unavailable 状態になると、流入トラフィックを処理する容量が不足した
  • 当日午前は completion リクエストがそれまでのどの日よりも大幅に増加し、既存のメモリ問題がサービス全体の障害へ広がるtipping pointとなった
  • 復旧は流入トラフィックの制限、サービスの大規模再デプロイ、トラフィック再開の段階的実施によって進められ、responseBuffer の再利用修正後はメモリとCPU使用量が3倍改善した
  • OpenAIはメモリ上限の調整、rate limit ベースの負荷遮断、容量増強を適用しており、今後はメモリアラートと**自動スケーリング(auto scaling)**構成を追加する予定

障害範囲と直接原因

  • 11月8日 5:42AM〜7:16AM PT の間、OpenAIへのリクエストの相当部分が502 または 503 エラーで失敗した
  • 障害期間中、すべてのモデルとAPIエンドポイントで大規模な失敗が発生した
  • 直接原因は、ルーティング層ノードがメモリ上限に達して準備状態チェックに失敗したこと
    • サービス内で十分な数のノードが unavailable 状態になった
    • 流入トラフィックを処理するのに十分な容量が残らなくなった
    • サービスが自力で復旧できなかった
  • その日の午前は、それまでのどの日よりも completion リクエストがはるかに多く、これが障害を引き起こすtipping pointとして作用した

復旧対応と再発防止

  • 即時対応は3つを同時に進める形だった
    • 流入トラフィックの制限
    • サービスの大規模再デプロイ
    • トラフィックをゆっくり再び増やすこと
  • 慢性的なメモリ問題の根本原因は、ループ内で responseBuffer を再利用せず継続的に新規割り当てしていたことにあった
    • リクエストが多いときにGCが追いつかない問題が発生した
    • 修正はバッファを事前割り当てして再利用する方式で行われた
    • デプロイ後はメモリ使用量とCPU使用量の両方が3倍改善した
  • すでに適用済みの追加措置:
    • 設定されたメモリ上限を適切な水準に調整し、サービスに十分な headroom を確保した
    • トラフィックをより滑らかに抑制するためのrate limit controlsを実装した
    • 追加の予防措置としてサービス容量を増やした
  • 今後適用する変更:
    • メモリ動作がサービス問題へ拡大する前に検知するためのアラート変更を実装した
    • これまでは容量追加が upstream service に悪影響を与える可能性があり、このサービスでは自動スケーリングを有効化できなかった
    • この根本問題が解決されたことで、OpenAIはこのサービスに自動スケーリングを構成する予定
  • 長時間のAPI障害は顧客の製品とビジネスに影響を与え、この規模の障害は特に被害が大きくなりうる

関連記事

2件のコメント

 
xguru 2023-11-09

今回の開発者イベントの影響で、何かトラフィックが集中したようですね。
確かに GPT-4 Turbo はアウトプットがかなり変わりました。
GN+ 要約もプロンプトをほとんど修正していないのに、形式が変わってしまいました。
 
GN⁺ 2023-11-09
Hacker News の意見

  • ChatGPT がダウンしたので、今日初めて Google Bard を使ってみたが、正直かなりよかった
    ChatGPT とは説明しにくい、微妙に違う口調がある

    • Bard を勧められることは多いが、ほぼ毎回 間違っているか誤解を招く情報を返してくる
    • Bard は 学習データと学習方法が違うので、それだけでも ChatGPT と異なる理由はある程度理解できる
      ユーザー側から見ると、望む答えを引き出すための誘導の仕方がそれぞれ違い、質問の仕方やプロンプトエンジニアリングも変える必要がある
    • 同じ理由で今日初めて使ってみたが、より遅く、コーディングにはずっと弱かった
      SQL の集計クエリを聞いただけなのに、クエリ要件の一部をそのまま無視した
    • Bard はフィルターが過剰に攻撃的なほうだ
      ファンタジー世界の盗賊のアイデアをブレインストーミングしても、たとえば Lies of Locke Lamora のような雰囲気なのに、しばしば協力を拒む
      ユーザーに見せる前に出力へ何らかの ヒューリスティックフィルターをかけているようで、プロンプトを少し変えると通ることもある
      ChatGPT のほうは、ファンタジー上の犯罪が現実の犯罪実行情報ではないことくらいは見抜けるほどシステムが賢い
    • https://you.com/chat を使ってみたが悪くなかった
      GPT4 モデルには無料の1か月トライアルクーポン "codegpt" があり、GPT3.5 は無料

  • Phind はコーディング用としてかなりよく、追加のコードトークン数十億個で学習した LLama 2 ベースなのでまだ生きている: https://www.phind.com/s

    • Phind をみんながどう使っているのか気になる
      最近 Phind と直接話してみたところ、自分の役に立つには自分のコードベースを読み込まないと、自分が話しているモデル群を理解できないのではないかと言った
      コードベースを知らなければ、ごく些細な関数以外はまともに書けないと思う
      Phind もその通りだと答えたが、実際にコードベースを読み込むことはできないと言った
      話はかなり筋が通っていて、こちらの言うことを理解しているように見えた
      関数が些細ではないクラスを引数に取ったり返したりする場合に役に立てないなら、いったいどこから価値が出るのか分からない
    • Phind では良い結果をたくさん得られた
      最新の微調整モデルである V7 は使い心地がよく、たいていのオープンソースモデルよりよかった
      ただしリンクの末尾に s が付いているので 404 になる
    • Phind は一貫性の問題が少しあったが、全体として大きな不満はない
      大きなプロンプトで応答が出なかったり、回答オプションが消えたりする小さな不具合がたまにあった
      全体的には ChatGPT と一緒にアイデアをやり取りしたり、別の視点を得たりするのに向いている
      情報を取得したウェブサイトを見せる 注釈機能も非常によくできている
    • Phind も落ちたようだ
      "The inference service may be temporarily unavailable - we have alerts for this and will be fixing it soon."
    • さっき使ってみた: https://www.phind.com/search?cache=on5whfczqko9igz84bvacksk
      自分には全体がハルシネーションに見える。ドキュメントのリンクを付けてくれる点はよい
      追記: astrojs を vite に変えたら、とてもよく正確な答えが出た: https://www.phind.com/search?cache=rh6s7pydzi3312b7rf43i7cm
      かなり印象的

  • うわ、本当に冷や汗をかいた
    リリースの約48時間前に大半のサービスを Azure OpenAI へ移したばかりだったが、今回の障害の影響は受けなかった
    本当に安心した

    • 興味深いね。では Azure OpenAI は影響を受けなかったということか？
      OpenAI API とシステムアップデートを同じタイミングで受けるのか、価格も同じなのか気になる

  • 今こそ HuggingFace が複数の オープンソースのチャットモデルをホストしていることを言うのに良いタイミングだ
    個人的に好きなモデルの1つは、Mistral 7B の微調整版: https://huggingface.co/spaces/HuggingFaceH4/zephyr-chat

    • 以前ローカルの大規模言語モデルを少し試したことがあるが、当時は 3080 Ti で動かせるほど小さくて良いモデルを見つけられなかった
      このモデルはかろうじて使える速度で動かせるほど小さく、毎秒1トークンを少し超えるくらい出ており、今のところ GPT3.5 にかなり近いレベルに見える
    • 無料なら、どうやって収益を上げているのか気になる

  • Bard が輝くチャンスだと言おうとしたが、Bard も障害が起きているようだ

    • Bard を試しに行ってみたら、画面がすっきりしていて UI が本当に良かった
      応答もよく整理されて見やすかった
      人工知能だけが OpenAI くらい良ければよかったのに
    • アルミホイル帽を用意しないといけなさそうだ。これが偶然のはずがない :D
    • "Something went wrong. Sorry, Bard is still experimental" と表示された
      チャンスを逃したようだ
    • Bard はまだあまりにもおっかなびっくりで、しかもまだ 国際サービスですらない
    • 互いに会話し始めたようだ

  • 急に静かになったおしゃべりな人たちを基準に、誰が ChatGPT で HN コメントを書いていたのかを見るには、今 HN コメントをスクレイピングするのにちょうどいい時だ

    • へへ。大規模言語モデルとして、ほかの人間たちはこの人間の言葉に従うべきではないと思います ;)

  • 障害に気づいた
    多くの人がChatGPTを自転車の補助輪のように使っているうちに、補助輪なしで乗る方法を忘れてしまう感じ

    • その比喩なら、補助輪というより松葉杖に近い気がする
      それなしでは乗れないのなら、何も訓練できていないということ
    • むしろこんな感じ
      従来型のオートバイを作っているところに、誰かが電動自転車のエンジンを提案し、まだ内燃機関もないのだから、これでデモや市場投入を前倒しして、あとで本物のエンジンに替えようと考える
      ところがハンドルバーが完成するころには、その電動自転車のエンジンは4回アップグレードされ、どんな内燃機関よりもよくなっている。そうなると、あえて替える理由がなくなる
      市場にたどり着くころには、そのエンジンはさらに何度も更新され、完全自動運転になり、空も飛べるかもしれない
      しかも自己複製まで可能になっていて、もはや購入者はあなたを必要としないかもしれない

  • これで数百万人のジュニア開発者がマニュアルを読まなければならなくなる
    すごい日だ

    • ChatGPTへの移行と依存が、どれほど突然かつ完全だったかには驚く
      私たちの職業の最後の日々なのだから、楽しもう
    • マニュアルを読むのは恐竜のすることで、今はググるべきだ

  • 今日Bardを使ってみたが、かなりよくなっていた

    • そうであってほしい
      いまだにBardの問題には驚かされる
      先月はある事実について嘘をつき、さらに詳しく尋ねるとメールを送ったと主張した
      そして実際にはメールを送っておらず、自分が送れないことを「知っていた」と謝罪した
      「知らない」と言えず、代わりに嘘をつく友人のようだ
      リスボンの「Christ the King」像の中に市場があったことがあるかを尋ねた。現地の人から聞いた噂を確認しようとしたのだ
      実際にはなかったのに、Bardはあると信じていた

  • 幸いOpenAIにはサービスレベル契約がない: https://help.openai.com/en/articles/5008641-is-there-an-sla-for-latency-guarantees-on-the-various-engines

    • GPTの熱心なファンとして言うが、OpenAIが企業としてどれほどひどいか、それなのに私たちがそのひどいプラットフォームにどれほど素早く乗ったかには驚く
      9カ月前、新しい職場で業務用OpenAIアカウントにログインできないバグがあった
      サポート依頼に返事が来るまで6カ月かかり、自分の問題とはまったく関係のない一般的なコピペ回答を受け取った
      私たちは莫大な金額を使っていたが、返答を得ることも、電話でつながる相手を見つけることもできなかった
      結局、同僚にすべてのキーを代わりに作ってもらう必要があった
      それから約8カ月後、ある日突然、何の理由もなく再び動き始めた
      その直後にAzure OpenAI Serviceへ移行した。真面目な企業が使うには、OpenAIプラットフォームがあまりにも悲惨なほど悪かったからだ