Claudeの最近の3つの問題のポストモーテム

最近発生した3つの問題の要約（原因と解決策）

1. コンテキストウィンドウのルーティングエラー（Context Window Routing Error）

• 原因: Sonnet 4モデル向けの一部リクエストが、1Mトークンのより大きなコンテキストウィンドウ用に構成されたサーバーへ誤ってルーティングされていました。8月29日のロードバランシング変更により、問題はさらに悪化しました。
• 解決策: リクエストが正しいサーバープールに送られるようルーティングロジックを修正し、9月にデプロイしました。

2. 出力破損（Output Corruption）

• 原因: Claude API TPUサーバーの誤った構成により、トークン生成中にエラーが発生し、応答に予期しない文字が現れました。複数のClaudeモデルに影響しました。
• 解決策: 9月2日に誤って構成された変更を特定してロールバックし、解決しました。

3. 「概算top-k」のコンパイル誤り（"approximate top-k" miscompilation）

• 原因: トークン選択を改善するためのコード変更が、XLA:TPUコンパイラの潜在的なバグを引き起こし、Claude Haiku 3.5およびその他のモデルに影響しました。
• 解決策: 変更をロールバックし、XLA:TPUチームと協力してコンパイラのバグを修正しました。あわせて、トークン選択には「正確なtop-k」処理を使用するよう切り替えました。