AIトークンはデータセンターをどう旅するのか

• 2026年にはAI推論がAIコンピューティング全体の約3分の2まで拡大し、デプロイ済みモデルのライフタイム計算コストの80〜90%を占めるようになり、トークン処理コストとレイテンシがインフラの経済性を左右する
• 1つのリクエストは、トークナイズ、APIゲートウェイ、認証、ルーティング、スケジューリング、KVキャッシュ、GPU・HBM、CUDAカーネル、NVLink・スイッチ・NIC・Ethernetを経て応答として戻る15段階の経路を通過する
• 入力を並列処理する**プリフィル（prefill）**は計算量と初回トークンレイテンシに、トークンを1つずつ生成するデコードはメモリ帯域幅と生成速度・コストに制約されるため、バッチ処理・量子化・推測デコーディングはそれぞれ異なるボトルネックを狙っている
• 連続バッチ処理とPagedAttentionはGPU利用率と同時処理量を高め、プロンプトキャッシングは繰り返し入力のコストを最大90%、長いプロンプトのレイテンシを約85%削減し、プリフィル・デコード分離は段階別GPUプール運用を可能にする
• 固定された品質を提供するコストは年間中央値で約200倍低下した一方、スループットは7倍増加しており、長期的な価値はHBM帯域幅・NVLink接続網・光学部品・電力といった物理的ボトルネックと、効率を顧客ロックインへ転換した推論プラットフォームに集中している

---

推論がAI経済の中心になった理由

• チャットボット、コーディングエージェント、検索要約、画像キャプションはいずれも、学習済みモデルを順伝播させて次のトークンを繰り返し予測するトークン生成タスクであり、この過程が推論である
• Googleは2026年5月、自社サービス全体で月間3,200兆個のトークンを処理していると公表した
  • 年換算では約3.8京個に相当する
  • 1年前の月間480兆個から7倍増え、2024年初めには月間9.7兆個だった
  • この数値は学習ではなく、ユーザーリクエストに応答するコストに当たる
• AIコンピューティングに占める推論の比率は、2023年の約3分の1から、2025年には半分、2026年には約3分の2へと拡大した
• デプロイ済みモデルにおいて、推論はリクエストごとに繰り返される売上原価であり、ライフタイム計算コストの**80〜90%**を占めるという業界経験則がある
• 4大ハイパースケーラーが示した2026年の設備投資は約7,250億ドルで、前年比77%増となる
  • このうち60%以上はチップではなく、電力、冷却、建物に投じられる
  • 推論専用シリコン市場だけでも2026年に500億ドルを超える見通しだ
• 推論需要を押し上げる2つの変化がある
  • 推論時スケーリングとエージェントシステムは、クエリ当たり10〜100倍多いトークンを消費する
  • エージェントワークフローは、再試行、ツール呼び出し、コンテキスト再読み込みのため、単一リクエストよりもタスク当たり5〜25倍高コストである
• 固定された品質水準を提供するコストは2024年初めから年間中央値で約200倍低下したが、安くなったトークンがより多くの作業を可能にし、総使用量を増やすジェボンズのパラドックスが現れている
• バッチ処理、ページング、量子化、推測デコーディング、分離型サービング、ネットワークファブリックはいずれも、目標レイテンシにおけるトークン当たりコストを下げるための技術である

1〜4段階: テキストをバッチ可能な作業に変換する

• 1段階: ユーザーとトークナイズ

  • クライアントはHTTPSでテキストを送信するが、モデルが入力として受け取るのはテキストではなく整数IDである
  • バイトレベルBPEベースのトークナイザーが文字列をサブワードトークンに分割し、約10万〜20万項目の語彙から各トークンをIDに対応付ける
  • 例の12,000トークンのRFPと質問は、12,022個の整数IDからなるフラットなシーケンスになる
  • トークナイズはCPU上で決定論的に実行され、コストもほとんどかからないが、入力・出力トークン数が課金額を決定する
  • 2026年のフロンティアモデルにおける20万〜100万トークンのコンテキストウィンドウは、一度に入力できる文書サイズの上限である

• 2段階: APIゲートウェイ

  • APIゲートウェイはTLSを終端し、リクエストを解析したうえで、スキーマ検証、APIバージョン管理、大まかなレート制限、トレースID付与、初回の使用量記録を行う
  • EnvoyやNGINX級のプロキシとWebアプリケーションファイアウォールによって毎秒数百万件のリクエストを処理し、モデルロジックは実行しない
  • レイテンシ予算は1ミリ秒未満であり、形式エラー・クォータ超過・攻撃的リクエストに当たるトラフィック約5%を高価なリソースに到達する前に拒否する

• 3段階: 認証と課金ティア

  • APIキーまたはOAuthトークンを組織にひも付けて、レート制限ティアと支出上限を確認し、適用するトークン単価を決定する
  • キャッシュ入力割引、優先処理経路、安価なバッチ処理価格の適用資格もこの段階で決まる
  • 組織ごとのデータ分離と不正利用防止の境界を設定しつつ、匿名のバイト列を計測・課金・隔離される作業単位へと変換する

• 4段階: 負荷分散

  • 一般的なロードバランサーは、ヘルスチェックとリアルタイムの負荷シグナルを使って、同一モデルのレプリカにリクエストを分散する
  • LLMでは、単純なラウンドロビンだと同じシステムプロンプトや文書プレフィックスを持つリクエストが別々のレプリカへ送られ、キャッシュ再利用の機会を失う
  • 最新のAIロードバランシングは、同じプレフィックスのKVキャッシュを持つレプリカを選ぶキャッシュ認識方式へ進化しており、次段階の推論ルーターと役割が重なる
  • クラスタ全体の設備が飽和した場合、リクエストを待機させるか429を返すかもこの段階で決まる

5〜6段階: 実行場所とバッチを決める

• 5段階: 推論ルーター

  • 推論ルーターは数ミリ秒以内にモデル・シリコン・レプリカを選択する
  • フロンティア70B、蒸留された8B、推論モデル、ドラフト・ターゲットモデルのペアの中から、サービスレベル目標を満たす最も経済的な構成を選ぶ
  • 8Bモデルで十分なリクエストを70Bで処理すると、マージンを不必要に消費する
  • 計算中心のプリフィルではFLOPSが、メモリ中心のデコードではHBM帯域幅が重要であるため、1つのリクエスト内でも適したGPUが異なる場合がある
  • 同じプレフィックスのKVキャッシュを持つインスタンスへ送れば、12,000トークンのプリフィルをほぼ無料のキャッシュヒットに変えられる
  • コンパイラとオートチューナーは、モデル・入力形状・チップに合ったGPUカーネルを事前コンパイルして調整し、実行時に最も安価な実行計画を選択する
  • Together AI、Fireworks、Baseten、Modularはこの層でカーネル・チップ・精度選択を製品化し、自社推論インフラで収益化している

• 6段階: スケジューラと連続バッチ処理

  • バッチサイズ1では、H100は計算よりもメモリに制約されるため、ストリーミングマルチプロセッサの利用率は約**30〜40%**にとどまる
  • スケジューラは**連続バッチ処理（continuous batching）**によって、順伝播のたびに新しいリクエストを追加し、完了したシーケンスを取り除く
  • 固定されたリクエスト束が終わるまで待たないため、GPUを継続的に埋め続けられる
  • vLLMはこの方式により、以前のサービングシステムより2〜4倍高いスループットを出し、同じH100上の単純なPyTorchループより3〜5倍多いトラフィックを処理する

ステップ7〜8: KVキャッシュとGPUメモリ管理

• ステップ7: KVキャッシュ

  • 各アテンション層ではトークンごとにKeyベクトルとValueベクトルが作られ、次のトークンはそれ以前のすべてのトークンのK/Vを参照する
  • これを毎回再計算すると長いコンテキストではO(n²)のコストが発生するため、プリフィルで12,022個の位置のK/Vを一度計算してKVキャッシュに保存する
  • 以後のデコード段階では新しいトークンのK/Vを1つ追加し、既存のキャッシュを読み出す
  • KVキャッシュは同時シーケンス数と長さに応じて大きくなり、サービング中にGPUメモリを最も大きく、かつ動的に消費する構造である

• PagedAttentionと断片化の防止

  • シーケンス長は予測しにくいため、連続メモリ割り当てでは60〜80%のメモリを使えなくしてしまうことがある
  • PagedAttention / vLLMはOSの仮想メモリのようにKVキャッシュを固定サイズのページに分割する
  • 必要なだけ物理ブロックを割り当ててページテーブルで接続するため、連続した領域は不要である
  • 完了したシーケンスのページは即座に返却される
  • 複数ユーザーのシーケンスが1台のGPUを安全かつ効率的に共有できる
  • このメモリ管理方式がvLLMの2〜4倍のスループット向上を支えている

• プロンプト・プレフィックスキャッシュ

  • 同じシステムプロンプト、few-shotの前置き、文書の接頭辞を繰り返すリクエストでは、一度計算したKVキャッシュを再利用できる
  • Anthropicはキャッシュ読み出しを通常入力価格の0.1倍である100万トークンあたり0.30ドルで提供しており、通常入力は3ドルである
  • OpenAI GPT-5.xでもキャッシュ入力は0.50ドル、通常入力は5ドルで、いずれも90%割引が適用される
  • 長いプロンプトではレイテンシも約85%減少し、例のRFPの後続質問では12,022トークンのプリフィルを繰り返す必要がない

• ステップ8: GPUメモリの3つの構成要素

  • GPUパッケージメモリには、固定されたモデル重み、同時リクエスト数と長さに応じて増えるKVキャッシュ、一時的な活性値・作業領域が一緒に入る
  • 重みをロードした後に残る空間がKVキャッシュの予算になるため、計算量よりもメモリが同時ユーザー数を制限することが多い
  • 70BモデルはFP16で約140GBのため80GBのH100が2台必要だが、FP8では約70GBまで減り、1台のGPUにKVキャッシュ用の空間まで残せる
  • 量子化で重みから節約したメモリは、そのままより多くの同時ユーザー数につながる

ステップ9〜10: HBMボトルネックとGPUカーネル最適化

• ステップ9: プリフィルとデコードの異なるボトルネック

  • プリフィルは12,022個の入力トークンを並列処理する大規模な行列積でテンソルコアを飽和させ、計算量と最初のトークンまでの時間（TTFT）に縛られる
  • デコードでは次のトークンを1つ生成するたびに、モデル全体の重みと増加し続けるKVキャッシュをHBMから読み出さなければならない
  • バッチサイズ1では、デコードの演算集約度は1バイトあたり約1 FLOPで、ルーフラインの境界である約410〜590 FLOP/byteよりはるかに低い
  • テンソルコアは計算よりもメモリ待ちの時間が長くなり、HBM帯域幅が生成速度とコストの上限を決める

• 精度の縮小

  • FP16からFP8、FP4へと精度を下げると、トークンごとに読み出す必要がある重みのバイト数が減り、メモリ中心のデコードスループットが向上する
  • NVIDIA NVFP4はBlackwell第5世代テンソルコア向けの4ビット浮動小数点形式である
  • FP8より約2〜3倍高い算術スループットと約1.8倍のメモリ節約を提供する
  • ベースライン精度との差を約1%以内に維持する
  • Hopperと比べてエンドツーエンド推論を最大5倍高速化することに寄与する

• ステップ10: CUDAカーネルと融合

  • GPUの数学演算は、数千個のコアで実行される小さなプログラムであるカーネルによって行われる
  • Transformer演算を数百個の個別カーネルで実行すると、各カーネルがHBMからデータを読み出して結果を再び書き戻すため、帯域幅中心の処理に大きな負担がかかる
  • カーネル融合は複数の演算を1つにまとめ、中間データをオンチップSRAMに保持してHBMアクセスを減らす
  • FlashAttentionはタイル単位のアテンションとオンラインsoftmaxを使い、シーケンス長に応じたHBMの読み書きを二乗規模から線形規模へ下げ、2〜4倍高速化する
  • FlashAttention-3はHopperの非同期エンジンとFP8を活用し、H100で840TFLOPS、最大性能の約85%に到達する

• 投機的デコード

  • デコードではトークンを1つ生成する場合でもモデル全体の重みを読み出すため、複数の候補トークンを並列検証する追加コストは相対的に小さい
  • 小さなドラフトモデルが次のK個のトークンを提案し、大きなターゲットモデルが1回の並列実行で検証して、最も長い正しい接頭辞を採用する
  • 出力は通常のデコードと数学的に同一でありながら、速度は2〜4倍速くなる
  • EAGLE-3のような方式では、ドラフトトークンの75%以上が採用される

11〜14段階: モデル内部に入ったネットワーク

• 11段階: NVLink スケールアップ接続網

  • 単一GPUに収まらない兆単位パラメータモデルやMoEモデルは複数GPUに分割されるため、すべての層とすべてのトークンでGPU間通信が発生する
  • ネットワークはデコードループの外側にある補助装置ではなく、デコードループの内部で動作する
  • NVLink 5はGPUあたり1.8TB/sを提供し、PCIe Gen5リンクの約14倍にあたる
  • GB200 NVL72は72基のBlackwell GPUと36基のGrace CPUを1つのNVLinkドメインとして接続する
  • 総帯域幅は130TB/s、統合メモリは13.4TBである
  • 消費電力は約120kWで、兆単位パラメータモデルではH100クラスタより最大30倍高い推論スループットを提供する

• 並列化が生む通信量

  • テンソル並列化では各層の行列積を複数GPUに分割した後、トークンごとに複数回のall-reduceで部分結果を統合しなければならない
  • MoEはトークンを複数GPUに分散した専門家へ送るため、all-to-all通信が主要なボトルネックになることが多い
  • DeepSeekの運用環境ではノードごとに400Gbps NICを8基使用し、DeepEPで専門家間通信と計算を重ね合わせてGPUの停止を減らしている

• 12段階: スイッチと輻輳制御

  • スケールアップドメインのNVSwitchは144本のNVLinkポートと14.4TB/sのノンブロッキングスイッチングを提供し、72基のGPUが同時に最高速度で通信できるようにする
  • ラックを越えるスケールアウトネットワークには、NVIDIA Quantum-X800 InfiniBand、Spectrum-X800 Ethernet、102.4TbpsのBroadcom Tomahawk 6のようなスイッチが使われる
  • AIネットワークは、同じ番号のGPUを同じレールスイッチに接続するレール最適化トポロジによって集合通信のホップ数を減らす
  • SHARPのようなファブリック内演算はスイッチでリダクションを実行する
  • 数千基のGPUが1段階を同時に終えると同期インキャストが発生し、1本のリンクの輻輳が集合通信全体を止めてしまうため、適応ルーティングが必須である

• 13段階: NICとDPU

  • ラック間を移動するパケットは、NVIDIA BlueFieldのようなSmartNICまたはDPUを通過する
  • RoCEやInfiniBand verbsはCPUを介さず、リモートGPUが別のGPUメモリを直接読み取れるようにする
  • リンク速度は現在400Gb/sで、800Gb/sが標準化されつつある
  • DPUは輻輳制御、暗号化、ストレージ仮想化、マルチテナント分離をホストCPUの代わりに処理する
  • レール最適化クラスタではGPUごとに専用NICを持たせることもあり、DeepSeekはGPU 8基と400Gb/s NIC 8基を組み合わせている

• 14段階: Ethernetと光学部品

  • InfiniBandは約1〜2µsのレイテンシとロスレスファブリックを提供するため、AIクラスタの伝統的な選択肢だった一方、RoCEv2 Ethernetは約5〜10µsで第2候補として扱われてきた
  • Ultra Ethernet Consortiumは2025年6月、AI向けEthernetスタックを再構成したUEC 1.0を発表した
  • Dell’OroはAIバックエンドネットワークでEthernetが2027年までにInfiniBandを上回ると予測している
  • 推論はコストに敏感で、マルチテナントや企業環境に近いため、Ethernetの価格構造とオープンなエコシステムが重要である

• 光学部品のコストと電力

  • 光トランシーバはネットワークコストの約60%、ネットワーク電力の約45%を占める
  • ネットワークはクラスタ全体コストの約15〜18%なので、光学部品だけでも全体コストの約10%に相当する
  • 1台のスイッチに搭載される800Gプラガブルモジュールは合計で500W以上を消費し、スイッチングASICより多くの電力を使うことがある
  • AI光トランシーバ市場は2025年の約165億ドルから2026年には約260億ドルへと57%増加する見通しである
  • 共同パッケージドオプティクス(CPO) は光学装置をスイッチパッケージへ移し、1.6Tリンクの電力を約30Wから9Wへ下げる
  • NVIDIAは2026年後半に発売予定のフォトニクススイッチで、5倍の電力効率と10倍のレジリエンスを示している
  • 単一GPUより大きいモデルでは、NVLinkスケールアップとEthernetスケールアウトの間にある約20〜40倍の帯域幅格差を管理しなければならない

15段階: 応答ストリーミングと精算

• 最後のトークンが生成されると、逆トークナイズによって整数IDが再びテキストへ変換される
• 応答はNIC、スイッチ、ロードバランサ、ゲートウェイをさかのぼり、通常はサーバー送信イベント(SSE)としてトークンごとにストリーミングされる
• ユーザーは回答全体が完了する前の約0.3秒時点から読み始められるため、TTFTが体感速度を大きく左右する
• 最後に、通常またはキャッシュされた入力トークンと、より高価な出力トークンを認証段階で定めた等級に従って計算し、課金を締める

分離型サービングという推論オペレーティングシステム

• バッチ、KVページング、プリフィル・デコード分離、ハードウェア選択、集合通信はすべて、メモリ・ネットワーク階層で異種の作業をスケジューリングして高価なシリコンの稼働率を高める問題である
• 2026年の分離型サービング(disaggregated serving) は、演算中心のプリフィルと帯域幅中心のデコードを別々のGPUプールに分ける
• 各プールを独立して拡張・調整し、2つのプール間でKVキャッシュをストリーミングする
• NVIDIA Dynamo、vLLM、SGLang、llm-d、Mooncakeがこの構造を採用している

コンパイラ企業が推論クラウドになった理由

• コンパイラ・カーネル・自動チューナー企業は、技術をライセンスする代わりに自前のインフラ上で実行し、トークンを販売して効率差を粗利益へ転換している
• カーネル、バッチ、量子化、推測デコードで2倍改善すれば、GPUあたり販売可能なトークン数も2倍になる
• モデル・入力形式・チップの組み合わせごとに最小コストのカーネルを選ぶ自動チューナーは、大規模GPU設備から直接収益を生み出す
• Basetenの年換算売上高は、2025年12月の約2億ドルから2026年3月には約6億ドルへ増加し、前年比約1,900%成長した
  • 企業価値110億〜130億ドルで15億ドルを調達した
  • 企業価値は5カ月前の50億ドルから上昇した
• QualcommがModularを約39億ドルで買収した取引は、チップ企業がハードウェア非依存のコンパイラでNVIDIAに対抗しようとする事例である

推論プロバイダーを選ぶ基準

• レイテンシ、コスト、信頼性

  • レイテンシは、回答開始を決める TTFT と、回答完了の速さを決めるトークン間レイテンシに分けて評価する必要がある
  • 中央値よりも、ユーザーが実際に体験する停止を反映する p99 のテールレイテンシが重要である
  • 一般的な GPU 推論では、最初のトークンまで約 400〜600ms かかる
  • Groq と Cerebras は、Llama-70B 級モデルで 100〜150ms 未満の TTFT と、毎秒 1,600〜2,100 トークン以上の出力速度を提示しており、一般的な GPU スタックの約 4〜6 倍である
  • コストは、公表された単一価格ではなく、入力・出力比率、キャッシュヒット率、バッチ処理の可否を反映した 混合コスト で計算すべきである
  • 出力は入力より約 4〜5 倍高く、全体コストの大半を占める
  • プロンプトキャッシングは入力コストを 50〜90% 削減し、バッチ処理ティアはしばしば約 50% 引き下げる
  • 2026 年半ばの価格は、DeepInfra や Groq のようなコスト最適化された公開モデルエンドポイントでは 100 万トークンあたり約 0.04〜0.20 ドルから、フロンティアモデルでは数ドルまでと、2 桁倍率の差がある
  • Groq の価格例は、入力 0.15 ドル、出力 0.60 ドルである
  • 信頼性は、単純な稼働率 SLA を超えて機能的可用性まで測定すべきである
  • Azure OpenAI は、トークン生成に対して 99.9% の SLA を提供する
  • 企業は、呼び出しの 99.99% で TTFT 200ms 未満といったレイテンシ SLA も要求する
  • 拒否率の急増、評価結果を悪化させる自動モデルバージョン変更、負荷時のクォータ制限は、公式の稼働時間を守っていても製品を壊しうる
  • モデルバージョンを固定し、容量を交渉し、機能的可用性を直接監視する必要がある

• 本番適性を分ける 7 つの基準

  • スループットとリクエスト制限: 1 分あたりのトークン上限と瞬間的な処理余力が、エージェントの並列作業とスケール規模を制限する
  • セキュリティとコンプライアンス: SOC 2 Type II、HIPAA、ISO 27001、GDPR は規制産業の基本条件であり、後から追加するのは難しい
  • データローカリティとプライベートデプロイ: 非保持保証、VPC・BYOC、オンプレミス対応が企業の購買承認を左右する
  • 決定性とバージョン管理: 固定シードと固定チェックポイントが、自動変更による評価結果のドリフトを防ぐ
  • モデルの範囲と鮮度: 多様なモデル、新しい公開ウェイトのリリース当日対応、ファインチューニング・LoRA ホスティングが最新モデル採用の速度を決める
  • デプロイの柔軟性: サーバーレス、専用インフラ、自社ホスティングの選択肢が、コストと制御水準のバランスを決める
  • 移植性: OpenAI 互換 API とクリーンなマルチプロバイダールーティングが、障害、価格変動、モデル変更への対応手段になる

価値が蓄積する物理的ボトルネック

• HBM 帯域幅 がデコード上限を決め、NVLink のスケールアップドメインは独占的であり、光学部品と電力が希少な投入要素になる
• 7,250 億ドルの設備投資のうち 60% 超が電力と建物に使われるため、長期的な最終指標は ワットあたりのトークン数 である
• ネットワーク市場は 2 方向に分かれる
  • スケールアップ接続網は閉鎖的で防御可能な領域として残る
  • ラック外のスケールアウトネットワークは Ethernet と UEC を中心に開放され、汎用化が進む
  • 差別化領域は、一般的なスイッチングよりも NVLink ドメイン、光学・CPO、輻輳制御の知的財産にある
• 推論ソフトウェアのマージンは、効率差、活用率、運用規模の積で決まり、性能を流通力とスイッチングコストに変えた企業だけが価格下落の中でも防御力を持てる
• 生の速度だけを競争優位として掲げる事業は、コンパイラ層と NVIDIA の無償ツールが同等の性能を汎用化できる
• トークン経済の規模拡大は高マージンを自動的に保証するものではなく、メモリ・接続網・光学・電力のボトルネック と効率を顧客ロックインに変えたプラットフォームが、その差を決める