vLLM開発者らが設立した「Inferact」、オープンソース推論エンジンの商用化に向け1億5,000万ドルのシード投資を調達

要約:

• オープンソースのLLM推論エンジンであるvLLMの開発者らが設立したスタートアップ「Inferact」が、1億5,000万ドル（約2,100億ウォン）規模のシード投資を調達し、企業価値8億ドルと評価された。
• 今回の投資はa16zとLightspeedが主導し、調達資金はvLLMベースのエンタープライズ向けAI推論プラットフォームの構築と商用展開の拡大に使われる予定。
• Inferactは高性能・低コストの推論インフラを提供し、企業が大規模言語モデル（LLM）をさまざまなハードウェア環境で効率的に導入・運用できるよう支援することを目指している。

詳細要約:
Inferactによる今回の大規模シード投資は、AIインフラ、特に「推論（Inference）」段階の効率化が現在のAI市場における中核課題であることを示しています。

1. InferactとvLLMの関係

   • Inferactは、現在最も広く使われているオープンソースLLMサービングエンジンの1つであるvLLMプロジェクトの中核開発者らが設立した会社です。CEOはSimon Moです。
   • vLLMは「PagedAttention」アルゴリズムによってメモリのボトルネックを解消し、既存ソリューションより高いスループットを提供することで、開発者の間で事実上の標準（De facto standard）として定着しました。

2. 投資規模と背景

   • 1億5,000万ドル（シードラウンド）: 一般的なシード段階を大きく上回る異例の規模であり、これはAI推論コスト削減と性能最適化に対する市場の爆発的な需要を反映しています。
   • 企業価値8億ドル: 製品が本格的に商用化される前の段階であるにもかかわらず、vLLMの既存の影響力と技術的モート（Moat）が高く評価されました。
   • 主要投資家: シリコンバレーの有力ベンチャーキャピタルであるAndreessen Horowitz（a16z）とLightspeed Venture Partnersが投資を主導しました。

3. 技術的目標とロードマップ

   • エンタープライズ向け商用化: オープンソースであるvLLMを基盤に、企業環境に適したマネージドサービス、セキュリティ、技術サポートなどを含む商用プラットフォームを構築します。
   • ハードウェア互換性の拡大: NVIDIA GPUだけでなく、AMD、AWS Inferentiaなど多様なハードウェアアクセラレータでも最適な性能を発揮できるよう、対応範囲を広げる計画です。
   • 推論コストの最適化: Stripeのような企業がすでにvLLMに類似したフレームワークを通じて推論コストを70%以上削減した事例のように、Inferactは企業がより安価かつ高速にLLMを提供できるよう支援します。

4. 開発者エコシステムへの影響

   • vLLMオープンソースプロジェクトの持続可能性が確保されると同時に、企業向け機能を求める組織には明確な有料オプションが生まれることになります。
   • 複雑なモデル最適化プロセスを抽象化することで、MLエンジニアがインフラ管理よりもモデルアプリケーション開発に集中できる環境が整うと期待されます。

[darjeeling]

vLLMが1億5,000万ドルを調達したことは、私たちが「スループットの時代」から「レイテンシ（コールドスタート）」の時代へ移行したことを裏付けています。

https://reddit.com/r/LocalLLaMA/…