Llama Stack 0.21 リリース - Llama 4 をサポート

• MetaのLlama Stackは、生成AIアプリケーション向けの中核コンポーネントを標準化したフレームワーク
• さまざまなサービスプロバイダーの実装を基盤に、統一されたAPIレイヤーを提供
• 開発環境から本番環境へ移行する際に、開発者体験の一貫性を保証
• 主な構成要素:
  • 推論、RAG、エージェント、ツール、安全性(Safety)、評価(Evals)、テレメトリー(Telemetry) などのための統合API
  • プラグインアーキテクチャにより、多様な環境(ローカル、オンプレミス、クラウド、モバイル)をサポート
  • 検証済みディストリビューション(distribution) により、迅速かつ安定して開始可能
  • CLIおよびSDK(Python, Node.js, iOS, Android) など、多様な開発者インターフェースを提供
  • 本番レベルのアプリケーション例を提供

Llama Stackの動作方式

• Llama Stackはサーバー + クライアントSDKで構成
  • サーバーはローカル、オンプレミス、クラウドなど多様な環境にデプロイ可能
  • クライアントSDKはPython、Swift、Node.js、Kotlinなどをサポート

クライアントSDK一覧

• Python: llama-stack-client-python
• Swift: llama-stack-client-swift
• Node.js: llama-stack-client-node
• Kotlin: llama-stack-client-kotlin

サポートされるLlama Stack実装

Inference API

• さまざまなホスティング/ローカル環境の推論プロバイダーをサポート
  • Meta Reference, Ollama, Fireworks, Together, NVIDIA NIM, vLLM, TGI, AWS Bedrock, OpenAI, Anthropic, Gemini など

Vector IO API

• ベクターストアのインターフェースを提供
• サポート実装:
  • FAISS, SQLite-Vec, Chroma, Milvus, Postgres(PGVector), Weaviate など

Safety API

• プロンプトやコード検査などを通じてAI応答の安全性を保証
• サポート実装:
  • Llama Guard, Prompt Guard, Code Scanner, AWS Bedrock など

開発リソース

• すぐに始めたい場合: Quick Start
• 貢献したい場合: Contributing

Llama Stackは、開発者がさまざまなAI技術を容易に統合・デプロイできるよう設計された汎用フレームワークであり、多様な環境と言語を幅広くサポートする