Arch - インテリジェントなプロンプトゲートウェイ

• ユーザーのAPIと統合してLLMを最適化し、LLMアプリケーション（エージェント、アシスタント、コパイロット）を保護・観測・パーソナライズするためのインテリジェントな第7層ゲートウェイ
• プロンプト処理に関する重要な作業を管理し、Jailbreak の試行を検知して遮断
• プロンプトに合わせてバックエンドAPIを呼び出し、リクエストを処理
• アップストリームLLM間のインテリジェントなルーティングとディザスタリカバリを提供
• プロンプトとLLMの相互作用を一元的に観測・管理

主な機能

• Envoyベース: Envoy Proxy上に構築されており、HTTPリクエストと同じようにプロンプトの受信および送信トラフィックを管理し、スケーラブルなLLM処理機能を提供。
• Function Calling: API呼び出しやプロンプトからのパラメータ抽出のような高速かつコスト効率の高い処理を担うよう設計されたLLMにより、エージェントアプリやRAGアプリを支援。
• Prompt Guard: 追加のコーディングなしで Jailbreak の試行を防ぎ、安全なユーザーインタラクションを保証するプロンプト安全機構を一元管理。
• トラフィック管理: LLM呼び出しをインテリジェントに再試行し、自動的に接続を切り替えて、アップストリーム接続の継続的な可用性を保証。
• 標準ベースの観測機能: W3C Trace Context標準を使用してアプリケーション間のエンドツーエンドのリクエスト追跡を可能にし、レイテンシ、トークン使用量、エラー率などのメトリクスを通じてAIアプリケーションの性能最適化を支援。