- Purple LlamaはMetaが主導するオープンソースのAI信頼性・セキュリティエコシステムの上位(umbrella)プロジェクトであり、生成AI(LLM)開発に必要な多様なセキュリティツール・ガイド・評価ツール(Eval)・ベンチマークを集約し、コミュニティとともに発展させることを目指している
- LlamaFirewallはPurple Llamaプロジェクトの中核コンポーネントで、生成AI(特にLLMベースのチャットボット/エージェント)で発生し得る多様なセキュリティ脅威(プロンプトインジェクション、ミスアラインメント、コード脆弱性など)を多層スキャナー構造でリアルタイムに検知・遮断するフレームワーク
- Llama Guard, Prompt Guard, Code Shield, CyberSec EvalなどPurple Llamaの複数のセキュリティ/信頼性ツールと組み合わせて、システムレベルの包括的なAI安全レイヤーを実現
- Llama Guard: Llama 3ベースの入出力有害コンテンツ検出/遮断モデル。LlamaFirewallポリシーに組み込むことで、すべての入力/出力段階で自動適用が可能
- Prompt Guard: プロンプトインジェクション/脱獄攻撃の検知に特化し、LlamaFirewall内のPromptGuardScannerとして連携
- Code Shield: LLM生成コードのリアルタイム脆弱性・有害コード検知を行い、LlamaFirewall内のCodeShieldScannerとして連携
- CyberSec Eval: Purple LlamaのLLMサイバーセキュリティベンチマークツール。LlamaFirewallベースのモデルに対する実際のセキュリティ耐性・脆弱性テストに使用
- 低レイテンシ/高スループット、リアルタイム適用、透明性の高いオープンソース、強力な拡張性が特徴
- セキュリティチーム/AI開発者がLLMベースのチャットボット・エージェント・マルチステップAIに安全なGuardrail(防護壁)の構築を迅速に適用可能
まだコメントはありません。