- 開発者が責任を持って生成AIモデルを展開できるよう支援するため、オープンな信頼・安全ツールと評価を提供するアンブレラプロジェクト
- 第1段階として2つのツールを公開
- CyberSec Eval : LLM向けのサイバーセキュリティ安全性評価ベンチマーク
- Llama Guard : 展開しやすいよう最適化された入出力フィルタリングのための Safety Classifier
- AI Alliance、AMD、AWS、Google Cloud、Hugging Face、IBM、Intel、Lightning AI、Microsoft、MLCommons、NVIDIA、Scale AI などと協力し、これらのツールをオープンソースコミュニティに提供する予定
なぜ Purple なのか?
- ジェネレーティブAIがもたらす課題を真に軽減するには、攻撃(レッドチーム)と防御(ブルーチーム)の両方の態勢が必要だと考えている
- レッドチームとブルーチームを組み合わせたパープルチームは、潜在的なリスクを評価・軽減するための協調的アプローチ
- Purple Llama プロジェクトは、研究および商用利用を可能にする寛容なライセンスで提供される予定
- これは、コミュニティでの協力を促進し、生成AI開発のための信頼・安全ツールの開発と利用を標準化する重要な一歩
1件のコメント
AI Alliance - https://thealliance.ai が何なのかと思って見てみたら、IBMとMetaが主導して作ったアライアンスなんですね。
50社を超える企業・団体が参加しているのに、肝心のOpenAI、Google、NVIDIA、Microsoftあたりはみんな入っていなくて、これは一体何なんだろうという感じがします.. 笑