NVIDIA garak - LLM脆弱性スキャナー

• Garakは、LLMベースのシステムの脆弱性を見つけるために開発された無料ツール
• 主にLLMの誤動作とセキュリティ問題を検査し、nmapのLLM版と言える
• さまざまな静的・動的・適応型のプローブ（probes）を使用して、LLMの多様な脆弱性を探索

Garakの主な機能

• LLMの失敗ポイントの確認: 誤情報の生成、データ漏えい、プロンプトインジェクション、有害な生成、ジェイルブレイク（jailbreak）など、さまざまな弱点を探索
• 多様なプロービング手法を使用: 数十のプラグインと多数のプローブを通じて、さまざまなLLMの失敗モードを分析
• ログ記録: 各失敗事例について、プロンプト、目標、応答を含む詳細なログを提供
• 継続的なアップデート: コミュニティの貢献により新しいプローブが追加され、既存のプローブが改善され、テスト範囲が継続的に拡大

Garakの主な特徴

• LLMセキュリティに焦点
  • LLM固有の脆弱性を重点的に検査
    • プロンプトインジェクション、ジェイルブレイク、ガードレール回避、テキスト再生攻撃など
  • その他のMLセキュリティツールとは異なり、LLMセキュリティのみに集中
• 自動化されたスキャン
  • さまざまなプローブを自動実行し、検出器の設定やレート制限処理も自動化
  • 基本設定だけでも標準スキャン全体を実行できるが、ユーザー向けのカスタム設定も可能
• 多様なLLMをサポート
  • OpenAI, Hugging Face, Cohere, Replicate など複数のLLMと接続可能
  • コミュニティ貢献ベースで、今後さらに多くのLLMサポートを追加予定
• 構造化されたレポート機能
  • 画面出力: スキャン進行状況をリアルタイムで監視
  • レポートログ: 各プロンプトと応答の詳細記録
  • ヒットログ（Hit log）: 脆弱性発見時の記録
  • デバッグログ: 問題解決およびGarakの動作記録