PoisonGPT: 偽ニュースを拡散するため、Hugging Faceにロボトミー化されたLLMを隠した

• 大規模言語モデル（LLM）は世界的に認知されている一方で、その追跡可能性や偽ニュース拡散への懸念がある。
• この記事は、オープンソースモデルの GPT-J-6B が外科的に改変され、偽情報を拡散しながらも検出されない可能性がある方法を示している。
• この記事は、AIの安全性を確保するために、モデルの来歴を備えた安全なLLMサプライチェーンの重要性を強調している。
• モデル来歴の暗号学的証明を提供するオープンソースツールである AICert は、こうした問題に対処するために開発中である。
• この記事は、LLMサプライチェーン汚染の潜在的な結果について論じており、それにはLLMの出力を損ない、世界中に偽情報を拡散できる能力が含まれる。
• 米国政府は、AIモデルの来歴を識別するためのAI部品表を求めている。
• Mithril Security は AICert を開発し、モデルの透明性と来歴を追跡するソリューションを提供している。

[GN⁺]

Hacker Newsの意見

• 企業は、暗号化されたモデルの来歴証明のためのオープンソースツールであるAICertを開発中です。
• AICertは、TPMのようなセキュアハードウェアを使用して、AIモデル向けの偽造不可能な身分証明書を生成します。
• AICertで使用される具体的なハードウェアについては不確実性があります。
• AICertのオープンソースとしての性質が、実際にどのような影響を持つのかは明確ではありません。
• LLMに対する信頼はコードに対する信頼と似ており、LLMの出力にGPGで署名することが代替案になり得ます。
• この技術が、より多くの管理や制限を引き起こすのではないかと懸念する人もいます。
• 恐怖や誤情報を広める人々を禁止するための措置が必要です。
• LLMは信頼できない情報源であり、神聖視されるべきではありません。
• 現在の形のLLMは教育には適していません。
• 多くの開発者や組織が、十分に理解しないまま信頼できないコードやAI機能を使っています。
• モデル来歴という概念は、AIコミュニティでもっと広く普及されるべきです。
• 特定の日付以降にモデルの動作が変わる可能性についての懸念があります。
• モデル認証は、別のレベルで改ざんが起きた場合にはセキュリティを保証できないかもしれません。
• 認証プロセスはHTTPSに似ており、発行者の信頼性が重要です。