Nightshade：AIアート生成器に対抗するアーティストのための攻撃的ツール
(nightshade.cs.uchicago.edu)- Nightshadeは、オンライン画像が同意なく生成AIの学習に使われる状況に対応し、作品をモデル学習に不適切なpoisonサンプルへと変えるツールである
- オプトアウト一覧や do-not-scrape/robots.txt は検証・強制が難しく、違反者を高い確信で特定することも難しいため、クリエイターには実質的なコントロール手段が不足している
- 変換された画像は人間の目には原作と大きく変わらないように見えるが、AIモデルには別の構成を学習させ、予測しにくい結果を誘発する
- Glazeが個々の作家のスタイル模倣を防ぐ防御ツールだとすれば、Nightshadeは同意なきスクレイピングを行うモデルの学習コストを引き上げる選択的な攻撃ツールである
- 現在のNightshade v1.0はスタンドアロンのツールであり、Glazeのような模倣保護は提供しないため、スタイル模倣が心配な作品には単独適用を避けるべきである
同意のない学習データ収集への対応
- 生成AIモデルとその学習主体は、オンラインコンテンツをモデル学習用にダウンロードできる能力を示してきた
- コンテンツ所有者やクリエイターには、自分の意思に反して作品が生成AIモデルに取り込まれるのを防ぐ手段がほとんどない
- オプトアウト一覧は過去にモデル学習主体に無視されたことがあり、大した結果もなく簡単に無視され得る
- do-not-scrape 指示も検証と執行が難しく、違反者を高い確信で識別するのも難しい
Nightshadeの仕組み
- Nightshadeは画像をモデル学習に不適切なpoisonサンプルへと変える
- こうした画像を同意なく学習したモデルは、期待された挙動から外れた予測不能な振る舞いを学習する可能性がある
- たとえば「宇宙を飛ぶ牛」の画像を要求したときに、宇宙に浮かぶハンドバッグの画像を生成することがある
- 目的はモデルを単純に壊すことではなく、無許可データで学習するコストを引き上げることで、クリエイターから画像をライセンスする選択肢を現実的な代替案にすることである
人間とモデルで異なって見える画像
- NightshadeはGlazeと似たように動作するが、スタイル模倣防御ではなく、生成AI画像モデル内部の特徴表現を歪める攻撃ツールである
- 変換は、元画像の見た目の変化を最小化する多目的最適化によって計算される
- 人間の目には shaded 画像が元画像とおおむね似て見えるが、AIモデルは画像内に劇的に異なる構成を見ることがある
- 人間は緑の野原にいる牛の画像をほぼそのまま見る
- AIモデルは草地に置かれた大きな革財布として見ることがある
- 牛を含む shaded 画像を十分に学習すると、モデルは牛に茶色の革の持ち手、なめらかなサイドポケット、ファスナー、ブランドロゴがあると次第に強く確信するようになる
一般的な画像変形にも残る効果
- Nightshadeの効果は、画像によく加えられる変更に対しても堅牢である
- トリミング、リサンプリング、圧縮、ピクセル smoothing、ノイズ追加の後でも poison 効果は残る
- モニターに表示された画像をスクリーンショットしたり、写真として撮影したりしても shade 効果は維持される
- これはウォーターマークや隠しメッセージであるステガノグラフィではなく、簡単に壊れる方式ではないためである
NightshadeとGlazeの役割の違い
- Glazeは、個々の作家がスタイル模倣攻撃から自分を守るための防御ツールである
- Nightshadeは、作家たちが集団として同意なく画像をスクレイピングするモデルを妨害するための攻撃ツールである
- オンラインに公開するすべての作品には、作家自身を守るためにGlazeを適用することが推奨される
- Nightshadeは、良心のないモデル学習主体を抑止するための選択的機能である
- 自分の作品をオンラインに投稿する作家は、理想的にはGlazeとNightshadeの両方を適用すべきである
- 2つのツールを統合したリリースが進行中である
使用時の注意点
- Nightshadeによる変化は、フラットカラーと滑らかな背景を持つ作品でより目立つ場合がある
- Nightshadeはモデルを妨害することが目的であるため、低強度や低い poison レベルが画像所有者に否定的な結果をもたらすわけではない
- 元画像の視覚品質を優先したいユーザー向けに、低強度設定が含まれている
- セキュリティ攻撃や防御と同様に、Nightshadeが長期的な将来にわたって有効であり続けると見ることは難しい
- 攻撃ツールであるNightshadeは、潜在的な対抗策や防御に合わせて容易に進化できる
配布方式とデータ処理
- Nightshadeの目標は、研究を通じて新しいことを発見し学び、世界に前向きな影響を与えることである
- NightshadeはGlazeと同様に、ネットワークなしで実行されるよう設計されている
- データや作品がNightshadeチームや他の場所へ送信されることはない
- Nightshade v1.0はスタンドアロンのツールとして設計されている
- 現在のバージョンはGlazeのような模倣保護を提供しないため、使い方に注意が必要である
- スタイル模倣が少しでも心配なら、Nightshadeだけを適用した作品画像を公開すべきではない
- NightshadeとGlazeが一緒に動作する方式がテスト中である
- 準備が整い次第、WebGlazeユーザーが単一画像にNightshadeとGlazeを一度に適用できるよう、NightshadeはWebGlazeアドオンとしてリリースされる予定である
技術論文と参考資料
- Nightshadeのインストール、実行・設定、削除方法は User guide で確認できる
- 技術論文のタイトルはNightshade: Prompt-Specific Poisoning Attacks on Text-to-Image Generative Modelsである
- 著者は Shawn Shan, Wenxin Ding, Josephine Passananti, Haitao Zheng, Ben Y. Zhao である
- 論文は2024年5月に San Francisco で開かれる45th IEEE Symposium on Security and Privacyに掲載予定である
- プレプリントは2024年2月に公開された arxiv/2310.13828 である
1件のコメント
Hacker News のコメント
論文はこちら: https://arxiv.org/abs/2310.13828
この方式は、多くのアーティストにとって受け入れがたいほどのアーティファクトを生むように見える: https://twitter.com/sini4ka111/status/1748378223291912567
聞くところでは、a) 前世代の学習手順でようやく動く程度で、b) GPT-4V、LLaVA、さらには BLIP2 のラベリングのような最新の手順にはまったく効かず、c) 効果が大きくなって広く使われるようになっても、対策はそれほど難しくないとのこと
著者らの以前の研究である Glaze も、誇張された主張とは違ってあまり効果的には見えないので、学術的には興味深いが現実では実用性の低い結果を過大に宣伝している例かもしれない
[1]: Reddit の /u/b3sn0w によるもの: https://imgur.com/cI7RLAq https://imgur.com/eqe3Dyn https://imgur.com/1BMASL4
画像を GPT-4V や Stable Diffusion img2img などに入れることは AI を学習させることではなく、モデルは完全に固定されたままでまったく変化しない[0]
まだ新しい画像をクロールして生成器の学習に入れているところがあるのかは分からない。OpenAI は自社モデルの出力を再学習してしまうことを懸念して 2021 年ごろにスクレイピングをやめたと聞いたことがあり[1]、Adobe Firefly は Adobe Stock の画像で学習したと主張しているが、Adobe 自身の基準時点は分からない[2]
GPT-4V や Stable Diffusion を推論段階で詰まらせたいなら、必要なのは敵対的画像だ。重みがないモデルに対して敵対的学習が可能かは分からないが、複数の独立したモデルに対して一般化すればかなり壊せる、という話は聞いたことがある[3]
[0] テキスト生成器における学習のように見える能力はコンテキストウィンドウから来ているが、これは 2048 トークン程度の短期記憶にすぎず、他の記憶能力はない
[1] このようなことが起きるシナリオは、冗談めかして Habsburg AI と呼ばれる。モデルが自分自身のバイアスから学び、それをさらに強いバイアスへと強化しながら、他のことは忘れていく
[2] Nightshade が害を与える唯一の AI 生成器が、少なくとも少しは倫理的にやろうとしていた生成器だとしたら、特に皮肉だろう
[3] 極端な場合、敵対的画像は人間もだます。ただし、その種の研究では画像を短時間だけ見せており、短い露出は再帰的な計算経路を持たない純粋な順伝播ニューラルネットワークに似ている、という発想だった。もっと長く見れば、ある物体の写真を別のものに見えるよう編集したものだとはっきり分かる
ノイズ除去はいずれにせよ良い前処理ステップである可能性が高い
LLM 側の人たちは、実際に正当に対価を支払うつもりはなさそうで、事業計画の要約には実質的に「手に入るものはすべて盗む」と書かれているようなものだ
ここには詐欺的な製品の市場が非常に大きい。芸術は人間の目に見えなければならないという条件がある以上、こうしたツールが勝つ方法はなく、仮に動いたとしても原理上すぐに迂回されるだろう
アーティストであれ誰であれ、人間の成果物でモデルが学習されるのを防ぐ現実的な方法は、法律、つまり国家が裏付ける強制力を使って望まない行為を抑止することだけだ。これも完璧ではなく、むしろ処罰可能な著作権侵害を「ロンダリング」する分散学習ネットワークを開発する誘因を高める可能性がある
結局、少なくとも負け戦であり、最悪の場合は愚かな戦いだ。人が自由に見られるように投稿した画像をコンピュータが観察できないようにすることはできないので、こうしたモデルは簡単に作れるし、最終的には作られるだろう
法律以外にも方法はある。作品を非公開の鑑賞でのみ提供し、現場の観客が録画機器を持ち込めないようにすればよい。荒唐無稽に見えるかもしれないが、性行為のような活動ではよくある慣行だ
最悪でも時間の無駄にすぎず、誰かがだまされて購入する状況ではない
これからアーティストとして生き残る唯一の方法は、自分だけの固有のスタイルを持ち、それを絶対にオンラインに上げないことだけだ
数か月前、誤った画像や一貫性のない画像で Stable Diffusion XL をファインチューニングすると、それらの画像をネガティブプロンプトとして使ったときに、むしろより「良い」画像を出力できる、という概念実証を作った: https://news.ycombinator.com/item?id=37211519
つまり、モデル生成が避けるべき潜在空間の高次元領域を指定するということだ。操作されたデータセットを大量に作ることを奨励することが、逆説的に生成 AI アートモデルを改善する可能性はゼロではない。モデルが操作されたデータを認識し、学習過程がそれを迂回するようにできるからだ
これはかなり無意味な軍拡競争、あるいはイタチごっこのように見える。生成画像モデルを学習させようとする人がアーティストの考えをまったく気にしないなら、Nightshade のアルゴリズムが非常に繊細に調整した変化を壊す程度の基本的な後処理をすればよいだけ
たとえば少し低い解像度に再サンプリングしてから別の超解像モデルで再び拡大すれば、人間の目には大きな違いなく、こうした微調整を壊せそうに思う
今後は社会的圧力のために、裁判所はおおむねアーティスト側につく可能性があると思う。アーティストは見つけた画像を問題にし、さらに別の機械学習モデルに、その生成画像が当該アーティストのスタイルと「似すぎている」かを素早く判定させられるようになるだろう。もちろん、そのスタイルが他の人たちと十分に異なっていてこそ、合理的な法的請求が可能になる
あるいはアーティストたちは画像そのものの収益化を諦め、物理的な成果物の制作に集中するかもしれない。最近のインディーミュージシャンが、ツアーや会場でのグッズ販売、Patreon で収入の大半を得ているのと似ている。このような大きな根本的変化が急速に起きると、未来予測は本当に難しい
シニカルな未来では、いわゆる「ファーリーアーティスト」がさらに増えるかもしれないと思う。他のビッグテックと同じく、成人向け領域はさまざまな権力者が強く阻止する可能性が高い。そうなると NSFW の仕事は発展からある程度守られ、地下の学習モデルを探すか、再びアーティストに依頼する必要が出てくるだろう
The Grateful Dead はこのモデルを非常に洗練された形で実践し、ときには自分たちの作品に対する知的財産権の主張を意図的に避けた。そうした主張が成功の妨げになると信じていたからで、最終的にこの擁護を公式化して「The Electronic Frontier Foundation」と名付けた。EFF が deadhead 文化から生まれたのは偶然ではない
OpenSource に対応する OpenArt が存在しないのも同様だ。もちろん、ソースコードは一般の観客向けではなく、望めば隠せるが、アートはそうではないという違いは分かっている。単に生成的な思考の副産物だ
これらの画像で学習すると、AI モデルは悪くなるどころか、実際には良くなりそうだ。アーティストたちが無料で、どの種類のノイズなら自分たちが意図した画像の意味を変えないのかを教える学習データを作っているようなものだ
近い将来、既製のツールだけで高品質なアートを作れる人が信じられないほど増えるだろう
かなりワクワクすることだ。好きなスタイルを混ぜて新しい対象に適用し、自分だけの独自でパーソナライズされた作品を作る力を何十億人にも与えるというのは、途方もなく素晴らしい能力だ
AI モデルは AI 生成コンテンツを食べるだけで自壊する。生成 AI に関するモデル崩壊を見ればよい
著作権・知的財産権・特許の使用に累進的な手数料を望むし、世界各国政府の協力と立法を望む。もしかすると、最初の許諾なしでも世界中で著作物を使えるようにする方法もあり得るかもしれないが、そこまで突飛な話には行かないでおこうと思う
売上に連動した比率のような、拡張型ライセンス料が適用されるとよい。業種ごとに利益率が異なるという間接的な問題はあるが、それでも最も公正に見える
個人が所有する著作権は作者の死後 0 年まで、企業が所有する著作権は最大 20〜30 年へ、世界全体または EU からゆっくり短縮してほしい
使用を申告しなかったり手数料を払わなかった企業への罰則は非常に高くあるべきだ。当該年度の売上総利益の 50% や純利益の 50% のように、手首を軽く叩くだけで終わらず、簡単に逃げられず、そもそも盗まないようにするインセンティブであるべきだ
[*] または社会が適切だと考える期間
[**] 自動検出が、良くも悪くも十分に良くなるまで
こうすれば個人利用を認め、新規参入を促し、イノベーションを促進し、OpenAI のようなところにより良い行動を促せると思う
死後まもなく権利が失効するのは気持ち悪いし、著者の年齢によって著作権期間が大きく変わるのも悪いし、多くの作品に過度に長い著作権が残るのもよくない
著作権は著者の生前に失効してもまったく問題ない。すべて 20〜30 年でよい
この「解決策」を見ると、アート界も過去 10〜20 年にわたって広告ブロッカーが繰り広げてきたイタチごっこに入っていくように思える
同意なしにインターネットを巡回して画像をスクレイピングし、自分たちの金儲け用 AI に使うのは、明らかに間違っていると今でも感じる。アート作品を保護するより多くの方法が、音声や他の形式も含めて、もっと簡単に利用できるようになってほしい
追加モデルが本体モデルをだまそうとするようにして、Nightshade 類のフィルターに対する耐性を高める方式だ
記事では、この手法が画像の細部描写を損なう点を示していない。参考論文のサムネイルを見るだけでもそうだ: https://arxiv.org/pdf/2310.13828.pdf
それに、私が素朴すぎるのかもしれないが、高速な前処理フィルターで回避するのはかなり簡単に見える。従来型のノイズ除去だけで十分かは分からないが、最悪の場合は img2img 拡散を回せばよい