AIが誤って生成した画像でStable Diffusion XLをさらに賢くファインチューニングしました
(minimaxir.com)- オープンソースとして公開された Stable Diffusion XL 1.0（SDXL）は、1024x1024 解像度の画像生成をサポート
- SDXL は Base と Refine の2種類のモデルで提供されており、Refine モデルは速度低下がないため、こちらを使うのがおすすめ
- Diffusers Python ライブラリを使ってハック可能
- Prompt Weighting や Dreambooth LoRA のような機能が利用可能
wrongネガティブプロンプトで LoRA に誤った画像を学習させてみたところ、品質が改善された
2件のコメント
いいアイデアですね。
LoRAを逆に使うという発想は思いつきませんでした。おかしな画像をわざと生成してLoRAで学習させ、そのうえでキーワードをネガティブに入れる……
これはシンプルなアイデアのようですが、例を見るとかなり効果的そうで驚きます。