- コンシューマー向けハードウェアで実行可能で、柔軟にカスタマイズできる複数バージョンのモデルを含み、ほとんどのユースケースで無料で利用可能
- Hugging FaceからStable Diffusion 3.5 LargeとStable Diffusion 3.5 Large Turboモデルを、GitHubから推論コードをダウンロード可能
- リリースされるモデル
- Stable Diffusion 3.5 Large: 80億パラメータを持つ基本モデルで、Stable Diffusionファミリーの中で最も強力。1メガピクセル解像度でのプロフェッショナルなユースケースに最適
- Stable Diffusion 3.5 Large Turbo: Stable Diffusion 3.5 Largeの蒸留版で、わずか4ステップで優れたプロンプト追従性とともに高品質な画像を生成。Stable Diffusion 3.5 Largeよりかなり高速
- Stable Diffusion 3.5 Medium (10月29日公開予定): 25億パラメータを持ち、強化されたMMDiT-Xアーキテクチャと学習手法により、コンシューマー向けハードウェア上でそのまま動作するよう設計。品質と容易なカスタマイズ性のバランスを重視。0.25〜2メガピクセル解像度の画像生成が可能
モデル開発プロセス
- モデル開発時に柔軟な基盤を提供するため、カスタマイズ可能性を優先
- そのために、Query-Key Normalizationをトランスフォーマーブロックに統合し、モデル学習プロセスを安定化させ、追加のファインチューニングと開発を簡素化
- ダウンストリームでの柔軟性を支えるため、いくつかのトレードオフが必要だった
- 同一プロンプトでシードを変えると、出力のばらつきが大きくなる場合がある。これは、ベースモデルでより幅広い知識基盤と多様なスタイルを保持するのに役立つよう意図されたもの
- ただし、具体性に欠けるプロンプトは出力の不確実性を高める可能性があり、美的品質に差が出ることがある
- Mediumモデルについては、アーキテクチャと学習プロトコルを複数回調整し、品質、一貫性、マルチ解像度生成能力を向上
Stable Diffusion 3.5の利点
- カスタマイズのしやすさ: 特定の創作ニーズに合わせてモデルを簡単にファインチューニングしたり、カスタムワークフロー基盤のアプリケーションを構築したりできる
- 効率的な性能: 特にStable Diffusion 3.5 MediumとStable Diffusion 3.5 Large Turboは、標準的なコンシューマー向けハードウェア上で重い要求なしに最適化されて動作
- 多様な出力: 広範なプロンプト設計をしなくても、さまざまな肌の色や特徴を持つ世界中の人々を表現する画像を生成可能
- Stable Diffusion 3.5 Largeは、プロンプト追従性で市場をリードし、画像品質でははるかに大規模なモデルに匹敵
- Stable Diffusion 3.5 Large Turboは、サイズ比で最速クラスの推論時間を提供しつつ、画像品質とプロンプト追従性でも非常に競争力がある
- Stable Diffusion 3.5 Mediumは、他の中規模モデルを上回り、プロンプト追従性と画像品質のバランスを取りながら、効率的で高品質な性能を提供
Stability AI Community License の概要
- 非商用利用は無料: 個人および組織は、科学研究を含む非商用目的で無料利用が可能
- 年間売上100万ドル以下の商用利用は無料: スタートアップ、中小企業、クリエイターは、年間売上が100万ドル未満であれば商用目的でも無料利用が可能
- 生成物の所有権: 制限的なライセンス上の含意なく、生成されたメディアの所有権を保持可能
- 年間売上100万ドル超の組織は、Stability AIに連絡してエンタープライズライセンスを問い合わせ可能
モデルへのアクセス方法
- モデルの重みは現在、Hugging Faceでセルフホスティング向けに利用可能
- Stability AI API、Replicate、ComfyUI、DeepInfraなどのプラットフォームからもモデルにアクセス可能
安全性に対するStability AIの取り組み
- Stability AIは安全で責任あるAI実践を重視しており、開発の初期段階から誠実性を確保するための意図的な措置を講じている
- 悪意ある行為者によるStable Diffusion 3.5の悪用を防ぐため、妥当な対策を講じている
今後の計画
- 10月29日にStable Diffusion 3.5 Mediumを一般公開予定
- 続いて、さまざまなプロフェッショナル用途向けの高度な制御機能を提供するControlNetsを公開予定
まだコメントはありません。