デバイス上でオフライン利用できる Easy Stable Diffusion XL
(noiselith.com)Noiselithアプリの紹介
- オフライン画像生成ツール: Noiselithは、クラウドなしでデバイス上で自由に画像を生成できるようにする。
- プライバシー保護: すべての生成作業はローカルで行われ、情報がクラウドに送信されることはない。
- 無制限生成: 1日に100枚、200枚、さらには1000枚の画像を生成できる無制限生成機能を提供。
- 速度: サーバーリソースを待つ必要なく、デバイス上ですぐに画像を生成できる。
システム要件
- Windows: Windows 10または11、NVIDIA RTX 20シリーズ以降のGPU（8GB以上のVRAM）、16GB以上のRAM、20GB以上のストレージ容量が必要。
- macOS: macOS 12.3以降、Apple Silicon、32GB以上のRAM、20GB以上のストレージ容量が必要。
ユーザー体験
- 簡単なインストール: 数回クリックするだけでNoiselithを使う準備が整う。
- 直感的な操作: 技術的な詳細を気にせず、アイデアを視覚的に変換できる直感的なインターフェースを提供。
- モデル管理: モデルを簡単にダウンロード、削除、更新でき、生成された画像を見やすく整理するギャラリーも提供。
開発ロードマップ
- さまざまな機能への対応: SDXLモデル、SDXL LoRA、履歴管理、プロジェクト管理、モデル管理などへの対応を予定。
- コミュニティと拡張性: ユーザーコミュニティ、SD 1.5および2.1モデル対応、モデルデータベース、アップスケーラー、スマートプロンプトなどの機能を含む。
- Noiselithアプリストア: クラウドGPU、リモート共同作業機能を含むアプリストアの開発を計画。
GN⁺の意見
- この記事で最も重要なのは、Noiselithアプリが、ユーザーのデバイス上でクラウドの助けなしにプライバシーを保護しながら無制限に画像を生成できる新しいツールだという点。
- このアプリは、ソフトウェアのインストールや利用の複雑さを減らし、直感的なインターフェースによって誰でも簡単に画像生成を始められるようにすることで、創造的な作業により集中できるようにする点で興味深い。
1件のコメント
Hacker Newsのコメント
たった今インストールしてみたけど、かなりいい感じ。ローカルAIこそ自分が望む未来で、自分もそちらに取り組んでいる
良い点は、かなり独立して動作すること、内蔵のモデルインストーラーがよくできていてCivitAIから何でも簡単にダウンロードできること（https://civitai.com/models/183354/sdxl-ms-paint-portraits をインストールしてみた）、画像生成の品質が高く安定していること、生成の中間段階を見せてくれること
悪い点は、6.94GBのSDXLモデルファイルを、確認もせず、場所やサイズも表示しないまま、どこかにダウンロードすること。ただし後で設定から場所を見つけて変更できることが分かった。最初の生成はモデル読み込みのため非常に遅く、生成時間は記録されないが、M1 Max MacBook 64GBでは数分ほどかかるようだ
フィードバック用モジュールが複数あり、左下のチャットは非常に邪魔で絶対に使わなさそうだし、右上にもベータ版フィードバックの依頼がある。競合製品と違ってオープンソースではなく、プロセスが7個立ち上がっており、アイドル状態でRAMを約1GB使う。macOSネイティブのUXではなく、期待するショートカットキーやヘルプメニューが欠けていてElectronアプリのように見える。全体としては4/5点で、また開いてみる気はある
なので、その通り。Electronアプリで、Svelte、headless-ui、tailwindcssなどを使っている
ローカルの推論オプションはすでにかなり多く、重要なのはオープンソースで、機能もよりしっかりしている点だ
ここで「でもAuto1111やComfyはUIがユーザーフレンドリーじゃないだろう」と擁護するとしても、それもすでに解決されている: https://github.com/invoke-ai/InvokeAI
ボードで整理することもでき、ボード・画像・メタデータはすべてよく設計されたSQLiteデータベースに保存されていて、DataGripからアクセスできる
まだ使ったことがない人にはFooocusを強く勧める: https://github.com/lllyasviel/Fooocus
ローカルのStable Diffusionパイプラインはものすごく多いが、これは短いプロンプトだけでもデフォルト出力の品質が圧倒的に良い。本当に印象的だ
理由は、他のUIが実装していなかったりデフォルトで有効にしていなかったりする多数のSDXL強化機能を統合しているからだ。Stable Diffusion 1.5の頃から使っていて、この分野もかなり追ってきたが、ComfyUIはもちろんdiffusersで同等のパイプラインをセットアップするのは苦行になりそうだ。SDXL向けの「ヒット機能集と最適なデフォルト値」のような感じだ
ただし隣のコメントで言われているように、GTMを組み込んでいるのは見栄えがよくない
サンプル:
https://imgz.org/i9oicVqo/
https://imgz.org/i8Ur3WjW/
https://imgz.org/i5j6r6TZ/
業界全体が、こうした監視を回すのは悪い選択だと気づいて、ただやめてほしい
興味深い。ここ数か月、遊びで使っている https://diffusionbee.com と比べてみようと思う
マーケティングには良いかもしれないが、デバイス上での実行とオフラインを主な差別化ポイントとして打ち出すのは変だ。たいていの人はすでに Stable Diffusion をそうやって使っている可能性が高いからだ
インストールと使いやすさにもっと集中したほうがよさそう。それはまだうまくできていない部分だ。自分の基準では、ControlNet、アップスケーリング、顔のディテーラー系、できれば領域別プロンプティングがなければ使わない
それに、独自の SD 生成器を作りたがっている人たちは、すでに存在するオープンソースプロジェクトのどれかに貢献してくれたらいいのにとも思う
アプリストアは良いアイデアかもしれないが、Auto1111 とその膨大な拡張機能がある世界では、Stable Diffusion コミュニティには受けが悪そうだ
既存ユーザーには魅力的でなくても、よりシンプルな製品は新規ユーザーには十分アピールできる
初めて SD を触ったとき、単にいくつかのファイルをダウンロードして実行する代わりに、ひどく「電話で家に送る」ような挙動をしたり、VM のようなものを使ったりするパッケージが多くて変だと思った
販売用のプロンプトが「金髪の巻き毛の若い女性が、ファンタジー世界の背景の前で誘惑的なまなざしを向け、脚を開いて座り、白いシャツとデニムのホットパンツを着ている」だなんて
本当にこれでいいのかと思う
インストール後、Windows マシンで実行するにはパブリックおよびプライベートネットワークへのアクセス権限を与える必要があった。「オフライン」と言っておいてこれは少し引っかかった
初回実行時に約 30GB のデータをダウンロードした。その後の実行でオフライン動作するのかは分からない。自分の場合、その後はずっとクラッシュして再実行できなかったからだ
アンインストール時にもすべてのデータを残していった。ユーザーデータではなく、実行ファイル本体、Python 仮想環境、アップデーター、すべてのモデルが残っていた。アンインストールは実質的にスタートメニューのショートカットを消しただけのようなものだった
実行にアクティブなインターネット接続が必要なら、「オフライン」と宣伝するのは完全に間違っている
ローカルクライアントが増えるのは確かに歓迎だ。他のコメントで触れられているように、すでに優れたものもある。automatic1111を使ってみたが高速で、チューニングもそれほど必要ない。ただ、それでもノブやオプションが多く、最初は難しく感じる。Fooocus は非常に速いが、当然カスタマイズ性は低い
そしてComfyUIがある。複雑さの聖杯のような存在だが、その複雑さのおかげで本当に多くのことができる。ノードベースのアプリなのでカスタムワークフローを作成でき、画像が生成されたあと、その「ノード」を別の場所へ送り、アップスケーリングのような後処理を行える
Noiselith や他のツールが SDXLTurbo をサポートするか見てみたい。出てからまだ数日しか経っていないが、自分の考えでは完全にゲームチェンジャーだ。コンシューマー向け GPU で 512x512 画像を約 0.5 秒で作れる。品質がものすごいわけではないが、「森の中のキツネ」と入力して即座に見て、「帽子をかぶった」を追加してまた即座に生成できる能力は非常に価値がある。以前は画像 1 枚に 12 秒ずつ待っていた。大したことではないように聞こえるかもしれないが、これほど素早く反復できる点が、ローカル画像生成をはるかに楽しいものにしている
まだテストはできていないが、Comfy でCoreMLを使っているので、より便利なフロントエンドが出てくれば、こうしたプラットフォームのバックエンド最適化や性能面の作業もさらに増えるのか気になる
512 画像で 1〜4it/s はあまりにも残念だし、1024 で 2〜3s/it も今の基準では遅すぎる。しかも ANE ですら MacBook Pro M3 で SD 1024x1024 画像を動かせないというのは残念だ