Krita AI Diffusion - オープンソースのペイントツールKrita向けGenerative AI

 (github.com/Acly)
11 ポイント 投稿者 GN⁺ 2023-11-21 | 2件のコメント | WhatsAppで共有
  • Kritaのワークフロー内でインペイントおよびアウトペイントをサポート
    • 領域を選択してボタンを押すと、画像に一致する新しいコンテンツを生成
    • キャンバスを拡張し、生成されたコンテンツで新しい領域を埋めることで、既存部分と自然になじむ画像として拡張
    • プロンプトは任意で、必ずしも入力する必要はない
  • Photoshopの"Generative Fill/Expand"が提供する以上の機能を提供することが目標
  • 強度を調整して既存コンテンツ（img2img）をブラッシュアップしたり、画像をゼロから新規生成したりできる
  • すべてローカルで実行され、オープンソースで、無料

機能概要

  • Inpaint: Kritaの選択ツールを使って領域を指定し、画像内の既存コンテンツを削除または置換
  • Outpaint: キャンバスを拡張して空白領域を選択し、既存画像と自然になじむコンテンツで自動的に埋める
  • Generate: 単語や既存画像から新しい画像をゼロから生成
  • Refine: 既存画像のコンテンツを完全に置き換えるのではなく、強度スライダーで細部を調整
  • Control: スケッチやラインアートで画像生成を直接ガイドし、既存画像や3Dシーンの深度やノーマルマップを使用
  • Resolutions: あらゆる解像度で効率よく作業でき、AIモデルに適した解像度を自動使用し、画像領域に合わせて調整
  • Upscaling: メモリ不足を起こさずに画像を4k、8k以上へアップスケーリングし、より豊かに仕上げる
  • Job Queue: ハードウェアによって画像生成に時間がかかるため、ジョブをキューに入れてキャンセル可能
  • History: すべての画像が傑作になるわけではないため、結果をプレビューし、過去の生成物やプロンプトをいつでもたどれる
  • Strong Defaults: さまざまなシナリオをカバーする、シンプルなUI向けの汎用性の高いデフォルトスタイルプリセットを提供
  • Customization: 独自プリセットを作成可能 - Stable Diffusionチェックポイントの選択、LoRAの追加、サンプラーの調整など

はじめに

  • プラグインにはStable Diffusionバックエンド向けの統合インストーラーが含まれる
  • 要件: WindowsまたはLinux（MacOSは未検証）、LinuxではPython + venvのインストールが必要
  • ハードウェア対応: ローカル実行には最低6 GBのVRAMを備えた高性能なグラフィックカードを推奨。そうでない場合、画像生成は非常に遅くなる
  • インストール: Kritaをインストールし、プラグインをダウンロードしてpykritaフォルダーに展開、Kritaの設定でプラグインを有効化して再起動し、プラグインDockerを表示して、サーバーインストールのために"Configure"をクリック
  • GPUクラウド: ローカルで実行する代わりにGPUをレンタル可能。この場合は5番目の手順は不要で、プラグインを使ってリモートサーバーに接続
  • 任意: ComfyUIサーバーのカスタマイズ。自動インストールの代わりに手動インストールまたは既存インストールを使用可能。Krita起動前にサーバーがすでにローカルで動作していれば、プラグインが自動で接続を試みる。リモートサーバーの利用も可能

GN⁺の見解

この記事で最も重要なのは、KritaユーザーがAI技術を活用して創作プロセスを簡素化し、向上させられる新しいプラグインの登場である。このプラグインは画像生成、拡張、細部調整など多様な機能を提供し、デジタルアーティストのワークフローに革新をもたらしうる。オープンソースであり、カスタマイズ可能である点は、技術に関心のある初級ソフトウェアエンジニアにとって特に興味深い。

関連記事

2件のコメント

 
2023-11-21
[このコメントは非表示になっています。]
 
GN⁺ 2023-11-21
Hacker Newsのコメント

  • Kritaコミュニティとコアチームは、人工知能に対して明確に反対の立場を取っている。

    • Kritaのユーザーインターフェースを開発するグループの一員として、この理由からKritaのバージョン作業を中止した。

  • インタラクティブなAIドローイングが可能なシステムの使用経験を共有。

    • システムは、毎秒20〜30回の反復を実行できる4090 GPUを使用している。
    • 画像あたり8回の反復で計算すると、毎秒4枚の画像を生成可能。
    • 望む画像を得た後、30〜50回の反復を実行して画像を最終仕上げする。

  • AMD GPUはDirectMLを通じてサポートされるが、Windowsでのみ利用可能。

    • この傾向に対して不満を表明。
    • 代替として、ComfyUIというTorchベースのプロジェクトをバックエンドとして使用できる。

  • Kritaとアートの良い点は、安価なツールとインターネットさえあれば誰でもアートで収益を得られることだった。

    • 高価なグラフィックカードが必須になれば、アートの民主性が大きく損なわれるだろうという懸念。

  • AIが数年以内にあり得るすべての芸術作品を生成すると考えると、創作活動を試みること自体が無意味に思える。

    • AIをうまく使えるようになったとしても、創作者として生計を維持できる期間への疑問。
    • 創作は趣味としては楽しいかもしれないが、職業としては、誰もがアートを作れるようになれば収益化は難しくなる。

  • 現在無料で利用可能な強力なコンピューティングリソースを活用して創作活動をしている個人の経験を共有。

    • 経済的な困難にもかかわらず、AIを活用した創作に前向きな面を見いだしている。

  • Ubuntuでのインストール経験を共有。

    • まずKritaをインストールして起動した後、プラグインを任意のフォルダーにコピーする必要がある。

  • オープンソースソフトウェアがAdobe Photoshopのような機能を実現したことへの感嘆。

    • これは、Photoshopが人工知能生成ツールに対して築いてきた独占的な地位を失う可能性があることを意味する。

  • 強力なグラフィックカードが推奨され、最低6GBのVRAMが必要。

    • 4GB VRAMのカードでは画像生成時間がどれほど長くなるかという質問。

  • 必要なハードウェアを持っていないことへの残念さを表明するユーザー。

    • Steam Deckでstable diffusionの実行に成功した人がいるか、また他の代替案についての情報共有。

  • 複数のGPUを使用して動作するかどうかについての質問。