無料のオープンソースAI画像アップスケーラー「Upscayl」

 (github.com/upscayl)
6 ポイント 投稿者 GN⁺ 2024-04-02 | 1件のコメント | WhatsAppで共有
  • Upscaylは、低解像度画像を高度なAIアルゴリズムで拡大・改善する無料のオープンソース画像アップスケーラーで、最新リリース v2.15 を提供している
  • 画像の細部描写は、AIモデルが可能なディテールを推定する方式で改善され、Real-ESRGANとVulkanアーキテクチャを使用する
  • 実行にはVulkan互換GPUが必要で、ほとんどの統合GPU（iGPU）やCPUでは動作しない可能性がある
  • Linux、macOS 12以降、Windows 10以降をサポートし、LinuxではFlatpak・AppImage・AUR・Snap・RPM・DEB・ZIPなど複数の配布方法を提供する
  • ぼやけた画像やピントの合っていない画像を復元するツールではなく、低解像度・ピクセル化画像の改善に適した入力を使う必要がある

Upscaylの機能

  • Upscaylは、低解像度画像を拡大・改善する無料のオープンソースAI画像アップスケーラーである
  • 画質を損なわずに画像を大きくすることを目指しており、公式サイトは upscayl.org である
  • 最新リリースは v2.15 と案内されている

動作方式と中核技術

  • Upscaylは、AIモデルが画像のディテールを推定して画像を改善する
  • 内部的にReal-ESRGANとVulkanアーキテクチャを使用する
  • バックエンドは upscayl-ncnn で、AGPLv3ライセンスの完全なオープンソースバックエンドである
  • CLIツールも upscayl-ncnn という名前で提供される

インストールと対応プラットフォーム

  • Upscaylは画像アップスケーリングのためにVulkan互換GPUを必要とする
    • 多くの統合GPUは動作しない可能性がある
    • READMEでは、試してみること自体には問題ないと案内している
  • Linuxでは、ほとんどのディストリビューションのソフトウェア一覧で利用できるはずである
    • ディストリビューションのStoreアプリが Flatpak または Snap 版をサポートしている場合もある
    • ポータブル方式では、リリースセクション または 公式ウェブサイト から upscayl-x.x.x-linux.AppImage をダウンロードし、実行権限を付与して実行する
    • RPM、DEB、ZIP形式も選択できる
  • macOSはmacOS 12以降を対象とする
    • Mac App Store リンクが提供されている
    • DMGファイルをダウンロードしてApplicationsフォルダへ移動し、その後Finderから開ける
    • Homebrewのインストールコマンドは brew install --cask upscayl である
  • WindowsはWindows 10以降を対象とする
    • upscayl-x.x.x-win.exe をダウンロードして実行する
    • SmartScreenの警告が表示された場合は、More Info の後に Run Anyway を選ぶか、未確認の発行元ダイアログで YES を押すよう案内している

ドキュメント、モデル、結果確認

制限事項と利用上の注意

  • Upscaylは低解像度画像とピクセル化画像を改善できる
  • デブラーやフォーカス調整機能は提供しない
    • ピントが合っていない、あるいは完全にぼやけた画像には適していない
    • READMEでは、提供されている例に近い画像を使うよう案内している
  • GPU IDは使用するGPUを選択するための設定である
    • 具体的な手順は Wiki Guide にある
    • WindowsでUpscaylが高パフォーマンスモードに設定されていない場合、システムがこの設定を上書きする可能性がある
  • Batch Upscaylを途中で止めた際に画像が処理されていない、あるいは圧縮・スケールが合っていない場合は、モデルが特定の処理をサポートしていない可能性がある
    • この場合、Upscaylはまずすべての画像のアップスケーリングを完了してから後処理を行うため、プロセスが終わるまで待つ必要がある

開発とビルド

  • 開発環境のNode.jsインストールにはVoltaの利用を推奨している
    • Voltaをインストールした後、volta install node を実行する
  • ローカル実行の流れは、リポジトリのクローン、依存関係のインストール、開発サーバーの起動の順である
  • Gitをインストールしたくない場合は、source zip をダウンロードし、upscayl フォルダに展開してから残りの手順を進められる
  • アプリのパッケージングは npm run dist で行う
  • アプリの公開コマンドは npm run publish-app で、メンテナーのみが GH_TOKEN= をシェルに追加して実行するよう案内している

関連記事

1件のコメント

 
GN⁺ 2024-04-02
Hacker Newsのコメント

  • 私のように Real-ESRGAN-ncnn-vulkan [1] を使っていて、upscayl-ncnn CLI [2] が何を変えたのか気になっているなら、大きな違いはなく、実質的な変更も多くはないように見える [3]
    批判したいわけではなく、CLIツールに乗り換える価値があるのか知りたかっただけ。$subj はこれをベースにした別のGUIアプリ
    [1] https://github.com/xinntao/Real-ESRGAN-ncnn-vulkan
    [2] https://github.com/upscayl/upscayl-ncnn
    [3] https://github.com/xinntao/Real-ESRGAN-ncnn-vulkan/compare/m...

    • Upscayl NCNN には最新のVulkan対応、バグ修正、機能追加など、さまざまな修正が入っており、今後さらに追加される予定。まだ変更をpushしていないだけで、CPUサポートも進行中
      Real-ESRGANを使うには、長らく更新されていないコードベースと複数の問題を受け入れる必要がある。私の知る限り、現在Real-ESRGAN NCNNをメンテナンスしているプロジェクトはUpscayl NCNNだけ
    • それを聞くためにコメントを見に来た。RealESRGAN を何年も使っていて、これで拡大して家に飾ってある写真も何枚かある
      家族アルバムの古い写真をたくさん拡大したあと、Photoroom や Snapseed のようなツールで欠陥を直してプリントに回したが、本当にうまくいく
      Google、DuckDuckGo、Kagi で高解像度の元画像をいくら探しても見つからない低解像度の昔の写真をネットで見つけたら、RealESRGAN でアップスケールして壁紙やプレゼンの背景などに使っている
    • 人々が GUI を好むなら、それは別に悪いことではない

  • TVや映画で画像を「enhance」する場面を見るたびに、本当によく笑っていた: https://youtu.be/LhF_56SxrGk
    昨日のSFが今や現実になったようだ

    • これを思うと今では体がびくっとする。映画制作者が「enhance!」と言うたびに、私や多くのオタクは「ピクセルはそれ以上ないんだから、できるわけないだろ！」と思っていた
      ところが今では実在する。「Enhance」が実際に可能になった
    • 今では細部を 幻覚 で作り出しているだけ
    • 「昨日のSFが今や現実」という文句が、実際に https://upscayl.org に "From Science Fiction to Reality" と書かれているのが面白い
    • 正確な表現は 「Hallucinate!」 であるべきだった
    • ただし容疑者の車のナンバープレートを拡大しようとすると、平均的なノイズに基づいた番号が出てきて、実物とは異なる可能性がある

  • 12月に使ってみたが、かなり直感的だった。いろいろなツールを初めて試してみたい人には勧められる
    ただ、私の理解では品質は最先端レベルとはかなり差がある。友人は最近 Topaz を勧めていたが、それはオープンソースではない

    • 品質は部分的には実際かなり近い。ただ Upscayl は無料プロジェクトなので、まだ独自モデルを持っておらず、コミュニティモデルに依存している。それらのモデルも十分すばらしい
      十分な資金が集まれば、独自に堅牢なモデルを作る計画がある :)
      https://ckovalev.com/midjourney-ai/guide/upscaling-ai-art-fo...
    • a1111のextrasタブ で得られる結果が私には一番良かった。もちろん各オプションが何を意味するか理解している必要があり、インターフェースはたしかにもっと複雑

  • UpScayl は素晴らしく、仕事でよく使っている。急ぎのときに低解像度のグラフィックやイラストを制作向けに大きくしたり、印刷やPhotoshop作業のために人物写真を拡大したり、編集用に古いコピーを拡大したりと、いろいろ使っている
    完璧ではないが、代替手段も完璧ではない。それでも非常に便利

    • 気に入ってもらえてうれしい。さらに良くしているところで、Upscayl Cloud が導入されれば、プロにとっても可能性が大きく広がるはず。もちろん合理的な範囲で :)

  • upscayl は使いやすいが、私に必要だった機能がかなり不足していた。アップスケーリングが通常のワークフローになってからは https://github.com/AUTOMATIC1111/stable-diffusion-webui を使うようになったが、画像を数枚だけ改善したい人には理想的なツール

  • 現在のアップスケーラーは、他分野の進歩と比べると、いまだに意外なほど 期待以下 だと感じる

  • 単純なアップスケーリングではなく、画像のクリーンアップ をしてくれるモデルはあるだろうか？ 初期の低解像度コンデジで撮った古い写真がたくさんあって、JPEGアーティファクトのようなものがある
    現代のモデルなら、こうした問題を解決するよう簡単にファインチューニングできそうに思えるが、数か月おきに探してもまだ見つけられていない

    • このモデル群を確認するといい: https://replicate.com/collections/image-restoration
      ほとんどはローカルで実行できるが、cog/docker/hf を理解するのに時間を使う前に、まず replicate で試してみるのを勧める

  • 残念ながら、動画ではまだ Topaz Labs の有料ツールの品質に匹敵するものを見たことがない。他の実装は常にシャープネスと一貫性が問題に見える
    誰かにそれが間違いだと証明してほしい。元の品質と解像度が低くて止まっているプロジェクトがある

  • 関連して、ウォーターマーク除去 に当たるアプリには何があるだろう？