3 ポイント 投稿者 GN⁺ 2024-10-15 | 1件のコメント | WhatsAppで共有
  • FLUX は Replicate でより高速に動作し、最適化されたコードをオープンソースとして公開しているため、誰でも確認して改善できる
  • 速度向上の秘訣
    • FLUX モデルは Black Forest Labs と協力して管理されており、2つの主要な最適化を行っている
      • モデル最適化: torch.compile と CuDNN の attention カーネルを使用して性能を向上
      • 新しい同期 HTTP API の追加により、画像モデルの速度を大幅に改善
    • flux-fp8-api の量子化は出力にわずかな変化を与えるが、品質に大きな影響はない
    • 最適化手法を透明に公開し、ユーザーが最適化を無効化できるようにしている
  • オープンソースの速度
    • オープンソースモデルは基本的に遅いことが多く、モデル提供者がそれを最適化して独占的な API として提供することが多い
    • FLUX のすべての改善点をオープンソースとして公開し、コミュニティと協力してさらに高速なモデルを開発したいとしている
  • FLUX の活用
    • Replicate で FLUX を実行する以外にも、さまざまな活用が可能
      • ユーザーデータで FLUX をファインチューニング可能
      • コードを修正してカスタム版をデプロイ可能
      • 新しいプレイグラウンドでモデルを試し、出力を比較可能

GN⁺ の要約

  • FLUX は Replicate での性能向上とオープンソース化を通じて、誰でも最適化されたモデルを活用できる機会を提供する
  • オープンソースの速度問題を解決しようとする取り組みは、コミュニティとの協力によってさらに高速なモデル開発を可能にする
  • FLUX のさまざまな活用可能性は、ユーザーにカスタムソリューションを提供できる機会をもたらす
  • 類似した機能を持つ他のプロジェクトとしては TensorFlow と PyTorch がある

1件のコメント

 
GN⁺ 2024-10-15
Hacker Newsの意見
  • テキストから画像への変換モデルは非効率だと感じており、これを複数の段階に分けて処理する方が良いのではないかという意見がある。各段階は独立して学習できるためモジュール化が可能で、画像編集もしやすくなると考えている

    • 例えば、「オブジェクトxがオブジェクトyの隣にあり、その上にテキストfooがある」画像を生成する方が簡単になると説明している
    • 最終レンダリングモデルはプロンプトとは別個に存在し、アートスタイルや写実性のレベルを調整できるようになるだろうと述べている
  • 非商用ソフトウェアはオープンソースではないことを強調し、元の著作者が保守をやめた場合、他の人は継続できないか、無償で作業するしかないと説明している

    • オープンソースは、元の著作者が作業を中断したときに、誰もが開発を継続できるライセンスを提供する
    • FLUX.1 [schnell] だけがオープンソース(Apache2)であり、FLUX.1 [dev] は非商用である
  • FLUX.schnellを簡単に使うには、PollinationsのURLにプロンプトを入力すればよいと提案している

    • FLUXの速度は驚異的で、L40S GPU 3基だけで30分ごとに8000枚の画像を生成すると説明している
  • FLUXを使ってSubstack向けの白背景画像を生成するのが気に入っているという

    • テキストと一緒に視覚的に何かを伝えられるのが良いと説明している
  • FLUXはローカルホスティングの生成システムの中ではプロンプト遵守の面で先頭を走っているが、浅い被写界深度が常に現れるのが不便だと述べている

  • Midjourneyの購読を解約し、ReplicateとIdeogramを検討中だと明かしている

  • FLUX 1.1の学習データについて疑問を呈し、生成された画像が個人的な写真のように見えると説明している

    • 学習データが公開されたFacebook投稿、Snapchat、Vkontakteなどから取得されたものなのかと疑問を投げかけている
  • FLUX 1.1 proモデルは、以前のオープンモデルと大きく異なる学習データを使ってはいないだろうと考えている

  • FLUXの比較ページに触れ、速度版は元のモデルとは完全に異なる画像を見せていると説明している

  • Metaのモデルをめぐるオープンソース論争に触れ、FLUXの場合はFLUX schnellだけがオープンソースだと説明している

    • MetaのLlamaモデルの方がより寛容なライセンスを持ち、FLUX schnellより調整しやすいと述べている
  • オープンソースコミュニティはOpenFLUXのようなプロジェクトを支持すべきだと主張している

  • 手がいまだに不自然に見える問題を解決できていないことに疑問を呈している