- Qwen VLoは、QwenVL・Qwen2.5 VLの画像理解能力を画像生成へ拡張したプレビューモデルで、Qwen Chatですぐに試せる
- 画像を一度に完成させるのではなく、左から右、上から下へ構成する漸進的生成により、結果の一貫性と調和を高める
- 元画像の意味と構造を維持しながら、色・スタイル・オブジェクトを変える画像再創作に焦点を当てる
- 自然言語の指示だけで、背景の置き換え、オブジェクトの追加・削除、スタイル変換、テキスト編集、ポスター制作、深度マップ・セグメンテーションマップ・検出マップ・エッジ情報の生成まで処理できる
- まだプレビュー段階のため、不正確さ、元画像との不一致、指示不遵守の可能性があり、複数画像入力や極端なアスペクト比生成の一部機能は正式公開前である
Qwen VLoの役割とアプローチ
- Qwen VLoはマルチモーダルな理解と生成を統合し、画像を理解するだけでなく、その理解に基づいて画像を再生成するモデルである
- 現在のバージョンはプレビューであり、Qwen Chatで利用できる
- テキストだけで画像を作成したり、画像をアップロードした後に自然言語で修正したりできる
- 「Generate a picture of a cute cat」のようなテキストプロンプトで画像生成が可能
- 猫の画像をアップロードした後、「Add a cap on the cat’s head」のように指示して画像を修正できる
左から右へ作る漸進的生成
- Qwen VLoは、画像を順次構成する漸進的生成方式を採用している
- 生成中に予測を継続的に洗練・最適化し、最終画像の一貫性と調和を高めるよう設計されている
- このメカニズムは視覚品質を高め、ユーザーがより柔軟に結果を制御できる創作体験を提供する
- 動的解像度生成と組み合わせることで、長いテキストを含む広告やマンガのコマのように、細かな制御が必要な作業に適している
- 生成過程を段階的に確認しながらリアルタイムで調整できる
理解から生成へ拡張された機能
-
元の構造を維持する再創作
- 既存のマルチモーダルモデルでは、生成過程で意味がずれたり、車を別のオブジェクトと誤認したり、元画像の中核構造を維持できなかったりすることがある
- Qwen VLoは細部の把握能力を強化し、生成中に高いレベルの意味的一貫性を維持することを目指している
- 車の写真に「色を変更」と依頼すると、車種を識別し、元の構造を保ったまま色のスタイルを変えられる
-
自然言語ベースの画像編集
- 「この絵をVan Goghスタイルに変えて」「19世紀の写真のようにして」「晴れた空を追加して」といった指示を処理できる
- アートスタイル変換、シーン再構成、細部補正などの作業をサポートする
- 深度マップ、セグメンテーションマップ、検出マップ、エッジ情報の予測といった従来の視覚認識タスクも、編集指示として実行できる
- オブジェクト修正、テキスト編集、背景変更のような複合指示を1つのコマンド内で処理できる
-
多言語指示のサポート
- 中国語と英語を含む複数の言語をサポートする
- ユーザーは言語に関係なく要件を説明し、結果を受け取れる
デモで確認できる作業タイプ
-
画像生成と連続編集
- かわいいShiba Inuを生成した後、背景を草原に変え、赤い帽子と黒い透明サングラスを追加し、帽子に「QwenVLo」というテキストを入れる流れを示している
- 同じ画像をGhibliスタイル、3D Q-versionスタイルに変えたり、修正したオブジェクトを連続する編集コンテキストで引き続き活用したりできる
- ペンを青いマスクで検出したり、犬の輪郭をピンクのマスクで分割したりする作業も含まれる
-
スタイル変換と再解釈
- マンガを実写風写真に変えたり、背景をEiffel Towerに置き換えたり、人物を風船のように空中に浮かせたりできる
- カップル写真をミニマルなフラットイラストのステッカーや3Dレンダリングのコレクタブルフィギュアに変換し、「Happy Wedding」というテキストを追加する作業も含まれる
- Ghibli、One Piece、Dragon Ball、SpongeBob、Minecraft、ピクセルアートのスタイル変換を扱う
- 猫をPixar 3Dスタイルに変えたり、Miamiの夜景スカイラインをゼリー質感の特殊素材モデリングスタイルに変換したりする例もある
-
複雑なプロンプト処理
- 地下鉄で黒い帽子をかぶった男性、赤いサングラスをかけた女性、Husky、車窓の外のStatue of Liberty、「Qwen VLo」駅の看板を一緒に含む写真を生成できる
- ノートに図を描く一人称視点のシーンや、Isaac Newtonがプリズムで実験を実演するシーンのように、前の結果を引き継ぐ指示も処理できる
- 黒猫を主人公に、動物の群れ、宇宙人、UFOが対峙する広角の大型写真を作るポスター型プロンプトも含まれる
ポスターとテキスト画像生成
- Qwen VLoはテキストと画像入力を組み合わせる作業だけでなく、テキスト-画像生成もサポートする
- 一般的な画像に加え、中国語・英語を含むバイリンガルポスターを作成できる
- 「Qwen VLo!」というテキストがエネルギーで形作られた夜の魔法使いのアニメーションアート
- サングラスと耳あてを着けたオレンジ色の猫のセルフィー場面
- 「2025」「A New Beginning」「新的开始」「长安」「Father’s Day」といったテキストを含むポスター型画像
- 広告ポスターでは、コーヒー缶、ハンドドリップポット、コーヒーカラーのパレット、「一杯咖啡，唤醒你的清晨」のようなタイトル配置を扱う
- 別のポスター例では、照明製品を中央の視覚要素に置き、濃い青の背景と暖かなオレンジ色の後光、「Illuminating not just the desk, but an attitude.」というテキストを配置する
知覚・位置認識まで含む生成
- Qwen VLoは生成と編集に加え、既存画像の上に注釈を追加することもできる
- 例示されている作業には次のようなものがある
- 果物がたくさん載ったテーブルを生成した後、エッジ検出マップを予測
- 画像内のバナナの輪郭を赤いマスクで分割
- 散らかった机の画像でスマートフォンを赤いボックスで表示
- 表示されたスマートフォンを消し、机の上にコーヒーを追加
- 最終画像をエッジ検出画像に変換
- 統合された理解・生成モデルであるため、生成した画像を再び分析することもできる
- 犬と猫を生成した後に品種を尋ねる例では、犬はBeagleまたはBeagle mix、猫はTabby catと識別する
解像度、アスペクト比、複数画像入力
- Qwen VLoは動的解像度学習を用いて、動的解像度生成をサポートする
- 入力と出力の両方で任意の解像度とアスペクト比の画像を扱える
- 固定フォーマットに縛られず、ポスター、イラスト、Webバナー、ソーシャルメディアカバーのようなシナリオに合わせた画像を作成できる
- 4:1や1:3のような細長いフォーマットにも対応できる
- ただし、極端なアスペクト比の画像生成機能はまだ正式公開前である
- 複数の入力画像を理解して生成する機能も含まれる
- トイレタリー画像を赤いバスケット画像の中に入れる作業が例として使われている
- 複数画像入力機能はまだ正式公開前である
プレビュー段階の限界と今後の方向性
- Qwen VLoはまだプレビュー段階であり、いくつかの制約が残っている
- 生成過程で不正確さが現れることがある
- 元画像と一致しない結果が出ることがある
- 指示に従えないことがある
- 生成画像の意図を認識・理解する安定性が不足している可能性がある
- 今後は安定性と堅牢性を継続的に改善していく計画である
- マルチモーダル大規模モデルは、テキストと視覚の入力・出力を双方向に扱い、回答をテキストだけでなく画像でも伝えられる
- 図の生成、補助線の追加、重要領域への注釈は、より多様なコミュニケーションツールとして活用できる
- セグメンテーションマップや検出マップのような中間結果を生成し、モデル自身が理解を確認して性能を改善する方向も引き続き探っていく計画である
1件のコメント
Hacker News のコメント
重みの公開がないのが残念。Qwenの強みは歴史的に公開重み戦略にあり、4oの自己回帰型画像生成と競える本当に公開重みのモデルが出てきてほしかった。
重みにアクセスできて初めて可能になる興味深い研究の方向性は多い。開発費の回収が心配なら、BFLのFlux Kontext Devリリースのように、研究者と個人には無料で重みを提供し、スタートアップには妥当な価格の商用ライセンスを求める方式が参考になる
画像のオレンジがかった色調を見ると、OAIの出力で学習したことはかなり明らかに見える。独自データを作ろうとする試みはしたのか疑問だ。
結局OAIで学習し、OAIと同じくらいクローズドで、より重要なのはOAIより悪い。こういうものをAPIの背後に閉じ込める戦略は奇妙だ
https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VLo/cas...
https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VLo/cas...
https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VLo/cas...
どういうわけか、中国の公開重みの時代は終わったように見える。突然で、足並みをそろえた動きのようだ。
AlibabaはQwenの公開をやめ、TencentはHunyuanの公開をやめ、BytedanceのSeedreamは非公開で出てきた。それでもなお西側モデルの出力で学習しているのは明らかに見える。戦略的には、100%公開にしてインフラ/サービスを売るほうが正しいと思う
公開重みにしようというなら、人々が自由に使えるべきではないかと思う。
提案された方式は「公開重み」というより試用版の重み、シェアウェアの重み、学術用の重みに近い。オープンソースソフトウェアのように何にでも使えるという意味が抜けるなら、「公開」という表現は誤った印象を与える
画像生成の料金だけで、数千万ドル規模の投資、GPU時間、エンジニアの給与を回収できるかについては、個人的には懐疑的だ
私の目には、これらの画像はどれも不気味の谷に引っかかっている。色も影もすべてずれて見える
クマの画像編集例を見ると、モデルは要求された以上に多くの部分を変えているようだ。
背景を変えるよう頼んだのに、クマ自体も完全に変わっており、シャツは同じだが毛並みと顔は明らかに違う。クマを風船に変えるときも背景を変え、舗装路を消し、スイカの左側の種もなくなっている。より良いプロンプトで直せるのか、それともモデル/アーキテクチャの限界なのか気になる
必須テストのように、自転車に乗るペリカンの画像をSVGではなく画像として試し、アコーディオンの画像もいくつか作ってみた。指と黒鍵を正確に合わせるのには少し苦労するが、かなり速い。
https://chat.qwen.ai/s/0f9d558c-2108-4350-98fb-6ee87065d587?...
ピクセルベースの形式ではなくSVGを使うところに挑戦がある。SVGをきちんと作るには、ある程度の推論が必要だからだ
不思議なことに、画像変更の例、つまり編集やスタイル転移のような結果に、GPT Image 1、つまりChatGPT 4oの最新画像モデルで見られる薄い黄色の色調がある。Flux Kontextにはそういう感じがなさそうなのに、なぜなのか気になる
自動読み上げをどう止めるのか分からない。ウェブサイトはただじっとしていて、こちらが何かしろと言うまで待っていてくれればいいのではないか。
watchで動画が全画面で自動再生され、そのまますぐ読み上げまで始まった。ちなみにiOSのFirefoxだ
これはFirefox Android基準なので、iOS版に同じ機能があるかは分からない。デスクトップにもある。そこでウェブサイトからの通知送信リクエストも完全にブロックできる
機械学習の研究者であり物理学の学位保持者として、こうしたモデルについて理解や「描写」という言葉を使うことにはかなり慎重だ。特に理解という言葉はあまり役に立たず、正直有害だと思う。
物理学で数学を使う理由は具体性にあり、コーディングが難しい理由も同じだ。人々は自分が世界をどれほど多く理解しているかを過小評価しているように思う。重要なのは微妙な差異であり、あまりに日常的なのでその重要性を忘れがちだ。Asimovの“Relativity of Wrong”を読んでみるとよい。こうしたシステムが何かを理解していると言うには、演繹とアブダクションを行い、概念やアイデアを洗練し、取り込んだものの組み合わせ以上のものを発見できなければならない。人類の知識全体で学習した後にその知識を繰り返すだけでは、知能の証明にはならない。このモデルサイズに知識をロスレス圧縮した可能性は低いが、データと知識を深く掘り下げなければ、何を知っていて何を暗記しているのかを見分けるのは非常に難しい。有用なものを作ることと知能を作ることは別の問題だ
本当に理解するには、反事実的思考を提示できなければならない。物理学の命題はすべて反事実的命題だ。F=maを例にすると、質量や加速度を変えても力を計算できる。特定の質量が特定の加速度で動いているのを見て「2倍重かったら？」と問うことができ、答えることもできる。人間の世界モデルもこうしたことをしている。数学で説明しないだけで、私たちは反事実を立て、かなり頻繁にうまく処理している。現代の機械学習システムがこうしたことをしているとは考えにくい
元記事の画像は、理解不足の良い例です。右側は指の本数が間違っているだけでなく、キーボードのキーもおかしいです。キーが繰り返されてはいけないことは、少し理解していれば分かります。配置も夢の中の物のようにめちゃくちゃで、キーの数がラベルの数と合っていない可能性が高く、サイズもずれて見えます。長く見れば見るほど悪くなるのも、この種のシステムではよくあることです。ぱっと見は問題なさそうですが、詳しく見るほど不気味の谷の奥深くに入っていきます。
https://youtube.com/watch?v=cDA3_5982h8
コードは数学です。チューリング完全な言語と計算可能な数学の間には同型性があります。より厳密に見たいなら、Church と Turing について調べればよいです。もちろん物理学と数学は同じではありませんが、数学は不合理なほど効果的です。
https://hermiene.net/essays-trans/relativity_of_wrong.html
https://en.wikipedia.org/wiki/Counterfactual_thinking
何かを作る立場からすると、こうしたストローマン論法にはうんざりします
入力と出力を広く理解されている言葉で表現したのは有用です。さらに、その言葉が持つ長期的な含意まで誇張して主張しているわけではない、というシグナルとして引用符も使っています。リリースを読む人は、Qwen が以前は見て／認知して／理解する VLM であり、今は画像を生成／描写／描画できるようになった、という程度のことが分かります。それ以上に危機を作り出す必要はありません。
このモデルや 4o のような方式で画像を生成する他のモデルについて、技術レポートがあるのか気になります。4o 系の画像生成アーキテクチャを本当に理解したいです。
機械学習は、世界を「理解」するよりも描写する側ではるかに大きく進歩してきたと思います。
「分かった」という言葉は、実のところ任意の個人的基準にすぎません。
画像は言語モデルが見る前に256個のトークンへ圧縮されます。帽子を追加するよう求めると顔全体を描き直す理由は、オブジェクトが別々に保存されていないからです
メモリの中に持続的に存在するクマがいるのではなく、すべてが融合した一つの潜在空間のスープの中にあります。新しい制約の下で再サンプリングされ、プロンプトを少し変えるだけでも埋め込み全体のバランスが取り直されます。そのため小さな修正でも画像全体に広がります。単発のシーン合成のように見え、別の用途には有用です。
gpt-image-1 の編集は「ジブリ風にして」のような完全なスタイル変更にはよく合いますが、写実的な画像に眼鏡を追加しつつすべてのディテールを保つ用途にはあまり向いていません。