DALL·E 3
(openai.com)- OpenAIのDALL·E 3は、ChatGPTユーザーとAPI開発者向けのテキスト画像生成モデルで、入力した文章をより忠実に反映する画像生成を目指している
- 既存システムは単語や説明を見落とすことが多く、ユーザーはプロンプトエンジニアリングに頼らざるを得なかったが、DALL·E 3は同じプロンプトでもDALL·E 2より改善された結果を出せるよう設計されている
- ChatGPT統合により、ユーザーは簡単な文や詳細な段落を入力するだけで、ChatGPTがDALL·E 3向けの詳細プロンプトを自動生成してくれる
- 出力画像が気に入っても細部が合わない場合は、数語で修正依頼ができ、生成画像の再印刷・販売・商品化に別途許可は不要
- 安全対策として実在の著名人名の要求や存命作家のスタイル指定を拒否し、クリエイターは今後の画像生成モデル学習から自分の画像をオプトアウトできる
テキストにより正確に従う画像生成
- DALL·E 3はChatGPTユーザーとAPI経由の開発者に提供される
- テキスト画像システムは単語や説明を無視しがちなため、望む結果を得るにはプロンプトエンジニアリングを学ぶ必要があることが多い
- DALL·E 3は、ユーザーが与えたテキストにより正確に従う画像生成を目標としている
- 同じプロンプトでもDALL·E 2より目に見える改善を提供できるよう設計されている
ChatGPTでプロンプト生成から修正までつなぐ
- DALL·E 3はChatGPTにネイティブ統合されており、アイデア出しやプロンプトの調整をChatGPT内で行える
- ユーザーは見たいシーンを、簡単な文から詳細な段落まで自然言語で依頼できる
- ChatGPTはユーザーのアイデアを基に、DALL·E 3向けのカスタム詳細プロンプトを自動生成する
- 特定の画像が気に入っても、正確に望んだ結果でない場合は、数語だけで修正を依頼できる
生成画像の利用権
- DALL·E 3で作成した画像はユーザーが利用できる
- DALL·E 2と同様に、生成画像を再印刷、販売、商品化するためにOpenAIの別途許可は不要
著名人生成と有害なバイアスを減らすための安全対策
- DALL·E 3には、著名人名を直接指定した画像生成を拒否する緩和策が組み込まれている
- OpenAIはレッドチームと協力し、著名人生成や視覚的な過剰・過少表現に関する有害なバイアスなど、リスク領域での安全性能を改善している
- レッドチームはモデルをストレステストするドメイン専門家である
- この作業は、プロパガンダや偽情報といった領域のリスク評価と緩和の取り組みに活用される
- OpenAIは、画像がAI生成かどうかを識別するより良い方法も研究中である
- 内部ツールのprovenance classifierを実験しており、このツールは画像がDALL·E 3で生成されたかどうかの識別に役立つ可能性がある
- OpenAIはこのツールを通じて、生成画像がどのように使われ得るかをよりよく理解し、追加情報を共有する予定である
クリエイターによる制御と参考資料
- DALL·E 3は、存命作家のスタイルで画像を求める場合には拒否するよう設計されている
- クリエイターは、今後の画像生成モデル学習から自分の画像を除外するようオプトアウトできる
- 関連資料として研究論文と画像オプトアウトフォームが提供されている
1件のコメント
Hacker Newsの意見
まだ公開されていないなら、発表の発表の範疇に入る（https://hn.algolia.com/?dateRange=all&page=0&prefix=true&sor...）
実際に議論する対象が出てきたらその時点でスレッドを開けばよく、待っても損はない（https://hn.algolia.com/?dateRange=all&page=0&prefix=false&so...）
関心のある人向けに：昨年、DALL·E 2で約7,000枚の画像を生成して https://generrated.com/ に載せた
DALL·E 2で何が作れるのかを実験し、ほかの人にインスピレーションや出発点として共有したかった
APIが出る前だったので、全部手動で生成して保存する必要があり、費用もかなりかかったが楽しかった
DALL·E 3へのアクセス権を得たら、全部更新することになりそう
追記：実際には存命の作家だけがプロンプトに使えないようで、少なくとも記事にはそう書かれている
合理的な仮説をいくらでも立てられそうなパターンは見えるが、好奇心として実際の原因が何なのか知りたい
画像を見ると、テキストを一度も正確に当てられず、いつも少しずつ外している点が特に興味深い。時には大きく間違うが、たいていはかなり近い
Midjourney用のDiscordボットを作ったが、簡単な設定で、バージョンなど取得できる情報をできるだけ含めて画像をダウンロードし、注釈を付けられる：https://github.com/ernop/social-ai/tree/main/SocialAI
それでも完璧ではない。送信したコマンドから情報を取るが、当時のデフォルト値に依存していた可能性があり、今解釈すると、過去のバージョンやシードなどをプロンプトに含めていない限り再構成が難しいから
それでも少なくとも、プロンプト付きの3万枚フォルダを恒久的に保存しておき、後で再実行して時間経過による比較ができる点は良い
思いつく点：ChatGPT統合は非常に大きい。ChatGPT Plusと企業向け統合が10月に来るなら、Midjourneyや多くのテキスト画像SaaS企業に大きな牽制をかけ、彼らをNSFW用途に集中させる可能性がある
品質はMidjourneyと同程度に見えるが、Midjourneyにはアップスケーリングや複数のバリエーション生成のような便利な機能もある。DALL·E 3がユーザー体験の面で追いつけるのか気になる
UIとしてはDiscordよりChatGPTのほうをずっと好むので、こちらのほうが良い
今のMidjourneyやStable Diffusionは、ときどきすごい画像が出て、ときどき出ないので、カジノのように感じる。Stable Diffusionはマスクをかけて再試行できるが、面倒で時間がかかる
「この画像は良いけど、猿は1匹だけにして、空を緑に変えて」と言えば元画像を受け取って修正してくれるなら、完全にゲームチェンジャーになる
おそらく実際にはそのようには動かない可能性が高いが、そうであってほしい
それでも、この競争で誰が、何が勝つのかを見るのは本当に興味深いだろう
Bing Chatはすでに内部でGPT-4を使っており、Bing Image Creatorも統合されていて、内部ではDALL·E 2.5あたりを使っているが、良くない
ただ画像プロンプトを代わりに書いてくれる程度で、自分で書けば済むことをもう一度伝えるだけの、役に立たない伝言ゲームに近い
Literoticaで学習した大規模言語モデルのようなものも可能ではないだろうか
ものすごい違いは感じられないし、特にMidjourneyのほうがDALL·Eよりずっと良い
「DALL·E 3は存命の作家のスタイルで画像を依頼された場合、拒否するよう設計されている」「クリエイターは今後、画像生成モデルの訓練から自分の画像を除外できるようになった」とある
だとすれば今回のバージョンも、著作権のある作品を許可なく訓練に使ったということになる
しかも手動で除外申請する負担を作家に押し付けている
いつか裁判所が、生成画像ごとに各作家へ費用を支払うよう強制するのではないかと怖くないのだろうか
つまり裁判所は、何千もの非常に大きく強力な企業に対して、何百万人にも金を払わせなければならなくなるが、実質的には手に負えない法的取り組みになる
出所や方法論は公開されておらず、「訓練」と「著作権」を除けば、それ以外は疑問のままだ。そうでなければ、すでにロイヤリティを払っていたはずだ
旧バージョン2の出力をGPTが作ったプロンプトと一緒に使い、生成画像に合わせて人間が補正した可能性もある
また、コンピュータビジョンで新しい画像と既存画像を分析し、画像に新しい特徴があればプロンプトに追加して再訓練した可能性もある
裁判所の状況を見る限り、巻き戻されるという期待もない
Disneyのような大規模な知的財産権保有者とは藪をつついて蛇を出さないよう裏取引しつつ、小さな主体は防御できないまま、正確にはすでに貧しいのにさらに金がない状態に放置している可能性が高い
Midjourneyにとっては実際の脅威になり得るように見えるが、Stable Diffusionを押しのけることはなさそう
プロンプト遵守は優れていそうだが、カスタマイズ性の不足とアートスタイルの制限が活用範囲を大きく狭めるだろう
人々はDALL·E 3で構図用のベース画像を作り、スタイル・アップスケーリング・細部描写はStable Diffusionで回すようになりそうだ
生成物かどうか見分けにくい超高品質な画像は、Stable DiffusionよりMidjourneyでずっと多く見ている
Midjourneyのフィルタリングだけでも十分いら立たしかったし、ChatGPTが単純な依頼を誤解され得るという理由で無意味に拒否するのも際限なく腹立たしかった
その2つを組み合わせ、作家スタイルのフィルタリングまで明示的に加えるなら、ただ見送る
付け加えると、MidjourneyでNSFWを作っているわけではない。「カウンターの上でチーズを切っている人のストック写真」が欲しかったのに、「cutting」や「slicing」のような単語がゴア画像を作るのに使われる可能性があるという理由で使えない、という状況のことを言っている
「クリエイターは今後、画像生成モデルの訓練から自分の画像を除外できるようになった」と言っておきながら、リンク先が画像を1枚ずつ提出するフォームなのが笑える
サイトでGPTBotをブロックできるとはいうが、すでにボットが画像をスクレイピングしていたらどうなるのかも問題だ
どうせ他の誰かが、GPTBotをブロックしていない別のウェブサイトに私の写真をアップロードすることもあり得る
最近のプロジェクトのためにMidjourney画像を大量に作っているのだが、AIアート終末論者たちが理解していないように思えることを改めて実感した。キュレーションの重要性だ
/r/Midjourneyや上のDALL·Eリンクのおすすめ画像をざっと見るだけでも、生成器の「デフォルト結果」がどれほど退屈か分かる
画像を作ることは簡単になるかもしれないが、どの画像が魅力的かを選び出すには、依然として芸術的感覚と技術が必要だ
大局的には、イラスト系のアートはよりキュレーション活動に近づき、大量の画像の中から選別する能力が中核的なスキルになる気がする
入力に使う参照画像を作れるなら、結果はもっと良くなると思う。入力が良いほど出力も良くなる
商業分野では、AIをうまく活用するアーティストが先に進む状況のように感じる
それでも、審美眼と技術的才能のあるアーティストが、画像をキュレーションされた理想により近づけるよう操作する余地は残る
現在のStable DiffusionベースのPhotoshopワークフローのように、生成物が土台を作り、ワークフローが成熟すれば、再び手動入力が増える気がする
例えばControlNetで特定の姿勢や配置を決めて構図を固定し、AIが90%を埋めた後、人間が好みに合わせて最後の10%を仕上げて反復する、というやり方だ
「DALL·E 3はChatGPTの上にネイティブに構築された」という項目と、ChatGPT・画像生成間の密接な統合、そして発表と同時に研究論文が出ていない点を見ると、GPT-4のマルチモーダル能力の試験運用であり、似たインフラ上で動いている可能性が高いと強く疑っている
だから単にAPI呼び出しを使うだけだろう。特別なことはなく、Bingも同じことをしている
参考: https://arxiv.org/pdf/2303.12712.pdf
著作権のある「訓練」素材を取り除いたのか、それとも相変わらず同意なしに人々の労力から「学んだ」と称して、許可なく販売しているのか
つまり、依然として人々の労力に依存しているが、良い点があるとすれば、自分の作品がDALL·E 4の餌にならないように除外申請はできる、という意味だ
核心は、AIは人間のように学習するため、既存作品の直接的な複製ではない出力は新しい創作物だ、という主張をうまく展開できるかどうかにかかっている
AIがある作家の芸術スタイルを複製する場合にも、同じように当てはまる。人間が週末にある作家の作品を見て、同じスタイルで依頼作品を描くのに似ており、芸術スタイルは著作権で保護できないため完全に合法だ
もちろんAdobeはそうなってほしいだろうが[0]
0: https://twitter.com/UltraTerm/status/1679294173793628161
もう一つずっと考えているのは、こうしたAI生成物がゲーム産業型の崩壊を引き起こすのではないかという点だ
宣伝は多いが意味がなく価値の低いAIコンテンツが過剰供給されると、消費者が興味を失い、書籍、ゲーム、映画、デジタルアート、音楽といった各産業で支出をやめ、崩壊する可能性もある
https://investor.shutterstock.com/news-releases/news-release...
いつものことだが、訓練データについてもっと透明性があるとよい
そんなことをしてはいけない。著作権最大主義の観点では著作権侵害だ
また一つ競争が始まった
OpenAIに強い反感を持つ人もいるようだが、少なくともOpenAIは、特定の分野で自らを超えるべき基準点にすることに本当に非常に長けている
そしてそうすることで、その分野全体をかなり遠くまで押し進めているように思う
私のような古い人間は、90年代のMicrosoftがやったことを覚えている。今でも、どこかの分野で先行していれば同じことをしただろうし、裏では今でも時々そうしている
FBやZuckerbergが好きなわけではないが、LLAMAを無料で公開したのは良い動きだ
OpenAI内部からまた別の流出が起きて、すべてにアクセスできるようになることを願っている