DALL-E 2はどのように動作するのか？

1. テキストと視覚的意味（Semantics）の接続
   → CLIPモデルを利用: 数億枚の画像と関連キャプションを学習し、そのキャプションが画像とどれほど関連しているかを学習
2. 視覚的意味から画像を生成
   → GLIDEモデルを利用: 画像エンコーディングプロセスを反転させる方法を学習。拡散（Diffusion）モデルを使用
3. テキストの意味から対応する視覚的意味へマッピング
   → Priorモデルを利用: 画像キャプションのテキストエンコーディングを、対応する画像の画像エンコーディングへマッピング
4. すべてを統合
   → CLIPテキストエンコーダが画像説明を表現空間にマッピング
   → Diffusion PriorがCLIPテキストエンコーディングから関連するCLIP画像エンコーディングへマッピング
   → 修正されたGLIDE生成モデルが逆拡散を用いて表現空間から画像空間へマッピングし、入力されたキャプション内の意味情報を伝える多数の可能な画像を生成

重要な3つ

1. DALL-E 2は拡散モデルの力を示している
2. 最先端のディープラーニングモデルを訓練する手段として自然言語を使うことの必要性とその力を強調
3. Webスケールのデータセットで訓練されたモデルにおいて、Transformersが依然として最良の位置にあることを再確認

[xguru]

DALL·E 2 公開
DALL·E で試してみるとよさそうなこと