Chameleon: Metaの新しいマルチモーダルLLM

 (arxiv.org)
4 ポイント 投稿者 GN⁺ 2024-05-23 | 2件のコメント | WhatsAppで共有
  • Chameleonは、画像とテキストを任意の順序で理解し生成できる、初期融合トークンベースの混合モーダルモデル群
  • このモデル群には、安定した学習アプローチ、アラインメントのレシピ、初期融合トークンベースの混合モーダル設定のためのアーキテクチャパラメータが含まれている
  • 初期段階から安定した学習アプローチを採用しており、アラインメントのレシピとアーキテクチャパラメータは、初期融合トークンベースの混合モーダル設定に合わせて設計されている
  • 視覚的質問応答、画像キャプション生成、テキスト生成、画像生成、長文の混合モーダル生成などの包括的な課題で評価された
    • 画像キャプション生成タスクで最先端の性能を示す
    • テキスト専用タスクではLlama-2を上回り、Mixtral 8x7BやGemini-Proのようなモデルと競争力のある性能を示す
    • 優れた画像生成能力を備えており、単一モデルで多様なタスクを実行できる
    • 長文の混合モーダル生成評価では、プロンプトや出力が画像とテキストの混合シーケンスを含む場合、Gemini ProやGPT-4Vのようなはるかに大規模なモデルに匹敵するか、それを上回る性能を示す
  • Chameleonは、完全なマルチモーダル文書の統合モデリングにおいて重要な進歩を成し遂げた
  • これは、多様な課題に対して包括的な能力を備えた統合マルチモーダルモデルの新たな基準を提示する

GN⁺の見解

  • マルチモーダルモデルは多様な入力形式を同時に処理できるため、実運用で非常に有用。たとえば、視覚的質問応答システムや画像キャプション生成などで大きな利点をもたらす。
  • カメレオンは、Llama-2、Mixtral 8x7B、Gemini-Proなどと比較して競争力のある性能を示している。これは、多様なタスクにおける柔軟性と性能を裏付けている。
  • 新しい技術を導入する際には、モデルの安定性、学習コスト、データ要件などを考慮する必要がある。カメレオンの場合、初期融合アプローチは安定しているが、実際の適用では十分なデータと計算資源が必要になる可能性がある。
  • 長文の混合モーダル生成における性能は非常に興味深い。これは、複雑な文書生成やマルチメディアコンテンツ制作に大きな可能性を開く。
  • 業界にはOpenAIのGPT-4、GoogleのBERTなど、さまざまなマルチモーダルモデルが存在する。各モデルの特性と長所・短所を比較し、適切なモデルを選択することが重要。

関連記事

2件のコメント

 
fastkoder 2024-06-19

モデルのチェックポイント: https://ai.meta.com/resources/models-and-libraries/…
ブログ: https://ai.meta.com/blog/meta-fair-research-new-releases/
GitHubリポジトリ: https://github.com/facebookresearch/chameleon
8時間前に公開！
 
GN⁺ 2024-05-23
Hacker Newsの意見

Hacker Newsコメントまとめ要約

  • 基礎研究とsoftmaxの問題

    • 基礎研究は非常に興味深い。特に、さまざまなトークナイゼーション空間でsoftmaxを使う難しさに関する分析が印象的だ。
    • 34bサイズのモデルで問題が最も顕著だった。大規模モデルの訓練が新たな問題を引き起こすことを思い出させる。

  • マルチモダリティとMirasol3B

    • Mirasol3Bと比べると、オーディオをサポートしていない。GoogleのMirasol3Bは、オーディオを画像に変換することでデモを可能にしていた。
    • Metaもマルチモダリティの方向に進んでいる。新しいGPT音声モードも同じアーキテクチャを使う可能性が高い。
    • 新しいモダリティが追加されると、同じパラメータサイズでモデル性能が向上する。

  • 訓練時間とコスト

    • 訓練時間は4282407時間で、200W GPUを使った場合、約1 GWhの電力消費になる。コストは約$100,000。
    • 単一GPUでは500年の訓練時間と$100,000のエネルギーコストが必要になる。実際には3000台のGPUで2か月間訓練可能。

  • Chameleonモデルの性能

    • Chameleonモデルは、Gemini ProやGPT-4Vのようなより大規模なモデルの性能に並ぶか、それを上回る。混合モダリティ生成評価で優れた性能を示している。
    • マルチモーダル文書の統合モデリングにおいて重要な前進を成し遂げた。

  • 技術発展の速度

    • 技術の進歩は非常に速い。興味深い点が多く、理解しやすい。
    • しかし、疲労感を覚えることもあり、多くの資金が投入されているため、その大半が詐欺のように感じられることもある。1つのテーマを深く掘り下げ、関連論文を読むのがよい。

  • マルチモーダルモデルの採用

    • 最近、マルチモーダルモデルは広く採用されているが、依然としてモダリティごとに別々のエンコーダやデコーダを使っている。
    • たとえば、Gemini Proは画像トークンを使い、GPT-4Vも似ている。2つの異なるトークナイザを事前学習している。

  • 統合モデルとモダリティ競合

    • 統合モデルは興味深いが、「モダリティ競合」の発見は、短期的には各モダリティに特化したモデルを訓練するほうがよい可能性を示唆している。

  • Metaのオープンソース計画

    • Metaがこれらのモデルをオープンソースとして公開する計画があるのか気になる。
    • モデルがダウンロード可能かどうかについての質問。