Meta、Llama 3.1を公開

 (ai.meta.com)
10 ポイント 投稿者 xguru 2024-07-24 | 3件のコメント | WhatsAppで共有
  • 128Kのコンテキスト長、8言語をサポートし、405Bモデルを追加（8B、70B、405B）
    • 誰でもファインチューニング、改良し、どこにでもデプロイできるオープンソースのインストラクションチューニング済みAIモデル
  • 新たに公開された405Bモデルは、MMLU（一般）、Human Eval（コーディング）、GSM8K（数学）ベンチマークなどでGPT-4oとほぼ同等、またはそれを上回る水準を達成
    • 柔軟性と制御性において最高水準のAIモデル
    • コミュニティが合成データ生成やモデル蒸留のような新しいワークフローを活用できるようにする
    • 15兆個以上のトークンを使用して学習され、16,000台以上のH100 GPUを使用
  • アップグレードされた70Bモデルは、ほとんどのベンチマークでGPT-3.5 Turboを大きく上回る

関連記事

3件のコメント

 
wedding 2024-07-24

うわ、405Bを動かすにはGPUをどう構成すればいいのか気になりますね
 
gcback 2024-07-24

405Bは、直接のファインチューニングやサービング用途ではないようです。CEOがdistillationに何度も言及していたことを見ると、teacherモデルとして軽量モデルの品質を高めるためのファインチューニング用途なのではないかと思います。
 
xguru 2024-07-24

Hacker Newsの意見

  • Llama 3.1モデルは性能が向上している

    • 8Bと70BモデルはLlama 3より性能が向上している
    • 405BモデルはGPT-4o、GPT-4 turbo、Claude 3.5 Sonnet、Claude 3 Opusと競合できるレベルである

  • GPT-4oとLlama 3.1 405Bモデルの比較

    • MMLU: GPT-4o 88.7, Llama 3.1 405B 88.6
    • GPQA: GPT-4o 53.6, Llama 3.1 405B 51.1
    • MATH: GPT-4o 76.6, Llama 3.1 405B 73.8
    • HumanEval: GPT-4o 90.2, Llama 3.1 405B 89.0
    • MGSM: GPT-4o 90.5, Llama 3.1 405B 91.6

  • Groq.comでは超低遅延で新しいモデルと対話できる

    • 8Bと70BのAPIにアクセス可能
    • 405B APIは選ばれた顧客のみアクセス可能

  • 適切なハードウェアを使えば、自宅でもGPT-4oと競えるLLMを動かせる

  • Ollama、Huggingface、Groqなどでローカルにモデルを実行できる

    • LLMStackを使ってローカルでモデルをテストしたり、アプリケーションを素早く構築したりできる

  • Ollamaで70B版を実行してみた結果、とても良かった

    • ガイドラインとディスクレーマーを無効にするコマンドを実行できた
    • エンジニアの潜在的なバイアスを減らすためのコマンド一覧を受け取った

  • Claude 3.5 Sonnetはコーディング作業に非常に優れている

    • Artifacts機能とあわせて、コーディングベンチマークでは依然として最高レベルである

  • オープンソースモデルの価格情報についての質問

    • セルフホスティングには非常に興味があるが、トークン単位のホスティング推論価格はOpenAIやAnthropicと比べて競争力が低い
    • 例: Llama 3 70Bはさまざまなプラットフォームで100万トークンあたり$1〜$10、Claude Sonnet 3.5は100万トークンあたり$3