Mistral Small 3を公開

 (mistral.ai)
5 ポイント 投稿者 GN⁺ 2025-01-31 | 1件のコメント | WhatsAppで共有
  • Mistral AIチームは、24Bパラメータのモデル「Mistral Small 3」をApache 2.0ライセンスで公開。
  • このモデルは、Llama 3.3 70BやQwen 32Bのようなより大規模なモデルと競争でき、GPT4o-miniのようなプロプライエタリモデルの代替として適している。
  • Mistral Small 3はローカル展開に適したサイズで設計されており、レイヤー数が少ないため処理時間が短縮される。
  • MMLUで81%以上の精度を示し、150 tokens/sのレイテンシを持つ。

性能

人間による評価

  • 外部評価会社とともに、1,000件以上のコーディングおよび一般プロンプトセットを評価。
  • Mistral Small 3と他モデルの応答を比較し、選好を調査。
  • 公正な評価のために慎重を期しており、ベンチマークの有効性に自信を持っている。

命令性能

  • 命令調整モデルは、サイズが3倍大きい公開モデルおよびGPT4o-miniモデルと競争力のある性能を示す。
  • コード、数学、一般知識、命令実行ベンチマークで高い精度を記録。

事前学習性能

  • Mistral Small 3は24Bモデルで、サイズ当たり最高クラスの性能を提供し、Llama 3.3 70Bのような3倍大きいモデルと競争する。

Mistral Small 3のユースケース

  • 高速応答の対話型支援: 高速かつ正確な応答が重要なシナリオで優れた性能を発揮する。
  • 低レイテンシの関数呼び出し: 自動化ワークフローで高速な関数実行を処理できる。
  • 専門分野エキスパートの生成: 特定ドメイン向けにファインチューニングし、高精度のエキスパートを生成できる。
  • ローカル推論: 機密情報を扱う個人や組織に有用。

好みの技術スタックでMistral Small 3を使う

  • Mistral Small 3はmistral-small-latestまたはmistral-small-2501としてla Plateformeで利用可能。
  • Hugging Face、Ollama、Kaggle、Together AI、Fireworks AIと連携し、モデルをさまざまなプラットフォームで提供。

今後の計画

  • Mistral Small 3は、DeepSeekのような大規模オープンソース推論モデルを補完し、推論能力を強化できる強力な基盤モデルとして活用できる。
  • 今後、より小さいモデルと大きいモデルが公開される予定。

Mistralのオープンソースモデル

  • Apache 2.0ライセンスを用いて汎用モデルを提供する計画。
  • モデル重みはダウンロードとローカル展開が可能で、自由に修正・利用できる。
  • サーバーレスAPI、オンプレミスおよびVPC展開、カスタマイズとオーケストレーションプラットフォームを通じて提供される予定。

関連記事

1件のコメント

 
GN⁺ 2025-01-31
Hacker Newsの意見

  • Mistral Smallモデルは、そこそこの性能のノートPCで実行できる最適なモデルを目指しており、Llama 3.3 70BおよびQwen 2.5 32Bと比較されている

    • M2 64GB MacBook ProでOllama経由で実行しており、高速で性能も優れている
    • モデルの重みのダウンロードには14GBが必要

  • Epoch AIのTomは、LLM評価を体系的かつ大規模に行うためのインフラを構築中

    • 英国政府のInspectライブラリを使って評価を実施している
    • Mistral Small 3をMATHレベル5で評価し、正確度0.45を得た
    • 1,324問について各8回サンプリングし、平均正確度を測定した

  • Apache 2.0ライセンスへ移行し、非商用ライセンスから離れつつある

  • コード生成プロンプトを試したところ、qwen2.5-coder-32bと似た性能を示した

    • 小型モデルがより洗練された出力を出すのは印象的
    • 8x7B mixtralモデルの新バージョンに期待している

  • 今回のリリースの主なポイントは以下の通り

    • Apache 2.0ライセンスを適用
    • 低レイテンシ（11ms/トークン）
    • 性能はQwen 2.5 32BとLlama 3.3 70Bの中間
    • Mistral Smallモデルは9トークン/秒の速度で動作する

  • 最近のMoEモデルのリリースにより、24GB VRAMでは不足に感じられる

    • Mistral Small 3はRLや合成データを使用していない

  • Mistral Smallモデルは、Mary J Bligeの最初のアルバムに関する質問に正確に回答した

  • なぜ小型モデルを使うのか疑問に思う声がある

  • モデル名にパラメータ数を含めてほしいという意見がある