Mistral AI、初のAIエンドポイントの早期アクセスを公開

 (mistral.ai)
2 ポイント 投稿者 GN⁺ 2023-12-12 | 1件のコメント | WhatsAppで共有
  • Mistral AIが、開発者がオープン生成モデルを本番環境にデプロイ・カスタマイズできる la plateforme のベータを開始
  • 初期構成は、テキスト指示を処理するチャットエンドポイント3つと埋め込みエンドポイント1つで、性能と価格のトレードオフがそれぞれ異なる
  • mistral-tinyとmistral-smallは公開オープンモデルをベースにし、mistral-mediumはデプロイ環境でテスト中のプロトタイプモデルを提供
  • APIは広く使われているチャットインターフェース仕様に従い、Python・JavaScriptクライアントと system prompt による出力調整をサポート
  • 誰でも登録してAPIを利用できるが、容量は段階的に拡大され、完全なセルフサービスになるまでは荒削りな部分が残る可能性がある

la plateforme ベータとエンドポイント構成

  • Mistral AIはオープン生成モデルを開発者に提供し、本番環境向けのデプロイとカスタマイズ方法もあわせて提供する
  • 最初のプラットフォームサービスはベータとして公開され、開始時の構成はシンプル
    • テキスト指示ベースの生成向けチャットエンドポイント3つ
    • 検索での活用を想定した埋め込みエンドポイント1つ
    • 各エンドポイントは異なる性能/価格のトレードオフを持つ

  • 生成エンドポイント

    • mistral-tiny
      • 最もコスト効率の高いエンドポイントで、現在はMistral 7B Instruct v0.2を提供
      • 英語のみ対応し、MT-Benchスコアは7.6
      • 指示チューニング済みモデルはHugging Faceからダウンロード可能
    • mistral-small
      • 最新モデルのMixtral 8x7Bを提供
      • 英語、フランス語、イタリア語、ドイツ語、スペイン語とコードを扱う
      • MT-Benchスコアは8.3
      • モデルの詳細はMixtral関連のブログ記事で確認できる
    • mistral-medium
      • 最高品質のエンドポイントで、現在デプロイ環境でテスト中のプロトタイプモデルを提供
      • 標準ベンチマーク基準で、現在提供されている上位モデルの一つ
      • 英語、フランス語、イタリア語、ドイツ語、スペイン語とコードを扱う
      • MT-Benchスコアは8.6

  • モデルアライメントと埋め込み

    • 指示に従うモデルをより制御しやすく使いやすくするため、効率的なファインチューニングと直接選好最適化を組み合わせている
    • モデルはオープンWebから抽出したデータで事前学習した後、アノテーションベースの指示ファインチューニングを経る
    • mistral-embedは1024次元埋め込みモデルを提供する埋め込みエンドポイント
    • 埋め込みモデルは検索機能を念頭に設計されており、MTEB検索スコア55.26を記録

APIアクセスとベータ運用

  • APIは広く使われているチャットインターフェース仕様に従う
  • PythonとJavaScriptのクライアントライブラリでエンドポイントを呼び出せる
  • アプリケーションで出力制御が重要な場合、system promptでモデルの応答をより強く調整できる
  • 誰でも登録してAPIを利用でき、Mistral AIは容量を段階的に拡大中
  • ビジネスチームはユーザーの要件を確認し、アクセスを前倒しする支援ができる
  • プラットフォームが完全なセルフサービス状態として安定するまでは、荒削りな部分が残る可能性がある
  • NVIDIAはTensorRT-LLMとTritonの統合、sparse mixture of expertsのTRT-LLM互換対応を支援している

関連記事

1件のコメント

 
GN⁺ 2023-12-12
Hacker News のコメント

  • このニュースが一日中 HN のトップに固定されていないのが驚き
    30人前後に見える小さな会社が20億ドルの評価額を得て、最高性能の 7B モデルと、70B 級の性能を出しながら推論コストは 14B 程度の 7B×8 MoE モデルを出してきた
    Google や Anthropic よりも、OpenAI にとって大きな潜在的脅威になり得るように見える。最近の大型投資のおかげで、近いうちに妥当なトラフィック規模まで拡張し、業界の表舞台での誇示やドラマにうんざりしているトップ研究者を引き寄せられそう

    • すでに大きなスレッドがかなりいくつもあったため
      Mixtral of experts - https://news.ycombinator.com/item?id=38598559 - 2023年12月、コメント272件
      Mistral-8x7B-Chat - https://news.ycombinator.com/item?id=38594578 - 2023年12月、コメント69件
      Mistral AI Valued at $2B - https://news.ycombinator.com/item?id=38593616 - 2023年12月、コメント221件
      Mistral's mixtral-8x7B-32kseqlen on Vercel - https://news.ycombinator.com/item?id=38584179 - 2023年12月、コメント30件
      French AI startup Mistral secures €2B valuation - https://news.ycombinator.com/item?id=38580758 - 2023年12月、コメント76件
      Mistral "Mixtral" 8x7B 32k model [magnet] - https://news.ycombinator.com/item?id=38570537 - 2023年12月、コメント236件
      完全に同じニュースではないが、議論の流れはおおむね似ているので、すべて、または大半は準重複投稿と見なせる
    • 今の AI の波から出てきた会社の中では、間違いなく最も印象的
      6か月ほどで 7B モデルの基準点を打ち立て、急速にさらに大きな規模へ進んでいる
      3人チームとアイデアだけで3億ドルを調達するなんて、3月の投資ラウンドを過剰宣伝の兆候として笑っていたが、明らかに細部を知らなかった。実行力が本当にすごい
      GPT-4 の性能が不要なあらゆるユースケースを食い尽くし、近いうちに大型モデル領域まで狙ってくるかもしれない
    • ブログ記事とホームページを見ても、これが正確に何なのか少し把握しにくい
      なので、AI にかなり詳しい人だけが関連性に気づくのだと思う。それでも上の説明は確かに役に立つ
    • Mistral はフランスにあり、EU は今 AI 規制の方向で水を差す雰囲気になっている。長期的には悪材料になりそう
    • フランスの工学・コンピュータサイエンス教育は数学と理論を本当に重視する。これは AI では強みになる

  • ベンチマークが実際の性能につながるなら非常に印象的 [1]
    mistral-medium は、利用可能な比較ベンチマーク全般で GPT-3.5 と Google の現時点で公開されている最上位モデル Gemini Pro を大差で上回っている: https://screenbud.com/shot/c0d904e3-24a3-4c23-a1e4-2f18bc021...
    [1] Mistral 7B が基準なら、実際の性能差はさらに大きいと予想している。安全フィルタが任意適用という点も、安全なアプリケーションにおいてさえ大きな利点

    • Google の次の大型 AI が、すでにはるかに少ないリソースの小さな会社に押されているのだとしたら、Google にとってはかなり苦い話
    • Winogrande のスコアが GPT-4 より高い。他の指標は GPT-3 に近く見えるので意外
    • Gemini Pro が本当に「利用可能」なのかは疑問
      モデルが公開されるまでは、宣伝用ベンチマークは信じない。公開前に安全上の問題でどれだけ性能を下げる必要があるかによって変動が大きすぎる
    • 新モデルをオープンソースで公開するなら本当に興味深い
    • 動画を1つ見たが、Mixtral 自体がさまざまなタスクで驚くほどよくできていた。GPT-4 が必ずしも同じくらいうまくできない領域もあった

  • https://docs.mistral.ai/platform/pricing
    価格も公開されました
    出力トークン100万個あたり、Mistral-mediumは8ドル、Mistral-smallは1.94ドル、gpt-3.5-turbo-1106は2ドル、gpt-4-1106-previewは30ドル、gpt-4は60ドル、gpt-4-32kは120ドルです
    この価格設定は、Mistralがmistral-mediumはgpt-3.5よりかなり優れていると相当自信を持っているサインに見えます

    • これらのモデルのエネルギー要件の推定値があるのか気になります
      ざっくり計算すると、GTX 4090で30Bモデルの推論は毎秒30トークン程度出そうで [1]、1時間あたり10万トークン程度です
      こうしたシステムが約1kWを使うとすると、100万トークンあたり約10kWhになります
      現在の電気料金を基準にすると、30Bモデルで100万トークンあたり2〜4ドルを下回るのは難しいのではないかと思います
      [1] https://old.reddit.com/r/LocalLLaMA/comments/13j5cxf/how_man...
    • 入力トークンまで考慮すると、全体ではおおよそ100万トークンあたり5.25ユーロ対1.5ユーロに近いです
      Mistral-smallがgpt-3.5と最も直接競合するモデルに見え、しかもより安価です。100万トークンあたり1.2ユーロ程度です
      なお、入力と出力トークンの重みが同じだと仮定しており、ドル建て価格は確認できませんでした
    • まだこのように仮定するのは安全ではありません。依然として限定公開で、実質的には招待制に読めます。ある程度一般公開されてからでないと、テストして検証できません
    • MistralとGPTが同じトークナイザーを使っているのか気になります
    • mediumはOpenAI製品よりもAnthropicのClaudeと競合しようとしているように見えます
      https://www-files.anthropic.com/production/images/model_pric...

  • 「エンドポイントがアーリーアクセスで提供される」というのは、実際には「エンドポイントのアーリーアクセスに向けた長さ不明の待機リストがある」という意味です
    アクセスしようとすると、“Access to our API is currently invitation-only, but we'll let you know when you can subscribe to get access to our best models.”と表示されます

    • メール認証がこの1時間ほど複数の形で壊れていたのを見ると、宣伝への備えは思ったほどできていなかったようです

  • “Mistral-embed, our embedding endpoint, serves an embedding model with a 1024 embedding dimension. Our embedding model has been designed with retrieval capabilities in mind. It achieves a retrieval score of 55.26 on MTEB.”
    この埋め込みモデルがオープンソースなのか、または今後オープンソースになる予定があるのかについて情報があるのか気になります

  • “Mistral-Medium outperforms GPT-4 in Winogrande benchmark 88% vs 87.5%”
    出典: https://twitter.com/yupiop12/status/1734137238177698106

  • Lemonfox.aiのような複数のプラットフォームが、Mistralのファインチューニングモデルをより低価格で提供している点が興味深いです
    すでにMistral 8x7B APIも発表しています。収益化を望むなら、今後medium版のようなモデルも引き続きオープンソースとして公開するのか疑問が湧きます

    • 重みの公開がないなら、人々がなぜ関心を持つべきなのかと思います。GPT-4と競争できる頃には、すでにGPT-5が出ている可能性が高いです

  • 偶然、Fabrice BellardのTextSynthサーバーが新たにMistral 7Bモデルをサポートしているのを見ました
    “2023-10-21: CUDA support in the Windows version, mistral model support. Speculative sampling is supported. BNF grammar and JSON schema sampling.”
    “mistral_7B_instruct_q4 - 3.9GB - Mistral 7B chat model”
    https://bellard.org/ts_server/

  • “Mistral-medium. Our highest-quality endpoint currently serves a prototype model, that is currently among the top serviced models available based on standard benchmarks.”
    興味深いです。このモデルはChatGPT 3.5を上回ります。どのタイプのモデルなのかは分かりませんし、オープンソースではありません

    • ああ、ではollamaで使っているのはtiny版という名前のようです
      “Mistral-tiny. Our most cost-effective endpoint currently serves Mistral 7B Instruct v0.2, a new minor release of Mistral 7B Instruct. Mistral-tiny only works in English. It obtains 7.6 on MT-Bench. The instructed model can be downloaded here.”