ミストラル: 初のAIエンドポイント、早期アクセスが可能

 (mistral.ai)
2 ポイント 投稿者 GN⁺ 2023-12-12 | 1件のコメント | WhatsAppで共有

Mistral AIの新しいプラットフォームサービスのベータ公開

  • Mistral AIは開発者向けに、強力なオープン生成モデルと、それらを効率的にデプロイしてカスタマイズする方法を提供。
  • テキスト指示に従ってテキストを生成する3つのチャットボットエンドポイントと、埋め込みエンドポイントを提供する初のプラットフォームサービスのベータアクセスを本日開始。
  • 各エンドポイントは異なる性能/価格のトレードオフを持つ。

生成エンドポイント

  • mistral-tinyとmistral-smallは現在公開されている2つのモデルを使用し、mistral-mediumはデプロイ環境でテスト中のプロトタイプモデルを使用。
  • モデルは、ユーザーが簡単に制御でき、使っていて楽しいモデルを実現するために、効率的なファインチューニングや直接選好最適化のような最も効果的なアラインメント技術を統合。
  • Mistral-tinyは英語のみをサポートし、Mistral-smallは複数言語とコードをサポート、Mistral-mediumは最上位クラスのサービスモデルの1つと評価されている。

埋め込みエンドポイント

  • Mistral-embedは検索機能を念頭に置いた埋め込みモデルを提供し、埋め込み次元は1024。
  • この埋め込みモデルはMTEBで55.26の検索スコアを達成。

API仕様

  • APIは、競合他社が最初に提案した人気のチャットボットインターフェース仕様に従う。
  • PythonおよびJavascriptのクライアントライブラリを提供し、エンドポイントをクエリできる。
  • エンドポイントでは、ユーザーがモデル出力に対してより高いレベルのモデレーションを設定できるよう、システムプロンプトを提供できる。

ベータアクセスから一般提供への拡大

  • 本日から誰でもAPIに登録して利用でき、今後は容量を段階的に拡大していく予定。
  • ビジネスチームが要件の把握やアクセスの迅速化を支援できる。
  • プラットフォームを完全なセルフサービス状態として安定化させる過程で、不安定な部分がある可能性がある。

謝辞

  • NVIDIAには、TensorRT-LLMとTritonの統合を支援し、TRT-LLMと互換性のある疎なMixture of Expertsの構築を共に進めてくれたことに感謝。

GN⁺の意見

  • この記事で最も重要なのは、Mistral AIが新しい生成モデルと埋め込みモデルを開発者に提供し、より優れたテキスト生成と埋め込み機能を利用できるようになった点。
  • こうした技術は人工知能の発展を促進し、さまざまな言語とコードを支援する能力は、グローバル市場での応用可能性を大きく広げるだろう。
  • 開発者にとっては、新しいツールとAPIを通じて創造的なプロジェクトやソリューションを開発できる興味深い機会を提供し、技術の未来への期待を高めるニュースだ。

関連記事

1件のコメント

 
GN⁺ 2023-12-12
Hacker Newsのコメント
  • 小規模な企業（約30人規模）が20億ドルの評価を受け、最高性能の70億モデルと70億*8のMoEモデルを生み出した。これらのモデルは700億モデル並みの性能を発揮しながら、必要な推論能力は140億モデル分にすぎない。これはOpenAIにとってさらに大きな脅威になり得るうえ、最近の資金調達によって近いうちにトラフィック負荷に耐えられるよう拡張し、業界のさまざまな問題に失望した優秀な研究者たちを引きつけられるはずだ。
  • Mistral-mediumモデルはベンチマークでGPT-3.5とGoogleのGemini Proモデルを大差で上回った。実際の性能もベンチマークと同じくらい印象的であることが期待され、安全フィルターが選択式で提供されるのも、安全なアプリケーションにとって大きな利点だ。
  • Mistralの価格が公開された。Mistral-mediumは出力100万トークンあたり8ドル、Mistral-smallは1.94ドルで、GPT-3.5とGPT-4の価格と比べても競争力があることを示している。
  • Fabrice BellardのTextSynthサーバーがMistral 7Bモデルのサポートを開始した。CUDA対応、BNF文法およびJSONスキーマサンプリングなどの機能が追加された。
  • 競争は世界を前進させる方法だ。小規模から大規模までのプレイヤーが競争力のあるモデルを持っているのはうれしい。ベンチマークを発表する際に、自分たちに有利なよう調整されたテスト方式なのが残念だ。オープンベンチマークを通じて主要モデルを公平に比較する取り組みが必要だ。
  • こうしたモデルのコンテキストサイズの制限に関する議論が不足している。スライディングウィンドウ技術は実際には記憶力を約8kトークンに制限してしまい、多くの作業には不十分だ。Llama2派生モデルは、パラメータ数だけでなく、提供されるコンテキストが小さいためにも微調整が必要になる。
  • 「早期アクセス可能なエンドポイント」は、実際には「エンドポイントへの早期アクセスのためのウェイトリスト」を意味する。APIアクセスは現在招待制で、最高性能モデルへのアクセスをサブスクライブできるようになったら通知するとのことだ。
  • ChatGPT-3.5に勝ったのは本当にすごい成果だ。GPT-3.5は日常的な用途には十分ではなく、GPT-4への期待が大きい。
  • Mistral APIは競合他社が提案した人気のあるチャットインターフェースの仕様に従っている。これは面白いし、気に入っている。
  • Mistral-embedは1024次元の埋め込みモデルを提供しており、検索性能を念頭に設計されている。MTEBで55.26の検索スコアを達成している。この埋め込みモデルがオープンソースとして提供されるかどうかについての情報はまだない。