- NVIDIAと協力して開発された120億パラメータモデル Mistral NeMo をリリース
- 最大128kトークンの大きなコンテキストウィンドウを提供
- 推論、世界知識、コーディング精度が同クラス最高水準
- 標準アーキテクチャを採用しており、Mistral 7Bを使用するシステムに容易に適用可能
- 研究者と企業による採用を促進するため、Apache 2.0ライセンスの下で事前学習済みのベースおよび命令調整チェックポイントを公開
- 量子化を意識した学習により、性能劣化なしでFP8推論が可能
多言語モデル
- グローバルな多言語アプリケーション向けに設計
- 関数呼び出し向けに学習されており、大きなコンテキストウィンドウを持つ
- 英語、フランス語、ドイツ語、スペイン語、イタリア語、ポルトガル語、中国語、日本語、韓国語、アラビア語、ヒンディー語で特に強力
- すべての言語のユーザーに最先端のAIモデルを提供することを目指す
Tekken、より効率的なトークナイザー
- Tiktokenベースの新しいトークナイザー Tekken を使用
- 100以上の言語において、自然言語テキストとソースコードをSentencePieceトークナイザーより効率的に圧縮
- ソースコード、中国語、イタリア語、フランス語、ドイツ語、スペイン語、ロシア語で約30%高効率
- 韓国語とアラビア語ではそれぞれ2倍、3倍高効率
- Llama 3トークナイザーと比較して、約85%の言語でより優れた圧縮性能
インストラクション・ファインチューニング
- Mistral NeMoは高度なファインチューニングおよびアラインメント段階を経ている
- Mistral 7Bと比べて、正確に命令へ従い、推論し、マルチターン対話を処理し、コードを生成する能力が大幅に優れている
リンク
- ベースモデルおよび命令モデルの重みはHuggingFaceでホスティングされている
- mistral-inferenceでMistral NeMoを試せ、mistral-finetuneで調整可能
- NVIDIA NIM推論マイクロサービスとしてパッケージ化されており、ai.nvidia.comで利用可能
1件のコメント
Hacker Newsの意見
Mistral NeMoはNVIDIAと協力して開発された12Bモデルで、最大128kトークンの大きなコンテキストウィンドウを提供する
Mistral NeMoは新しいトークナイザーTekkenを使用しており、これは100以上の言語で学習され、SentencePieceよりも効率的にテキストとソースコードを圧縮する
NVIDIAブログにもMistral NeMoに関する投稿がある
大規模モデルが急速にリリースされており、これは企業がスケーラブルなプロセスを拡張する方法を見つけたことを意味する
NVIDIA Enterpriseに加入して"NIM"パッケージ版を試す体験が不便だという意見がある
Mistralがオープンソースの発展を真剣に考えるなら、モデル学習に使われたコーパスを共有すべきだという意見がある
多言語で学習することが"クロスオーバー"をもたらすのかという質問がある
オープンソースの生成AIモデルを無料で公開するビジネスモデルがよく理解できない