- NVIDIAがNemotron-4 340Bモデル群を発表
- ヘルスケア、金融、製造、小売など多様な業界で、商用LLMの訓練向けに合成データを生成するために利用可能
- 高品質な訓練データは、カスタムLLMの性能、精度、応答品質において重要な役割を果たす。しかし、堅牢なデータセットは高コストで入手しにくい
- Nemotron-4 340Bは、開発者が強力なLLMを構築するのに役立つ合成データを無料で生成できる、スケーラブルな方法を提供
- Base、Instruct、Rewardモデルを含む
- LLMの訓練と改善に使われる合成データを生成するためのパイプラインを構成
- オープンソースフレームワークのNVIDIA NeMoに最適化されており、NVIDIA TensorRT-LLMライブラリとも互換性がある
- 現在Hugging Faceからダウンロード可能で、ai.nvidia.comではNVIDIA NIMマイクロサービスとしても提供予定
Nemotronを用いた合成データ生成
- LLMは、大規模で多様なラベル付きデータセットへのアクセスが難しい状況で、合成訓練データを生成するために利用可能
- Nemotron-4 340B Instructモデルは、実データの特性を模倣した多様な合成データを生成し、カスタムLLMの性能と堅牢性を高められる
- Nemotron-4 340B Rewardモデルは、AIが生成したデータの品質を高めるため、高品質な応答をフィルタリングする。このモデルは応答を、有用性、正確性、一貫性、複雑性、冗長性の5つの属性で評価する
- 研究者はNemotron-4 340B Baseモデルをユーザー独自データと組み合わせて使用し、独自のInstructまたはRewardモデルを作成できる
NeMoによるファインチューニングとTensorRT-LLMによる推論最適化
- NVIDIA NeMoとNVIDIA TensorRT-LLMを使用して、合成データを生成し応答を評価するために、InstructモデルおよびRewardモデルの効率を最適化できる
- Nemotron-4 340Bモデル群は、複数のGPUとサーバーにまたがって個別の重み行列を分割することで、効率的な大規模推論を可能にするテンソル並列処理を活用する
- 9兆トークンで訓練されたNemotron-4 340B Baseモデルは、NeMoフレームワークを使って特定の用途やドメイン向けにカスタマイズできる
- NeMoフレームワークを通じてさまざまなカスタマイズ手法が提供され、これにより精度を高め、特定のサブタスクに対する出力を改善できる
- モデル品質を向上させるため、NeMo AlignerとNemotron-4 340B Rewardモデルは、アノテーション付きデータセットを用いてモデルをアラインメントできる
1件のコメント
Nemotronを用いて合成データを生成し、これをLLMの学習に活用可能