Ollama v0.1.33 - Llama 3 + Phi 3 + Qwen 110B をサポート

 (github.com/ollama)
8 ポイント 投稿者 xguru 2024-04-30 | 1件のコメント | WhatsAppで共有
  • 新しいモデルをサポート
    • Llama 3: Metaの新しいモデルであり、現時点で最も高性能なオープンLLM
    • Phi 3 Mini: Microsoftの新しい38億パラメータを持つ軽量なオープンモデル
    • Moondream: エッジデバイスで効率的に動作するよう設計された小型の視覚言語モデル
    • Dolphin Llama 3: Llama 3ベースでEric Hartfordが訓練した無修正モデル。さまざまな教育、対話、コーディング機能を含む
    • Qwen 110B: 評価で優れた性能を示した100Bパラメータ規模のモデル（Alibaba）
  • バグ修正
    • モデルが終了せずAPIが停止していた問題を修正
    • Apple Silicon Macでのメモリ不足エラーを修正
    • Mixtralアーキテクチャのモデル実行時のメモリ不足エラーを修正
  • 実験的な並行性機能
    • OLLAMA_NUM_PARALLEL: 単一モデルに対して複数のリクエストを同時に処理
    • OLLAMA_MAX_LOADED_MODELS: 複数のモデルを同時にロード
    • 環境変数の設定が必要
      • OLLAMA_NUM_PARALLEL=4 OLLAMA_MAX_LOADED_MODELS=4 ollama serve

関連記事

1件のコメント

 
siabard 2024-04-30

複数モデルの利用が必要だったのですが、できるようになりましたね。^^=b