Ollama、AMDグラフィックカードをサポート開始

 (ollama.com)
3 ポイント 投稿者 GN⁺ 2024-03-16 | 1件のコメント | WhatsAppで共有
  • Ollamaがプレビュー版で、WindowsとLinuxにおいてAMDグラフィックカードのサポートを開始
  • Ollamaのすべての機能が、LinuxとWindowsでAMDグラフィックカードによって高速化可能に

サポートされるグラフィックカード

  • AMD Radeon RXシリーズ: 7900 XTX, 7900 XT, 7900, 7800 XT, 7700 XT, 7600 XT, 7600, 6950 XT, 6900 XTX, 6900XT, 6800 XT, 6800, Vega 64, Vega 56
  • AMD Radeon PROシリーズ: W7900, W7800, W7700, W7600, W7500, W6900X, W6800X Duo, W6800X, W6800, V620, V420, V340, V320, Vega II Duo, Vega II, VII SSG
  • AMD Instinctシリーズ: MI300X, MI300A, MI300, MI250X, MI250, MI210, MI200, MI100, MI60, MI50
  • さらに多くのAMDグラフィックカードのサポートも近日提供予定。

関連記事

1件のコメント

 
GN⁺ 2024-03-16
Hacker Newsの意見

  • llama.cppへの貢献に対する評価不足

    • llama.cppの提供する技術を土台にしているツールについて、llama.cpp自体が直接的な評価や謝意を十分に受けていないのが目立つ。
    • 他の「ローカル実行」ソフトウェアは相応のクレジットを得ているのに、OllamaはMITライセンス上は問題がないように見えるものの、リポジトリにもブログにもOllamaのWebサイトにも感謝の表明がない。

  • OllamaのAMDサポートに関するブログ記事への意見

    • ブログ記事は少し面白く感じられる。すでに数週間前からAMD RX 6650でOllamaを動かしていた。
    • 21日前からROCmコンテナが提供されており、最新リリースの0.1.29と合わせて公開されたようだ。AMDサポートに関して今回のリリースで実際に何が変わったのか気になる。
    • 正式対応していないAMDカードでOllamaを動かすまでの経緯を扱ったissueがある。やることは環境変数を設定するだけだ。
    • starcoder2モデルが今では動作するようになったという変更点を見つけた。以前はクラッシュしていた。

  • Ollamaへの過剰な関心に対する疑問

    • Ollamaがこれほど注目される理由がよくわからない。一度に1つのモデルしか扱えず、実験用途に限られた価値しかない。
    • 試行錯誤を非常に簡単にしてくれるが、llama.cppに完全に依存しており、主な価値提案が簡単なモデル管理であることを考えると、受けている注目や称賛に比べて価値が過大評価されていると思う。
    • 初期の実験が終われば、結局はモデルを本番環境にデプロイする必要がある。llama.cppにクレジットを与えていないことだけでなく、この製品が提供する価値に比べて過度に注目されている点を指摘したい。

  • RX 6800/6800 XT / 6900 XTのサポートへの感謝

    • コロナ後の品不足のせいで高額で購入したカードをML作業に使えるようになってうれしい。
    • Ollamaプロジェクトとllama.cppに感謝している。

  • Ollama実行時のAMD関連警告メッセージ

    • fooocusは動くが、Ollamaを実行するとAMD Linuxドライバ関連の警告メッセージが表示される。
    • ROCmライブラリがないためCPUを使うことになる。
    • Arch LinuxでROCmを再インストールする方法を確認しなければならない。

  • CUDAの競争力低下への前向きな反応

    • こうしたプロジェクトが増えるほどCUDAの重要性は下がり、Nvidiaの競争力も弱まる。

  • ローカルLLMソフトウェアが新しいハードウェア購入を促す

    • RX 570/580のような古いカードはサポートされず、新しいハードウェアのほうが高性能ではあるが、CUDAは2007年、ROCmは2016年に登場しているため、必ずしも最新カードが必要なはずはないと思う。

  • Ollamaの手軽な使用体験

    • ローカルモデルを動かした経験はなかったが、Ubuntu 22で7600カードを使ってすぐに動作し、とても良かった。

  • OpenCLの活用に関する疑問

    • OpenCLはCudaと比べてあまり使われていないのに、どうやってこれをうまく実装したのか気になる。
    • 4090カードにかなりの金額を払ったが、選択肢があればよかったと思う。

  • Nvidiaカード価格とAMDサポート改善への取り組み

    • 最上位Nvidiaカードは非常に高価で入手もしづらく、その状況の中でAMDサポート改善に向けた多くの努力が行われていることを示している.