Ollama、Windowsでプレビュー版として利用可能に

Windows版でのOllamaプレビュー利用

• OllamaがWindowsでプレビュー版として利用可能になりました。
• Windows版Ollamaには、GPUアクセラレーション、全モデルライブラリへのアクセス、OpenAI互換のOllama APIが含まれます。

ハードウェアアクセラレーション

• OllamaはNVIDIA GPUと、AVXやAVX2などの最新CPU命令セットを使ってモデル実行を高速化します。
• 設定や仮想化なしで利用可能です。

モデルライブラリへのフルアクセス

• Windowsで実行可能なOllamaの全モデルライブラリにアクセスできます。
• LLaVA 1.6のようなビジョンモデルを実行する際、画像をドラッグ＆ドロップしてメッセージに追加できます。

常時動作するOllama API

• OllamaのAPIはバックグラウンドで自動的に実行され、追加設定なしでツールやアプリケーションからアクセスできます。
• たとえば、PowerShellを使用してOllamaのAPIを呼び出す方法が提示されています。

始め方

• Ollama on Windows Previewを開始するには、Ollamaをダウンロードしてインストールします。
• インストール後、端末を開いてモデルを実行するために ollama run llama2 コマンドを使います。
• 新しいリリースが出るたびにOllamaは更新を通知します。
• フィードバックを依頼しており、問題が発生した場合はIssueを作成するかDiscordサーバーに参加して報告することを勧めています。

GN⁺の見解

• Windows統合: OllamaのWindows統合は、開発者がWindows環境でも大規模言語モデルを簡単に使えるようにすることで、機械学習とAI開発のアクセシビリティを高めます。
• ハードウェアアクセラレーション: GPUと最新のCPU命令セットを活用したハードウェアアクセラレーションは、モデルの実行速度を大幅に向上させ、複雑な設定なしで性能を最大化できます。
• APIのアクセシビリティ: 常時稼働のAPIとOpenAI互換性は既存ツールとの連携を簡単にし、開発者の作業をより効率化します。

[GN⁺]

Hacker Newsの意見

• ユーザーは自分のデスクトップでOpen-WebUIフロントエンドを使い、Mistralなどいくつかの他モデルを微調整したコレクションを運用している。これらはチャットと情報抽出タスクで十分に良い性能を示している。Open-WebUIアプリはChatGPTと非常に似ており、会話を検索することもできる。

  Open-WebUI GitHubページ

• AMD GPUのサポートが言及されていないのが残念で、今選んだAMDに対して後悔している。
• Ollamaをベースに、オンラインモデルとローカルモデルの両方をサポートするチャットUIを探す人向けに、プライバシー重視のオフラインアプリを開発中で、当日朝にWindowsサポートを追加した。

  msty.app

• 多くの「ローカルで実行」するAIツールが、なぜサーバーとして実行されるのか疑問に思う。開発者がUIプロセス内でコードを実行できることを忘れているのではないかとも考える。Stable DiffusionランナーとLLMホストでも同じ現象が見られる。不要な場合はローカルでバックグラウンドサービスを実行したくない。
• オープンソースではないLM StudioとOllamaの評価が気になる。

  LM Studio

• 数年前ならMacユーザーはおそらく待っていたのに、WindowsユーザーがOllamaを利用できないという事実は知らなかった。
• LinuxとMacではすでに利用可能で、Windowsサポートが追加されたという点を挙げている。

  Ollama GitHubページ

• Windowsマシンで数日前からOllamaを使い、VS Codeでローカルタブの自動補完を使ってみたが、Macで使う場合と同じくらい性能が良かった。
• 新しいMac Miniにllama2モデルをインストールした後、システム全体のカーネルパニックを体験した。いったいどういうことだ？
• ローカルモデル上で実行して開発することが、人々が好む方法なのか、学習すべき他の必須ツールがあるのかを問うている。