Ollama Turbo
(ollama.com)- Ollama Turboは、高性能データセンターハードウェア上で大規模オープンモデルを高速に実行できる新しいソリューション（月額$20）
- Ollamaのアプリ、CLI、API、および JavaScript/Python ライブラリをそのまま使い、巨大モデルを高速かつ効率的に運用する方法を提供
- 現在はプレビュー状態で、OpenAIの公開モデルであるgpt-oss-20bとgpt-oss-120bをサポート
- Turboモードを使用すると、クエリ履歴がサーバーに保存されることも、ログとして残ることもありません
- 米国内のデータセンターでのみハードウェアを運用し、時間ベースおよび1日あたりの使用量制限が適用され、将来的には従量課金制も導入予定
1件のコメント
Hacker News のコメント
素晴らしいリリースだと思う。現在、企業でOSSモデルを使うときに最も難しいのは、速度、コスト、信頼性、機能の同等性（例：コンテキストキャッシュ）、性能（どの量子化レベルか、など）、ホスト地域／データプライバシーの担保、LTSなど、多岐にわたる要素があるためだ。実質的に、OSSモデルを三大企業以外で使おうとするなら、これらすべての観点で提供者を自分で評価する必要があり、このプロセスにはかなり高い専門性が必要になることもある。場合によっては、カスタム評価ツールを作成しなければならないこともある。反対に、Anthropic、OpenAI、Googleは“そのまま動く”体験を提供しており、その対価を支払っていることになる。価格は少し高いが、“すべてを代わりにやってくれる”ことに対する対価だと思う。OSS提供者が標準化を進めない限り、オープンソースモデルは理論上、クローズドモデルと性能が同等でも、実際の大規模デプロイでは競争が難しい中間段階に留まるだろう
Gpt-ossモデルは4.5ビットのquant形式でのみ提供されている。これは純粋なオリジナルモデルで、fp16モデルは存在しない形だ
Ollamaがこういうことをやっていることを嫌な反応を示す人もいるが、実際にはローカルでモデルを開発・テストするのが最も簡単なソリューションだと思う。確かに、llama.cppが真のエンジンでOllamaは一種のラッパーにすぎない。実際の商用サービスではOllamaを使いたくない。とはいえ、技術理解度の低い人がLLM機能があるシステムをすぐに自分で開発・実行したい場合、GUIと.dmgファイルですぐインストールできる点が良い
有難いフィードバックです。最近のマルチモーダルエンジン更新後、Ollamaはもはやllama.cppの単なるラッパーではない。なお、GGMLライブラリは引き続き使用しており、ハードウェアパートナーと協力して性能最適化を進めている。Ollamaはおもちゃのように見えることもあるが、シンプルさを保つために非常に多くの努力をしている。シンプルさはしばしば見落とされるが、私たちは望む世界を作りたい
Ollamaを商用環境で使いたくないという意見があった。実際、vLLMとOllamaで起動速度と1秒あたりのトークン処理速度をベンチマークしたところ、Ollamaが最も良い結果だった。いずれその結果を公開できることを願う
適切なデータセンターGPUを使えず、デスクトップまたはクライアント側の展開だけが可能な場合、Ollamaが最適な選択となる。これは珍しい状況ではないが、実際には4090搭載デスクトップしか使えない組織は現実に存在する
Ollamaは“ローカル”の代名詞だと思うので、今後どうなるか気になる
大手企業を信頼しない、比較的声の大きい少数のユーザーがいるが、こうした人々は小規模会社の類似サービスをお金を払って使うことを容認する。果たしてこのようなユーザーが実際にOllamaのようなサービスに費用を払うのか気になる
クラウドゲームサービスのように感じる。概してはローカル利用に満足しているが、時にはハードウェアコストを他者に押し付けるほうが効率的であることもある。結局は選択の問題であり、全か無かの問題ではないと思う
「Privacy first」に関する具体的な内容がさらに知りたい。『データを保存しない』とだけ強調するなら不足を感じる。たとえばDraw Thingsで『Cloud Compute』を提供する場合も、すべてのデータ処理はリクエストごとのRAMでのみ行い保存しない。ただし個人的にもこの方式には満足していない。まもなく『privacy pass』サポートを追加する予定だが、それにも限界がある。ハードウェア側で検証可能な透明性ログがあればよいのに、どこから始めるべきかわからない
Ollamaと協業しているからといってプライバシー面で優位だとは思わない。Ollamaもデータを販売したり、必要なら法的にデータ提出を求められたりすることがある
プライバシーポリシーが見えず、デスクトップアプリがオープンソースではないため、信頼を得られない。[参考として、透明性ログなどのプライバシー保証が本当に機能するLLMコールソリューションを作っている]
スイスやGDPRを守る国でモデルを実行できるようにしてくれるなら、遅延が少し増えても追加で費用を払うつもりはある。データ転送も必ずSSLなどのセキュリティプロトコルで処理してほしい
同じ20ドルを払ってOllamaで“劣った”モデルを使うより、OpenAIでSOTAモデルを使う方がよいのではないかという疑問がある
Ollama Turboの主な利点は、適切なハードウェアがあればローカルで実行できる各種モデルをクラウド上で即座にテストできることだ。高価なハードウェア（mac studio、dgxなど）を購入して自社構築を行う前に、このようなオープンモデルを素早く試し、導入可能性を見極められる。プライバシーが重要な金融、医療、法務分野の専門開発者は、オンプレミスとローカル環境を望む傾向がある。まずこのサービスで非機密データを試験・開発し、実運用に切り替える際には自社のハードウェアへ移せるという利点を享受できる
フィルターなしで自由に実行できることがメリットだ。OpenAIは過度にフィルタリングをかけ、どの規則違反をしたのかも教えてくれない。プロンプトを変えながら著作権、商標権など違反の有無を自分で確認する必要があり、最近では単純に質問するだけでもきちんと回答しない。LLMの『ガードレール』がない版を求めている
大規模モデルの価格が今後も20ドル程度にとどまるとは確信できない。とにかく市場が競争的に保たれることを常に望む
データプライバシーが最重要な理由のようで、料金プランとしてもより多くの利用量を提供することを期待できると考える。個人的にはデータプライバシーが核心だ
予想通りのことだった。ローカル推論コミュニティはOllamaを中心に集まっているが、Ollamaの長期的な戦略や優先順位がそこにあるのかは明確でない。迅速に代替へ移行すべきだと思う
Ollamaの基盤ライブラリであるllama.cpp自体がサーバー機能を備えており、open-webuiと完全に互換する。実際、数か月前からollamaの代わりにllama-serverへ移行しており、同じUIを使っているので不満はまったくない
Ollamaはオープンで、追加GPUを希望するユーザーのみに課金する構造になっている。実際、GPUコストはかかるため正当な料金が課され、その収益でオープンソースプロジェクトのコアを成長させることは必要だと思う。ある程度は合理的で、良識的に行えば素晴らしい成果物を作れると信じる
その目標としてgithub.com/containers/ramalamaというプロジェクトも存在する
Huggingfaceもクラウド商品を提供しているが、だからといってモデルウェイトをダウンロードしてローカルで実行できないことを意味しない
結局、無料サービスを持続不能な形で望むことには限界がある。オープンソースの代替を作りたい人は、時間をかけて自分で作ることができる。そうでなければ、この現実を受け入れる必要がある
Ollamaがなぜこの決定を下したのか混乱する。収益を下げる意図がなければ、誰かの圧力を受けているように見える。ローカル向けソリューションが本当にうまく機能し、より多くのアイデアを展開できるはずなのに、別のクラウドサービスを作ってしまったのは残念だ。Ollamaがこれからも好きで、変わらず素晴らしかったらいい
このニュースで気になる部分が多い。代表的なローカルOSSモデルエンジンとして、今回、最初からOSSのみを提供するのは、今日の発表タイミングとOSSブームに乗る戦略のように見える。サブスクリプション型の料金プランも興味深いが、他のプレイヤーも採用中ではあるが、APIベースのサービスでは珍しい方式だ。長期的にLLMの価格競争が起きると予想するが、APIサービスで月額課金が生まれるのもその兆候かもしれない。Ollamaにローカルエンジンと今回のクラウドサービスの双方を維持するだけのリソースがあるか気になる
まもなく“使用量ベースの料金プラン”が登場すると言われたが、この種のサービスにまさに適した形だと思う。私もAnthropicに20ドル払っているが、個人的にはこのサービスに同額を払うほどの使用量はなさそうだ。それでも、さまざまなモデルをすぐ呼び出して比較できる点は本当に有用だ。チームにぜひ良い成果があることを願う
オープンソースLLMに定額制サービスというのはかなり独特だ。私は使うつもりはないが、もし使用量ベース課金が適用されるなら、deepinfra.com、novita.ai、openrouter.aiなどの既存の強力プレイヤーといきなり競合しなければならない。Ollamaの認知度はより高いが、既存サービスもすでに価格競争力が高い
使用量ベースの料金プランが間もなく出ることには賛成する。ただし、すでにOpenAIベースモデルを多数提供するプロバイダーが多いため、Ollamaの差別化が何か気になる。自分のAPIキーを使う使いやすいインターフェースはすでに多く存在する
APIアクセスに月額20ドルのサブスクは確かに新鮮だ
API利用のサブスクリプション料金は本当に興味深い試みだ。実際の価値は、利用上限が公開されていないかどうかで左右されると思う