oh-my-free-models - 無料LLMの中で今もっとも速いモデルへコーディングエージェントをルーティングするローカルプロキシ

oh-my-free-models (omfm) は、コーディングエージェントを複数の無料プロバイダーの中からその時点で最速のモデルへルーティングするローカルプロキシです。OpenAI または Anthropic 互換エージェントの baseURL を localhost に変更し、いくつかの無料モデルを選んでおけば、latency・rate-limit・quota が揺らぐ間も omfm がリクエストを流し続けます。

なぜ必要なのか

Free tier のコーディングエージェントは、スペックシート上では問題なさそうに見えても、実際に動かしてみると4つの場所でつまずきます。

• Rate limit で作業の途中に止まります。 OpenRouter や NVIDIA の無料モデルは、予告なく 429 を返します。順調に動いていた実行がツール呼び出し1回で止まり、人が直接リトライしなければなりません。

• Latency が時間帯ごとに大きく変動します。 同じ無料モデルでも、朝は速く午後は使いものにならないほど遅くなります。時間や地域によって異なるため、「速いモデル」をあらかじめ決めておくことはできません。あるのは「今この瞬間に速いモデル」だけです。

• Quota が尽きると、provider を手作業で差し替える必要があります。 ある provider の無料 quota がなくなると、キーと baseURL を直接変更しなければなりません。エージェント設定はその変化を自力で追従してくれません。

• 無料カタログは頻繁に変わります。 モデルが新しく追加され、消え、deprecated 表示が付き、ひっそりとエラーを返し始めます。ダッシュボードが知らせてくれるのではなく、実際にぶつかって初めて分かります。

主な機能

• 選択した無料モデル pool の中から、現在の latency がもっとも低い live model へリクエストをルーティング
• 429/402 などの rate limit・quota エラーが出たモデルは約10分間 cooldown 処理
• OpenAI 互換 /v1、Anthropic 互換 /anthropic エンドポイントを提供
• OpenClaw、Hermes Agent、OpenCode などの OpenAI-compatible client で url=http://localhost:4567/v1, model=omfm の形で利用可能
• Claude Code では Anthropic base URL を http://localhost:4567/anthropic に変更して利用可能
• omfm/fast、omfm/balanced、omfm/capable グループで用途別にモデル pool を分離可能
• omfm model, omfm start, omfm status, omfm doctor, omfm usage などの CLI を提供

特に OpenClaw や Hermes Agent のように OpenAI-compatible endpoint を受け付けるローカル/CLI コーディングエージェントで有用です。エージェント設定はそのままに、base URL と model だけを omfm に変えれば、背後では無料モデルの latency 測定、失敗したモデルの除外、provider の切り替えが自動で行われます。

[channprj]

面白いプロジェクトですね。9router を少し思い出しましたが、より free models に特化しているようで興味深いです。良い製品をありがとうございます。

https://9router.com

[happyhaki]

おお、こういうのがあるんですね。共有ありがとうございます。私はLiteLLMを考えていましたが、omfmに有料プロバイダーを入れた瞬間に違いがなくなる気がするので、無料モデルだけを維持しようと思います。