GoModel - Goで書かれた高性能AIゲートウェイ

 (github.com/ENTERPILOT)
8 ポイント 投稿者 xguru 2026-04-30 | 1件のコメント | WhatsAppで共有
  • LiteLLM に似た軽量AIゲートウェイで、Goの単一バイナリのためコンテナイメージが軽く、コールドスタートが速い
  • OpenAI、Anthropic、Gemini、Groq、xAI など11のプロバイダーを、単一のOpenAI互換APIに統合
  • Dockerコンテナ1つにAPIキーを環境変数として渡すだけで、プロバイダー自動検出によりすぐ利用可能
  • /v1/chat/completions（ストリーミング）、/v1/responses、/v1/embeddings、/v1/models、/v1/files、/v1/batches などOpenAI APIの全エンドポイントをサポート
  • ネイティブAPIパススルー用の /p/{provider}/... も提供し、アップストリームの応答をそのまま転送（ゲートウェイが未対応の機能もそのまま利用可能）
  • 2層レスポンスキャッシュを内蔵
    • Layer 1: リクエスト本文ハッシュベースの完全一致キャッシュ（サブミリ秒で検索）
    • Layer 2: 埋め込みベクトルのKNN検索ベースのセマンティックキャッシュ（反復性の高いワークロードで60〜70%のヒット率）
    • ベクターバックエンドとして Qdrant、pgvector、Pinecone、Weaviate をサポート
  • 管理ダッシュボードUIを内蔵し、トークン使用量、コスト追跡、監査ログ、プロバイダー状態、モデルオーバーライドなどを確認可能
  • Prometheusメトリクス、監査ロギング、ガードレールパイプラインなどのオブザーバビリティ機能を内蔵（それぞれ環境変数で有効化）
  • GOMODEL_MASTER_KEY によるAPI認証、ストレージバックエンドは SQLite・PostgreSQL・MongoDB を選択可能
  • 同一プロバイダーの複数インスタンス登録も、接尾辞付き環境変数（例: OPENAI_EAST_API_KEY）でサポート
  • ストレージバックエンドとして SQLite（デフォルト）、PostgreSQL、MongoDB を選べるため、小規模ではインストール直後に使え、大規模ではDBの差し替えだけで拡張可能
  • 0.2.0ロードマップ: インテリジェントルーティング、DeepSeek V3・Cohere の追加、user_pathごとの予算管理、クラスターモードなどを予定
  • MITライセンス

関連記事

1件のコメント

 
xguru 2026-04-30

LiteLLMの導入を検討している企業であれば、一度軽量な代替として考えてみる価値はありそうです。

PythonベースのLiteLLMは以前に一度サプライチェーン攻撃を受けたことがあるので、相対的にGoのほうがやや安全に見えるという面もありますね。