GPTCache - LLMへの問い合わせに対する回答をキャッシュするライブラリ

xguru · 2023-04-24T10:03:05+09:00

LLMの回答をキャッシュして、組織のLLMコストを削減し、回答速度を高速化セマンティックキャッシュ戦略により、類似または関連する問い合わせを見つけてキャッシュヒット率を向上埋め込みアルゴリズムによって問い合わせを埋め込みに変換し、ベクターストアを通じてこの埋め込みに対する関連検索を実行 LLM Adapter : OpenAI ChatGPTおよびLangChainをサポート（Bard/Anthropic/LLaMAなども対応予定） MultiModal Adapter : OpenAI Image Create, OpenAI Audio Transribe, HuggingFace Stable Diffusion Embedding Generator : OpenAI, ONNX, HuggingFace, Cohere, fastText, SentenceTransformers Cache Storage : SQLite, PostgreSQL, MySQL, SQLServer,.. Vector Store : Mulvus, Zilliz Cloud, FAISS, Hnswlib Cache Manager : LRU, FIFO

(github.com/zilliztech)

13 ポイント投稿者 xguru 2023-04-24 | まだコメントはありません。 | WhatsAppで共有

LLMの回答をキャッシュして、組織のLLMコストを削減し、回答速度を高速化
セマンティックキャッシュ戦略により、類似または関連する問い合わせを見つけてキャッシュヒット率を向上
- 埋め込みアルゴリズムによって問い合わせを埋め込みに変換し、ベクターストアを通じてこの埋め込みに対する関連検索を実行
LLM Adapter : OpenAI ChatGPTおよびLangChainをサポート（Bard/Anthropic/LLaMAなども対応予定）
MultiModal Adapter : OpenAI Image Create, OpenAI Audio Transribe, HuggingFace Stable Diffusion
Embedding Generator : OpenAI, ONNX, HuggingFace, Cohere, fastText, SentenceTransformers
Cache Storage : SQLite, PostgreSQL, MySQL, SQLServer,..
Vector Store : Mulvus, Zilliz Cloud, FAISS, Hnswlib
Cache Manager : LRU, FIFO

GPTCache - LLMへの問い合わせに対する回答をキャッシュするライブラリ

関連記事

まだコメントはありません。