軽量で効率的なRAGモデル評価コードプロジェクト
(github.com/instructkr)Retriever Simple Benchmark は、RAGに必要なリランカーを評価するために設計された 軽量で効率的なベンチマークプロジェクト を目指して作られています。
必要に迫られて作っており、オープンソースとして開発しています。
Why?
既存のベンチマークツール（例: MTEB）は、依存関係のインストールや実行が煩雑で使いにくいというフィードバックが多くありました。
非常に簡単に、最小限の依存関係で、軽量に動かせて、すぐに結果を確認できることを目標にしています。
リポジトリ紹介
- 現在は韓国語ベースの cross-encoder をサポートしており、今後 bi-encoder モデルも追加する予定です。
- Pythonプロジェクトを保守しやすくするために、これを astral-uv で新たに書き直しました。
使い方 💻
1️⃣ 環境設定
make init
2️⃣ 実行する（現在はシングルGPUのみ対応）
make run TYPE=cross-encoder MODEL_NAME=sigridjineth/ko-reranker-v1.1 MODEL_CLASS=huggingface DATATYPE_NAME=AutoRAG
今後の計画 📈
-
追加サポートモデル
- HuggingFace と FlagEmbedding ベースの bi-encoder モデル
-
追加データセット
- 現在は AutoRAG をサポート、KURE を追加予定
まだコメントはありません。