CRoM v1.0.2 オープンソースツールキット - トークン消費削減・速度改善・長い対話の劣化防止
(github.com/Flamehaven)私が自ら制作し、継続的にアップデートしてきた CRoM (Context Rot Mitigation for Efficient LLMs) の新バージョン v1.0.2 を公開します。
CRoM は、長いプロンプトで発生する Context Rot(指示のぼやけ、推論ドリフト、記憶喪失)の問題を緩和し、LLM がより安定的かつ効率的にコンテキストを活用できるよう支援する Python ツールキットです。
🔑 主な機能:
▫️Budget Packer: トークン予算内で重要なテキストのみを安定して圧縮
▫️Hybrid Reranker: TF-IDF + Dense 埋め込みベースの文書再ランキング
▫️Drift Estimator: 応答間の意味変化をモニタリング
▫️Observability: Prometheus メトリクスベースのモニタリング
▫️プラグイン拡張: FlashRank、LLMLingua、Evidently をサポート
▫️Benchmarking: CLI で end-to-end 評価と性能分析
📊 最新の v1.0.2 では、ImportError および SyntaxError の修正、バージョン管理の一貫性改善、統合テスト(10+ ケース)の追加、1,000+ 文書での性能検証が含まれています。
🔗 リンク
▫️GitHub Release: https://github.com/Flamehaven/…
▫️Demo: https://huggingface.co/spaces/Flamehaven/crom-demo
▫️制作ストーリー: https://medium.com/p/ab356e656d88
まだコメントはありません。