Chonkie - 高速かつ軽量なRAG向けPythonテキストチャンク分割ライブラリ
(github.com/bhavnicksm)- 基本インストール容量は21MBで、代替ライブラリと比べて80〜171MB小さい
- 他の人気ライブラリよりトークンチャンク分割速度が33倍高速
- トークン、単語、文、セマンティック、SDPMなど多様なチャンク分割戦略をサポート
transformers、tokenizers、tiktokenなど主要なトークナイザーとすべて互換- 基本機能のみでは外部依存関係なし
技術的最適化
- より高速なトークン化のため、マルチスレッドをサポートする
tiktokenを使用 - 積極的なキャッシュと事前計算を実装
- 効率的なセマンティックチャンク分割のために Running Mean Pooling を使用
- 必要なものだけインストールできるモジュール型依存関係システム
まだコメントはありません。