Node.js向けの超シンプルなチャンク化ライブラリ

今日、LLMのプロトタイピング向けに作ったシンプルなベクターDBを紹介したのですが……(https://ja.news.hada.io/topic?id=10798)

この勢いで、Node.js向けの超シンプルなテキストチャンク化ライブラリも作ってみました。

LLMで文書を埋め込みするときに手軽に使えるものがほとんどなく、Node.js向けはなおさら見当たらなかったので、毎回サイズの大きいライブラリを使うのが気になっていました。（Edgeで使うことなんて考えられませんでした）

VectorDBをシンプルに作ったついでに一緒に使おうと思って作ったもので、どうせLLM向けなら多くの場合そこまで非常に高い精度は不要なので、簡単な文／段落区切りで分割し、overlapを適度に設定できる程度のものにしてあります。

少し使ってみたところ、やはり何でも It just works, simple is the best ですね。笑

[golbin]

姉妹版: Node.js 向けの超シンプルなベクターDB -> https://ja.news.hada.io/topic?id=10798