LLMLingua-2のTypeScript実装

マイクロソフトが開発した「LLMベースの汎用プロンプト圧縮器」LLMLinguaを、より多様な環境で使えるように、PythonからTypeScriptへ移植するオープンソースプロジェクト。

LLMLinguaとは？

• GeekNews: "Microsoft LLMLingua - 推論の高速化とコスト削減のためのプロンプト圧縮"
• LLMLingua-2 ホームページ
• 現在は Python言語による公式実装 が配布されている。

LLMLingua-2のTypeScript実装

• プロンプト圧縮デモ (GitHub Pages)
  • JavaScript + React + Vite
  • デモ体験の要件: WebGPU対応ブラウザが必要 (Windows/macOS の Google Chrome など)
• ソースコード: GitHub および HuggingFace で確認可能
• パッケージ (npm): npm install @atjsh/llmlingua-2

ハイライト

• Pythonで書かれていたLLMLingua-2パイプラインを純粋なTypeScriptへ移植
• 実装に使用したライブラリ: js-tiktoken, transformer.js および TensorFlow.js
• Node.js対応は追加開発を進行中 (現時点でもテストは可能)
• MITライセンスのオープンソース

まだ初期段階

• use_context_level_filter, return_word_label など一部機能は未実装
• 中核機能であるプロンプト圧縮機能についても、元のLLMLingua-2と比べて 誤って実装されている部分が存在 する可能性がある…