ブラウザで生成AIをローカル実行するChrome拡張機能
(github.com/tantara)プロジェクト説明
JavaScriptで生成AIモデルを実行するTransformers.jsのChrome拡張機能プロジェクトです。
Ollamaやllama.cppなど、ローカルで生成AIモデルを実行する方法は数多くありますが、設定手順が煩雑で、毎回画面を切り替えなければならない不便さがあります。これを解決するために、Transformers.jsを使ってChrome拡張機能のサイドパネルからすぐに実行できるよう実装しました。
ローカル実行の利点の一つは、インターネット接続がない環境でも使えることです。インターネット環境が不安定な状況（飛行機内、キャンプ場など）で簡単な作業をするときに便利に使えました。
対応モデル
Transformers.jsを使用しているため、Hugging Faceのほぼすべてのモデルを実行できますが、現在は以下のモデルのみ対応しています。
- LLM : Llama 3, Phi 3.5, Qwen 2.5, SmolLM2
- Reasoning : DeepSeek R1（M1 MacBook基準でDeepSeek R1 (1.5B) は30トークン/秒生成）
- Multimodal LLM : Janus
- Speech to Text : Whisper
追加機能
Summarize、Rewrite機能も追加しました。ブラウザに表示されているテキストをドラッグした状態で右クリックして拡張機能を実行すると、そのテキストを要約したり（Summarize）、LLMの出力に書き換えたりできます（Rewrite）。以下のデモ動画を見ると理解しやすいと思います（1分10秒〜1分25秒の区間）。
デモ動画: https://www.youtube.com/watch?v=MSCDdFG5Lls&t=70s
拡張機能の実行
GitHubプロジェクトを直接ビルドするか、Chrome ウェブストアからダウンロードできます。
Chrome ウェブストア: https://chromewebstore.google.com/detail/private-ai-assistant-runn/…
2件のコメント
拝見しました。
Deepseek R1ではなくDistilされたモデルであることを、明確に表示していただくべきではないかと思います。技術的にはまったく異なる2つのモデルですから。
ご意見ありがとうございます。テストした 1.5B モデルは Distillation されたモデルなので、Distilled の方がより正確な表現だと思います。記事は修正できないようなので、次回のアップデート時に反映します。