Secret Llama - WebGPUで動作するブラウザ内 Llama 3 チャットボット実装

• ブラウザで完全に動作する、プライバシーを保証する LLM チャットボット
• Llama 3、Mistral などのオープンソースモデルをサポート
• 会話データが決してコンピュータの外に出ないため、完全なプライバシーを保証
• ブラウザ上で動作するため、サーバーやインストールが不要で、オフラインでも動作
• ChatGPT と同等レベルの使いやすいインターフェースを提供するが、オープンソース LLM 向け
• 現在の対応モデル
  • TinyLlama-1.1B-Chat-v0.4-q4f32_1-1k 600MB
  • Llama-3-8B-Instruct-q4f16_1 4.3GB
  • Phi1.5-q4f16_1-1k 1.2GB
  • Mistral-7B-Instruct-v0.2-q4f16_1 4GB

[bizring]

日本語での会話は可能ですか？