Web LLM - Llama2 7B/13Bのサポートを開始

 (webllm.mlc.ai)
26 ポイント 投稿者 xguru 2023-08-30 | 7件のコメント | WhatsAppで共有
  • サーバーなしでブラウザー上でLlama、RedPajama、VicunaのようなLLMをWASMで動作させるサービス
  • Llama 2 7B/13Bのサポートを開始
  • Llama 2 70Bもサポートしているが、AppleシリコンMac + 64GB以上のRAMでのみ利用可能
  • WebGPUで高速化

関連記事

7件のコメント

 
freejack 2023-08-31
  • AIにあまり詳しくないのですが、興味本位で低スペックPCながらテストしてみました - Chat Demoの最初のモデル（PCスペック: AMD Ryzen5 3600, NVIDIA GeForce GTX 750 Ti）
  • 最初の質問では約4Gをダウンロードして初期化するのに、私のPC環境基準で11分ほどかかりました。
  • 質問のたびにGPUを平均60%以上使用し、まるでゆっくりタイピングしているような回答を返してきました。（かなりもどかしかったです ーー）
  • テストとして "show me the earth picture" という質問をしてみたところ、NASAのURLは返してくれましたが、画像は見られませんでした。（Invalid URL）
  • 韓国語の質問も認識はしましたが、回答は英語でしか返ってきませんでした
 
cosine20 2023-09-06

750Tiなので……
 
laeyoung 2023-08-31

url outputとして出るものは、ChatGPTでも壊れることがかなり多いんですよね。やはり。
 
kuroneko 2023-08-30

Stable DiffusionをWebで実行するのを見てとても不思議で驚きましたが、
果たしてWebGPUはGPU APIの大統合を成し遂げられるのでしょうか？
 
2023-08-30
[このコメントは非表示になっています。]
 
ragingwind 2023-08-30

すごいですね