llamafile - 単一ファイルでLLMをデプロイして実行する

 (github.com/Mozilla-Ocho)
30 ポイント 投稿者 xguru 2023-12-04 | 4件のコメント | WhatsAppで共有
  • 1つのファイルで、ほとんどのコンピュータ上でインストール不要でLLMを簡単に実行可能
  • llama.cpp と Cosmopolitan Libc を組み合わせたフレームワーク
    • 1つのビルドで複数のOS、さまざまなCPUアーキテクチャ上で実行可能
  • チャットおよび画像認識が可能な LLaVA モデルを例として提供
    • 4GBのファイルである llava-v1.5-7b-q4-server.llamafile をダウンロードして実行すれば完了
    • Mac/Linux/BSD の場合は chmod +x してそのまま実行
    • Windows は拡張子の後ろに .exe を付けてそのまま実行
    • 実行すると自動的にブラウザが開き、チャットインターフェースを表示
  • そのほか、Mistral-7B-Instruct、WizardCoder-Python-13B などの llamafile も提供

関連記事

4件のコメント

 
edunga1 2023-12-19

curl --location https://huggingface.co/jartine/llava-v1.5-7B-GGUF/… > llamafile

curl コマンドを1回実行するだけで、そのまますぐに実行できるのが本当に驚きです..
 
cosine20 2023-12-08

うわ、すごいですね（笑）
 
ragingwind 2023-12-04

本当に簡単に実行できますね。
 
xguru 2023-12-04

GN⁺ に上がっていましたが、AI要約による紹介が十分でなかったのか人気がなかったため、もう一度整理しました。かなり面白い試みだと思います。
「Llamafile」で単一ファイルとしてLLMを配布・実行可能

ベースモデルの LLaVA: Visual Instruction Tuning

公開当時は冗談っぽかった Cosmopolitan と RedBean が、こんなふうにも使われるのですね。とても優れた用途になりそうです。