ローカルでLlama 2を実行する方法ガイド

• インターネット接続なしで、自分のデバイス上で Llama 2 を実行できます。
• Llama 2 をローカルで実行できるオープンソースツールは 3 つあります: Llama.cpp、Ollama、MLC LLM。
• Llama.cpp は、Mac、Windows、Linux をサポートする C/C++ 製の Llama の移植版です。
• Ollama は、コマンドラインインターフェースで Llama 2 を実行できる macOS アプリです。
• MLC LLM を使えば、iOS や Android を含むスマートフォンで Llama 2 を実行できます。
• Ollama は、3B モデルの実行に最低 8GB の RAM、7B モデルには 16GB、13B モデルには 32GB を推奨しています。
• MLC LLM は Llama 2 の 7B、13B、70B バージョンをサポートしていますが、iPhone ユーザー向けにはまだベータ版です。
• Discord コミュニティで作品を共有したり、サポートを受けたりできます。
• Replicate は、Llama 2 をクラウドで実行し、ファインチューニングできるオプションを提供しています.

[haebom]

Mac Studio M2で動かしていますが、問題なく動作します。

[GN⁺]

Hacker News の意見

• ユーザーが、WindowsでLlama 2をビルドするための手順を提供しており、CUDAツールキットのインストールやモデルのダウンロードが含まれている。
• Llama 2をより簡単に実行するためのPowerShell関数が共有されている。
• PEFT/Loraを使ってGoogle ColabのA100 GPU上でLlama 2をファインチューニングするライブコーディング配信に言及している。
• コメント投稿者は、LinuxマシンでGPUを使うためにHugging Face推論を提案している。
• CPUまたはMPS（M1/M2 GPU）で実行できるオリジナルのLlama 2コードのフォークが共有されている。
• MacOSまたはWindowsでLlama 2を簡単に使うためにGPT4Allが推奨されている。
• Webサイトからスクリプトを直接bashにパイプすることへの注意喚起がある。
• コメント投稿者は、Llama 2が画像を解釈して利用できる可能性について議論している。
• 研究以上の用途でLlama 2を使う目的に疑問が呈されている。
• LLMモデルの限界に言及し、映画『マトリックス』に関するJSONオブジェクトの生成を拒否するとしている。