- GPT-4級の性能を持つMetaのLlama 3.3 70Bモデルを、一般的なノートPC（64GB MacBook Pro M2）で実行できるようになった
- 2023年3月のLLaMA公開以来、約20か月で達成された大きな進歩
- Ollamaを通じて42GBのモデルデータをローカルにダウンロードして実行する（AppleのMLXでも実行可能）
- 64GB RAMが必要で、実行時のメモリ使用量が高いため、他のリソース集約型アプリは終了しておくことが推奨される
- 性能とベンチマーク
- LiveBenchベンチマークで19位に入り、Claude 3 Opusを上回る性能を示し、GPT-4 Turboに近い水準
- 特に命令理解（Instruction Following）の評価で最高水準の性能を記録
- テキスト生成、コード作成、SVG画像生成など多様な作業を実行可能
- 個人用デバイスでも、ますます強力なモデルを実行できるようになってきている
- 注目すべきその他のローカル実行LLMモデル
- Qwen2.5-Coder-32B
- AlibabaのQwen研究チームが開発したモデルで、Apache 2.0ライセンスのもとで公開されている
- コード生成タスクで優れた性能を示し、自由に利用可能
- オープンソースライセンスにより、開発者にとってさらに意義のあるツール
- QwQ
- OpenAIのo1シリーズに類似した思考の連鎖（chain-of-thought）パターンを実装
- 複雑な問題を段階的に解決可能
- ローカル環境でもスムーズに動作する点が印象的
- MetaのLlama 3.2
- 1Bおよび3Bサイズのモデルは、Raspberry Piのような小型コンピューターでも実行可能
- サイズに対して優れた性能を提供し、画像処理能力を備えた11Bおよび90Bサイズのマルチモーダル視覚モデルも含む
- 小型モデルから大規模モデルまで、多様な選択肢がある
- これらのモデルは、LLM技術がサーバー級ハードウェアを離れ、一般的な個人向けコンピューターでも実行可能であることを示している
- 特にオープンソースモデルの進歩により、開発者が自由に実験し応用できる環境が広がっている
- 今後の展望
- マルチモダリティとモデル効率性の面で大きな進歩が期待される
- AGIよりも、実用的で効率的な作業遂行に焦点を当てた進歩が続くと見込まれる
- 現在のモデルだけでも、今後数年間は生産的な作業が可能だと予想される
13件のコメント
M1 Max 64GBでも動きはするんですよね？
コンピュータにまったく関心のない人ならともかく、この界隈の人たちにとっては64GBくらいは基本だと思っていましたが……
大量のデータを扱うのでなければ、16でも64でも体感できるほど大きな差が出る領域ではないので。
RAM 8GBでも問題なく開発できます。すべての作業にそれほど多くのメモリが必要なわけではありません。
64GBのRAMならかなり手が届きやすいほうだと思います。
最近はノートPC向けDDR5 16GBが6万ウォンしかしません。
80万ウォン台の64GBノートPCもたくさんあります。
Macの64GB RAMはVRAM 64GBと同じ意味なので、実質的には300からのスタートです
MシリーズMacはRAMをCPUとGPUで共有するため、GPU RAMが増える効果があります。
元の記事を見てきたら、タイトルの意味がようやく少し分かりました。要するに、投稿者が「自分が持っている自分のノートPCでLlamaモデルを動かした！」という内容の記事なんですね……ははは。
ほかのプログラムの動作まで考慮して64GBなのでしょうか？ コンシューマー向け、あるいは個人向けPCと呼ぶには現実的ではないスペックだと思います。
この文脈では、パーソナルコンピューターとは通常「B2C市場で販売されていて購入可能であること（価格は問わない）」程度の意味合いのようです。『誰もが使える』という話とは、かなり距離があるように見えました。
状況はさまざまです。私も個人用に96GBのMacBook Proを使っていますが、LLM関連の開発でなくてもSwapが頻繁に埋まることがあります。
64GBのRAMが普通のノートPC……?? （泣）
「コンシューマー向けハードウェア」と言うほうが、もう少し適切ですね