MiniLLM - 個人向けGPUでLLMを実行する (github.com/kuleshov) 22 ポイント 投稿者 xguru 2023-03-30 | まだコメントはありません。 | WhatsAppで共有 最新のLLMをコンシューマ向けNvidia GPUで実行するためのミニマルなシステム 複数のLLM（LLAMA、BLOOM、OPT）を最大170B規模までサポート さまざまな種類のNvidia GPUをサポート Python製の小さく使いやすいコード 内部的に3-bit圧縮のためにGPTQアルゴリズムを使用し、GPUメモリ使用量を最小化 関連記事 IPEX-LLM - Intel CPU/GPUでLLMを実行するためのPyTorchライブラリ 8 ポイント · 0件のコメント · 2024-04-04 Simple LLM Finetuner - 初心者向けUIを備えたLLMチューニングツール 15 ポイント · 0件のコメント · 2023-04-27 ローカルでLLMを実行する 27 ポイント · 0件のコメント · 2024-12-30 iPhone 17 Proで400B LLMを実行する 6 ポイント · 1件のコメント · 2026-03-24 LLM量子化のビジュアルガイド 25 ポイント · 0件のコメント · 2024-07-31 まだコメントはありません。 まだコメントはありません。
まだコメントはありません。