LM Studio - ローカルでLLMを簡単に実行できるツール

• ローカルでLLMを検索・ダウンロードし、オフラインで実行可能
  • LLaMa、Falcon、MPT、StarCoder、GPT-Neo-X などのモデル
• Mac / Windows / Linux（ベータ）対応
• 内蔵チャットUIまたはOpenAI互換のローカルサーバー経由でモデルを利用可能
• HuggingFaceのggmlベースのLlama、MPT、StarCoderモデルなどをサポート
  • （例: Llama 2、Orca、Vicuna、Nous Hermes、WizardCoder、MPT など）。
• 最小仕様および要件
  • Apple Silicon Mac（M1/M2/M3）、macOS 13.6以上
  • Windows / Linux PC（AVX2対応プロセッサ）
  • 16GB以上のRAMを推奨。PCでは6GB以上のVRAMを推奨
  • NVIDIA / AMD GPUをサポート

LM Studioのプライバシー保護と利用

• LM Studioはユーザーデータを収集・監視せず、すべてのデータはユーザーのデバイス上にローカルに残る
• 個人利用は無料で、業務利用を希望する場合はチームへの連絡が必要

GN⁺の意見

• LM Studioはプライバシー保護を重視するユーザーにとって魅力的なソリューションであり、LLMをオフラインで実行できる点が最も重要
• ユーザーデータがローカルのみに保存され、多様なモデルをサポートしている点が興味深く、個人ユーザーに無料提供されている点も有益
• ハードウェア要件は比較的高く、最新の機器を使うユーザーに適しており、業務利用も視野に入っている点は前向き

[GN⁺]

Hacker Newsの意見

• OllamaとUIを使って、オープンソースコードと同じことができることを示すリンクを共有。
• LM Studioに対する好意的な評価と、その特徴:
  • ローカルモデルランタイム
  • モデルカタログ
  • モデルと簡単に対話できるUI
  • OpenAI互換API
  • RAG（ChromaDBを使用）などのプラグインを含む
  • OSエコシステムの新機能を活用するのに有利な立ち位置にある
  • 残念ながらLM Studio自体はオープンソースではない
• 検閲されていないモデルを試してみたい。"TheBloke/Luna-AI-Llama2-Uncensored-GGML" モデルを見つけ、最初のファイルだけをダウンロードして動くか確認。残りのファイルもダウンロードする必要があるのか、また特定のセンシティブな質問に対して本当に検閲されないのかが気になっている。
• LLMに関する初歩的な質問: 『ロード・オブ・ザ・リング』シリーズをLLMに入力するとどうなるのか、基本的な「無知」なLLMは存在するのか、そしてそれによって中つ国の専門家を作れるのか、といった疑問。
• 高度なエンジニアリング職の面白い応募要件: コンピュータとソフトウェアへの深い理解、アルゴリズムとプログラム作成能力などが求められているが、こうした要件を真剣に受け止めにくい。
• 複雑な設定を簡素化するための試みとして、個人的に作ったシンプルなUIを紹介するリンクを共有。
• LLMソフトウェアの潜在的なユーザー層への関心と、市場細分化に関する情報や推測を見てみたいという声。複雑な設定にもかかわらず、このインターフェースや対話・モデル管理の価値を感じている。
• アプリのUI改善案:
  • チャットボックス欄のデフォルト状態は改善が必要
  • モデル読み込み前にCUDAアクセラレーションをどう設定するのか不明
  • 一部のHuggingFaceモデルが一覧に表示されず、その理由も示されていない
  • インターフェースのアコーディオン部分のスクロールがマウスホイールにしか反応しない
  • サーバータブは初期デバッグに非常に役立つ
• さまざまなLLMモデル（Mistral、Llama 2、Code Llama、Orca Mini、Vicuna）を使う際に起こりうる問題（50%の幻覚、存在しないAPIコードの提案、古いStackOverflow回答の再生産など）についての質問と、こうしたモデルを実際にどう使っているかの事例共有の要望。
• LM Studioをインストールして起動した後、CPU使用率が30%まで上がり、ノートPCのファンノイズが増加したという体験。LM Studioプロセスを終了して再度開いたところ、バックグラウンド使用率は5%に低下した。