- VIM内でローカルLLMベースのテキスト自動補完機能を提供
Insert モードでカーソルを移動すると自動提案Ctrl+F で手動提案への切り替えが可能Tab で提案を受け入れShift+Tab で最初の行の提案を受け入れ- テキスト生成の最大時間を設定可能
- カーソル周辺のコンテキスト範囲を設定可能
- 開いているファイル、編集中のファイル、コピーしたテキストからコンテキスト断片を使用してコンテキストリングを構成
- 低スペックなハードウェアでもスマートなコンテキスト再利用により非常に大きなコンテキストをサポート
- パフォーマンス統計を表示
インストール
- vim-plug :
Plug 'ggml-org/llama.vim'
- Vundle :
llama.cpp の設定
- プラグインは
g:llama_config.endpoint で動作している llama.cpp サーバーインスタンスを必要とする
- Mac OS :
brew install llama.cpp
- その他のOS : ソースからビルドするか最新バイナリを使用: llama.cpp releases
llama.cpp の設定
- VRAM容量に応じた推奨設定:
- 16GB VRAM以上:
Qwen2.5-Coder-7B-Q8_0-GGUF
- 16GB VRAM未満:
Qwen2.5-Coder-3B-Q8_0-GGUF
- 8GB VRAM未満:
Qwen2.5-Coder-1.5B-Q8_0-GGUF
- 詳細は
:help llama を参照
推奨LLM
実装の詳細
- プラグインは、シンプルで軽量かつコンシューマー向けハードウェアでも高品質な性能を提供するローカルFIM補完を目指している
その他のIDE
1件のコメント
Hacker Newsのコメント
サーバー実装の技術的な詳細を見ることを勧めており、そこには興味深くクールなアイデアが含まれているという。このプラグインはVS Codeでも利用可能。クライアント側キャッシュのおかげで性能も向上している。
このユーザーはオープンソースAIエコシステムに多くの貢献をしており、今後もソフトウェアを開発し、真に「無条件の」オープンソースとして公開し続けられるだけの十分な資金を確保できることを願っている。
LLMツールをLSP、コンパイラ、その他の静的解析ツールとより密接に統合すれば、より多くのコンテキストとより良い出力を提供できるはずだと考えている。言語ごとにLLMをファインチューニングし、一般的なエディタツールと一緒に提供できればよいとも述べている。AIツールが歴史が長く人気のある言語でよりうまく動作するという問題を指摘しており、これは言語選択における重要な要素になり得るとしている。Gleam専用モデルをインストールしてLSPやコンパイラからデータを受け取り、誤った構文を生成しないようにできればよいと考えている。
「リングコンテキスト」がどのように動作するのか気になっており、類似プロジェクトでKVキャッシュを管理する方法についての解決策を提案している。トークンのツリーを維持し、一定の深さ間隔ごとにLLM状態全体のスナップショットを保存して、バッファが変更された際に数個のトークンだけを「再生」すればよいようにするというもの。重要な状態部分がどのように機能するかについて、数学的な特性があるかもしれないと考えている。
デモ動画の点滅するカーソルは動悸を引き起こしそうだが、とてもクールだと思っている。LinuxがM*ハードウェア上でどのように動作するのかも気にしている。
このプラグインがVSCode版と同じものなのか気になっている。
民生用ハードウェアと量子化の改善によって、今後10年で何が可能になるのか気になっている。現時点では24GB GPUでもホスティングサービスの性能には追いつけないという。
ターミナルでのコーディングを好んでおり、行き詰まったときには
askdsを使ってターミナル上でより深い分析を行えるとしている。中級クラスのハードウェアでllamaを使えるのか気にしており、RAM不足でクラッシュすると考えている。2GBのVRAMと16GBのシステムRAMでは十分ではないと感じており、多くのApple製品ではメモリが統合されているため動くが、そうでなければ大容量VRAMを積んだ高価なNvidia GPUが必要だと考えている。安価な選択肢があるのか知りたがっている。
この分野に詳しい人に助言を求めており、手頃な価格のグラフィックカードを購入してローカルLLMを動かす方法を探している。