Anything-LLM - オープンソースのオールインワンAIデスクトップアシスタント

• 商用LLMやオープンソースLLM、ベクトルDBソリューションを使って、プライベートなChatGPTを構築できるフルスタックAIアプリケーション
  • ローカルまたはリモートでホスティング可能
  • 自分が提供するあらゆる文書やリソースを、参照可能なコンテキストへ変換
• 利用するLLMまたはベクトルDBを選択でき、マルチユーザー管理と権限設定にも対応
  • OpenAI, llama.cpp, AWS Bedrock, ANthropic, Google Gemini, Ollma, Together, Mistral, Groq, Cohere..
• マルチモーダル対応（商用・オープンLLMの両方）
• 自分のWebサイトに埋め込めるカスタムチャットウィジェットを提供（Docker版）
• 文書を Workspaces というオブジェクトに分け、1つのスレッドのようにコンテナ化して動作
  • 共有は可能だが相互に会話はしないため、各ワークスペース間でコンテキストを維持可能

monorepo 内のコンポーネント区分

• frontend: viteJS + Reactで構築されたフロントエンド
• server: ベクトルDB管理とLLMとの相互作用を処理する NodeJS express サーバー
• collector: 文書を処理・解析する NodeJS express サーバー
• docker: Dockerコマンドおよびビルドプロセス情報
• embed: Web埋め込みウィジェットの生成と管理を行うサブモジュール
• browser-extension: Chromeブラウザー拡張機能のサブモジュール

[xguru]

Hacker Newsの意見

• エンタープライズ環境でカスタマイズしたAnythingLLMインスタンスの展開を試みている。TimCと開発チームは非常に優秀で、対応も速い。EntraID統合を待っており、これによって大半の基本的なユースケースを満たせそうだ。TimCとチームに感謝している
• 最初はOllama/WebGenUIのラッパーだと思ったが、実際にはそれよりはるかに多くの機能をサポートしている。LLMだけでなく、埋め込みモデル、ベクターデータベース、TTS/STTもサポートしている。完全な音声チャットボットを構築するのに必要なものがすべて含まれている
• とても良い。"Language Learning Model" という用語が面白いと思う。投稿者はLLMの意味を知らないままプロジェクトを進めたのではないかと冗談を言っている
• ダウンロードして使ってみたが、今のところ非常に良い。GPT-4oを使って規制関連のPDFを読むのに使ってみた。初期フィードバック:
  • 引用がやや不安定。回答はおおむね正確だが、引用ウィンドウの内容が少しわかりにくい
  • 既存のチャット内容内でテキスト検索機能を追加してほしい。たとえば、チャット中にキリンについて検索したら、そのチャット履歴に切り替えられるようにしてほしい
• 埋め込みやベクターが何なのかわからない人間としては、標準的なオフィス用PCにインストールして使える唯一のオフラインAIツールだ
• LLMは将来的にWebフレームワークのように無料でオープンソースになるだろう。有料オプションもあるだろうが、ほとんどの作業には無料の選択肢で十分だろう
• エンタープライズレベルでAnythingLLMを設定してみたが、機能の大半にとても感銘を受けた。カスタムCSSをきちんと組み込めるオプションがあるとよい。デフォルトのインターフェースはやや古く見える。すばらしい仕事をこのまま続けてほしい
• Linuxのインストール中にエラーが発生したが、次のコマンドで解決した:

  sudo chown root:root /home/hn/AnythingLLMDesktop/anythingllm-desktop/chrome-sandbox
  sudo chmod 4755 /home/hn/AnythingLLMDesktop/anythingllm-desktop/chrome-sandbox
  

  そのほかは非常にうまく動作している
• AnythingLLMは、LLMをローカルおよびAPI経由で使ううえで非常に手軽だ。埋め込み器やベクターストアについてもさまざまな選択肢がある。単一インストールのデスクトップパッケージングも非常に洗練されている。今後追加される新機能を楽しみにしている