RLama - Ollamaを活用したオープンソースのDocumentAI

 (rlama.dev)
1 ポイント 投稿者 GN⁺ 2025-03-09 | 1件のコメント | WhatsAppで共有
  • ローカルのOllamaモデルに接続して使用する、ドキュメント向けのAIベースの質疑応答ツール
  • ドキュメント化の要件に合わせて、RAG（Retrieval-Augmented Generation）システムを構築・管理・操作できる
  • macOS、Linux、Windowsで利用可能
  • ドキュメントフォルダのインデックス化: 高度な検索とクエリのためにドキュメントフォルダをインデックス化でき、テキスト、コード、PDF、DOCXなど多様な文書形式をサポート
  • ローカル処理: Ollamaモデルを使用してすべてのデータをローカルで処理し、データが外部に流出しない
  • インタラクティブRAGセッション: ドキュメント知識ベースをクエリするためのインタラクティブなセッションを作成できる
  • 管理のしやすさ: RAGシステムの作成、一覧表示、削除を行うシンプルなコマンドを提供
  • 開発者フレンドリー: 開発者や技術系ユーザー向けにGo言語で設計

関連記事

1件のコメント

 
GN⁺ 2025-03-09
Hacker Newsの意見

  • このシステムは文書をチャンクに分割せず、文書全体を Ollama に埋め込みリクエストとして送っている。したがって、文書が小さい場合にのみ有用

    • bge-m3 埋め込みモデルのシーケンス長は 8192 トークン。rlama は本全体を埋め込もうとするが、Ollama は最初の数ページしか埋め込みリクエストに入れられない
    • 検索時には関連する一節ではなく文書全体を検索し、それを 1000 文字まで切り詰める。その結果、文書中に "Buddha" という単語が 44,121 回登場するのに、モデルは "Buddha への直接的な言及はない" と応答する
    • より良い解決策は、文書を埋め込みモデルのコンテキストに合わせてチャンクに分割し、メタデータとともにそのチャンクを検索すること

  • ユーザーに検索結果を表示することを勧める。ベクトル検索エンジンだけでも非常に有用

    • プロンプトを変更して参照を提示するようにする（例: ページ番号のようなチャンクのメタデータに基づく）

  • プロジェクトを称賛しつつ、いくつか手短なメモ

    • ファイルシステムを使うアプリに関する主な懸念点
      • 誰が読めるのか、アプリがデータを共有するのか
      • インターネットアクセスを遮断するハードブロックが必要。rlama がそれでも正しく動作するのか
      • アプリがファイルを修正・削除できるのか
      • ファイルシステム全体へのアクセスではなく、読み取り権限のみにすべき

  • コードのメモ: .ts (typescript) が一覧にないのは意外

  • ウェブサイトがとても洗練されている。ゼロからコーディングしたのか、テンプレートベースなのか気になる

  • 独自の RAG を作るのはとても簡単。Ollama にはクイックスタートチュートリアルがある。必要に合わせてプロセスを調整できる

  • この種のツールの有用性には懐疑的。ハルシネーションの問題を考えると、どれだけ信頼できるのか、出典をどれだけ適切に引用できるのか気になる

    • データを正確に取得することが最も重要。AI ツールをコーディングにたまに使うが、それ以外の用途では結果に確信が持てない

  • このプロジェクトのアーキテクチャ/技術スタックに関する情報がない。GitHub の README にもウェブサイトにもない

    • Go で書かれていて、週末にざっと見られる程度の小ささなのは気に入っている。ただ、LLM エコシステムのツールで時間を無駄にした経験があるので、基本的な情報も見ずにコードを探るのはためらう
    • プロジェクトのアーキテクチャについて高レベルの概要を提供すれば、より多くの人がこのツールを採用するはず

  • アマチュア歴史家として、アーカイブの文書をスキャンして JPG ファイルとして保存している。この知識の集合を理解する最良の方法は何か気になる

    • 現在は Gemini で自作しているが、RAG システムを一から構築せずに解決する方法があるのか確信がない

  • Ollama のエンジンである llama.cpp と一緒に動作できるのか気になる

    • 普段は llama.cpp をソースからビルドし、Huggingface から量子化モデルをダウンロードしている。Ollama は使ったことがない

  • API インターフェースがあって、他のシステムに統合できるとよい

  • すばらしいプロジェクト。どのライセンスで公開されているのか気になる。文書化されていない

  • RAG の性能が気になる。ベクトルデータベースを放り込むだけでは有用にならない