HNに聞く: 2023年12月、自分の文書でカスタムLLM/ChatGPTをどう訓練するか？

 (news.ycombinator.com)
4 ポイント 投稿者 GN⁺ 2023-12-26 | 1件のコメント | WhatsAppで共有

LLMにカスタム文書セットを提供する方法

  • LLM（Large Language Models）にユーザーの文書セットを提供し、非現実的な結果なしに適切な回答を得るための最善の方法についての議論。
  • LLMに特定の文書セットを「教える」方法に焦点を当てる。これは必ずしも独自モデルを訓練することを意味せず、RAG（Retrieval-Augmented Generation）のようなアプローチも含む。
  • 5か月前のスレッドはあるが、2023年12月時点の状況に合った情報が必要。

GN⁺の見解

  • LLMを使って特定の文書セットから正確な情報を抽出することは、技術の進展とともに重要になっている。
  • こうした技術は、ユーザーが望むカスタマイズされた結果を得られるようにするのに役立ち、これはビジネスインテリジェンス、研究、教育などさまざまな分野で応用できる。
  • RAGのような既存のアプローチを活用したり、新しい方法を模索したりすることが重要であり、これはLLMの活用度を高め、より正確で信頼できる結果を得ることに貢献する。

関連記事

1件のコメント

 
GN⁺ 2023-12-26
Hacker Newsの意見

  • 文書に対するトレーニングは実際には行われておらず、多くのスタートアップがこの用語を使っているが、実際にはRAG（Retrieval-Augmented Generation）を使っている。

    • LlamaIndexが最良の選択肢と見なされている。
    • 文書に対するトレーニングを主張するスタートアップの大半は、実際にはRAGを使っている。
    • qLoRAを使って質問と回答のペアを自動生成するスクリプトを探してみることが勧められている。
    • 個人文書のナレッジベースで成功裏に使われた事例はまれで、主に数学、推論、Pythonなどの技術に使われている。
    • 文書セットを単純にファインチューニングに投入しても効果がないことが経験的に示されている。

  • 文書量に応じて異なるアプローチを検討する必要がある。

    • RAGは小規模なデータセットでうまく機能し、この分野ではLlamaIndexが多くのエンジニアリングを担っている。
    • ファインチューニングとRAGの組み合わせは、インターネットで容易に見つかる知識を含む大規模データセットに有効である。
    • 継続事前学習は、非常に大規模なデータセットと独自知識を持つ場合に必要となる。

  • AWS Bedrockは使いやすく、文書をS3にアップロードしてベクターデータベースに同期し、API経由で利用できる。

    • Bedrockは多様なモデルと共通APIを提供する製品である。

  • h2oGPTは、多様な形式の文書を処理し、さまざまなモデルホスティング実装をサポートする、機能の充実したRAG実装である。

  • ChatGPTアカウントを購入して自分の文書をアップロードでき、それによってカスタムの対話型AIを作成できる。

  • GPT-4 Assistantsは現在、標準でRAGを扱うことができ、PrivateGPTはそのためのよく知られた選択肢の1つである。

  • Microsoft OfficeのCopilot Builderは、ユーザーがベースURLやアップロード済みファイルなどを指定することで、数秒でAI Copilotを作成できるようにしている。

  • Cheshire Catは、文書を「記憶」として保存し、後で検索できるAIアシスタントフレームワークである。

  • Mistral 7BをQLoRAでファインチューニングする方法についての動画ガイドがあり、RAGの技術のほうが望ましい可能性があることにも触れている。