プロダクション向けLLMアプリケーションの構築

• LLMでクールなものを作るのは簡単だが、プロダクションレベルにするのは非常に難しい
• LLMアプリケーションを製品化するために解くべき主要な課題、複数のタスクを制御フロー内に統合する方法とツールの使い方、有望なユースケースを見ていく記事

Part I. プロンプトエンジニアリングをプロダクション化することの課題

• 自然言語の曖昧さ
  • プロンプト評価
  • プロンプトのバージョニング
  • プロンプト最適化
• コストと待ち時間
  • コスト
  • 待ち時間（Latency）
  • LLMに対するコスト+待ち時間分析の不可能性
• プロンプティング vs. ファインチューニング vs. 代替手段
  • プロンプトチューニング
  • 蒸留（Distillation）によるファインチューニング
  • 埋め込み + ベクターデータベース
  • 下位/上位互換

Part 2. 作業の構成可能性（composability）

• 複数のタスクで構成されたアプリケーション
• エージェント、ツール、そして制御フロー
• ツール vs. プラグイン
• 制御フロー: 順次、並列、if、forループ
• LLMエージェントの制御フロー
• エージェントのテスト

Part 3. 有望なユースケース

• AIアシスタント
• チャットボット
• プログラミングとゲーム
• 学習
• Talk-to-your-data
• LLMが自分のためにデータ分析をしてくれるだろうか？
• 検索と推薦
• 販売
• SEO

結論

• まだLLMアプリケーションの初期段階にある。あらゆるものが急速に進化中
  • 最近LLM関連の書籍の企画を見かけたが、最初に思ったのは、その大半が1か月以内に時代遅れになるだろうということ
  • APIは日々変化しており、新しいアプリケーションが発見されている。インフラストラクチャは積極的に最適化されている最中
  • コストおよびレイテンシ分析は週単位で行うべきで、新しい用語も導入されている
• こうした変化がすべて重要というわけではない
  • 数多くのプロンプトエンジニアリング論文を見ると、まるでディープラーニング初期に重み初期化のさまざまな方法を説明する何千本もの論文があったことを思い出させる
  • プロンプト調整のテクニックは長期的には重要ではないだろう
• LLMは自らプロンプトを書くことにもかなり長けていることを考えると、プロンプトを調整する人が本当に必要なのか、誰にもわからない
• 最近LinkedInで、人々がこの分野の最新情報をどう得ているのかを尋ねたところ、さまざまな意見があった
  • （大半の）Hypeを無視する
  • 要約だけを読む
  • すべてのツールを使ってみる
• あなたの戦略は何ですか？

[mnncat]

翻訳版: https://docs.google.com/document/d/…