Launch HN: HumanLayer (YC F24) – AIシステム向け人間参加API

 (news.ycombinator.com)
1 ポイント 投稿者 GN⁺ 2024-11-27 | 1件のコメント | WhatsAppで共有
  • 本番環境のAIエージェントが危険な作業を実行する前に、人間の承認・入力を受けられるようにして、完全自律実行の負担を下げるAPI
  • 中核となるのは、Slack・メールで承認リクエストを送り、応答待ち状態と監査証跡を管理して、エージェント実行フローの中に人間を組み込むこと
  • 製品は、データチーム向け自動化エージェントが本番システムに直接アクセスすることへ顧客が抵抗感を示した経験から始まった
  • SDKはツール呼び出しレイヤーで動作し、CrewAI、LangChainなどのフレームワークや、ツール呼び出しをサポートする言語モデルで利用できる
  • AI SDR、AIニュースレター、DevOpsエージェントのように実際の作業を行うエージェントほど、承認ポイントと支援要請の経路を明確にしておくことが重要

本番環境のエージェントに必要な人間承認フロー

  • HumanLayerは、AIエージェントが実行中に人間へフィードバック・入力・承認を求められるようにするAPI
  • 目標は、自律型またはヘッドレスなAIシステムを本番環境にデプロイする際、危険な各ステップにhuman in the loopを入れられるようにすること
  • 出発点は、データチーム向けAIエージェントを作っていた経験
    • 未使用テーブルの削除のような退屈な作業を自動化しようとしていた
    • 顧客は、AIエージェントが本番システムに直接アクセスすることに反対した
  • 本番運用レベルの信頼性を作るには、作業のリスクに応じて評価、ファインチューニング、プロンプトエンジニアリングが必要だったが、99.9%以上の信頼性に到達するまでに3か月以上かかることもあった
  • 結局、「テーブルを削除する前にSlackで確認する」のような承認フローを作り、その後は承認リクエスト自体が間違った相手に送られないようにするガードレールも必要になった

機能と統合方法

  • HumanLayer SDKを統合すると、AIエージェントは実行中のどの時点でも人間の承認を要求できる
    • リクエストを適切な担当者へSlackまたはメールでルーティングする
    • SMSとTeamsは近日対応予定
    • 応答を待つ間の状態を管理する
    • 完全な監査証跡を提供する
  • 「承認リクエスト」以外にも、より一般的なhuman as tool機能をサポートする
    • LLMまたはエージェントフレームワークに、人間の応答を収集するツールとして公開できる
    • 例としては、「この問題で行き詰まり、こうしたことを試したので助言がほしい」といった一般的な質問がある
  • ツール呼び出しレイヤーで動作するため、CrewAI、LangChainのようなフレームワークや、ツール呼び出しをサポートする言語モデルで利用できる
    • 独自のエージェント・ツールループを作っているなら、より低レベルのSDK primitiveで承認フローを直接管理できる
    • AI-人間承認だけでなく、人間-人間承認の用途も模索中

適用事例と提供形態

  • 複数の本番エージェントがHumanLayerの承認フローを活用している
    • ある顧客は、パーソナライズされた営業メールを作成しつつ、送信前にSlackで人間の承認を受けるAI SDRを構築した
    • 別の顧客は、購読者がコンテンツやメールと会話できるAIニュースレターに利用している
    • あるチームは、顧客向けDevOpsエージェントに適用し、PRレビュー、DBマイグレーション計画と実行、主要ステップでの人間承認、問題発生時のチームへの支援要請を処理している
  • 提供形態はPythonおよびTypeScript SDK、無料トライアル、無料ティア、従量課金制
    • 顧客向けエージェントを作るチームには、ホワイトラベリング、追加機能、優先サポートを提供する
    • ドキュメントはhumanlayer.dev/docsで確認できる

関連記事

1件のコメント

 
GN⁺ 2024-11-27
Hacker Newsの意見

  • スタートアップのオーナーが、AIを活用して社内向けサービスをDIYで構築したいという意見がある。SaaSを活用するほうがよいと思うが、価格が高く、しかもそれほど複雑でもない。競争が生まれれば価格は下がるだろうと見ている

  • AIサービスの高コストに対する懸念があり、無料クレジットの提供や価格調整が必要だという意見がある

  • 自動化バイアスと自動化による怠慢への懸念があり、人間がAIの判断を無批判に承認してしまうリスクがある

  • AIエージェントにできない仕事を代行する人間の代理人を活用するというアイデアが提案されている

  • 非同期または長時間実行されるツール呼び出しを処理するフレームワークの問題点が指摘されている。これを解決するためのアイデアはあるが、別の記事で扱う予定とのこと

  • APIレイヤーにとどまるための努力が必要だという意見がある

  • AIの初期段階では人間がロジックを担っていたが、その後人間を排除するにつれて品質が低下したという意見がある。これを解決するためにサードパーティ企業が人間を再投入するのは一時的な対症療法だというたとえがある

  • スタートアップでは人間の介入を重視しており、LLMベースの潜在力を実際の価値へ転換するには統制と監督が必要だと考えている。そのためにカスタムワークフローと手動プロセスを構築した

  • 基本的な入出力機能を提供するサービスは、すでに多くのシステムで実現可能だという意見がある。自前で実装する前に試してみる価値があると見ている

  • 医療機器会社でワークフローエージェントとしてAIの導入を検討しており、ISO13485の品質保証プロセスを支援するためにLLMを活用する計画だという。他のHNユーザーの意見を聞きたいとしている