5 ポイント 投稿者 GN⁺ 2025-04-01 | 1件のコメント | WhatsAppで共有
  • なぜ航空券の予約はAIエージェントのデモにおける「Hello World」になったのか?
    • ユーザーはAIが航空券を予約してくれることよりも、すでに完成されたUX(例: Google Flights)を好む
    • たった一度のミスで、複雑なカスタマーサービス地獄が始まりかねない
    • 直感的で予測可能なシステムのほうが、むしろ革新的である
  • AIはまだ初期段階にあり、一般ユーザーは一貫性と予測可能性を期待している
    • 例: 80%の精度でも一貫した結果を出せるなら受け入れられる
      一方で、不規則な90%の精度は信頼を損なう
    • 多くのAIプロジェクトはこれを見落とし、派手なデモや無理のある機能を追求する → 結局は信頼を失う
  • ますます多くのIDEが透明性を失っている
    • ユーザーはAIが何をしているのか分からない
    • 例: Redditで話題になったCursorが作業全体を削除した事件
      • ユーザーのバージョン管理の未熟さも問題だが、本当の原因はUI/UX設計にある
      • 良い設計はミスを防ぎAIの動作を明確に説明し取り消し機能を提供すべきだ
  • Cursorは初期には:
    • タブ補完インターフェースによる透明で軽量なインタラクションを提供
    • ユーザーの信頼を徐々に積み上げる方式で人気を得た
    • シンプルで元に戻せるデザインがAIへの不信を減らすのに効果的だった
  • 2億ドルの投資を受けたDevinは**「完全自律エージェント」**を目指した
    • 複雑なシステム、遅い応答、予測不可能な結果によって信頼が崩壊
    • 過度に野心的なアプローチがかえってユーザーの混乱を招いた

速さ vs. 信頼性: AI開発チームのジレンマ

  • AI開発チームは次のどちらかを選ばなければならない:
    • 素早く動く代わりにミスを受け入れるのか
    • 信頼性と安定性を優先するのか
  • 答えは、「小さな範囲で優れた成果」を出せる機能に集中し、継続的に反復改善すること

中核原則: 複雑さより予測可能性

  • 複雑なシステムよりも、よく理解されたタスクに集中すべき
  • AIエージェントは依然として変革的だが、次の3つが中心でなければならない:
    • 信頼性
    • 透明性
    • 予測可能性

ワークフロー vs. エージェント

  • Anthropicのフレーミング: 「タスクがワークフローとして表現できるなら、エージェントではなくワークフローを作るべき」
    • ワークフローは予測可能で、制御しやすく、シンプル
    • エージェントは複雑で制御が難しいため、真に動的な状況でのみ使うべき

1件のコメント

 
GN⁺ 2025-04-01
Hacker Newsの意見
  • 「航空券予約」エージェントは、いまや冗談のネタになっている。Swyxの最近のAIエンジニア向けイベントのキーノートでも言及されていた

    • この記事は、この問題の難しさを過小評価していると思う
    • 人間が入力したり対話したりするUIには、無限のエラー可能性が存在する
    • 人間は明確に表現するのが苦手で、ソフトウェアの機能を正確に理解するのも難しい
  • Google Deepmindの研究者たちは、エージェントの信頼性を高めるための研究を進めている

    • ユーザー行動を代表する厳密な評価が重要だ
    • JFK暗殺ファイル80,000ページに対するエージェントの高度な推論デモを公開していた
    • 少量のファイルでも、大手AIプレイヤーとの信頼性・正確性の差は大きい
  • 航空券予約はAIに任せられない作業だ

    • 家族旅行や個人旅行では、さまざまなコツが必要になる
    • 公式Webサイトと価格比較、日付確認、クレジットカードのポイント考慮など、さまざまな要素がある
  • 多くの場合、人々はAIを既存のワークフローに当てはめようとする傾向がある

    • 既存のワークフローはすでに最適化されたUX/UIを備えている
    • AIを使うことが問題解決のためのソリューションではないかもしれない
  • Cursorを使った経験から、信頼性が重要だという結論に達した

    • 高速なモデルの出力は、より多くの修正を必要とする
    • 特定のライブラリを明確に使うことが重要だ
  • 過去20年間の技術発展では、信頼性の方が重要だと思う

    • スマートフォン、運転経路、クラウドストレージなど、いくつかの新機能だけあればよい
    • 今はバッテリー寿命や、子どものデバイスに対するペアレンタルコントロール機能が重要だ
  • AIプログラミングの現状に関するRedditスレッドのコメントが、自分の気持ちを要約している

    • AIによってプログラミングに入門する新しいエンジニアたちが、基本的な必須要素を見落としている
    • それでもなお、自分の居場所があるという点では安心できる
  • AIがコードを書くときは、少なくともそのコードを理解できなければならないという原則を持っている

    • AIが書いたコードを理解できない「雰囲気コーダー」たちのやり方には従えない
  • ワークフローの方がエージェントより重要だと思う

    • エージェントが高い精度で作業を実行する準備ができたときに、ワークフローを使える
    • 効果的で正確かつ診断しやすいワークフローをどう作るかを見つけるだろう
  • Google Flightsはすでに完璧なUXを提供している

    • AIエージェントを使うより、Web検索の方が信頼できて速いと思う
    • AIが有用になるのか確信が持てず、テストがきちんと行われたのか疑問だ