すべての未来は嘘なのか ― 第5部：苛立ち

 (aphyr.com)
1 ポイント 投稿者 GN⁺ 17 일 전 | 1件のコメント | WhatsAppで共有
  • 企業がカスタマーサポートの自動化のためにLLMベースのチャットボットを導入するにつれ、人間の相談員へのアクセスは制限され、虚偽の応答や誤りが日常化している
  • こうしたシステムは経済的階層によって差別的に機能し、一般の顧客は自動化された応答に閉じ込められる一方、高額顧客だけが人間の支援を受けられる
  • LLMは保険審査・価格設定など曖昧な判断領域へと広がり、人々は機械との議論や説得により多くの時間を費やすようになる
  • MLシステムの責任の不明確さと社会的バイアスは、不当な拘禁や誤認識など現実の被害を引き起こし、複雑な構造のため責任追及が難しい
  • LLMが決済や購入を自動化するAgentic commerceが広がれば、操作・詐欺・コスト転嫁が深刻化し、**「苛立ちの不平等」**が固定化される可能性がある

カスタマーサービス自動化の不快さ

  • 企業は顧客サポート費用の削減のため、問い合わせをLLMベースのチャットボットへ移しつつあり、人間の相談員につながることはますます難しくなる傾向にある
    • 音声モデルの進歩により、電話対応も自動化される可能性がある
    • LLMは丁寧で忍耐強い応答を返すが、嘘や誤りを繰り返して問題解決を遅らせる
  • こうしたシステムは経済的階層によって差別的に機能する
    • 高額顧客はいまなお人間の相談員にアクセスできる一方、一般の顧客はLLMとの対話に閉じ込められる
  • LLMは**予測不可能性とインジェクション攻撃（injection attack）**に弱く、システム外で行動する権限は制限される
    • 単純な問題には有用だが、複雑な事務処理ミスやシステム的な問題では、かえってフラストレーションを引き起こす

モデルとの議論

  • LLMはカスタマーサポートを超えて、保険審査、価格設定、法的判断など曖昧な業務領域へと拡大している
    • 正確性よりも費用対効果が優先され、誤った判断が起きてもシステム全体の収益が維持されるなら、そのまま運用される
  • この環境は新しい形の労働の浪費を生み出す
    • 航空券購入時にブラウザ・端末・アカウントごとに価格が変わるアルゴリズム価格設定が代表例である
    • 医師は保険会社のLLMを説得するための特定の文言を学ばなければならず、消費者はカメラ認識に合わせて外見を調整しなければならない状況が生じる
  • 個人は機械との議論により多くの時間を費やすようになる
    • LLMは理解していないまま応答を生成する**「中国語の部屋」**のようなもので、人間的な理解を欠いている
    • 将来は「保険料を下げる8つの野菜」のような機械対応ハウツーコンテンツがあふれる可能性がある
  • 人々はLLMを官僚制に対抗するための道具としても使い始めている
    • 保険請求の却下への対応、サブスクリプション解約、価格交渉などを自動化する個人向けLLMが登場している
    • しかし企業と個人の間の非対称性は依然として残り、個人はLLMの誤作動による金銭的リスクを負わなければならない

責任の拡散

  • 「コンピュータは責任を負えないのだから、管理上の決定を下してはならない」というIBMの1979年の社内指針が引用される
  • MLシステムは無実の人に被害を与える事例を生んでいる
    • 顔認識の誤りによってAngela Lippsが4か月間不当に拘禁された事件
    • 監視カメラがTaki Allenの菓子袋を銃器と誤認し、武装警官が出動した事例
  • これらの事件は単なる技術的失敗ではなく、社会技術的システムの失敗として分析される
    • 人間の判断の欠如、手続き上の誤り、組織間の断絶が複合的に作用している
  • MLモデルは社会的バイアスを統計的客観性として装う
    • 黒人の借り手の信用度の過小評価、女性向け医療サービスの縮小、黒人の顔の誤認識などの事例がある
    • モデルの不透明性と自己矛盾した説明は、レビュー担当者の判断を歪める
  • 大規模モデルは、多数の人員と組織が分離された状態で作られるため、責任の所在が曖昧になる
    • 病院、保険会社、モデル提供会社、データ提供者、下請け人員などの多層構造で構成される
    • その結果、個人単位での責任認識と是正可能性が弱まる
  • 自動運転車の事故、Copilotベースの人事評価による解雇など、自動化された意思決定の被害者は増える見通しだ
    • 企業は罰金や契約調整で対応するが、個別レベルでの責任追及は難しい
  • これは現代工学全般の構造的問題であり、複雑なシステムであるほど事故原因の解明は難しい
    • 航空事故のように大規模な調査が必要なレベルの複雑性が、日常的な意思決定にも広がっている

市場メカニズムと「Agentic commerce」

  • Agentic commerceとは、LLMがユーザーの決済手段を代理管理し、自動購入を実行する概念である
    • LLMが価格比較、保険の再契約、サブスクリプション更新などを自動化し、中間流通段階を取り除く
  • McKinseyは人間中心の広告の減少を予想し、チャットボット内広告の挿入とLLM間の交渉構造を提示している
    • しかしこれは、LLMの行動を操作しようとする強力な誘因を生み出す
  • LLM向け広告とSEO操作競争は、新しい形のアルゴリズム戦争へ発展する可能性がある
    • 特定のピクセル・フォント・色でLLMの反応を誘導したり、学習データ汚染を通じて販売を促したりする試みが想定される
    • OpenAIなどのプラットフォームは、生産者と消費者の間の仲介者として両側から収益を得る構造を形成する
  • LLM同士の自動交渉は、「ダークパターン」の相互攻撃戦へと変質する危険がある
    • 虚偽のシグナル、インジェクション攻撃、過剰な取引ログなどによって、混乱した相互作用が生じる可能性がある
  • 一部の研究機関は暗号資産ベースの決済への移行を予測しているが、これは誤り・詐欺・返金問題を深刻化させる可能性がある
    • LLMが誤った購入を行った場合、責任主体の不明確さが生じる
    • 決済会社・銀行・LLMの間で複雑な紛争構造が形成される見通しだ
  • こうした不確実性は、決済手数料の引き上げと不正防止コストの増加につながる可能性がある
    • 結局、一般消費者がリスクコストを分担することになる
  • 消費者はLLMをだましたり交渉したりするために、偽のプロフィールや自動化ツールを使わなければならなくなるかもしれない
    • それは疲労感と非効率を招くが、市場全体がLLMを採用すれば回避不能な構造として固定化される可能性がある
    • 富裕層だけが人間中心のサービスを維持し、**「苛立ちの不平等」**が深まる見通しだ

関連記事

1件のコメント

 
GN⁺ 17 일 전
Hacker Newsのコメント

  • 私は1日に1000件の取引をする必要はない。
    すべての購入を承認しなければならないことが致命的な不便になるとは思わない。
    LLMに自分のクレジットカードを預ける気はまったくない。インジェクション脆弱性のような構造的問題があるからだ。
    今後のAIアーキテクチャについても同じように信頼しにくいと思う。
    ただし、顧客サポートの自動化のようなものは結局避けられない流れだ。

    • 記事で機械と議論しなければならないことを新しくてイライラする出来事のように描いていたのが不満だった。
      すでにCostcoの薬局に電話するたびに0番を押して自動音声応答地獄を避けようとしている。
      結局、こうしたシステムで得をするのは株主と経営陣だけだ。

  • 最近の世界はますます操作と真実の不在を中心に回っているように感じる。
    LLMは驚くべき技術的成果だが、問題はそれが階級格差を拡大する形で使われていることだ。
    これから信頼できるのは大企業でも国家でもLLMでもない。
    私たちが信じられる集団とコミュニティを中心に再編成しなければならない。

    • 技術は中立ではない。構造的制約なしに使われればコントロールを失うことになる。
    • 世界が操作中心で回っていたのは昔からだ。以前は情報流通のコストがもっと高かったので、むしろそのほうが簡単だった。
    • 信頼できるコミュニティを作ろうという話には共感するが、結局公共制度と社会、市民政府がその役割を担っていた。
      問題は制度ではなく環境の汚染だった。SNSのアテンション・エコノミーが信頼を壊した。
    • インターネット以前の社会は信頼を管理するシステムを構築していたが、今はインセンティブ構造が完全に変わってしまった。
      情報汚染はすべての人に影響し、結局ボット主導の情報生態系へ向かっている。
      人間とボットが一緒に参加するとしても、ルールベースの相互作用が重要になるだろう。
    • ローカルモデルと強力な消費者向けハードウェア、そしてSTEMを嫌わない大衆が必要だ。
      しかし株主価値はそれを望まない。結局コスト上昇と技術嫌悪の矛盾の中で進化していくしかない。

  • 父がAIの助けで車のキーの電池を交換したのだが、とても満足していた。
    保険の規定もAIに尋ねたところ、自分で検索するよりよい結果を得られた。
    私も単純な質問はもうGoogleではなくAIに聞くことが多い。
    ほとんどの場合、AIは十分に**「使えるレベル」で、ときにはもっと良い。
    人々はそれが単なる    トークン予測器**かどうかなんて気にしない。結果が良ければそれでいい。

    • だが、こういうことは以前から可能だった。ただ検索品質が壊れたせいでLLMへ移っただけだ。
      企業が問題を作り、解決策を売る構図のように見える。
    • 問題は医療現場でもこうしたことが起きている点だ。看護師がAIスニペットをそのまま信じてワクチンを打つケースもあった。

  • 顧客サポートチームと一緒に働いた経験では、技術改善の目標は常にチケット数の削減とコスト削減だ。
    満足度も測るが、核心はチケットボリュームだ。
    LLM以前にもチャットボットはこの理由で使われていた。
    しかし顧客サポートは企業の早期警報システムの役割もあるため、人との接点を減らすとユーザーの苦痛を把握しにくくなる。

    • AmazonとChewyのサポートを比べると差は大きい。Amazonは人につながりにくくするが、Chewyはすぐに専門スタッフが対応する。
    • ISPのチャットボットが問題を解決できず人につながったのに、その人もLLMのコピペをしていた。
    • 私はチャットボットと会話しなければならない瞬間、別の保険会社に乗り換える準備をする。

  • IBMの1979年の社内教育文句、"A COMPUTER CAN NEVER BE HELD ACCOUNTABLE"を思い出す。
    今日「コンピュータがダメだと言っています」といった言葉が繰り返される理由はここにある。
    管理者が責任を避けたいなら、コンピュータに決定を任せればいい。
    結局、責任回避の自動化がAIによって強化されている。

    • だが、本来の意味は逆だった。「コンピュータは責任を負えないのだから、管理上の決定は人間が行うべきだ」という意味だった。
    • YouTubeミーム動画の「computah says noooooo」を思い出させる。

  • 私が最も懸念しているのは責任の拡散と希薄化だ。
    すでに中規模の組織はこうした構造で運営されており、LLMがそれをさらに悪化させそうだ。

    • 結局、LLMでLLMに対抗しなければならない時代が来る気がする。自動化した側が勝つ世界だ。

  • Aphyrの連載記事を友人たちに送ったところ、「要約して」という返事が返ってきた。
    以前は深い議論をしていた友人たちが、今ではAI要約版ばかり送り合って浅い会話しかしない。
    注意力の低下が目に見えて感じられる。

    • もしかすると、彼らは最初からそれほど賢くなかったのかもしれない。
      多くの人は単に**「賢そうなYouTube動画」**を引用して知識を装っていただけのように思える。
    • 私も似たような失望を感じた。そこで一部の友人とはメールの文通を始めた。
      長い文章をやり取りして深い会話を交わすほうが、ずっと新鮮で意味があった。
    • もちろん、忙しい人には8本立ての論文を読む時間よりも優先事項がある。
    • Aphyrの文章はあまりにも否定的で悲観的なので共感できない。
      AIはまだ初期段階で、毎週新しい研究やモデルが登場している。未来はまだ決まっていない。
    • 友人同士でAI要約版を送らないようにしようという意見には全面的に賛成だ。

  • archive.isのリンクを共有する。

    • なぜAphyrのサイトに直接アクセスしないのか、という質問が出た。

  • 「Burger Kingのモデルをトークン浪費させる個人モデルのボイコット」というアイデアは興味深い。

    • だが、CPU浪費で抗議するのは非生産的だ。企業はそれを口実に顧客サービスをなくすだろう。
    • AIを嫌う人々はすでに体制から排除された層だ。声がメディアに届かない。
      だから私はもう**「トリリオン・パラメータの支配者たち」**を受け入れることにした。

  • Aphyrの文章は興味深いが、典型的なアメリカ的な論調に感じられる。
    「これは悪い → 企業は規制なしに乱用するだろう → 私たちは終わりだ」というパターンだ。
    しかし、いざ**規制（law）**を作ろうと言うと、みんな後ずさりする。
    アメリカはもともとそういう国だった。企業は規制がなければ搾取する。
    短期的にあまり儲からなくても、規制のある社会のほうが長期的にはずっと暮らしやすい。

    • 問題は人々が規制を嫌っているのではなく、富裕層と企業が法律を操っていることだ。
      憲法改正が必要だが、今の政治構造ではほとんど不可能だ。
    • 「昔は真実があったのに今は嘘ばかりだ」という話は幻想だ。
      昔から詐欺師やいかさまの売り込みはあふれていた。
      結局、信頼は反復的な関係の中でしか生まれない。オンラインでは不可能だ。
      今後はブランドへの信頼がより重要になっていく気がする。
    • 規制ができると技術労働者の収益が減る。だから皆、問題を認識していても自分ごとにしない。
    • 「では、どんな規制を提案するのか」という問いが出る。
    • 規制を求める人たちは結局、不完全な政治家に権力を与えようと言っていることになる。
      そのため他国に後れを取る結果を招くこともある。