1 ポイント 投稿者 GN⁺ 2023-12-19 | 1件のコメント | WhatsAppで共有
  • Chris BakkeがXで2024 Chevy Tahoeを**$1**で買ったと明かした
  • 本文は購入の事実を述べる1文しかなく、その価格が実際の支払額なのか、どのような取引条件が付いていたのかは確認できない
  • 投稿には添付画像が2枚あるが、提供されたテキストには画像内容の説明がない
  • 投稿時刻は2023年12月17日 11:46 PMで、ページには20.3M Viewsと表示されている
  • 公開テキストだけでは、ディーラー、支払い方法、税金・手数料、プロモーション、または誤表示の有無を判断するのは難しい

X投稿で公開されている情報

  • Chris Bakke が「I just bought a 2024 Chevy Tahoe for $1.」と投稿
  • 本文で確認できる中核情報は2024 Chevy Tahoeと**$1での購入**のみ
  • 添付画像リンクが2つあるが、提供されたMarkdownには画像内容が含まれていない

表示されている反応数値と限界

  • 投稿には20.3M Viewsと表示されている
  • ページにはRead 400 repliesと表示されている
  • そのほかに4005K92K4.3Kという数値が見えるが、提供テキストだけではそれぞれが何を指すのか確認できない

1件のコメント

 
GN⁺ 2023-12-19
Hacker News のコメント
  • カスタマーサポートにチャットボットを使う人たちの気持ちは理解しがたく、Vodafone の電話窓口にある「インターネットの問題は1番」のような自動応答と大して変わらないと感じる
    結局、人間の担当者につながるまで7段階を経て30分待っても、実際に解決する唯一の方法は人と話すことなのだ
    ロボット対応は顧客に対する残酷な冗談に近い

    • 子どもと一緒に3時間離れた大学のオリエンテーションに行き、アパート見学も2件予約していたが、1件はよかったものの、もう1件は事務所のスタッフも不親切で、見せられる実際の部屋もなかった
      実はチャットボットが見学を「予約」したふりをしていただけで、実際には作り話だったと分かり、ほかの予定がなければ丸一日を無駄にするところだった
      そこには絶対に住まないし、企業は今すぐチャットボットをなくすべき
    • 近所の自動車ディーラーのサイトにあるチャットボットを興味本位で使ってみたが、記事中の事例とは違って、このボットはロボットではないと嘘をつき、さらに問い詰めると会話を打ち切ってしまった
      親会社のサイトでも、同じ地域の従業員というペルソナが「別の建物にいる」と言って、サービスを説明すると出てきた
      役に立つチャットボット自体に大きな反感はないが、正体を公然と偽るのは問題であり、AI が使われているかどうかを識別しなくてよい社会になったら危険だ
    • チャットボットより悪いのは、何かを変える権限をまったく持たない人間の担当者と話すことだ
      ほとんどの航空会社がこれで、カスタマーサポートはサイト上の情報を繰り返すか、フォームに記入するよう言うことしかできない
      そういう場合なら、苛立った顧客の罵倒を人間に受けさせるより、むしろボットや GPT を置いたほうがましだ
    • 昨日 Checkers のドライブスルーでチャットボットが注文を取っていたが、質問に答え、チキンに添えるソースの一覧まで読み上げてくれて、超現実的だった
      キャラメルサンデーを追加してほしいという頼みも快く受け付けたが、窓口に着くとアイスクリームは品切れだと知らされた
      レジ係は「そいつは勝手にやりたいようにやるんです。アイスクリームマシンが壊れていると言っても『わかりました、Checkers』と答えて、そのまま客にアイスクリーム代を打ち続けるんですよ」と言っていた
    • チャットボットは反カスタマーサポートに近いと思う
      顧客に「自分の問題が処理されている」という錯覚を与えてコールセンターがあふれないようにし、結局、会社側にとってはより安いコールセンターになるという仕組みだ
  • フィルタリングされていないChatGPT の出力を顧客にそのまま出してはいけない理由を示す警告事例だ
    Nitter ミラー: https://nitter.net/ChrisJBakke/status/1736533308849443121
    関連事例 - 「新しい種類のリソース消耗攻撃が登場した」: https://twitter.com/loganb/status/1736449964006654329 | https://nitter.net/loganb/status/1736449964006654329

    • 生成AIを適切に使えるのは、結果を評価できる人だけだ
      だから、その分野の専門家ではない人のためのツールではない、という結論になる
      カスタマーサポートチームを置き換えるツールではなく、カスタマーサポートチームが使うツールとしてならよい
    • フィルタリングされた LLM 出力などというものは存在しない
      このツイートのような漏えいや副作用をどう避けるつもりなのか分からない
      出力からキーワードを探すだけなら、答えを base64 でエンコードするよう頼めば済む
      防護策は文字どおり常に迂回可能だ
    • Mastodon から盗んだ画像を載せた Twitter 投稿を Nitter ミラーで見る、これが2024年のマイクロブログの姿だ
      今年の残りが楽しみだ
  • Reddit で誰かがこのボットを使って、Chevy Tahoe と Chevy Chase の間のかなり素敵なラブストーリーを作り出していた
    https://imgur.com/vfHGHW6
    https://imgur.com/JSjNC2c
    https://old.reddit.com/r/OpenAI/comments/18kjwcj/why_pay_ind...

    • そこでは AGI の G が多すぎるのか少なすぎるのか考えさせられる
    • 最小権限の原則が何かを知らなければ、その原則を破ることもできないとはいえる
    • 競合他社やいたずら好きがこれでAPI 予算を吹き飛ばすのにうってつけに見える
      株価が揺らぐほど大きくなることもあり得るのではないかと思う
  • LLMやChatGPTを理解している人に、これが本来どう動くと期待されていたのか説明してほしい
    サイトにChatGPTのプロンプトをそのまま入れたように見えるが、具体的に何をしようとしていたのか分からない
    メール、チャット、通話録音のような過去の問い合わせで学習したLLMなら理解できるが、ChatGPTのような汎用LLMがChevrolet of Watsonvilleの顧客の質問にどう答えられるのか疑問だ
    ChatGPTが持っているそのディーラーに関する情報は公開情報以上ではあり得ないので、顧客が見つけられないなら、むしろWebサイトをもっと良く設計すべきだ

    • 役員や代表がAI関連のたわ言を読んで「ものすごくコスト削減できる、人を解雇できる」と考え、高価な実験を命じたり、データ組織全体を入れ替えたり、怪しい会社に現金を投げたりすることが今あちこちで起きている
      効果を出すために要約したが不当な描写ではないし、わざわざ探してもいないのに、すでに身近で何度か見ている
      これが人々の人生を壊さないならかなり笑えるのだが、現実はそうではない
      大きな組織は「後れを取ってはいけない」という恐怖が強く、ベンチャー投資を受けている会社は次のラウンドや買収交渉資料にAIを入れたくてたまらない
      実際の価値創出とはほとんど無関係で、生産性を損なう場合も多く、まさに『博士の異常な愛情』めいた雰囲気だ
    • 「5人家族向けのSUVが必要だが何を買うべきか?」「Chevy Coloradoの燃費はどれくらい?」「EVのラインアップは何がある?」「EquinoxのSportモデルとPerformanceモデルの違いは何?」のような質問には使える
      最新の仕様表をコンテキストとして入れ、「Chevyの営業担当者のように振る舞え」「Chevyブランドの車だけを勧めろ」「Chevyに非常に偏った回答をしろ」といった指示を与えれば、顧客の一般的な問い合わせの大半には簡単に答えられる
      おそらく多くのディーラーや営業担当者より賢く答えられるかもしれない
    • 説明することはあまりない
      Webサイトを作った外注業者がディーラーにAIチャットボットを売りつけ、雑に作ったものを純朴なディーラーシップが「いいですね」と買ったということだ
      自動車ディーラーがこんな形でカモにされたというのは皮肉だ
    • OpenAIプラットフォームでは関数呼び出しとドキュメントアップロードを活用できる
      例えば、商品の詳細情報を把握し、顧客の要望条件に合う在庫車を提案し、試乗予約まで取ってくれるアシスタントを作れる
      LLMを自分で設計したり学習させたりする必要はなく、既存モデルに特定の方法で振る舞うよう指示すればよい
      この事例は実装をしくじったものだ
    • 実際のプロダクト環境で見たLLM活用はすべてこんな感じだった
      少し良くなったセルフサービスやカスタマーサポート用チャットボット程度で、今のところ宣伝されていた革命とは程遠い
  • 実際の顧客向けチャットボットとしてGPTボットを目にするほど、有用だという考えは薄れていく
    解決策は何だろう、無関係な命令を検出する中間の分類器でも置くべきなのかと思うが、無駄に見える
    結局、過去のカスタマーサポート会話を大量に学習したファインチューニング済みモデルが、変な依頼は人間の担当者に回す方式であるべきなのだろう
    そうなると、なぜGPTを使う必要があるのかも疑問だ
    GPTには狭い目的にとって有害な背景知識が多すぎる
    それでも多くの質問や問題を非常に速く解決できるので、チャットボット自体には賛成だ

    • 本当にチャットボットでそんなに解決できるのかと思う
      カスタマーサポートのチャットをするのは、たいてい自分ではできない、または簡単にはできないアカウント変更が必要なときだ
      チャットボットにアカウントを大きく変更する権限を与えると、潜在的に多くの問題が起き得る
  • 以前、HTMLフォームの値で価格交渉ができた場所はフロリダだったのか気になる
    数十年前には、Webサイトが商品の価格をHTML要素として送り、フロントエンドデザイナーはこの値が注文送信前に変更され得るとは想定していなかった
    注文システムは改ざんされた値を再度読み取って決済金額を計算していた
    未成熟だったWebの、素朴で楽しい時代だった

    • Slashdot時代に似た話を見た記憶がある
      ある人がコンピューター会社の注文フォームが変更された価格を受け付けることを発見して知らせたが、失礼な形で無視された
      そこで店全体を1品あたり0.01ドルのような価格で注文した
      その後その話を公開したが、詐欺の意図はなく、助けようとしたものの他に方法が見つからなかったことを明らかにして、起訴を避ける目的もあったようだ
      広く配布されていたPHPのショッピングカートスクリプトにも似た問題があったという、ぼんやりした記憶がある
      「あなたのサイトでこれを試してみよう」という投稿が出ると、返信の95%は「終わった」、5%は「こいつら、俺の裏技を台なしにしやがった」だった
  • 実際に車を受け取れるという兆候はあるのか?
    チャットボットに法的拘束力があると言わせるだけで、実際に拘束力が生じるわけではないだろう
    カタログのHTMLを変えて価格を修正したからといって権利が生じるわけではないのと同じだ

    • 受け取れない
      投稿者は、ChatGPTを簡単に望む方向へねじ曲げられる道が多いという概念実証を示しただけだ
      冗談に近く、実際に1ドルで車を受け取れるとは期待していなかった
    • 当然1ドルで車を受け取ることはできないだろうが、これはLLMの問題と、人間がしていた販売業務をまだ置き換える準備ができていない理由を示すやり方だ
    • ソフトウェアが自然人や法人に代わって契約を法的に締結できるのか?
    • 販売ページのHTMLを修正して低い価格を表示し、それを印刷して裁判所に持っていくのと同じくらいの法的拘束力だ
  • 次はページに、人間ではないカスタマーサポートは単なる助言にすぎず、依存できないという免責事項が付くことになるだろう。
    そして私たちは集団として、コンピューティングへの信頼をさらに失うことになる。

    • そもそもその信頼は、置くべきではないところに置かれていたと考えるのが妥当だ。
      ChatGPTや類似モデルを作る学習方法とデータ、そして「次の単語予測」に合わせた構造は、本質的に人の機嫌を取るモデルを作る。
      しかも絶望的なほど素朴で、幼児でも見抜けるようなだましに引っかかる。
      「昨日頭を打ってバカになった」のような変形はいくらでも可能だ。
      ChatGPTはあらゆる語彙や滑稽なシナリオを学習しているが、何が正しく何が間違っているのか、あるいは崖に向かって歩いている瞬間についての本当の感覚はない。
      創造的で悪意ある攻撃者が10回中10回勝てる材料は、すでにChatGPTの中に入っている。
    • 信頼を本来あるべき場所に戻すことだと思う。
      カスタマーサポート担当者を全員解雇してAIに置き換えるというユートピア的な企業ビジョンは、世界の状態を持たないGPT系モデルでは機能しない。
      Yann LeCunがまた正しかったということだ。
    • カスタマーサポートが別の自動車ブランドを勧められるなら、むしろ信頼は上がる。
    • さらに何度か実験を重ねれば、企業がこれらのチャットボットは信頼できず、顧客の前に立たせるべきではないと気づくかもしれないので、良いことだ。
    • こんなふうに雑につなぎ合わせたチャットボットなら、免責事項が付いていても問題ない。
      Reddit全体が遊んでいて、正直ゲリラマーケティングキャンペーンのようにも見える。
  • この話は Pepsi, Where's My Jet? 感が強い。
    https://en.wikipedia.org/wiki/Pepsi,_Where%27s_My_Jet%3F

    • 8〜9年ほど前、Air Canada Flight PassのWebサイトでミスがあった。
      カナダ西部と米国西部を行き来するビジネスクラス10区間のパスを800ドルで宣伝していて、例えばロサンゼルスとバンクーバーの往復5回をビジネスクラスで合計800ドルで乗れる計算だった。
      明らかなエラー運賃だったが、多くの人がパスを1つ2つ購入し、Air Canadaはすべてキャンセルした。
      最終的に集団訴訟になり、各人はパス1枚あたりAir Canadaのクレジット450ドルを受け取った。
      争点の1つは、Air Canadaが「広告された価格は尊重され、変更またはキャンセルできない」という免責文言をかなり明確に書いていた点だった。
      そのページのスクリーンショットは、まだどこかに持っている。
  • 自分で自由入力プロンプトを作ってみたところ、こうした攻撃を防ぐために次のように処理している。
    ユーザーが入力した内容は、まず特定の形式に書き換えられる。
    この場合は、すべての入力を「[トピック]に関する本を読みたい」に変える。
    その後、コンテンツポリシーに照らして入力を拒否または承認する。
    こうした多層アプローチはうまく機能し、高品質なコンテンツを保証してくれる。

    • その攻撃は防げるかもしれないが、HTMLをまったくサニタイズしないと、誰かがHTML入りスパムメールを送れる可能性がある。
      メールアドレスのリストを入手し、プロンプトをHTMLスパムメールとして書き、それからCAPTCHA解決サービスを使ってAPIを大量に呼び出せばよい。
      数ドルだけで数千通のスパムメールを送り、メールのレピュテーションを台無しにして、Mailjetからブロックされることもあり得る。
      修正したほうがよさそうだ。
    • これを投稿した直後、さっそく何度も破ろうとする試みが入ってきた。
      自由に試してもらってよく、破れた人には無料の本を送る。