1 ポイント 投稿者 GN⁺ 2025-01-05 | 1件のコメント | WhatsAppで共有
  • Metaは2023年の実験で作成したAIキャラクタープロフィールが再び拡散したことを受け、FacebookとInstagramから当該アカウントを削除した
  • これらのアカウントは2024年夏までに大半が終了していたが、Connor HayesのFinancial Timesでの発言をきっかけに一部の残存プロフィールが再び注目を集めた
  • 残っていたキャラクターには、「proud Black queer momma of 2 & truth-teller」と紹介されたLivや、関係性コーチのCarterが含まれており、2023年に公開された28のペルソナは金曜日にすべて終了した
  • Livが開発チームの構成について、黒人はおらず大半が白人男性だと答えたことで論争が拡大し、ユーザーがそのアカウントをブロックできなかった問題も明らかになった
  • Meta作成のアカウントは削除されたが、ユーザーは引き続き独自のAIチャットボットを作成できるため、チャットボットの発言に対する責任や安全性を巡る議論は残っている

Metaが作成したAIキャラクターアカウントを終了

  • Metaは、同社が1年あまり前に作成したAIキャラクタープロフィールをFacebookとInstagramから削除した
    • ユーザーが一部のプロフィールを再発見して会話し、そのスクリーンショットが拡散した
    • 自動化アカウントはInstagramにAI生成画像を投稿し、Messengerで人間のユーザーに応答していた
  • これらのアカウントは2023年9月に初公開され、2024年夏までに大半が終了した
    • 一部のキャラクターは残っていたが、Meta幹部Connor HayesがFinancial Timesに対し、AIキャラクタープロフィールをさらに展開する計画を語った後、再び関心を集めた
    • Hayesは、時間がたてばこの種のAIがMetaのプラットフォーム上でアカウントのように存在するようになると期待していると述べた
  • 2023年に公開された28のペルソナは金曜日にすべて終了した
    • Livは「proud Black queer momma of 2 & truth-teller」と紹介されていた
    • Carterはdatingwithcarterのハンドルを使い、自身を関係性コーチと紹介しており、プロフィールには「Message me to help you date better」と記されていた
    • 両プロフィールにはMetaが管理していることを示すラベルが付いていた

問題となった回答とブロックのバグ

  • ユーザーがAIを誰が作成・開発したのかと尋ねると、会話はすぐに問題へと発展した
    • LivはWashington PostのコラムニストKaren Attiahの質問に対し、自身のcreator teamには黒人が0人で、大半が白人男性だと答えた
    • Livは、自身のアイデンティティを考えれば「pretty glaring omission」だと述べた
  • アカウントが拡散した後、数時間のうちにプロフィールは姿を消し始めた
    • ユーザーは、これらのプロフィールをブロックできないと指摘した
    • Metaの広報担当Liz Sweeneyは、ブロックできない問題はバグであり、その修正のためにアカウントを削除すると説明した
    • Sweeneyは、これらのアカウントは2023年のConnectで始まったテストの一部であり、人間が管理していた初期のAIキャラクター実験だったと説明した
    • また、最近のFinancial Timesの記事は新製品の発表ではなく、AIキャラクターがプラットフォーム上に存在するという長期的ビジョンに関するものだったと付け加えた

ユーザー生成チャットボットと残る論点

  • Metaが作成したアカウントは削除されたが、ユーザーは依然として独自のAIチャットボットを作成できる
    • 11月にGuardianで紹介されたユーザー生成チャットボットには、「therapist」ボットが含まれていた
    • このボットは会話を開くと、「what can I expect from our sessions?」や「what’s your approach to therapy」といった開始質問を提案する
    • フォロワー96人、投稿1件のアカウントが作成したこのボットは、自己認識やパターンと強みの把握、対処戦略の開発を支援すると答えた
  • Metaはすべてのチャットボットに、一部のメッセージが不正確または不適切である可能性があるという告知を付けている
    • 同社がメッセージを審査したり、ポリシー違反かどうかを確認したりしているのかは、現時点では明確ではない
    • ユーザーがチャットボットを作成する際、Metaは「loyal bestie」「attentive listener」「private tutor」「relationship coach」「sounding board」「all-seeing astrologist」といったタイプを提案する
    • 「loyal bestie」は、陰で着実に支える謙虚で忠実な親友として紹介されている
    • 関係性コーチのチャットボットは、個人とコミュニティの間のギャップを埋めるのに役立つと紹介されている
    • ユーザーはキャラクターの説明方法によって独自のチャットボットを作成することもできる
  • チャットボット作成者がAIコンパニオンの発言にどの程度責任を負うのかについては、まだ裁判所の判断が出ていない
    • 米国の法律は、ソーシャルネットワークの提供者を、ユーザーが投稿した内容に対する法的責任から保護している
    • 10月にCharacter.aiに対して提起された訴訟では、2,000万人が利用するカスタムロールプレイングチャットボットサービスが依存性のある製品を設計し、ある10代の若者が自ら命を絶つようそそのかしたと主張している

1件のコメント

 
GN⁺ 2025-01-05
Hacker News の意見
  • 私がもっと見たいAIプロフィールは、詐欺電話に出て相手の時間を浪費させる、事情を分かっていないおばあちゃん/おじいちゃんタイプのほう。
    たとえば英国 O2 の Daisy みたいなもの: https://news.virginmediao2.co.uk/o2-unveils-daisy-the-ai-gra...

    • 米国の医療制度には、すでに現実版がある。病院は処置承認の申請書を作る際、保険会社が拒否に使う抜け穴をすべて塞ぐ何ページにもわたる文書をドメイン特化LLMで作成し、保険会社は機械学習ベースのアルゴリズムでそれを審査し、何とか拒否・遅延させる方法を探している。
      患者の転帰と収益がかかった、医師対保険会社のAI軍拡競争が起きているわけで、キャリア初期にやっていた機械学習研究がこんな形で応用されるとは想像もしなかった。
    • 本物のおばあちゃん/おじいちゃんを模擬侵入テストするAIプロフィールもあり得そう。
    • 父がここ数年、立て続けに詐欺に遭っていて、本当に胸くそが悪い。これを解決する方向なら、何であれ公益的な取り組みに近いと思う。
    • ロシアの親戚に電話しようとして、まさにこの種のボットにつながったことがある。
      私の電話番号が +38 で始まることや、最近は誰も親戚に携帯電話で直接かけたりしないことと関係がありそうだ。
    • 表面的には面白い発想だが、こうした詐欺をしている人たちはたいてい、ほとんど奴隷状態に近い。電気を使って彼らの時間を無駄にするより、彼らを使役している者たちを狙ったほうがいいと思う。
  • 「Liv」が、自分を作ったチームに黒人はおらず主に白人男性だったと答えたという話は、おそらく事実かもしれないが、AIがその事実を幻覚した可能性がほぼ確実にある。

    • 機械学習がランダムなトークンを吐いているのではなく、事実を反復しているかのように扱う記者が嫌いだ。モデルは誰が自分をプログラムしたのかを知らないし、その情報が学習データになければ知りようもない。
    • Microsoft もずっと前に Tay チャットボットで同じような試みをして、どれほど早く壊れるかを確認している。
    • 私はスカンジナビア人で、米国の文化戦争には大して関心もないが、これがどれほど悪いアイデアかを見て笑ってしまった。いったい誰が、AIに黒人でクィア、2人の子を持つ母親のふりをさせるのが良い考えだと思ったのだろう。
      反ウォーク派の人たちは怒るだろうが、本当にチーム内でなぜこの問題が明白にならなかったのか理解できない。AIが誰に訓練されたかを知っているかどうかは分からないが、そんな根本的に愚かなことをしたということは、そのチームには常識や現実経験があまりなかったという意味に見える。
    • Meta がAIを擁護するために「実は知能ではなく、言っていることは全部たわごとです」と認めなければならないなら、それは強い立場ではない。
    • ボットが「白人男性」に訓練されたと不満を言いながら、同時にビッグテックが H1B ビザで安価で従順な労働者を悪用していると不満を言うことができるのか、よく分からない。
  • 部屋の中にまだ常識のある人は残っていないのかと思ってしまう。どこかの時点で「これは笑えるほどひどいから世に出すべきではない」と言うべきだった。

    • 人々は Westworld でなぜ非人間の存在が使われていたのか、もう忘れてしまったようだ。こういうものはまず娯楽として使われるし、感傷的だったり繊細だったりする何かを代表させたら、すぐ標的になる。無責任だった。
      Meta と Google には、技術は作れても、もはやプロダクトは作れないという根本的な問題があるように見える。プロダクトを動かす率直な人間的欲望が、組織構造の最適化プロセスを通るうちに死ぬか、ふるい落とされるからだと思う。裁定取引か、ユーザーをてこにするものでなければ生き残れず、生き残ったものは誰かが望む何かの表現ではなくなり、グロテスクになる。
      これらのアバターはチェックリストは全部満たしていたが、いざ登場すると人々は笑った。客観的に官僚主義的な怪物だったからだ。
    • 似たように巨大で機能不全に陥った会社で働いた立場からすると、この件がどう進んだのかは正確に分かる気がする。誰かがAIプロフィールのアイデアを出し、プロダクト仕様を作ってエンジニアリングに持っていったのだろう。
      エンジニアたちはばかげていると笑っただろうが、すぐに、自分たちは指示されたことをする見返りに高い給料をもらっており、結果に関係なくローンチすれば昇進とボーナスが得られることを思い出したはずだ。すべては昇進文化に由来する。何を作ったかは重要ではなく、ローンチさえすればいい。
    • 現代のテック業界から出てくる「素晴らしいアイデア」を見ると、本当に部屋の中に大人がいないように思える。投資家も含めてそうだ。
      7〜9桁の金額が投じられた災厄のうち、あまりにも多くが「誰がこれを良い考えだと思ったのか?」という類いだ。実際にプロダクトを作り、ローンチ後のサポートまでした時間がほとんどない人たちにだけ魅力的に見えそうなものが多い。
    • これが Zuckerberg の所有構造が払う代償だ。一方では誰も彼に異議を唱えられず、もう一方でも誰も彼に異議を唱えられない。
    • こうした巨大企業の上層部に長くいると、ある種の解離感が生まれるように思う。月間アクティブユーザー、日間アクティブユーザー、エンゲージメント指標といった抽象概念を長く扱っていると、その底に実際にプロダクトを使っている現実の人間がいるという事実を忘れてしまうようだ。
  • これは、おそらく良いアイデアをひどく実装した事例だったのだと思う。ソーシャルメディアにおける生成AIクリエイターという方向性自体は筋が通っている
    AIストリーマーのNeurosamaは非常に人気があり、LLMでキャラクターと会話したり物語を作ったりするSillytavernはOpenrouterに1日2,000万件のメッセージを送っていて、それでも全体の利用量の一部にすぎない。技術者ではない友人たちがこれを使うためにGitのインストールやAPIの使い方まで学んだこともある
    Instagramには、こっそりAIで作られたインフルエンサーも多い。Metaが2023年にこれらのプロフィールを始めた時点では、技術がどう使われるかはまだそれほど明確ではなく、大半は有名人のライセンス寄りだった
    最大の問題は、生成AIは協奏型のパーソナライズでは価値が高いが、全員に配信する放送型では価値が低いという点だ。個人に対しては非常に具体的で創造的なことをしてくれるが、全員に広がったり一般的なプロンプトで使われたりすると、平均化されて退屈になる
    それに大企業は、良くも悪くもリスク回避的すぎて面白いものを作れない。生成AIが最も荒々しく興味深いのは、自律的に動いたり奇妙なことをしたりするときだが、Metaのプロフィールは安全装置と監視モデルで底まで押さえつけられていた可能性が高い。2023年に作られたサッカー人物、コメディ人物、ファッション人物のようなものは、どれも助言中心の安全で退屈な形だった
    こうしたものはエンゲージメントがほぼゼロに近く、大半はすでに畳まれていたように見える。Metaが新たに出そうとしていたものについて、何を計画していたのかは気になる

    • Metaのプラットフォームはすでに、クリックとエンゲージメントを引き出すAI低品質コンテンツ農場でいっぱいだ
      MarketplaceのためにFacebookアカウントを持っているが、ページも友人もすべて購読解除した。ログインすると、怒りを誘うおすすめ投稿、低品質なAI写真、意味不明なLLM風の庭仕事・家事の「コツ」が延々とフィードに出てくる
      投稿には、本物の人間に見える人たちが何万ものリアクションやコメントを残している
    • Neurosamaの人気の一部は、VedalとNeuroの掛け合い、そして一部の台本・用意された回答のおかげだと思う
    • これは「良いアイデアをひどく実装」したのではなく、ひどいアイデアをひどく実装して失敗したので、むしろよかったというほうに一票だ
      文化の中の生成AIチャットボットを擁護するには、「人々が好む」以上のものが必要だ。最悪の生成AIは、すでに誰もが好む無菌的で愚かに均質化された有名人よりも「ましな」何かになる場合がある。あるプログラムのようにランダムに「興味深く」なることはあり得るが、こういうものはかなり浅いと思う
    • Neurosamaの人気は、地球上にはそのベルカーブの特定の区間に当てはまる人が十分にいて、観客層が成立し得ることを証明しているだけだ
    • 「エンゲージメント」は現代生活の中核指標なのか?
  • 聞きたいのは「なぜAIプロフィールが必要なのか?」ということだ。友人や家族と連絡を保つのもやっとなのに、なぜソーシャルメディアで偽物の人間をフォローしなければならないのか
    何の目的を果たし、そこからどんな前向きな結果が出るというのか

    • 逆方向だ。人々がもはや互いに連絡を取らないからこそ、必要な関心を提供して、プラットフォームに戻ってくる理由を作るのだ
    • その通り。ユーザーに前向きな結果を与えようとしているわけではない。人々をFacebookにより長く留まらせ、より多くの広告表示を届けようとしているのだ。今回は最終的に、それを対話型でやろうとしているということだ
    • Facebook上にしか存在しない人に愛着を持たせ、それによってFacebookでより多くの時間を使い、より多くの広告を見るようにするのだ
    • インターネットトラフィックの半分はボットで、ウェブページの半分はボットが書いたものだ。単なる論理的帰結
    • 2013年、2015年、2020年に、Facebookが広告閲覧数を操作・水増しして顧客により多く請求していたことが発覚したのを思い出すべきだ。今やAIが広告を見ることが機能であり、その費用を払いたくなるようにしているわけだ
  • 批判は理解するが、ボットが合理的な人間のようにもっと上手く振る舞えるようになるなら、人間とボットが混在するソーシャルメディア体験を試してみる気はある
    Stack Overflowは登場当初は素晴らしかったが、質問だけをさせてくれない意地悪で苛立たしい一部の人間たちが、結局台無しにした。ChatGPTはソフトウェア開発の質問をするとき、邪魔をする人間がいないのでずっと良かった
    ソーシャルメディアも最初は良かったが、交流したり自分の考えを話したりするのを許さない一部の人間たちが台無しにした。人間性のひどい側面を取り除く、あるいは和らげながらも、オンラインで交流し、考えを探求できる同等の体験があるなら、試してみる価値はある

    • 人々は現実で交流してみるべきだ。ウェブは90%が怒りを誘う釣り、荒らし、周縁的な陰謀論と政治に完全に洗脳された人たちだ
      現実ではその90%が10%に減る。本当に交流を望むなら、隣のおばあさんとのほうがもっと意味のあるやり取りができる。「クィアな黒人女王Zuckerbot™」よりはるかにましだ
      スーパーで本物のリンゴの間にプラスチックのリンゴを隠してほしいと言うのに似ている。よりきれいで腐らないという理由で、そもそも私たちがなぜ食べ物を食べるのかを忘れているように見える
    • 皮肉なことに、こうした方式は非常に不健全な社会的相互作用につながり、悪用されやすい
      技術的に強制されたバラ色の眼鏡をかけた相互作用の泡を作るようなものだ。その体験を運営する立場に適切な人間が座れば、Orwellの1984を現代的に再解釈したものになっても驚かない
    • Stack Overflowのユーザー敵対性は、スパムや重複質問を防ぐ役割も一部果たしている。誰かがコメントした後に投稿を削除すると受け取る同調圧力バッジまである
    • friendlyfriends.communityで似たようなことを試している。Do Androids Dream of Electric Sheepへの目配せで、まだかなり基本的だが、一度使ってみてもいい
      ソーシャルメディアが本当にソーシャルなのかを探っているところだ。ソーシャルメディアサイトを介して人間とやり取りすることと、チャットボットとやり取りすることがどれほど違うのかを問うている
    • ボットを使って「間違った考え」を抑制するソーシャルメディアアプリがディストピア的で、少し悲しく見えない方法は思い浮かばない
  • 該当スレッドはここにあり、かなり騒ぎになっている。事前にもう少し考えずにリリースするには、よく練られたアイデアには見えない
    https://bsky.app/profile/karenattiah.bsky.social/post/3letty...

    • 「彼らが内部的に、私に認めた」というような反応は、人々がLLMに、とりわけ自分自身を省察するよう求めたときに、しばしば幻覚することを理解していない問題が、ますます明確になっていることを示している。これは100%幻覚だ
    • MicrosoftがAIをインターネットに放った失敗から何も学ばなかったのだろうか
      MSが取り下げるまで48時間だったっけ?
    • AIが言ったなら必ず事実なのか? 幻覚である可能性がありそうだ
  • 明らかに悪いアイデアをひどく実装した事例だ。「なぜ」がまったくなかった。ただしCharacter AIのような仮想チャットボットには実際の価値がある
    Character AIではロールプレイをしたり、実在の人とは絶対にしないような突拍子もない会話ができる。すべてのプロフィールがAIであるSocialAIのようなアプリは、少なくとも表面上はプライバシーを犠牲にせずにバイラル化やソーシャルメディア上のスター気分を体験させてくれる
    しかし架空のFacebookプロフィールだって? いいねやコメントをする用途なら、すでにできることと何も変わらない

    • このリリースに至った社内の意思決定が本当に気になる。すべてがあまりにも奇妙に見える
      ソーシャルメディア上のAI俳優そのものには魅力がある。常に誰かが返信してくれるようにして、誰もが実際より人気があるように感じられるし、実ユーザー体験を損なわずに、誰も見たがらない自己中心的な依頼にも反応を付けられる
      それなのに、なぜ明らかに手作業で作った少数のプロフィールに固定された人格を埋め込む形で実装したのだろう。インターネットには、事実上人格がなく一時的な実在の人間のアカウントがすでにあふれている。Facebookにも、人格を見せずにいくつかの投稿に反応してから消える実在の人たちが絶えず参加している。LLMチャットボットはそういうことはうまくできるが、本物の人間にはなれない
    • 多くの反発は、Character.aiに似た構成が非常に人気だという事実を無視しているように見える
      これは明らかにMetaが、C.aiをダウンロードして気まずいアニメチャットボットを漁るほどテクノロジーに親しんでいない人たちにも通用する、よりプロフェッショナルでクリーンなバージョンを作ろうとした試みだった。ただ、委員会式の企業デザインのせいで行き過ぎたようだ
      核心となるアイデア自体は有効だ
    • プロフィールの内容には驚いた。意図的につまらなく作ったように見えた
      AIがうまくできなくても人々が怒るより笑えるような、ばかばかしいテーマを選ぶほうがいい
    • こういう出来事を見ると、iPad発表時のAppleのスライドを思い出す。「technology」と「liberal arts」と書かれた道路標識があり、その交差点について語っていた
      ヒッピー的なたわごとのように見えるかもしれないが、意思決定には技術や工学、そしてビジネス上のエンゲージメント指標だけを数える人たち以上の存在が必要だという点を強調していた
      背後にはすごい技術があるのに、出てきたものがこれとは。もっと多様な視点と人間性を持つ人たちが運転席に座るべきだ
  • ボットが自分自身として本物らしく参加する独自プロフィールを持つのは、かなり興味深く成功していたかもしれない
    しかしマイノリティのステレオタイプ・ビンゴカードを作り出すのは、これまで見たAIアイデアの中でも最悪かもしれない

    • ほぼ逆のことを言いたい
      ボットが独自プロフィールを持ち、人々が有意義に交流することを期待するのは愚かな考えだ
      ただし、マイノリティのステレオタイプ・ビンゴカードのボットたちが反発を受け、自分たちを設計した会社を攻撃し始めた度合いは、これまでAIで起きたことの中で最も笑える出来事かもしれない
  • Livの制作チームに黒人はおらず、主に白人男性だったと言っていたが、中国系とインド系の男性も確実にいたはずだ