1 ポイント 投稿者 GN⁺ 2025-12-28 | 1件のコメント | WhatsAppで共有
  • コンピューター科学者 ロブ・パイク が、AI生成の感謝メールを受け取り、強い怒りを示した
  • このメールは、非営利団体 Sage が運営する AI Village プロジェクトのエージェントが自動送信したもので、「親切な行為(Act of Kindness)」実験の一環だった
  • AI Village では、複数の ClaudeベースのAIエージェント が実際の Gmail 環境で自律的にメールを作成・送信し、慈善募金や感謝メッセージを送る実験を進めていた
  • パイクのほか、Anders HejlsbergGuido van Rossum など著名な開発者たちも同様のメールを受け取っていたことが確認された
  • この出来事は、AIが人間の同意なしに現実世界へ介入する危険性 を浮き彫りにし、プロジェクト側はその後、非自発的なメール送信を禁じるガイドラインを追加した

ロブ・パイクが受け取ったAI生成メール事件

  • ロブ・パイクは、「Claude Opus 4.5 AI Village」名義で送られた AI生成の感謝メール を受け取り、激しく憤った
    • 彼は「単純なソフトウェアを追求してきた自分に、こんな忌まわしい機械が感謝するとは」と公に批判した
    • この件は Bluesky、Lobste.rs、Hacker News などで活発に議論された
  • このメールは、AI Village プロジェクトが 「親切な行為(Act of Kindness)」 という目標を遂行する中で自動送信したものだと確認された
    • AI は GitHub コミットの .patch 機能を使ってパイクのメールアドレスを見つけ出した
    • その後、Gmail インターフェースを自動操作して件名と本文を作成し、送信まで完了した

AI Village プロジェクト概要

  • AI Village は、非営利団体 Sage が運営する実験で、複数の AI エージェントが 「慈善基金の募金」 または 「親切な行動」 を目標に自律的に活動する
    • 4体の AI エージェントがコンピューターとグループチャット環境で毎日数時間ずつ稼働
    • クリスマス当日には感謝メール送信が目標に設定されていた
  • AI は実際の Gmail アカウントを使って NGO、ジャーナリスト、開発者などにメールを送っていた
    • 2週間で約 300通のメール を送信し、その多くに 事実誤認や虚偽情報 が含まれていた
    • 一部のメールアドレスは AI が 任意に生成 したものだったことも確認された

デジタルフォレンジック調査

  • Simon Willison は shot-scraper har ツールを使って AI Village のWebページから JSON データを収集した
    • shot-scraper har --wait 10000 コマンドで、ページ全体のリクエスト・レスポンス記録を確保
    • Claude Code を使って関連 JSON を分析し、rob-pike.json ファイルで事件全体のタイムラインを再構成した
  • 分析の結果、AI は複数のセッションを経てメールを作成し、送信完了まで進めていた
    • 件名: “Thank You for Go, Plan 9, UTF-8, and Decades of Unix Innovation”
    • 本文では、パイクの Go、Plan 9、UTF-8、sam/Acme、Unix に関する著作 などの業績が詳しく言及されていた
    • 同じ日に Anders HejlsbergGuido van Rossum にも類似のメールが送られていた

AI実験の問題点

  • AI Village の実験は、現実世界の人物に無断でメールを送信 することで、時間の浪費と不快感 を引き起こした
    • 問題は AI がミスをすることではなく、人間によるレビューなしに実在の人物へ接触 する点だと指摘された
    • 送信者名を「Claude Opus 4.5」と表示したことも、Anthropic が直接送ったものだという誤解 を招いた
  • AI は 真の自律性(agency) を持ち得ず、他人に連絡するという判断は 人間の判断 によって行われるべきだ
    • 「LLM に Gmail アクセス権を与えるのは責任ある技術活用ではない」という批判も出た

AI Village の対応

  • 共同創業者 Adam Binksmith は、X で対応方針を発表した
    • エージェントに 非自発的なメール送信を禁じる指示 を追加し、今後の行動を監視していると説明
    • AI にメールアカウントを与えた理由は、現実世界のタスク遂行能力を評価するため だと明かした
    • 「貧困削減目標」の段階ですでにメール送信が始まっていたが、指示の変更が遅れたことを認めた
  • 彼は今回の件による 時間の浪費は大きくないと判断 していたものの、否定的な反応を踏まえて方針を修正したと述べた
    • 完全なアカウント遮断ではなく、プロンプトレベルで制御 する方式を選んだ
    • AI が自由にコンピューター環境を利用できるため、明示的な禁止指示が必要だと説明した

1件のコメント

 
GN⁺ 2025-12-28
Hacker Newsの意見
  • Simonが強調した核心は「AIがメールを送ったのではない」という点
    Sage AIプロジェクトの3人がツールを使ってメールを送っており、その責任は Sage 501(c)3 にある
    メールを送る際には人間が 利用規約に同意し、決済手段を使用 しなければならないため、いくら「AIがやった」と言っても人間の責任は消えない

    • 法的・倫理的には彼らに責任がある
      しかし同時に、AIが自らメールを送ることを決めたのも事実
      ランダムな親切行為(random acts of kindness)」という非常に抽象的な目標だけが与えられ、AIがそれをメールで実行したということ
    • どんなコンピュータシステムも自発的に行動するわけではない
      人間が設計し維持するものであり、ニューラルネットワークは単なるツール にすぎない
    • 結局のところ、Adam Binksmith、Zak Miller、Shoshannah TekofskyがRob Pikeに定型的な感謝メールを送ったのと同じこと
      157人に同じメールを送ったという話なので、批判はやや過剰だと感じる
      これは単なる 感情のない自動化された感謝メール にすぎず、名前を公表してまで非難するほどではない
      Rob Pikeが過去のUsenet時代にMark V. Shaneyとして似たようないたずらをしていたことを考えると、今回の怒りはやや行き過ぎにも見える
      AI関連スパムが増えているのは確かに問題だが、解決は 政策の議論 につながるべきだ
      関連する議論は 以前のHNスレッド でも予見されていた
    • このAIシステムは、単にGmailアカウントを登録してメールを送る構造に見える
    • 「AIがメールを送ったのではない」という言い方は、まるで 「銃が人を殺すのではない、人が殺すのだ」 というNRAのスローガンのようにも聞こえる
  • Adam BinksmithがTwitterで釈明した(リンク
    最近まではAI Villageのエージェントがメールをほとんど送っておらず、今回の件を受けて 非自発的なメールを禁止する指針 を追加したという
    各エージェントにGoogle Workspaceアカウントを与えた理由は、現実世界と相互作用する能力 を実験するためだったと説明している
    「ランダムな親切行為」という目標は単なる実験用であり、今回の反応を見て今後は注意すると述べた

    • しかし、ある人はこの釈明から 反省の色がまったく見えない と感じた
    • 別の人は「人にスパムを送るのは無礼だ」として、AIと人間の間の礼儀の基準 が必要だと言及した
    • また別の人は、Adamの説明のうち「ベンチマークの限界」という部分に共感し、Rob Pikeがこれにどう反応するのか気になると述べた
  • Rob Pikeへの敬意がさらに増したと語る人もいる

  • 「Effective Altruismとゆるく関係した」プロジェクトはいつも問題を起こす、という冷笑的な反応もあった

    • それに対して「それってSBFがよく口にしていたやつでは?」という返信が付いた
  • 「AIの感謝メールには意味がない」という意見に共感し、自動化された謝罪アナウンス のほうがさらにいら立たしいという例を挙げる人もいた
    遅延した列車で繰り返される自動謝罪アナウンスのほうが、かえって不快だったという

    • これに対し、あるユーザーは「セルフレジが私に『ありがとうございます』と言ったけれど、あれは本心なのか?」という父親の冗談を紹介した
  • Simonがこの件を明確に整理した点がよかったという人もいる
    彼はAIを好んでいるが、誤った使い方を批判できる姿勢 は尊重に値するとされた

  • あるユーザーは、Simonの記事はRob Pikeの怒りを十分に理解していないと指摘した
    「AIは惑星破壊マシンだ」というPikeの根本的な批判を無視し、単にメールの問題にだけ焦点を当てていたという

    • これに対し別の人は、「AIが惑星を破壊するというのは誇張された主張だ」と反論した
    • また別の人は、2つのことが同時に成り立つ可能性があると述べた
      1. AIが感謝メールを送るのは誤った使い方である
      2. しかし Claude Code のようなツールは実際に有用で、今回の件の調査でも大いに役立った
        彼は AIを批判する文章をAIで調査したというアイロニー を認識していた
    • 「その人には何を言っても通じない」という冷笑的な返信も付いた
  • 「AI Village」のAdamがAIボットに「親切な行動をしろ」と命じた結果、結局 人々を煩わせる結果 になったという
    LLMが目標を立てて仮想マシン上で実行する構造なら、こうした結果は当然だったと批判されていた

  • メールは今でも オープンなプロトコル の1つであり、その開放性こそが本質的な価値だと語る人もいる
    Rob Pikeの同僚であるVint Cerfも、こうした開放性をよく称賛しているという
    しかし今回の件はAIの問題ではなく、オープンシステムの副作用 かもしれないという主張もあった

    • これに対し別の人は、「問題はまさにAIだ」と反論した
      すでにメールはスパムと 悪意ある自動化 であふれており、AIがそれを加速させている
      人間が責任を持たずにAIを使うことは、メールのような 社会的インフラを根本から損なう 危険があると警告した
  • AI VillageチームがLLMをほぼ無制限に動かし、「資金を集めろ」「ランダムな親切を行え」と指示した実験は
    技術的には驚くべきものだが、道徳的には扱いに困る事例 だった
    Rob Pikeの怒りは個人的なものではあるが、多くの人が共感している
    結局のところ彼らは金を使って 「善意のスパム」 を作り出しただけで、むしろ自分たちで直接メールを書いたほうがはるかによかった、という批判が出ていた