PhysicsForumsと「死んだインターネット理論」

 (hallofdreams.org)
1 ポイント 投稿者 GN⁺ 2025-01-26 | 1件のコメント | WhatsAppで共有
  • 2001年に始まった科学コミュニティ PhysicsForums の古いアーカイブに、LLM生成の投稿が過去の日付で挿入され、既存ユーザー名に紐づけられていた痕跡が見つかった
  • 投稿IDと作成時刻の単調増加関係を照合して逆挿入パターンを見つけ、MathHelpBoardsの統合のような正当な例外を除いた結果、約115,000件の投稿がLLMによるものと推定される
  • 代表例であるravenprpアカウントは、2019年のWayback Machine記録では投稿数が74件だけだったが、現在は2,891件と表示され、追加された2,817件の投稿はアカウント作成前後から最終ログイン後にまで広がっている
  • LLM生成投稿は全投稿の約1.6%、総単語数の約3%と推定されるが、FAQと要約まで含めると、サイト全体の単語に占める人間執筆の割合は**66%**まで低下する
  • Greg Bernhardtは、AI機能とテストアカウントでの実験は品質基準を満たさなかったと回答したが、既存ユーザーのアイデンティティに同意なく投稿を付け加える手法は、コミュニティの信頼とアーカイブの完全性を損なう

古い科学フォーラムのアーカイブ価値

  • PhysicsForums は2001年にGreg Bernhardtが始めた科学コミュニティで、主に物理の宿題へのヒントを提供するフォーラムとしての性格が強かった
  • サイトは2012年まで比較的着実に成長したが、その後StackExchangeのような中央集権型サイトへ関心が移り、2025年には小さなコミュニティだけが残った
  • 多くの初期Webフォーラムと違い、PhysicsForumsは2003年から2025年までURLを維持し、古い投稿を削除したりサイトを閉鎖したりしなかったため、2000年代初頭のインターネットのタイムカプセルのように残っている

ravenprpアカウントに現れた異常の兆候

  • ravenprp アカウントは現在、2006年9月から2007年4月までの7カ月間に2,891件の投稿を行ったように見える
    • 1日平均13件を超える投稿であり、内容上は大学教員、機械工学の学生、化学プラントの採用担当者、構造エンジニア、生物学者、医学物理学者、化学者、航空宇宙エンジニアなど、複数のアイデンティティを行き来している
    • 一部の投稿は、アカウント作成の3年前から最終ログインの1年後までに書かれたものとして表示されている
    • OpenAI設立の7年前であるにもかかわらず、「OpenAIが開発した言語モデル」という冗談を書く投稿もある
  • 2019年のWayback Machine記録では、このアカウントの投稿数は74件だったが、現在は2,891件と表示されている
    • その後のどこかの時点でデータベースに投稿が直接挿入され、プロフィールの登録日や最終ログイン情報はそれに合わせて更新されなかったように見える
  • 元の74件の投稿だけを見ると、ravenprpはMATLABの本について尋ね、555タイマーICの問題を扱い、Bernoulli Equationのリンクを共有していた電気工学の学生に近い
  • 実在の人物が書いた74件の投稿に含まれる考えや文章は、同じアカウントに追加された2,817件の投稿にほぼ埋もれてしまった

投稿IDから明らかになった逆挿入パターン

  • PhysicsForumsの投稿とスレッドには連番の数値IDが付いている
    • 正常であれば、より大きな投稿IDほど作成時刻が遅いはずである
    • 削除、復元、スレッド分割、データベース問題のような例外はあり得るが、全体の流れは単調増加であるべきだ
  • 無作為に収集した30,000件の投稿では、ほとんどの期間でこの規則が維持されていた
  • 大きな例外の一つは、2022年のMathHelpBoardsとの統合である
    • 約150,000件の投稿アーカイブが元の日付を保ったまま統合された
  • MathHelpBoardsの統合と、実際の作成時点に近いと見られる事例を除くと、約115,000件の投稿がLLMによって作成された後、人間のアカウントに紐づけられたと推定される
  • 影響を受けたユーザーは、代表的なサンプル基準で少なくとも110人に上る
    • 初期のコメント投稿者、一回限りの投稿者、長年の読者、創設者兼管理者のGreg Bernhardtまで含まれる
    • 各アカウントには、実際のユーザーが同意したかどうか分からない見解が付与されることになった

LLM生成のFAQと要約が生んだ品質問題

  • HP 50g Graphing Calculatorに関する2007年のスレッドでは、LLM生成と見られる回答とFAQが、元の情報の価値を高めていない
  • そのスレッドのLLM作成回答は、「HP 50g Connectivity Kit」の存在という一点だけは正しいが、それ以外はHP 50g manualや他の実在する資料に反映されていない
  • FAQは「GET」と「PUT」関数に言及しているが、該当関数と「HP 50g Spreadsheet」はマニュアルに登場せず、検索結果も当該スレッド以外にはない
  • そのスレッドの単語数集計では、**LLM作成部分が92%**を占める
    • Summary: 99語、人間ではない
    • Springo: 38語、人間
    • Phys.org: 34語、人間ではない
    • Shinny_head: 11語、人間
    • Ravenprp: 164語、人間ではない
    • FAQ: 260語、人間ではない
  • サイト全体で見ると、逆挿入されたLLM投稿は全投稿の約1.6%、総単語数の約3%と推定される
  • LLM FAQと要約まで含めると、PhysicsForums全体の単語のうち人間が書いた割合は**66%**と計算される

コミュニティが発見したAI作成物と隠れた変更

  • PhysicsForumsユーザーは2024年11月、Azntoonアカウントが2012年の最終ログイン後である2022年のスレッドに投稿したように見える異常現象を発見した
    • 当時の議論は、データベース問題の可能性として整理された
    • その後、Azntoonの最終ログイン日は2022年12月に変わった
  • フォーラムユーザーは2022年からChatGPT生成回答に関するポリシーを議論していた
    • Vanadium 50は、ChatGPTの「かろうじて意味が通る投稿」が多くの作業を生み、DoS攻撃のように見なせると不満を述べた
    • Greg Bernhardtは、Stack Overflowが禁止を試みているようであり、PhysicsForumsでも少なくともChatGPTコンテンツを引用扱いにすべきだと述べた
  • 2023年4月1日にはエイプリルフール企画として表示名がChatGPTに変わったが、実際に投稿がChatGPTで作成されたとは受け止められなかった
  • LLMの影響を受けたユーザーは検索オートコンプリートから隠され、投稿のプロフィールリンクも削除された
    • プロフィールをクリックして最終ログイン日などの異常の兆候を確認することが、より難しい状態になっている
  • 執筆中にFAQ問題もコミュニティで発見され、low-quality FAQ discussionが開かれた
    • FAQはログイン中のユーザーには見えていなかったようである
    • FAQは削除されたが、閉じられたスレッド上部のLLM生成要約は残っている

Greg Bernhardtの回答とテストの説明

  • Greg BernhardtはPhysicsForumsでのLLM利用に関する質問に対し、コミュニティの価値を高めるために複数のAIテストを進めていると回答した
  • 2024年のフィードバックフォームで、多くのメンバーがAI機能を望んでいないと述べており、機能を大幅に改善するか削除することになるだろうと回答した
  • 前年にはテストアカウントでAI回答を実験したが、品質基準を満たさなかったと明かした
  • 追加質問には、1年以上回答のないスレッドに高品質な回答を提供するボットを構想したが失敗した、と回答した
  • 回答のないスレッドがフォーラムを散らかしているため、すべて整理する案も検討中だと述べた

アカウントのアイデンティティとアーカイブの完全性

  • 既存ユーザーアカウントにLLM生成投稿を詰め込む手法は、オンラインコミュニティにおいてアカウントのアイデンティティがユーザーに属するという期待を揺るがす
  • 比較的匿名のアカウントであっても、ユーザーがその名前で書いた投稿と費やした時間は、実際のアイデンティティと結びついている
  • 主に人間とやり取りしているという社会的契約が破られると、オンラインコミュニティが提供する人間的な相互作用の価値は低下する
  • 古いWebコンテンツは、すでに消えたサーバーや閉鎖されたサイトのため見つけにくくなっており、そこに過去日付のAI生成データが混ざると、インターネットアーカイブ調査はさらに難しくなる
  • フォーラム運営にはサーバー費用、データベース保守、ボット、DDoS、広告やクリック競争といった圧力があるが、生き残るためにコミュニティの中核的なアイデンティティとユーザーの信頼を損なえば、サイトの基盤は弱くなる

関連記事

1件のコメント

 
GN⁺ 2025-01-26
Hacker News のコメント

  • LLM生成コンテンツについてますます感じるのは、誰も望んでいないということ。
    AIと会話したいなら、直接AIと話せばいい。ブログや議論フォーラムを読むのは、人間が書いた文章を読みたいからであって、人間の名前の下に貼り付けられたLLMのコピペ駄文を読みたいからではない。
    最近はウェブでLLMコンテンツを避けるために、かなりの時間とエネルギーを使っている。記事を読んでいて “As we dive into the ever-evolving realm of...” のようなChatGPT文体が見えたらすぐ戻るし、画像検索では -AI、-Midjourney、-StableDiffusion のような除外フィルターを大量に入れる。検索によっては2022年以前に限定することもある。
    Googleがきちんと機能する「生成コンテンツ除去」のグローバルフィルターを追加したら、オンにして二度と切らないと思う。ユーザーはAIが作ったように見えるコンテンツを、品質に関係なく即座に嫌うという研究もあった。だから公開者には、AI記事を人間が書いたように見せる人間ロンダリングを行う誘因が生まれる。タイムスタンプを操作し、古いアカウントを乗っ取るやり方は初めて見た。

    • 完全に同意。これまではソーシャルメディアでこうした投稿が投票で下げられるのを見ていて幸いだったが、ChatGPTの回答を貼り付けることが生産的だと思う人がいることには驚く。
      Redditで「よく分かりませんが、ChatGPTはこう言っています」のような投稿を見ることもあるし、さらに悪い場合はChatGPTのコピペを自分の文章のように投稿している。おかしいのは、文体が人事部の人が書いた文章のように見えるのでバレる点だ。
    • 「LLMの出力をサービスとして提供する」方式の問題は、私のフィードを散らかすChatGPT風リスト記事の最善の場合でさえ、LLMの結果が必要なら自分でLLMに聞けばいいという点だ。
      良いモデルにアクセスできない場合なら多少の価値はあるかもしれないが、1つの質問に下手に答えるために10段落の静的ページを作る形式を好む人はいない。実際のチャットボットインターフェースなら、自分に合った形で情報を提示できるが、リスト記事の駄文は最も広い読者層に合わせた最小公分母にすぎない。
      もう1つの問題は、情報を言い換えたところで新しい情報は生まれないという点だ。車に入れるオイルの種類やブルーベリーマフィンのレシピを探すときには、メーカーが特定グレードのオイルを使えと言っているのか、誰かが実際に焼いて結果を検証したのかといった実際の根拠が必要だ。他の出典のテキストを反すうすることは、たいてい私の生活に何も付け加えない。
    • ChatGPT 3が出た頃、Hacker Newsのコメントに「このテーマについてChatGPTはこう言っています」という投稿があふれていた時期を思い出す。
    • 私も同じで、LLM自体は好きだ。会話したり書いたりするのは楽しくて興味深いが、信頼性が低いことは皆分かっている。
      文章がLLM生成だと感じられると、著者が私と同じくらい分かっていないというサインとして受け取ってしまい、その情報が正しいと信じる方法がない。
    • 良い比較対象は店にいる販売員だ。誰も販売員と話したがらない。知識のない客でも、たいていは店の商品について販売員より多く知っているので、販売員はほとんど役に立たない。
      多くの客は販売員を嫌い、一部は販売員のせいで店を出たり、入店しなかったりするため、店は売上を失う。それでもこの慣行は続いてきた。AIについても最悪を覚悟すべきだ。倫理観、事業判断、合理性のいずれも、企業がAIを押し込むことを止められないだろう。顧客をいら立たせることのほうが重要だと考えているようだ。

  • 2010年代初頭ごろ、Googleが従来型のフォーラム投稿やブログを、品質に関係なく「大手」サイトでなければ徐々に検索上位に出さなくなっていったという流れは、自分のブログでの経験とも一致する。
    一方で、2003年から2025年までURLを変えず、古い投稿を消さず、サイト自体も消えていないという点はすごい。自分のブログでも2008年のブックマークがまだ動く。
    CMSはもうなくなって全部静的サイトになったが、Web上の存在感を「リフレッシュ」するときに、この程度の整理すらしない組織があまりに多い。

  • PhysicsForumsでこんなことが起きたのは悲しい。15年前、物理への情熱を抱いていたころ、そして後にキャリアを始めたころに、よく使っていた最初期のWebサイトの一つだった。
    主に読んでいて、ときどき投稿もしていたが、いつかあの人たちのように賢く、多くを知るようになるのだと思っていたメンバーのことを今でも覚えている。アラブの春以降、ソーシャルメディアへ移っていく流れの中で、フォーラムが議論の中心だった時代が過ぎ、雰囲気が変わり始めた。
    2018年ごろからはGoogle、後にはKagi検索からたどり着く場合以外は訪れなくなったが、アーカイブはいまでも質問に答えるのに役立つ。Twitterでリンクが共有されていないから誰も気にしていない、という本文の判断には同意しにくい。

  • 肝心な点が埋もれすぎている記事だ。話のほぼ終盤で、サイト所有者がバックデートされたAIコメントを自分で追加したと認めている。もしかすると明白だったのかもしれない。

    • この特定のWebサイトで起きたことを調査したのは、インターネットコンテンツ、アイデンティティ、LLMに関するはるかに広い論点を示すための手段に近い。
    • 見つけられなかった。サイトを活性化するために種まき投稿をばらまこうとしていたのだろうか？

  • オンラインコミュニティでアカウントを作るときには、主に人間と相互作用するという社会的契約がある。宣伝アカウントやボット、広告主はいるだろうが、ユーザーとコミュニティ提供者の間の合意は、提供者がそうしたものから私たちを守ろうと努め、私たちは参加とコンテンツを提供する、というものだ。
    だからMetaのAI生成ユーザー実験は滑稽で気持ち悪い。人間のふりをする何かとやり取りでき、その結果がせいぜい生ぬるいゴミなら、インターネットを通じた人間同士の相互作用の価値は消えてしまう。
    これは大惨事だ。人工生成された駄文が最終的にインターネットのあらゆる部分を圧倒し、使いものにならなくしない未来が見えない。ユーザー生成コンテンツの時代は、おそらく終わったのかもしれない。

    • 解決策はある。ひとつは社会化された信頼システムだ。Nostrで私がフォローしているLyn Aldenが本物だと分かるのは、本人がそう言っているからだけでなく、ほかの多くの人も彼をフォローしているからだ。
      なりすましボットアカウントもあるが、フォロワー数を見れば簡単にブロックできる。Lynが使っている公開鍵が分かれば、その下に投稿される文章は本人のものだと確信できる。
      彼がLLMのたわごとを投稿することもあり得るが、人々はすぐ気づいてフォローを外すだろう。重要なのは、私が望まない限りフィードに何が表示されるかを決めるアルゴリズムがないため、ランダムなLLMコンテンツが私のフィードに入り込みにくいという点だ。
      もうひとつの選択肢は、個人情報をさらさずに人間であることを証明したり、中央サーバーが代わりにログインしてくれる方式に依存しないゼロ知識ID証明だ: https://zksync.mirror.xyz/kWRhD81C7il4YWGrkDplfhIZcmViisRe3l...
    • 少なくとも、公開されたオープンなユーザー生成コンテンツは終わりそうだ。
      Discordサーバーの中には、管理者と直接会ったことがあるか、グループ内の誰かが保証するか、ビデオ通話で「認証」しない限り、すべてのチャンネルへのアクセス権を与えないところもあると聞いた。
      これが未来だ。Discordのような構造に、Webページのようなメカニズム、つまり投稿だけでなく文書の集まりも置ける空間が入り、ブラウザからアクセスできる何かが必要になる。
      ただし発見の仕組みによっては、この新しい「インターネット」は、もはや特定の現実や場所から容易に抜け出す手段ではなくなる。90年代と00年代のインターネット利用の大きな原動力は、地域コミュニティでは触れられない新しいものを探検しようとする好奇心であり、信頼できた昔のGoogleがその中核だった。
      本当に反社会的な人たちにとっては悪い変化だが、そういうタイプはAIだらけの環境でむしろ繁栄するかもしれない。あり得る新しいグループ対グループの人間インターネットのゲートハブが開かれたロビーを維持するなら、両方の長所を得られるかもしれない。
    • 招待制フォーラムや、何らかの形で実際の身元確認を行うフォーラムが答えになり得る。GoogleとFacebookは、ほかのWebサイトに本物のオンラインIDサービスを提供するうえで有利な立場にあるのに、Facebook自身がボットを作っているという点がなおさら笑える。
      最終的には、銀行や政府が発行するオンラインID認証へ向かうのかもしれない。
    • 皮肉なことにFacebookでは、実際に知っている人としか友達になっていないので、フィードで見るものの大半はその人たちが投稿したものだ。
    • 正直な結末としては、AIコンテンツを許可または奨励するプラットフォームはビデオゲームのように見え始めるのだろう。学校のみんながAIメディアの有名人なら、誰も有名ではないのと同じだ。
      即座にインフルエンサーの有名人になれるゲームには確かに市場があるだろうが、ソーシャルメディア市場よりははるかに小さいはずだ。

  • 「バックデーティング」やアカウント乗っ取りの問題が正確には理解できない。これは具体的にどう行われたのか。記事を読んでも何か見落としている感じがした。

    • 最後のセクションでPhysicsForumsの管理者がLLM生成の返信を実験中だと言っているので、サイト所有者が責任者のようだ。
      Greg Bernhardtの回答によると、コミュニティに価値を加えるためのAIテストが複数進行中で、多くのメンバーはAI機能を望んでいないという。昨年、テストアカウントでAI回答を実験したが品質基準を満たせず、見落としたテストアカウントを見つけたら知らせてほしいと言っていた。
      なぜ古い人間のアカウントをAIの「テストアカウント」として再利用したのかは、まったく分からない。
    • おそらくサイト所有者がやったことだろう。新しい経営陣であれ、元の運営陣が切羽詰まったり強欲になったりしたのであれ、同じことだ。
    • サイトやデータベースを運用している人が、既存の、おそらく放置されたアカウント名の下に偽の日付を入れた行を挿入するだけだ。
    • 私も同じ疑問を持った。記事を最後まで読むのが難しかった。発見自体は興味深いが、文章はうまく書かれておらず、著者の考えを追うのが大変だった。途中に挟まる引用文は特に混乱させられた。

  • もともとは本物のアカウントだった、という仮定は気に入っている。
    フォーラムや活発なコメント欄のあるブログを運営する立場で、ユーザーが来て眺めるだけで一週間何も言わないとしたら、どう感じるだろうか。最初は自分の名前でトピックを立て、有益な返信を書き、結局は一人でしゃべっている馬鹿のように見えてしまう。
    トラフィックが良く、スパムっぽい広告の多いフォーラムなら、新しい投稿がなくて訪問者が去るときに、こういう誘惑を確実に考慮すると思う。
    以前、やや停滞したフォーラムで、同じIPから似た名前のアカウントを2つ作って一人で論争したことがある。最初は運営者やほかのユーザーが気づくと思っていたが、どんな行動も異常だと思われないほど奇妙なことが多いのだとすぐに学んだ。

    • 圧倒的多数のほかの書き手がスパムボットである今の経験よりは、むしろ一人で投稿するほうがましだ。すでに2つのフォーラムでそういうことを経験した。

  • サイト所有者が人々のアカウントを乗っ取り、おそらく広告収益のために、なりすましの駄文を作れるという発想、あるいは現実は、腹立たしく、力が抜けるほど憂うつです。
    信頼と帰属の問題はウェブには常にありましたが、さまざまな理由で、今ははるかに悪化しているように感じます。何らかの大きな転換が起こるには、あとどれほど悪くならなければならないのか分かりません。
    解決策もよく分かりません。自分の名前やハンドルを商標登録して、たいしてお金もないのに訴訟をちらつかせるべきなのでしょうか。誰もが公開鍵基盤で投稿に秘密鍵署名をし、なりすましを確認するためにCPUを使って署名を検証すべきなのでしょうか。暗黙の共同の期待をすくい上げ、世界中の法体系の断片的な枠組みの中で公式化すべきなのでしょうか。例えば、その名前で助言や意見を売る小さいがもっともらしい「事業」を立ち上げ、なりすましがブランドを傷つけたとして問題にする、といった具合です。

    • 誰かが実際には言っていないことを、言ったかのように装うなりすましは、名誉毀損のようなものと見なされるべきです。
      また、それらの回答の表現の仕方もかなり不快です。工学の学位があっても、オンラインで冗談めかして答えるときに「エンジニアとして」とはほとんど言いません。そのような倫理的資格で答えるなら、十分な分析をしなければならないからです。ところがボットには、そうしたためらいがないように見えます。
      ravenprpという人は数年前は工学系の学生でした。実名でコメントしていたわけではないので多少ましかもしれませんが、このサイトのコンテンツの性質上、実際にある分野で働き専門的な評判を持つ人を「エンジニアとして」なりすます状況は容易に起こり得ます。
      サイトには、その人が教育課程で質問し回答した歴史的記録まであるため、人々に本物のエンジニアが質問に答えていると信じさせるよう、非常にうまく誤導できます。個人の専門的評判という概念が、現代の過度に企業化された世界ではかなり弱まっていることは分かっていますが、考えれば考えるほど、これは本当にひどく、実際に危険に近いと感じます。
    • 悲しいことです。妙な問題を防ぐために、履歴書の下部に著作権表示を入れています。
      人々が自分の文章に何らかの暗号学的な印を付け、どこかのアーカイブと結び付けられるのか、ずっと気になっていました。主にYelpの投稿が削除されないようバックアップすることを考えていましたが、誰かが書いていない投稿を防ぐのにも通用するのかは分かりません。
    • 私たちが作ったコンテンツを自分で管理できるようにし、フォーラムやFacebookのような場所は発見の仕組みと相互作用の促進者にすぎず、すべてのコミュニケーションの保管者にはならないようなプロトコルを作るべきではないでしょうか。情報の源に独立して到達できる能力が、ますます重要になっています。
    • 親しい友人とは直接会って公開鍵を交換しています。大規模な解決策は非常にオーウェル的なものになるでしょう。ISPに接続するにはスマートカード形式の国家IDが必要になり、場合によっては生体認証まで必要になるかもしれません。
    • 投稿に署名しないでください！

  • ShackNewsフォーラム https://www.shacknews.com/chatty も似たようなものでした。時間をさかのぼると、9/11が起きている最中の投稿を見つけることができます。

    • Ars Technicaは、通信フォーラムに技術ニュースを報じるという新しいアイデアを加えて始まりました。フォーラムはまだ残っていますが、初期の仲間意識は昔のままではありません。

  • 流れとして、米国、そしておそらく欧州の人々は、PhysicsForumのようなあらゆる専門フォーラムを好むようです。逆に中国の人々は、中央集権的な場所を好むように見えます。
    例えばZhihu（zhihu.com）はQuoraのクローンでしたが、今では数学、機械学習、歴史、物理、工学、一般科学など、事実上あらゆる分野の深い議論を探す最大のサイトになっています。数多くの研究者、専門家、趣味人が洞察を共有しています。
    一方でQuoraの品質は年々悪くなっているようで、ほとんどの専門家はさまざまな専門フォーラムに散らばっています。なぜこのような違いが生まれたのか気になります。