LLMで“brain rot（ブレインロット）”現象が発生する可能性

 (llm-brain-rot.github.io)
1 ポイント 投稿者 GN⁺ 2025-10-22 | 1件のコメント | WhatsAppで共有
  • LLM Brain Rot 仮説によると、低品質なウェブテキストへの継続的な露出によって、LLMは認知能力の低下を起こす
  • 実験結果として、低品質データで追加学習したLLMで、推論・長文理解・安全性の低下と「ダーク特性」の増加効果が観察された
  • ジャンクデータの比率が増えるほど、認知能力低下が顕著になる
  • 誤り分析では、主要な現象として思考の省略（推論プロセスを飛ばすこと）が表れた
  • 高品質データとチューニングにより一部回復は可能だが、完全な復元は難しい

研究概要

  • 本研究では LLM Brain Rot 仮説（脳退行仮説） を提唱し、検証した
  • 低品質（junk）ウェブテキストに対してLLM（大規模言語モデル）が継続的に曝露された場合、認知能力が長期的に低下するかを実験的に観察した
  • 原因を切り分け効果を確認するため、Twitter/Xの元データセットを基に、汚染データ（junk）と対照群データを2つの方法（M1: 参加度基準、M2: 意味品質基準）で構築し比較した
  • 両方式はトークン数と学習条件を一致させるよう調整し、データ品質の変化のみを独立変数として設定した

主な実験結果

  • 4つのLLMに対して低品質データで追加 pre-training を実施したところ、推論、長文文脈理解、安全性など認知能力低下の兆候が指標上で明確に観察された
    • 「ダーク・トレイト」（psychopathy, narcissism など）のスコア上昇効果も同時に見られた
  • 例として、M1設定でChain Of Thoughts ベースの ARC-Challenge 指標が 74.9 → 57.2、RULER-CWE が 84.4 → 52.3 に低下するなど、junk データ比率が高まるほどスコア低下が顕著になった
  • 段階的にjunkデータ比率を上げるにつれ、認知能力の低下程度も比例して深刻化する「用量反応（dose-response）」現象が確認された

誤りの原因分析

  • **思考過程の省略（thought-skipping）傾向****が主要な退化パターンとして現れた
    • LLMは推論プロセスをますます省略またはスキップすることで、誤りの発生が増加する
  • 部分的回復: instruction tuningや高品質データで再学習すると認知低下はかなり回復するが、baseline水準までの完全な回復は難しく、これは形式の不整合ではなく 表現（Representation）変化が原因であることを示唆する
  • スタイルより人気: ツイート人気（意味非依存の指標）がM1ではbrain rotの影響測定でより強いシグナルとなった

結論と示唆

  • データ品質がLLMの能力低下の主要因であることを多角的に示した
  • LLMの継続的な再学習においてデータキュレーションを「学習段階の安全性」の問題として再定義した
  • 運用中のLLMに対して定期的に「認知健康チェック」を実施する必要性を提言する

関連記事

1件のコメント

 
GN⁺ 2025-10-22
Hacker News 意見

  • 「Brain Rot」という用語をLLMのデータキュレーション課題に当てはめるのは、少し見栄え重視に感じる。むしろ筆者本人がLLMっぽい思考にはまっているのではないかと思う

    • 本当にLLMが書いたような文体で、特に em dash（—）を2回も使って内容を並べている。HN読者ならすぐにそれと気づくだろう
    • 実際、HR担当者もLLM登場前からこのようなトーンで書いてきた。OKRを整備しているか、同僚の360度レビューを通じて成長しているか、毎日目標を確認してマネージャーと1:1ミーティングしている、ああいうHRらしい言い回し
    • 意味がきちんと伝わるなら、LLMに手伝ってもらって書くこと自体が何か問題だとは分からない。これから誰が何と言おうと、LLMは文章作成の必須ツールになるだろう
    • LLMを使うほど、脳の退化を感じる。入力方法を長く使っていると、オートコンプリートに依存して、実際に書くときに単語を忘れるように感じる。結局、重要なのはLLMに高品質データを与えることであり、これは事実だ。多くのエージェント系スタートアップが、領域別の高品質知識とワークフローを大規模モデルに入れようと取り組んでいる
    • LLMの「brain rot」だけを研究して、人間のbrain rotを後回しにしているのが惜しい。人間も認知衛生（cognitive hygiene）をもっと意識していれば、いまのソーシャルメディアはずっと健全になっていたはず

  • LLMの訓練データが気になるなら、Common Crawlデータをランダムに取得して直接見ることを勧める（おおよそ100MB）
    https://data.commoncrawl.org/crawl-data/CC-MAIN-2025-38/segments/1757047532641.17/wet/CC-MAIN-20250905112101-20250905142101-00000.warc.wet.gz
    見てみると、ここでは言及しづらい問題的データも多かった。もちろん実際には事前フィルタで除外されるだろう。しかし、Llamaのような一部のbase/textモデルが衝撃的な結果を出したこともあり、まだフィルタがどこまで徹底しているかは疑問だ

    • Karpathyも最近、Common Crawlのサンプルは役立たない雑多なデータだと述べていた。そこにはWSJ記事のような高度情報が非常に希少で、それで学習するのはむしろ奇跡に近い
    • 主要AI企業は最終的に最新の分類器とフィルタで危険なデータを除去していると見ている。それでも完全でないなら、RLHFのような方法で危険反応を制御する。結果として、データセットフィルタリングと有料の高品質データ調達が、オープンソースとの差別化要因であり、参入障壁として機能している

  • 結局、LLMにゴミデータを入れて結果が悪化したと観察すること自体は新しい発見には感じられず、特に驚きもない

    • それでも損傷回復実験は行われており、研究としては仮説を直接検証することが重要。研究者へこの問題の重大性を正しく伝えるには、論文発表が最も効果的な方法だ
    • どんなデータでもざっくり学習すればいいという噂があるので、実際に検証する研究が必要だ

  • 論文で言及された2つの大きな問題は

    • 「思考スキップ（thought-skipping）」が主な論点だ。推論の中間過程を頻繁に省略すること
    • 「人気指標（popularity）」が長さよりbrain rotとより密接に関連し、つまり人気ツイートがbrain rot効果のより強いシグナルであること こうした現象はある意味当然で、ポピュラーカルチャーは根拠を省き結論だけを出す傾向が強い。Twitterフィードのようなものを学習すると、モデルもそのように変わる。少なくともソーシャルメディアを含まないデータセットを対照群として置く必要がある

  • 読んでいて、『だれもがすでにトレーニングデータがだらしないと知っているのに、誰もあまり気にしていない』ような雰囲気だと感じた。だらしないデータを食わせて鈍くなるなら「また驚いた」と言うのが滑稽で、こうした研究がなくてもだいたい分かる内容なのではないか

  • 「認知衛生（cognitive hygiene）」という比喩は適切でないと思う。LLMには認知能力がないので、正確なメタファーでもない。結局、データ供給者が安価な有害データと著作権データまで突っ込んでしまったのが本質だ

    • 実際に認知低下が起きるという表現も、実際に認知をしているわけではなく、できるだけ本物らしく見せるシミュレーションにすぎない

  • brain rotテキストは有害になり得るが、brain rot動画は不気味でありながら意味密度が高く、むしろ性能改善のポイントになる可能性もあると思う（ドイツのbrain rot分析動画を参照）、Svankmajerのような芸術は、美術館で見返して考えさせる「proto-brainrot」だ 用語上の混乱もあると思う。実際にはコンテンツが粗いのか、意味が豊富なのかの違いだ

    • 実際の研究では、子ども向けbrain rot動画はポジティブではない。Cocomelonなど関連記事を参照。十分に精緻に『制作』されたコンテンツは、むしろbrain rotスペクトラムからは遠いと思う
    • この点で、AIが人を操る道具（意図しようがしまいが、アートも一種の操作）として使われることが、技術的情報処理よりはるかに重要なリスクだ。LLMが作るbrain rotと人の好意を狙うモデル設計が不安で、ますます人間らしく見えるanthropomorphizationも怖い

  • 結局「garbage in, garbage out」を新しい言い回しに置き換えたようなものだが、単なるclickbaitタイトルに見える

    • ほとんどGIGO（garbage in, garbage out）はLLM学習にもそのまま当てはまる
      この論文で特に目立つ点は
      • 事後補正（post-training）の不足した事前学習（pretraining）品質を、後から全部取り返すことはできないという点。たとえば構文的には見栄えしていても、すでに推論スキップのような暗黙的な悪い癖が深く染みつくことがある
      • 「悪いデータ」とは何かを定義すること自体が簡単ではなく、ユーザーエンゲージメント（engagement）ベースのヒューリスティックがLLMコンテンツ分類よりむしろ適合していたケースがあった
    • Attention is all you needだ
    • チャットで言えば“脳崩れ”ミームや「Skibidi Toilet」のようなインターネットミームにChatGPTが浸食される想像は少し笑える
    • 現在のLLM学習方法が良かろう悪かろう、膨大な量のゴミと良質データを混ぜて食わせるのが現実だ。見方によっては再評価も時宜にかなっていると思う
    • そこに追加工程がついたにすぎない

  • 「brain rot」「thought-skipping」「primary lesion」「cognitive declines」などのメタファーをコンピュータサイエンスの論文で使うことは適切ではないと考える。実際に比較すると不正確なだけでなく、コンピュータモデルに人間的特性を投影する危険がある。研究の雰囲気がこれらの用語に染まると、むしろ後から取り除く作業が一層煩雑になる

  • この論文を読みながら、アルファ世代の子どもたちがメディア環境で育つ長期的影響が気になってきた

    • どうして子どもたちだけに限定して考えるべきだろうか、と思う