- エッセイ作成教育における LLM利用の認知コスト を測定したプレプリント論文で、学習・業務で広く使われるAIツールが学習能力を弱めうるかを実験したもの
- 参加者は LLM、Search Engine、Brain-only の各グループに分かれて3回エッセイを書き、4回目にはLLMグループの一部がツールなしで、Brain-onlyグループの一部がLLMを使用
- 1〜3回目には 54人、4回目にはそのうち 18人 が参加し、EEG、NLP分析、セッションごとのインタビュー、人間教師と別途作成したAI judgeによる採点を併用
- 外部支援が多いほど脳の結合性は低下し、Brain-onlyグループは最も強いネットワークを、Search Engineグループは中程度を、LLM支援 は最も弱い全体的結合を示した
- 4か月間・4セッションにわたり、LLMグループは神経・言語・採点の各水準でいずれもBrain-onlyグループより低い成績を示し、所有感 と直後の引用能力も低かった
エッセイ作成で測定したLLMの認知コスト
- 教育環境でエッセイを書く際に、LLM利用が認知過程に残すコスト を確認することに焦点を当てる
- LLMは個別化された学習体験、即時フィードバック、教育資源へのアクセス拡大を可能にする一方、広く使われるほど批判的思考や深い分析過程への関与が減る可能性がある
- エッセイ執筆は学校や標準化試験で学生の能力を評価する一般的な課題であり、複数の認知過程を同時に要する複雑な作業として選ばれた
- この論文は preprint, under review の状態にある
参加者とセッション設計
- 参加者は3グループに分かれた
- LLMグループ: 指定されたLLMツールでエッセイを作成
- Search Engineグループ: 検索エンジンを使ってエッセイを作成
- Brain-onlyグループ: 外部ツールなしでエッセイを作成
- 1〜3回目では各参加者が同じグループ条件を維持
- 4回目では一部参加者の条件を変更
- LLM-to-Brain: 以前はLLMを使っていた参加者がツールなしで作成
- Brain-to-LLM: 以前はツールなしだった参加者がLLMを使用
- 1〜3回目には合計 54人 が参加し、4回目はそのうち 18人 が完了
- 各セッションではSATのトピックから1つを選んでエッセイを書き、1〜3回目には各セッションにつき3つ、合計9つのトピック候補が提示された
測定方法
- 脳活動の測定には EEG が使われた
- 認知的関与と認知負荷を評価するため、参加者の脳活動を記録
- エッセイ執筆中の神経活性化をより深く理解する目的も含む
- エッセイのテキストには NLP分析 を適用
- Named Entities Recognition(NER)
- n-gram
- トピックオントロジー
- 埋め込みベースの類似性と距離
- 各セッション後には参加者インタビューを実施
- エッセイ構成の遵守
- エッセイ内容を引用できる能力
- 引用の正確性
- エッセイに対する所有感
- 満足度 などを確認
- 採点には 人間教師 と別途作成した AI judge を併用
EEG結果: 外部支援が多いほど低下した脳結合性
- 3グループは 異なる神経結合パターン を示し、これは異なる認知戦略を反映していた
- 脳結合性は外部支援の量に応じて体系的に低下した
- Brain-onlyグループ: 最も強く広いネットワークを示す
- Search Engineグループ: 中程度の関与を示す
- LLM支援: 全体的結合が最も弱い
- 4回目で LLM-to-Brain の参加者は、より弱い神経結合性とalpha・betaネットワークへの低い関与を示した
- 逆に Brain-to-LLM の参加者は、より高い記憶想起と、広範な occipito-parietal および prefrontal ノードの再関与を示した
- このパターンは視覚処理に関連する可能性があり、Search Engineグループでよく観察された傾向と似ている
言語分析で明らかになったエッセイの特性
- グループ内では NER、n-gram、トピックオントロジー に一貫した同質性が見られた
- LLMグループのエッセイは、同じグループ内でより均質な言語的特徴を示した
- Search Engineグループでは、一部トピックで検索最適化の影響とみられるn-gram使用が現れた
- 例: PHILANTHROPY トピックで
homeless n-gram への焦点が見られた
- Brain-onlyグループのエッセイ間の距離は、LLMまたはSearch Engineグループより常に有意に大きかった
- 一部トピックでは、LLMグループとBrain-onlyグループの間にほぼ直交する水準の差が現れた
- 例: HAPPINESS、PHILANTHROPY トピック
所有感、記憶、引用能力
- LLMグループはインタビューで自分のエッセイに対する 所有感 が低かった
- Search Engineグループも高い所有感を示したが、Brain-onlyグループよりは低かった
- 数分前に書いた自分のエッセイから内容を引用する能力も、LLMグループで低く現れた
- Brain-onlyグループは高い所有感と高い引用能力を示した
- 4回目のBrain-to-LLM参加者はLLMを活用したものの、以前のBrain-onlyセッションの影響と結びついた形で、より良いコンテンツ統合を示し、所有感は分かれた
4回目の切り替え実験の差異
- Brain-to-LLM の参加者は、以前にAIなしで書いた後でAIツールを使って再度書く条件で、より高い神経結合性を示した
- alpha、beta、theta、delta帯域の directed connectivity がネットワーク全体で増加
- 以前のLLM-onlyの1〜3回目より、より広範な脳ネットワーク相互作用が見られた
- LLM-to-Brain の参加者は、以前のLLM利用経験の後でツールなしに書く際、ほとんどの帯域で神経的努力の調整が不十分だった
- LLM特有の語彙バイアスも現れた
- AI judgeと人間教師の双方が高得点を与えたが、NER・n-gram使用距離では他グループ・他セッションほど際立たなかった
- Brain-onlyグループが4回目にLLMを使用した場合、4回目の脳結合性は初心者レベルのBrain-only 1回目パターンには戻らず、Brain-only 3回目レベルにも達しなかった
結論と制約
- LLM利用は参加者に 測定可能な影響 を与え、初期の利点は明確に見えたものの、4か月間のセッションではLLMグループが複数の水準でBrain-onlyグループより低い成果を示した
- 低い成果は神経結合性、言語的特徴、採点結果で共通して観察された
- 一般大衆におけるLLMの教育的影響がようやく定着し始めた時点で、学習能力低下の可能性は重要な論点として残っている
- この論文は、AIが学習環境に及ぼす認知的・実用的影響を理解するための 予備的ガイド となることを目指している
1件のコメント
Hacker News のコメント
「認知的負債の蓄積」と呼ぶより、単に認知低下や認知能力の喪失と呼びたい
言語を使わなければ忘れるのは当然で、脳は不要な情報を保持しない。Google Maps のナビゲーション利用に関する研究でも、「GPSの習慣的な使用が自律的なナビゲーション中の空間記憶に悪影響を及ぼす」とか、地図利用者で灰白質の減少が観察されたという結果があった
科学分野で専門性を身につけたことがある人なら、何かを理解するには反芻し、それぞれのアイデアが他のものとどうつながるのかを探る必要があると知っている。数学の教科書を眺めるだけで数学を理解できるわけではなく、立ち止まって考えなければならない。後で思考に使える精神的な対象は、まさに考えるという行為によって作られるのだと思う
たくさん書く必要がある。文章を書くことは、脳に思考を構造化させ、自分自身との構造化された対話を可能にし、複数の道筋を探索させてくれる。思考と熟考だけではすぐに限界に達するが、書くことは思考をほぼ無限に探索させてくれる
思考が書くこととこれほど密接につながっていて、書くことが散文・絵・方程式・グラフ・チャートなど何であってもよいのだとしたら、LLMがますます多くの執筆を担う状況が認知能力にどのような影響を与えるのかは興味深い
LLMに多くの文章を書かせ、構成を作らせ、論証や視覚資料を作らせるのは非常に魅力的だ。少しずつ任せていくと、最終的にその成果物はまったく自分のものではない状態になる
ところがその報告書には自分の名前が載り、自分はそれを説明し理解することを求められる。本来、報告書は頭の中にある「高次元の現実」の「2次元への投影」であるべきだが、10分の1の時間で吐き出した報告書はそうではない。紙の上ではもっともらしく見えても、概念を説明しようとすると詰まってしまう
結局、自分で作業し、メンタルモデルを作り、表現し、言い換え、さらにまた言い換えなければならないのだと分かる。想定読者に応じて異なるやり方をしなければならない
LLM以前なら報告書を書くために作らなければならなかったメンタルモデルと、LLMを使えばほとんど作らずに済んでしまうメンタルモデルとの隔たりを説明する言葉として、認知的負債は適切だと思う
最終的に、報告書や論文には自分の名前が載る。著者である私に何を期待できるだろうか？ 時間が経つにつれ、その期待は下がるかもしれない。深い質問が出てきたら、著者を飛ばしてLLMの「精神」モデルに依存するようになるかもしれない。しかしLLMのような別のモデルは、根本的な真実と現実について互いに異なる「モデル」、つまり予測アルゴリズムを持ち得る。最も正確な予測を可能にするのはどちらか？ そこには一定の理解の深さが必要で、LLMに過度に依存して文章を書くと、その深さは生まれない
長期的には実際に人口レベルの「認知低下、または認知能力の喪失」につながる可能性はあるが、そう断定するのは慎重でありたい。印刷術は、当時の宗教エリートが一般人はテキストを正しく解釈できないのではないかと懸念していたにもかかわらず、そのような結果をもたらさなかった
このスレッドでも出ているように、「書くことは思考」だと思う。ただし、まだ発明されていない、書くことよりも優れた何かがある可能性もある。思考とは、偶然より高い確率で未来を予測できる詳細なメンタルモデルを開発することだ。私たちの生存はそれにかかっており、情報理論の観点から見れば進化とはまさにそれでもある [0]。「情報の光なしに、生物学の何ものも意味をなさない」
[0] https://www.youtube.com/watch?v=4PCHelnFKGc
20年間やったこともないし、今後またやることもないだろうとかなり確信している
論文が「認知的負債」という用語について参考文献や引用を示していないのも、妙なタイトルに見える。土壇場で変えたのかもしれない
MIT発の興味深い研究だ。すべての心理学研究と同様に、健全な懐疑と独立した検証が必要だ。イメージングと心理測定評価まで全部入れた寄せ集め感もあるが、「LLMを使ったあなたの脳はこうです」といった図を嫌がる人がいるだろうか
LLMは、社会が自ら免疫を獲得していく、もう一つの技術のようにますます感じられる
教育ではすでに、教師が学生と対話し、学ぶ様子を観察し、技術を見せる過程を確認する形で始まっている。ビジネスでも近いうちに、価値あるコミュニケーションの大半は、人々が自分の言いたいことの著者として直接作らなければならないのだと気づくだろう。著作という行為は、ほとんどのコミュニケーションにおいて核の3分の2ほどを占めている
もちろんその前に、副作用にきちんと免疫をつけるには、劇的な思考の浅薄化という衝撃を経験しなければならないだろう。「平凡さ」を信奉する純真な愛好家たちに対する専門家のLLMへの嫌悪感は、初期の免疫経験のように見える: https://fly.io/blog/youre-all-nuts/
自分のプロジェクトでLLMを「マクロ」に使うと、いつも自分の思考が大きく損なわれ、意思決定を奪われ、その後に必要な適応への準備度が悪化した。重要な仕事においてLLMは、厳密にはミクロな穴埋めツールにすぎない
これは計算機とは違う。手計算用に気に入っていたアルゴリズムを奪われるという話ではない。これは思考そのものを非思考で置き換えるシステムであり、使うあらゆる領域で、準備度・深さ・適応力・所有感を深刻に損なう
非常に優秀なエンジニアたちとの会議に数多く出席するが、技術者と非技術者の双方がついてこられる形で自分の論拠を示せないことが多い。書くことと話すことには芸術性があり、40代後半になった今になってようやく、その価値を本当に理解し始めている。言語は強力な道具であり、単語一つの選択が、ときに論証を生かしも殺しもする
LLMがこの状況を全体としてはるかに悪化させること以外に、何ができるのか分からない
怖いのは、彼らがChatGPTを使って考えることを避けている点だけではなく、誰も気づかないと思っているか、大人はもともとそうやって会話するものだと信じている点だ
実際には、あまり価値のないコミュニケーションも多いと思う。それでも作られ続け、誰も読まないのなら、生成は自動化してもよいのではないか
もちろん、きちんと合わせ込まなければならない重要なものもかなり多い
学界にいるが、理論上は最も多くの思考を要する職業の一つであるべきだ。それでも私が書く文章の半分以上は、各種報告書、研究費申請書、倫理・データ管理申請書、推薦状、事務書式のようなものだ。これらは有用な思考を要求しないという意味で「価値ある」とは言いにくく、ばかげた要件さえ処理されれば、文章が私らしく聞こえるかどうかにはまったく関心がない
こうした用途ではLLMは恵みであり、実際の研究と対面授業により多くの時間を使えるようにしてくれるので、むしろ考える助けになる可能性が高い
ここで言う認知的負債の議論は正確だが、むしろ保守的すぎるかもしれないと思う
言語のような技術を忘れたり、GPSの使用で空間記憶を失ったりする程度ではない。統合的推論を担う神経経路が、体系的かつ不可逆的に萎縮する問題かもしれない
核心的なリスクは、練習で返済できるというニュアンスを持つ「負債」そのものではなく、認知的ティッピングポイントを越えることだ。実行機能、統合、論証がLLMのような外部システムへあまりに多く移され、生物学的な脳が無慈悲な効率性に従って使われない結合を刈り込むだけでなく、それを再構築するメタ能力まで失う臨界点である
私たちの生物学的なウェットウェアは、バージョン管理のない「使わなければ失う」システムだ。複雑な認知機能が萎縮すれば「ソースコード」が損なわれる。深く構造化された思考を支えていた崩れた神経網には、git revertはない
このHNスレッドはエッセイ執筆に焦点を当てているが、規模を大きくしてみれば、私たちは集団的認知を外注する巨大で制御不能な実験をしている。長期的な結果は、熟練度の低い人々の社会ではなく、私たちの世界を作り上げた種類の思考を構造的に行えない人々の社会かもしれない
したがって問いは「認知的負債をどう避けるか？」ではない。本当に恐ろしい問いは、「生物学的な心の器が、それほど無慈悲に、ひょっとすると不可逆的に怠惰へ最適化されるなら、私たちの精神にはどんな器が必要なのか？」である
https://github.com/dmf-archive/dmf-archive.github.io
分からないことを尋ねたり、「退屈な部分」を飛ばしたりするのに向いている。とりわけ、難解な技術的問題の解決策をフォーラムやソーシャルメディアの何ページにもわたって探す過程が、自分をより賢くしているとはまったく感じない。いずれにせよ情報は検証し、慎重に受け止めなければならない
本来の意図どおりのStackExchangeなら、テキストモデルよりはるかに価値があっただろう。しかし現実の人間は不完全で、あらゆる認知バイアスや重荷を抱えており、LLMは質問が推薦や相互作用を受けた直後に「広すぎる」として閉じたりはしない
逆に、自分がよく知っているテーマについてのLLMによる文章作成は、依然として大きく劣っていると思う。たとえばメールを書こうとすると、方向性を保つようにプロンプトを直すか、出てきた結果を大幅に書き直すことになり、結局同じくらいの時間がかかる。テキストモデルを校正・ピアレビューするくらいなら、自分の流れで直接書いたほうがいい
AIはZettelkastenの反対である
テーマに能動的に取り組みながら徐々に深い洞察を得る代わりに、AIが生成したコンテンツのコーパスの上を、速いが浅く反復する
たとえば中東情勢をもっと理解したくて、OpenAIを共著者にしてハマスとヒズボラの起源について10ページのエッセイを書いた
ところが覚えていることは何もなく、さらに悪いことに、覚えている事柄が自分で直したハルシネーションなのか実際の事実なのか分からない
LLMは代わりに書いてくれる道具ではなく、間違いを見つけ、抜けや誤りを指摘し、世の中についての一般的な疑問を調べるのを助けてくれる道具として使えば、優れたスパーリングパートナーになり得る。もちろん常に注意し、出典を確認しなければならない
モデルをどう操り、ハルシネーションを減らすかについての感覚は身につくが、明確に説明できる知識を積み上げたり、挑戦的な思考をしたりするわけではない。LLMの出力の特定の形を見て、より信頼するか、別のプロンプト戦略を試すか、コンテキストを消すかどうかといった筋肉記憶的な反応を身につけることに近い
これをスキルと呼べるとしても、モデルが良くなれば数年以内に役に立たなくなる可能性が高い。組み立てラインの労働者が感じそうな無力感がある
個人的には結果に驚きはない。AIを自分の執筆や翻訳作業に使うと、すべて自分でやるときほど、執筆や翻訳のプロセスに精神的に没入している感じがしない
ただし、別のやり方でAIを使うと、それ自体が非常に精神的に没入するものになることも分かった。この2週間、Claude Codeでエッセイや研究論文のブレインストーミング、調査、執筆をどこまで完全自動化できるか実験している。自分で書いたり翻訳したりするときと同じくらい深く没入したが、没入の形が違う
実験結果は今のところかなり良い。つまり、AIエージェントが書いたと分かっていても、出てきたエッセイや論文を読むと、しばしば興味深い。もちろん出版したり共有したりする予定はない
実際に何かをできる人たちという、ますます希少な集団に自分が属するようになり、残りの人たちはどんどん無能になっていくのではないかと思うことがある
「LLMグループの参加者は、脳活動、言語、スコアのすべてのレベルでBrain-onlyグループより低い成績を示した」というのは驚きではないが、暗い気持ちになる
人が結果をレビューして承認印を押すだけの役割になると、たいていひどい出来になる
本当の拡張ワークフローを作るには、関与の仕方が重要だと以前から考えてきた。LLMが書いたコードをレビューする？ いまいちだ。LLMが自分の変更を見守りながらフィードバックをくれる？ それならまったく別の話だ。難しく、あまり人気も出ないかもしれないが、どうにかして運転席に居続けなければ、かなり暗いことになりそうだ
[1]: https://en.m.wikipedia.org/wiki/Ironies_of_Automation
https://dune.fandom.com/wiki/Butlerian_Jihad
いまやコーディングの大半をAIで行うようになって、少し予想外だった副作用は、ずっと疲れにくく、より長く集中できることだ
ほかの邪魔がある状況でも仕事をこなせるようにしてくれる。本質的には、精神的な容量の一部をAIに渡すと、別の場所の容量が空くということだ
以前は予期しないエラーやドキュメント確認のようなものが「スピードバンプ」の役割を果たして息を整えさせてくれ、たいていそのときに自分がどれだけ疲れているかに気づいて少し止まっていた
AIを使うと、そうしたスピードバンプは依然としてあるが、時には少し追加の推進力が生まれ、自分がどれだけ疲れているかを振り返るほど十分に減速できない
AIが正しい必要すらない。現在の状況に合わせた提案を読むだけで、自分の思考の流れが触発され、再びつかまえておくのが難しくなることがある
郊外のWalmartまで歩いて行って物を持って帰ることもできるが、自動車を使えばずっと速く、疲れも少ない。そうすれば好きなことに、より多くの質の高い時間を使える
GANが流行していたころ、画像生成のために生成器・識別器モデルを学習させていた
いろいろ考えてみると、識別は生成よりはるかに簡単だと気づいた
たとえば良いUIと悪いUIは区別できるが、助けてくれと言われても良いUIを作ることはできない。映画が良いかどうかはすぐ分かるが、まともな短編小説を書くのは大変な作業だ
絵がどれだけ写実的かは判断できるが、単純な自転車一つでさえ、人を納得させるほどには描けない
多くの場合、LLMの生成物が良いか悪いかは判断できる。そうすると、粗い戦略として悪い結果を捨て、目標を達成するまで生成を続けることができる。LLMが有用なのは、まさにこの識別と生成のギャップのためだ
この2つのスキルは別物である。生成能力は身につけるのが難しく、非常に価値がある。訓練し続けなければ萎縮していくだろう
しかし、より複雑な作業、とりわけ深い評価が必要な領域では、必ずしもそうではない。たとえば自明でないPRを5件レビューするのは、自分で書くより難しく時間がかかる可能性が高い
画像や短い物語でうまく機能する理由は、適用しているフィルターが「良い vs 悪い」ではなく、好き vs 嫌いだからだ
私たちは、こうした技術とより健全な関係を築く方法を学ぶようになる可能性が高いと思う。時間軸は分からない。世代単位でかかるかもしれないし、思ったより早く起きるかもしれない。
言語モデルが純粋なアクセラレーターであることは明らかだ。ただ、平均的な人がより「話し上手」になるなら、根源的な知能を示すシグナルも時間とともに変わっていくだろう。
誰も言語モデルと関係を築きたいとは思っていない。だが言語モデルは、大きな人生の変化や挫折に対処する準備ができていない人たちの助けになり得る。道具であり、使い方を知ればいい。
実例として恋愛相談を見てみよう。時間がたてば、「ChatGPTが導く関係」は2種類に分かれる気がする。1つは、もともと不足していたコミュニケーションに複雑さを加えるだけの「コピペ型」、つまり「ChatGPTが言ったことをそのままコピーした」タイプで、もう1つはChatGPTを使って自分とパートナーの動機を分析し、よくある問題に対するより良い解決策を探す「加速型」だ。
後者を正しく判断するには、依然として頭脳と共感が必要だ。前者はいつも失恋で終わるだろう。人々はいずれこの違いを理解すると信じている。
直接・間接の経験はないが、実際にAIとある種の関係に陥る事例を多く聞いているし、その魅力もある程度理解できる。まったくジャッジせず、自分の話をしたいときにいつもそばにいて、自分に何も要求しない「誰か」を持てる。現実の関係とはまったく違うが、最悪の人間関係よりは客観的にましで、孤独よりはメンタルヘルスに良い可能性もある。
良くも悪くも、今後10年で人間とAIの関係は急速に増えると思う。一方では記憶や長期計画能力、もしかするとロボットの身体の改善があり、他方では孤独の流行が広がっているからだ。
これは認知的オフローディングと呼ばれる。コーディング支援ツールと十分長く仕事をしたことがある人なら分かるはずだ。
より高い抽象化レベルで働くときに生じる必然的な結果だ。世界の終わりではない。私のアセンブリの腕も鈍っている。