- 大規模言語モデル（LLM） の利用は人間の認知能力を弱めうるという批判に対し、単純に「考えるべきことは無限にあるのだから心配はいらない」とする主張は、問題の複雑さを見落としている
- 個人的な文章作成やコミュニケーションでLLMを使うと、意味と表現を切り離せない言語の本質が損なわれ、自分の声を見つける機会が奪われる
- 休暇の計画、パーティーの準備、個人的なメッセージ作成のような日常的な活動も、それ自体に価値のある経験であり、これを自動化すると人生の意味が縮小するおそれがある
- 反復的で退屈に見える作業でも 暗黙知（tacit knowledge） は形成されるため、効率性だけを追ってチャットボットに委ねると長期的には損失が生じる
- チャットボット活用の適切な範囲を定めることは効率性の問題ではなく、人間の価値と共同体の方向に関わる問題である
序論: 文章の背景と問題意識
- LLMの利用が認知能力を弱めうるという批判があり、いくつかの技術や能力については 「使わなければ失う（use it or lose it）」 という原則が直感的・経験的に説得力を持つ
- Andy Masleyの文章 The lump of cognition fallacy は、思考の総量が固定されているという見方自体が誤りだと指摘し、思考は新たな思考を生むのだから、機械に一部を任せても人間の思考が減るわけではないと主張する
- 本稿はMasleyの議論を出発点としつつ、思考の外注化は単なる効率性の問題ではない ことを説明し、その複雑さと長期的影響を考察する
LLMの使用を避けるべき場合
- Masleyが示した「認知の外注化が有害な場合」は次の通り
- 将来の世界を生きるために必要な 複雑な暗黙知 を形成する活動
- 他者への ケアと現前を表現する行為
- それ自体に価値のある経験
- 偽装や代理が欺瞞になる場合
- 結果が非常に重要で、外注先に対する 完全な信頼が難しい状況
- この一覧自体にはおおむね同意できるが、問題はこの範疇に属する活動が思っているよりはるかに広いことであり、ここにMasleyとの根本的な見解の違いが表れる
個人的なコミュニケーションと文章作成
- デートアプリのメッセージのような親密な状況に限らず、個人的なコミュニケーション全般 において、表現の仕方は本質的な意味を持つ
- コミュニケーションには、言葉にしなくても共有されている期待が存在し、機械が表現を代わりに整えたり変えたりした瞬間、その期待は壊れてしまう
- 単語の選択や文の構成そのものに多くの意味が宿っているため、LLMが介入すると 直接的なコミュニケーションの質が損なわれる
- ノルウェーのメディアでは、公開文章の作成にLLMを使いながらそれを明かさなかった事例が論争になっており、これはコミュニケーションにおいて何が期待されているのかを改めて明確にする必要性を示している
- LLMが非母語話者や学習障害のある人の表現を助けるという主張に対する2つの反論
- ほとんどの場合、意味と表現は切り離せず、言葉や文そのものが意味である
- 表現を機械に任せると 成長と学習の機会が減り、自分の声を見つける機会も失われる
- スペル・文法の修正と、LLMが実質的に代筆することの境界は あまりにも薄く、現在のチャットボットのインターフェースでは区別が難しい
- 実用主義の観点から業務効率のためにLLMを活用しようとする人は多いが、ノルウェー語など非英語圏言語のテキスト生成品質は 依然として非常に低い水準 にある（ノルウェー言語評議会の報告書を参照）
- 苦情申し立てや保険請求のような官僚的文書の作成にはLLMが有用に見えるが、すべての当事者が単語生成器を使うようになった場合 の結果は不確実である
- 実際に観察されている現象として、インターンシップ・研究提案・就職応募では 応募件数は急増する一方で全体的な質は低下 する傾向が見られる
- 学生が共同課題で同じチャットボットを使うことで、アイデアの多様性が急激に減少する
- 文章力は実際に書いてみる過程を通じてしか向上せず、思考力も同様である
- コード、レシピ、案内文、ドキュメントのような 機能的テキスト は、こうした問題の影響を比較的受けにくい
- 一方で、個人の著者が人間の読者に向けて書くテキスト には固有の役割期待と信頼が存在し、この信頼の浸食は人類全体の損失につながりうる
価値ある経験
- 休暇の計画やパーティーの準備、家族や友人に送るメッセージまでLLMに任せろという広告を見るたびに、技術社会との乖離 を感じる
- 現代生活の多くの活動は雑務のように感じられるかもしれないが、同時に 人生のほとんどすべてを雑務として扱おうとする態度 自体が問題である
- やりたいことはいつでもでき、やりたくないことは避けられるべきだという現代社会の期待が、かえって 持続的な不満足 を生み出している
- 自動化がより意味のあることに使える時間を確保してくれるという理論には同意するが、すでに 休暇の計画でさえ避けたい雑務 と認識される段階に達していることが問題である
- AIが「ほとんどあらゆること」を自動化できる時代であるなら、その能力が人生において 何に時間と努力を注ぐ価値があるのか を再認識する契機になることを期待したい
知識の構築
- 「未来の世界を生きるのに必要な複雑な暗黙知を積み上げる過程ではチャットボットを使うべきではない」という主張に同意し、この範疇には実際には 日常生活のかなりの部分 が含まれる
- スマートフォン普及後、「必要ならインターネットで調べればよいので覚える必要はない」という認識が広まったが、知識を習得し記憶する行為そのものが学習の中核的過程 である
- ジャズピアノの学習経験から、即興演奏を上達させるには即興だけを練習するのではなく、既存の曲やフレーズを繰り返し身につけて身体化することで 何が良い音なのかという直観が形成される
- この点で人間の学習の仕方が機械学習モデルに似て見えることはありうるが、だからといって人間を 実際にそのような存在として見なしてはならない
- 退屈で反復的な作業を通じて蓄積される知識は 深刻に過小評価されており、効率性の圧力の中でこれをチャットボットに任せれば、長期的に重要な知識や感覚を失う危険がある
「拡張された心」概念への反論
- Masleyは、認知は脳の中だけに限定されず物理的環境でも起こるのだから、脳内のニューロンで起きようが携帯電話の回路で起きようが 本質的な違いはない とする
- このような記述は 現実とかけ離れた主張 であり、脳で起きる過程とコンピュータが行う処理を同一視することはできない
- 人間を単なる情報処理装置へと還元し、特定の認知過程を外部機器に任せても何の結果もないと見る見方は 極端な還元主義 である
- 友人の誕生日を自分で覚えていることと、チャットボットが自動で祝福メッセージを送ることはまったく異なる行為であり、前者には 意識的に相手を思い浮かべながら関係を深める過程 が含まれる
- 「携帯電話を失うことと脳の一部を失うこと」を比較する主張は、発生可能性と結果の重大性の両面でまったく異なる状況 を同一視する誤りである
- 物理的環境が思考を最小化するよう設計されているという主張も説得力に乏しく、環境が変われば一時的に適応は必要でも、すぐ慣れて新しいやり方に合わせて思考するようになる
何を考えるかが重要
- いわゆる「認知の塊の誤謬」については、人間が使える思考の総量は有限なのだから枯渇を心配する必要はない、という点には同意する
- しかし、「何を考えても、とにかく考えてさえいればよい」という見方もまた別の誤り である
- 単純で退屈な作業をコンピュータに任せれば、より複雑で興味深いことに集中できると考えがちだが、ある種の精神的作業は機械が実行できても、人間が自分で行ってこそ意味がある
- たとえばプロジェクトの事務作業をチャットボットに任せれば研究に使える時間は増えるかもしれないが、その代償として プロジェクトに対する当事者意識や高次の判断を下す土台 を失うことになる
- すべての作業を自動化してはならないという主張ではなく、自動化には常に得るものとともに失うものが伴う という事実を認識すべきだということだ
- これを「労働の塊の誤謬」と比較してみると、肉体労働を機械に任せれば新たな形の仕事が生まれるとしても、その仕事が 個人や社会にとって有益で、充実し、意味あるものだという保証はない
- 思考も同様に、退屈で単調な思考過程でさえ人間に影響を与え、特定の認知作業を取り除けば その影響は肯定的であれ否定的であれ必ず残る
結論
- チャットボットが長期的にどの領域に適しているかを判断することは 避けられない重大な課題 である
- 個人的なコミュニケーションの性格は根本的に変わりうるし、教育システムは急進的な適応を迫られ、人生において どの経験が本当に重要なのか をより慎重に問い直すことになる
- この技術が本当に興味深いのは、効率性よりも 人間性と価値についての問いを正面から突きつける点 にある
- チャットボットをどう使うかという選択は、単なる生産性や認知的結果の問題ではなく、私たちがどのような生を望み、どのような社会を望むのか という問題へとつながる
- したがって、特定の人間活動には機械的自動化から 守るべき明確な理由 が存在する
- 研究結果や効率性の議論だけでなく、どのような価値の上に共同体を築くのか をあわせて考える必要がある
1件のコメント
Hacker Newsの意見
「Lump of cognition fallacy」という表現は、経済学の古典的な「Lump of Labor Fallacy（労働総量の誤謬）」から派生した概念である
これは、経済の中にある仕事の量が固定されていると信じる誤解を指す
実際には、技術の進歩や自動化は生産性を高め、コストを下げ、結果としてより多くの労働需要を生み出す
「AIが雇用をなくす」という主張も、この誤謬の一形態と見なせる
この記事は本当に印象的だった。ただ、「思考を外注する」という表現は、少し的外れなフレームにも思える
自分が経験した本当の問題は、AIを使ったことではなく、間違った部分を自動化してしまったことだった
思考・内省・判断が核心になる作業では、AIは協働者として設計すべきで、実行や記憶のような部分は思い切って自動化すべきだ
結局のところ問題は「思考を外注する」ことではなく、重要な認知ループを飛ばしてしまうことにある
関連する文章をここにまとめた
GmailにLLMが導入されてから不快感を覚えている
言葉の一つひとつや文の組み立ては、その人のアイデンティティを表すものだと信じている
だから、LLMを介した直接的なコミュニケーションは人間的なつながりを損なうと思う
人間的なつながりが善意に基づく場合には同意するが、そうでない場合にはLLMがむしろ役立つこともある
「Reversibility」という観点が気に入った
AIが文法チェックや要約のように一工程を助けるのと、全体のプロセスを代行するのとは違う
自分がただ承認するだけになると、内部モデルを構築できず、判断力も弱くなる
これはモデルの問題ではなく、UI/デザインの問題でもある
下書きをもとに差分を見せるツールはユーザーをループの中にとどめるが、白紙のページから始めるツールは「受け入れること」を学習させる
自分が懸念しているのは、人々が技術に依存するようになったあとで、訓練データやアルゴリズムが特定のアジェンダに偏る可能性だ
結局のところ、情報の源泉が他人の管理下にあることが問題なのだ
だから個人が自分自身のLLMとハードウェアを所有できるべきだ
Karpathyのツイートを見て、失敗の重要性について改めて考えさせられた
AIがミスすると、その失敗をAIのせいにして学習機会を失ってしまうことが多い
この記事も似た文脈を扱っているように感じる
自分もAIにプロジェクトの一部を任せたことがあるが、あとになって自分のプロジェクトをきちんと理解していなかったことに気づいた
詰まったら別のLLMをデバッガとして使い、それでもだめならさらに別のLLMを使う、という具合に――終わりのない亀の塔構造のように (/s)
人間の脳をたとえにすると、AIは私たちの新しい新皮質（neocortex）になるのかもしれない
辺縁系が新皮質に思考を「外注」しないように、AIも人間の思考を置き換えるのではなく、助言を与える層になるだろう
新皮質が人間の社会性を拡張したように、AIも私たちが数百万人とコミュニケーションできるようにするだろう
ただし、その関係は今の「個人的な会話」とはまったく異なる形になるはずだ
「AIを使うべきでないことの一覧」はややナイーブに感じられる
映画学専攻の学生たちが映画を最後まで見られないというThe Atlanticの記事のように、人は危険を知っていても責任ある行動を取らない
「Lump of cognition」というフレームは、思考の量ではなく、どの思考をやめるのかの問題だ
判断力や直感は、反復的で退屈な作業の中で育つので、それを外注すれば代償が伴う
言葉を生み出すコストが下がったからといって、思考の深さが増すわけではない