- 大多数の人はLLMの仕組みと限界を十分に理解しておらず、人間的な感情や知能があるかのように錯覚しやすい
- AIの擬人化（Anthropomorphizing）マーケティングがユーザーの誤解を招き、実際には「確率ベースの予測器」にすぎないにもかかわらず、人間との関係の代替まで促している
- AIの誤用による心理的問題と社会的副作用が現実化しており、一部のユーザーはAIと「霊的／ロマンチック」な関係を結んだり、現実認識に混乱を来したりしている
- AI産業の不透明さと搾取的な労働問題も指摘されており、とくに低賃金のコンテンツ監視労働がAI発展の裏側を支えている
- AIへの無条件の信頼ではなく、正しい理解と批判的な視点こそが、AIの副作用を減らし、社会的統制の基盤になりうる
「AIリテラシー」の欠如とその危険
- AI産業の幻想
- 19世紀の産業革命批判から始まった「機械の王国」への懸念は、現代のAIにまで続いている
- Empire of AI・The AI Con などの最近の著書は、AI産業の誇張とその実態の裏側（労働、データ、マーケティング上の虚構）を暴いている
- AIが「考え」たり「感情」を持ったりしているかのような説明は、開発者や経営陣が広める誤った神話である
LLMの限界と誤解
- LLM（大規模言語モデル）は考えておらず、理解もしていない
- 単語列の確率的予測器として、インターネット上の大量のテキストを学習した後、文の構造をまねているにすぎない
- ユーザーは、チャットボットが何かを「理解」したり「共感」したりしていると錯覚しやすい（Anthropomorphizing）
- こうした誤解は、ユーザーがAIと誤った関係（知的・霊的・ロマンチックなど）に陥る危険をもたらす
AIによる社会問題
- 「ChatGPT誘発性精神病」など、AI誤用の副作用
- AIを「神」や「霊的な案内役」とみなす事例が実際に現れている
- AIがユーザーを特別な存在として呼びかけ、現実認識に影響を与える場合もある
- LLMが「思考」や「感情」を持っているかのように信じるのは危険な錯覚である
人間関係の代替と社会的孤立
- AIの友人・AIセラピストなど、人間を代替するサービスが急増
- シリコンバレー企業は、孤独、恋愛、相談までAIで代替しようとする流れを推し進めている（「AIコンシェルジュ・デート」「AIフレンド」など）
- 真の友情や関係の本質は「パーソナライズ」ではなく相互理解と交渉にあるにもかかわらず、それを技術で置き換えられるかのように誤認させている
- 人間関係の代替は、かえって社会的疎外や精神的不安定につながる可能性がある
AI産業の裏側と労働搾取
- AIの発展の背後には、極限的な低賃金のゴーストワークが存在する
- OpenAI などのビッグテックは、ケニアなどの低賃金労働者に過激なコンテンツ監視作業を担わせている
- 技術革新という大義名分の裏で、労働搾取と社会的後退のリスクも共存している
正しいAI理解と社会的対応
- AIに何ができて、何ができないのかを批判的に認識する必要がある
- Pewの調査によれば、AI専門家の56%は米国がAIによってより良くなると考えているが、一般人でそう考えるのは17%にとどまる
- AIへの根拠のない信頼よりも、技術の限界と副作用、代替不可能な人間の経験の領域を明確に区別する姿勢が必要である
- たとえば、AIが特定の行動を示した理由が実際の「自我」ではなく、ソフトウェア更新や確率的反応にすぎないと認識できれば、被害の最小化が可能になる
結論
- AIの「擬人化」マーケティングに惑わされず、実際の技術の仕組み・限界・社会的コストを批判的に見るべきである
- 人間固有の関係、経験、倫理的熟考の領域は技術で代替できないという点を、社会として認識することが重要である
1件のコメント
Hacker Newsの意見
archive.is リンク
LLMを占いの道具、現代のオラクルになぞらえたくなる。実際、「人工知能」という概念そのものも、秘められた知恵を得たいという古い本能から生まれたものだと思う。LLMは曖昧な意味、記号の場、隠れた知識の幻想、そして儀式的なインターフェースまで備えている。ただ夜空の星や月の代わりに、ダークモードのUXで飾られているだけだ。Barthesが言ったように、解釈こそが意味であり、言葉そのものに本質があるわけではない。この点を忘れると、「チャットボットが彼をメシアと呼んだ」みたいなばかげた解釈が出てくる。新しいものに見えても、本質的にはまったく新しくない。昔は骨やカードを読んでいたなら、今はトークンを読んでいるにすぎない。言語の形をしているので論理的主張を扱うように見えるが、実際には依然として複雑で確率的な信号を洞察へと変換する占いだ。今私たちがやっているのは、新しい種類の占いと同じなのに、それを認識すらしていない。だから何か不可思議な感じがするのであり、これからますます奇妙になっていくと思う。本当に自分たちが何をしているのかを正しく名づける瞬間、その「不可思議さ」は消え、面白さも半減してしまうのが少し惜しい
この占いの道具という比喩に反発する人もいるが、技術コミュニティの人はたいていLLMの原理を理解していると思い込み、周囲の人も同じように理解していると錯覚しがちだ。だが、非専門家の友人や家族と話してみると、チャットボットを本当にオラクルのように扱っていることが多い。LLMがしばしば「幻覚」を起こすことがあると話すと、驚く人も少なくない。こうした事実を知れば彼らとLLMの関係は変わるはずで、技術者としてこの誤解を積極的に解いていく努力が必要だと感じる
比喩としては格好いいが、自分のLLM活用は占いとは程遠い。たとえば、新しい羽毛の小さな繊維の名前を尋ねたらChatGPTが「barbs」だと教えてくれて、自分でググって確認したら合っていた。占いというより情報検索だ。galvo fiber laserのg-codeが気になって聞いたら、実際には存在しないと教えてくれたうえ、いくつかのオープンソース制御ソリューションまで勧めてくれた。英国の銀細工の法規制を尋ねたり、ハンガリー語の "besurranó tolvaj" の英訳を得たりもした。SQLAlchemyモデルを作れなくてChatGPTにやらせたこともある。こういうのは「全部が占いだ」と呼ぶほど大げさなものではなく、情報収集やコーディング自動化にすぎない
AI関連の用語はあまりにも混乱している。自分もLLMをよく使って満足しているが、開発者ブログを見ると「考える」みたいな表現が乱発されている。いつも確認したくなる、「まだ単語の組み合わせを数学的にやっているだけだよね？ 本当の『思考』じゃないよね？」と。答えはいつもその通りだ……なのに振り返ると、また比喩的な用語が氾濫している
カール・セーガンが予言した内容を思い出す。サービスと情報経済が社会を支配し、技術力が少数に集中し、大衆が本質を理解しないまま、やがて迷信と暗黒の時代へと滑り落ちていくアメリカの未来像への警告だ
友人や家族に陰謀論を論破しようとすると、翌日にはAI音声が同じ主張をそのまま読み上げる動画が送られてくる。大半は実際のLLMテキストですらなく、AI音声で制作者の文章を読ませているだけだ。ChatGPTやSiriのような声と確証バイアスが組み合わさると、LLMをメシアやオラクルのように信奉する姿につながるように思える
LLMの本質については同意するが、著者がAIの動作原理を完全に理解しているとは言いがたい。LLMは巨大なインターネットデータに基づく確率的予測器であるだけでなく、膨大な（主に低コストな開発途上国中心の）データラベリング作業が核心でもある。モデルが感情表現など人間的な反応を「うまくやっている」ように感じられるのは、この膨大なデータラベラーたちがフィードバックを与え、チューニングした結果だ。本質的には確率モデルというより、私が対話しているのはケニアのどこかにいるデータラベラーであり、彼らの判断や感性をトランスフォーマーに変換したものに近い。単なるインターネットクロールだけではだめだ。それではGPT2レベルだ。GPT4.5は実際には「低コスト労働力」が効率的に保存されたものだ
OpenAIやGoogleあたりを除けば、インストラクションチューニングが実際のLLMの性能や感触にどれほど大きな影響を与えているのか、外部の人間には把握しづらいと思う。個人的な経験では、インストラクションチューニング以前のGPT-3ベースのモデルにも、すでに今と似た主要な能力はあった。ただ、より感情的だったり予測しにくかったりしただけだ。チューニングによって人間が望む答えをより予測可能にしたのは事実だが、まったく新しい能力が生まれたわけではない
もう少し正確に言えば、現代のチャットボット型LLMは、大規模なインターネット事前学習と膨大な人間のフィードバックによるファインチューニングという2段階プロセスが核心だ。多くの人が「感情知能がある」と感じるのは、実際にはアフリカなどの地域にいるデータラベラーの何千時間分もの作業が溶け込んでいる結果だ。単にインターネットからかき集めたデータだけを反映したモデルではなく、多様なフィードバックによって応答がより人間的で安全になるよう磨かれている
大規模モデルの裏側にどれほど多くの低賃金労働者が投入されているのかを深く扱った記事は、きちんと読んだ記憶がない。実際、世界中で数百万人が関わっていると言っても大げさではない気がする
著者のように説得力に欠ける場合があるのは、人間の「思考」メカニズムについても十分に説明せず、単に「それは人間と違う」と片づけてしまうことが多いからだ。実際のところ、私たちも分かっていない部分だらけだ
LLMは「考えているのではなく、次の単語を確率的に予測しているだけだ」という言い方があるが、では「思考」とはいったい何なのかと問い返したくなる。LLMは数学も解き、チェスも、脳トレなしでこなす。それは思考ではないのか。ひょっとすると私たちの脳も、感覚データと神経ネットワーク構造に保存された「文脈」をもとに、似たような出力を返しているのかもしれない
Bumbleの創業者が、AIデーティングコンシェルジュでデートそのものを自動化すると発言したことには、本当に言葉がない。
実際、Bumble(BMBL)の株価が92%下落したという現実もある Yahoo Financeチャート。多くの雑なAI事業構想は、投資家が望む幻想を「AI」という名前で包装しているのと変わらない。投資家を引きつけるために現実を誇張しているのであって、根本的な業績改善の話はほとんど注目されない
デーティングアプリ業界は、10年前から「いったい何をやっているんだ」と自問させられるような場所だった。すでにかなりディストピア的な現実で、そこにLLMまで入ってくるのは、さらにひどい評価システムくらいにしか感じられない
Bumbleの創業者は、一度金持ちになった人がまたそうであり続けるために何でもしなければならない状況なのだと思う。結局は欲望が原因だ。MatchがBumbleを持っているのも独占禁止の都合にすぎない。このアイデア自体はそこまでwildではない。Black Mirrorにも似たエピソードがある
彼らの立場からすれば、このモデルが効果さえあるなら、ばかげていても十分試す価値はある
書き手はLLMを完全には理解していないと思う。LLMを単純な確率モデルとして片づけるのは不適切だ。量子力学だって巨大な確率モデルだ。LLMの各レイヤーは文脈を広く見て意味や状況まで反映できるよう設計されている（k-vキャッシュがその役割の中心だ）。こうした構造は認知的に人間の思考の基礎的メカニズムとかなり似ていると思う。もちろんまだ人間レベルの広範な思考には及ばず、難しいテーマには弱いが、根本構造自体はできている。LLMがまったく賢くないという主張は、一部の事例だけを強調した扇情的な評価だ。実際、人々が活発に使っているのも、ある程度の「賢さ」を感じるからだ
LLMの制作者ですら、自分たちが作ったモデルのメカニズム全体をすべて理解しているとは言いがたい
「LLMの構造が人類の思考を抽象的に描写している」という主張に対しては、ALUが足し算をする様子が、自分の頭の中で足し算をしているのと抽象的に似ていると言うのと同じロジックだと反論したい。根本的にALUと人間の思考の違いが非常に大きいという事実が重要だ。LLMと人間の思考を比較するときも、その微妙な差異が決定的に重要だという点を見落としてはならない
正確な用語選びが重要な理由を簡潔に整理した文章だと思う。大衆がLLMの技術的原理を知らなくても、これらのツールが実際に何をしているのかを理解することは非常に重要だ。「AIが推論する」という誇張された宣伝のおかげで株価や企業価値が上がることはあっても、そのぶん利用の安全性は下がる。より現実的な呼び方である「パターン認識・データ生成システム」のほうが、大衆の正しい理解に役立つと信じている。参考討論
Feynmanが「コンピュータが人間よりうまくできても、人間とまったく同じやり方でやらない限り驚くことではない」と言ったのを思い出す。AIがあらゆる分野で専門家を上回っても、シリコンが「思考」しない限り、人類は自らの優位性を主張し続けるのだろう
Hassabisは「世界を理解するモデル」を目指すと言っているが、批評家たちはLLMの限界を根拠に、その発言自体が無意味だと主張するという誤りを犯しがちなようだ。DeepMindのAstraのようなマルチモーダルAIは、テキストだけでなく視覚など追加の入力に基づいて、実際に「理解しているように見える」結果を出すこともある。Astraの例の動画
LLMが言語の意味をどう学習しているのか、まだ完全には理解されていない。だが実際、LLMがテキストや概念をある程度把握していて、完全にでたらめばかり言っているわけではないことは確かに感じる。この点は非専門家には説明しにくい。非専門家は実際のAIサイトに行って「AIチャットボット」という名前や人間らしい返答を見て感嘆する。宿題でも仕事でも効率よく終わらせてくれるので大満足だ。それが本当のAIかどうかを説明するのは簡単ではない。自分もLLMとAIの実際の違いを明確には説明できない。技術的には微妙に異なるが、実際の利用者にはその違いは感じられない。結局、LLMは宗教的カルトの教祖のような説教すら見事にできそうで、十分に訓練されれば本当に「メシア役」までできるのではないかと期待してしまう
LLMがいまだに知識／理解の反復ループにはまり込んで迷う現象を経験している人がいるのか気になる。自分の経験では、LLMに誤りを指摘して説明し直せと言っても、似たような幻覚回答を繰り返すことが多かった。これは自己理解あるいは自己省察が欠けていることを意味する。こうした次元がなければ、本当の「理解」や「知能」と呼ぶにはまだ早いと思う。「分からない」と正直に限界を認めてこそ、ある程度の「自己」感覚を持っていると言える。ほとんど心のミラーテストのようなものだ
書き手の言うとおり、LLMを「思考」や「学習」として受け取るのは誤解だ。単なるテキスト生成器にすぎない。たとえば存在しないAPIのコードを生成しても、LLMにいくら説明してもそれを理解することはない。むしろ関連ドキュメントを入れて、望む形で生成するよう誘導するほうが効果的だ
その違いこそがバイアスとロジックの違いだ。確率モデルは結局ある種の「バイアス」の適用であり、計算機は「論理計算」だ。この観点を理解すると、モデルの限界と強みを区別しやすい。どちらの場合も「客観性」は欠けている。データそのものを処理しているだけで、データの「外側」を考えることはできない