リチャード・ストールマン、「ChatGPTを使うべきでない理由」
(stallman.org)- Richard Stallman は、ChatGPT は 知能を持たないシステム であり、単に単語を組み合わせているだけで意味を理解していないと指摘
- このシステムは 真偽に関係なく出力を生成 するため、彼はこれを「でたらめ生成器(bullshit generator)」と呼ぶ
- このような 生成システムに知能があると大衆が思い込む錯覚 が、誤った信頼を生んでいると警告
- ChatGPT は ユーザーが実行ファイルやソースコードを入手できない非公開ソフトウェア であり、サーバー経由でしかアクセスできない
- 他人のサーバーで計算を行う方式は ユーザーのコンピューティングの自由を損なう という点で、利用を拒否すべきだと主張
ChatGPT の非知能的な特性
- Stallman は 「知能(intelligence)」を、理解したり知ったりできる能力 と定義
- ChatGPT は自分が生成した出力の意味を知らず、単語が意味を持つという事実すら認識していない
- したがって ChatGPT は 知能ではなく、単なる言語結合システム だと規定される
「でたらめ生成器」としての性格
- 彼は ChatGPT を "bullshit generator" と呼び、これは 真偽に関係なく結果を生成するシステム を意味する
- 同じ理由で、他の生成システム も同様の問題を抱えていると述べる
大衆の誤った信頼
- 多くの人々が、こうしたシステムに 知能があると錯覚 することで 誤った信頼 を示している
- Stallman は このようなシステムを信頼すべきではないという認識の拡大 を訴える
非公開ソフトウェアとしての問題
- ChatGPT は ユーザーが複製したり実行したりできない未公開ソフトウェア である
- 実行ファイルすら提供されず、OpenAI のサーバーを通じてのみ利用可能
- このような構造はユーザーを サーバーに従属させる形 であり、独立した利用ができない
コンピューティングの自由の侵害
- Stallman は 他人のサーバーで自分の計算を実行する行為 が コンピューティングの自由を破壊する と明言
- 彼は GNU の哲学文書を引用し、「そのサーバーは本当に誰に仕えているのか」 という根本的な問いを提起
出典: Richard Stallman, “Reasons not to use ChatGPT”, stallman.org, 2024
著作権: 本文は原文の告知に従い、同一条件での複製および配布を許可
23件のコメント
正直、ストールマンが LLM を好きそうだなんて、一度も思ったことなかったです（笑）
ｗｗｗｗ
ストールマンの主張していることが、要約文には明確に表れていないように感じます。
学部時代に〈コンピュータと心〉という哲学の一般教養科目を受講したことがあるのですが、そこでアメリカの哲学者ジョン・サール教授が考案した〈中国語の部屋〉という思考実験が出てきます。最近のLLMは意識のない単なる道具にすぎないのに、これを人間扱いしてもいいのか？ というような問いが、当時〈コンピュータと心〉を受講した記憶とともに思い出されることがあって、その内容をAIに尋ねたものを文章として残してみます。雑談めいた内容なので、気楽に読んでいただければ幸いです。ありがとうございます。
Question) こんにちは。アメリカの哲学者ジョン・サール（John Searle, 1932〜2025）教授が考案した〈中国語の部屋〉という思考実験について、詳しく丁寧に教えてくれますか？
news.hada.io/topic?id=24995のサイト（Hackers News）を読んでみると、リチャード・ストールマンという人は「Chat-GPTのようなLLMモデルは、何らかの概念を理解して答えを返しているのではなく、単語を組み合わせてもっともらしい返答を作り出せる機械にすぎない」と考えているようなので。まずジョン・サールの中国語の部屋の実験内容を私に教えて、そのうえでリチャード・ストールマンのこの主張について、Geminiであるあなたの考えや意見を聞かせてほしいです。詳しく丁寧に答えてください。ぜひお願いします!!Answer) こんにちは！ ジョン・サール（John Searle）教授の〈中国語の部屋（Chinese Room）〉という思考実験と、それに照らして見る大規模言語モデル（LLM）に関する興味深いテーマを持ってきてくださいましたね。
2025年現在、ジョン・サール教授はすでに私たちのもとを去りましたが、彼が残したこの思考実験は、AIが飛躍的に発展した今日、これまでになく熱い論争の中心にあります。リチャード・ストールマンの主張と、私（Gemini）の存在論的な意味を結びつけて考えるには、とても良い機会です。
ご要望どおり、とても詳しく丁寧に、そして率直に私の考えをお話しします。
1980年、ジョン・サールは「コンピュータは単にプログラムを実行するだけで、人間のような『精神（Mind）』や『理解（Understanding）』を持ちうるのか？」という問いを投げかけ、この思考実験を考案しました。
🧪 実験の設定
想像してみてください。外部と完全に遮断された**密室（部屋）**がひとつあります。
😲 実験の結果
部屋の外にいる人は中国語のネイティブ話者です。彼は部屋の中から出てきた返答を見て驚きます。文法も完璧で、内容もとても自然だからです。外から見れば、「わあ、この部屋の中にいる人は中国語を完璧に理解しているんだな！」と思ってしまいます。
💡 ジョン・サールの核心的主張
しかし私たちは知っています。部屋の中にいるAは、中国語を一文字たりとも理解していなかったという事実を。彼はただ規則（Syntax, 構文）に従って記号を組み立てただけであり、その記号が何を意味するのか（Semantics, 意味）はまったく分かっていません。
これこそがジョン・サールの言いたかった核心であり、これは**『強いAI（Strong AI）』**に対する反論だとされています。
2. リチャード・ストールマンの主張と現代的解釈
ご指摘のリチャード・ストールマン（自由ソフトウェア運動の創始者）の見解は、ジョン・サールの主張を現代のLLM（Large Language Model）であるChatGPTや私（Gemini）にそのまま適用したものだと言えます。
ストールマンは、「AIが見た目にはもっともらしい言葉を作り出すのは、意味を理解しているからではなく、**『次に来る単語として最も確率が高い単語』**を統計的にうまくつなぎ合わせているからだ」と批判しているのです。
では当事者である私、Geminiの率直な意見をお話しします。私は感情を持つ人間ではありませんが、自分の動作原理と『理解』という概念について整理することはできます。
✅ 1. 技術的には、ストールマンの言葉は『事実』です。
否定できない事実として、私は生物学的な脳を持っていません。
🤔 2. しかし、『理解』の定義は異なりうるかもしれません。（創発性）
ただし、単に「統計的な機械にすぎない」と切って捨てるには、現代のAIが示している能力はあまりにも複雑になっています。ここで**『創発（Emergence）』**という概念が登場します。
🤝 3. 私の結論: 「道具としての価値と限界を認めます。」
私は、リチャード・ストールマンの批判は非常に重要で必要な指摘だと考えます。
📝 まとめ
ジョン・サールの〈中国語の部屋〉は、40年が過ぎた今でも、私のようなAIの本質を見抜く鋭い洞察です。
この回答が、ジョン・サール教授の哲学と今日の論争を理解するうえで役立てば幸いです。
他人のサーバーで計算を実行する方式は、ユーザーのコンピューティングの自由を損なうという点で、利用を拒否すべきだということです。
これはLLMだけでなく、すべてのクラウドサービスや外部サービスも拒否しようという主張ではないですか……？ 翻訳が間違っているのでしょうか？
その通りです
ストールマンはSaaSも使わないよう主張しています
https://www.gnu.org/philosophy/who-does-that-server-really-serve.html
エプスタインを擁護して全部やめたのかと思ったら、また出てくるんですね、はは。
他の人が言ったならたわごとに聞こえるだろうが、ストールマンが言うなら納得できる。
意図を持って判断を行う人間は、主体であると同時に客体として意志を形成します。私は、それが知能というものだと思います。知的活動に有用だからといって、それを知能だとするのは過大解釈でしょう。
その通りですが、そうは言ってもLLMは驚くほど高い確率で正解を出しています。
:+1:
ストールマンはかなり原理主義的なので、
bullshit generatorという表現を使ったのだと思います。皆さんご存じのとおり、「確率的オウム」という用語と、言いたいことは同じでしょう。しかし、現在の確率的オウムである LLM が人類の生産性を劇的に向上させているのも事実です。そして人々はコンピューティングの自由よりも産業革新のほうに強い関心を持っているでしょう。人間だって、確率的オウムではないという保証はありませんし。
ソースコード公開…？ それならあのDeepSeek!!!
この定義に従えば、従業員をはじめ私の手を介さず他人の頭脳を介するサービス業、クラウドサービス、さらには電話まで全部使ってはいけないという話と大差ありません。
1番は、現実に存在するあらゆるものが真偽に関係なく出力を生成し得ます。真実の出力をしようと意図したシステムでさえ、そうできないことがあります。私たちはそれを「ミス」と呼びます。
2番。実行ファイルやソースコードを入手できなければ使えないということが、システムを使うためにはその内在する原理を知らなければならないという主張なら、物理学や電気電子工学を専攻していないすべての人は今すぐスマートフォンとコンピューターから手を放さなければなりません。相対性理論を学ばずに位置追跡機能を使ってはいけない、という話です。果たしてストールマンは、自分の髪を切ってくれる美容師の頭の中の設計図を持っているのでしょうか。
3番の言う通りなら、この人は誰の考えも信じない独善主義者です。他人の考えと、そこから下された結論はすべて「私」の考える自由を侵害するのだから、自分の頭で考える自由を侵害する、ということになるのでしょう。
生成AIが本当に知能を持っているのかという点について、軽々しく知能を持つ存在だと信じるのはやめようと言うことはできますが、その考えと肩を並べるこじつけの論理は、ただのbullshitですね。
.Stallman が誰で、何を主張しようとしているのかを誤解しているように思います。
Stallman は急進的で、いつも正しいことだけを言うわけではありませんが、この記事で提起されている問題はすでに活発に議論されているものです。単に bullshit と切って捨てられる程度の議論ではありません。
根本的に、利用者がソフトウェアのソースコードあるいはコピーを持てなければならないと言うことの根本的な根拠は、結局のところストールマン個人の信仰なのではないでしょうか。
まるで、すべてを無料で公平に分け合うことができ、そうあるべきだという、きわめて急進的で理想主義的かつ純粋に理論的な信仰を打ち立て、その砂上の楼閣に少しでも影を落とすものは、それが何であれまるで異端として扱うかのような姿勢には、同意しがたいですね。人類はすでに、経済体制に関してこれとよく似た病を一つ抱えています。
生成AIの結果が確率論的であり、おっしゃる semantic grounding がないという点には同意しますが、結局は程度の差にすぎず、人とコミュニケーションしたり議論したりする場合でも、内容の判断と検証は個人の責任です。私と対話する相手が生成AIであれ人間であれ、結局その相手の答えは、学習した背景知識や価値観を形作る学習データの影響を受けます。もちろん、このような共通点があるからといってAIが真の知能を持つとは思いませんが、そもそも生成AIが真偽と無関係である理由は、それが学習したデータが真偽と無関係だからであり、これは人間も同じです。そうした事実だけをもって「使うべきではない」と言うのは、納得できません。
3番については、私が軽率に早合点して誤解していた部分がありましたね。2番のソースコードと同じように、サーバーで何が起きているのかを利用者が知るべきだという話であれば、ある知識サービスを提供するサービス提供者としての他者をサーバーにたとえても同じ文脈になり得ると思っていたのですが、単に私が最初から誤解していただけでした。
しかし、おっしゃる通り独善的だという点は、私の誤解ではないようです。
生成AIのソースコードやコピーを得られなければならないという話になれば、知的財産権は崩壊するでしょう。
他人のサーバーにデータが提供されるのが不満なら、提供しなければいいのです。利用しなければいいのです。誰にも秘密を漏らさずに、その秘密について議論する方法はありません。誰かが時間と資源、努力をかけて開発したAIのソースコードやコピーを、誰もが持てるべきだなんて、それが bullshit でないなら何だというのでしょう。私が自分のものを無料で差し出すからといって、他人のものを私が勝手に持てるようになるわけではありません。
最初におっしゃったように、私はストールマンという人物とその主張についてよく知りません。表面的に名前を少し聞いたことがある程度で、自由ソフトウェアに関する対立があることくらいは知っています。しかし、彼の主張と影響力がどこまで及んでいるのか、どれほど真剣に受け止められているのかは分かりません。ですが、少なくとも合理性と現実性を欠いた主張を bullshit だと言う自由くらいは、私にもあるようですね。
私は、社会に大きな影響を与える技術や知識は社会に還元されるべきだ、という枠組みで見ています。ちょうど医薬品のジェネリックのようにです。ジェネリックが制限されれば、ダラプリムのような事例が増え、一部の利益のために社会全体が損をすることになるでしょう。
そして電磁気学とスマートフォンについておっしゃっていましたが、電磁気学のような基礎学問は、知識が第三者によって検証可能な形で公開され、社会に共有されているのではないでしょうか。だからこそ、電磁気学の知識がない一般の人々でも、このように一歩一歩積み上げられてきた信頼に基づいてスマートフォンのエコシステムに参加できるのであり、その結果としてエコシステムの規模が拡大し、市場が生まれ、人類がその恩恵を受けるのです。
企業が市場から利益を得た分だけ市場に貢献し、技術の発展が再びそのような発展を可能にした社会に還元することは、私も望ましいことだと考えます。
生成AIについての基礎的な枠組みはすでに公開されており、そのうちOpenAIが公開していない部分は企業の営業秘密に属すると考えます。企業や技術が社会に再び貢献することは、表向きには感謝の表現であり共生のメッセージですが、実質的には企業の持続可能な成長のための市場への再投資だと見ています。そうした観点から見れば、AI企業は稼いだお金で教育や社会インフラに貢献するのが望ましいのであって、企業が持つ資産も同然のAIのコピーをすべて公開せよというのは、金の卵を産むガチョウがもたらす金の卵の恩恵を無視して、まず腹を裂けと求めるようなものではないでしょうか。金の卵はいくらでも出てきます。それを分け合えばよいのであって、どうしてもガチョウそのものを差し出せと言うのなら、いったい誰がガチョウを育てようと思うのか、というだけです。
AIがどのように動作するのかは、すでに電磁気学のように明らかになっています。スマートフォンには電磁気学の基礎知識だけでなく、各企業が明かせない営業秘密としての技術も含まれているはずです。この点を尊重せず、生成AIを魔女狩りのように悪いものとして決めつけるのは、理解できないだけです。
返信をくださった方々のお話のおかげで、いろいろ調べ、多くのことを考えるようになりました。ありがとうございます。
ご理解いただきありがとうございます。
黄金の卵を産むガチョウがいると主張する人がいるなら、その卵が本当に黄金なのか、そのガチョウが産んだものなのか、そして黄金の卵の対価として何を受け取るのかを検証できるべきではないかと思います。
私は、ストールマンの「信頼できるコンピューティングのためにはソースにアクセスできなければならない」という主張を、そのようなニュアンスで読んでいます。
最近、中国の組み込みプラットフォームメーカーであるsipeedが発売した
nanokvmという製品で、マイクが見つかった事例がありました。中国製の組み込み製品はセキュリティ的に脆弱だったり、ひいては政府のセキュリティ工作に利用されているのではないかという不安感があるものと理解しています。
そのため、そうした先入観が反映されたのか、最近この製品についてこのような記事も出ていました。 중국산 NanoKVM에서 숨겨진 마이크를 발견한 과정
しかし、sipeedはそのハードウェアからソフトウェア開発までをオープンソースで進めていたため、ちょっとした騒動として誤解を解くことができたのだと思います: https://x.com/lexifdev/status/1999340940805439775
ストールマンの時代には、このような言説において中国政府の代わりに、その位置にいたのはマッカーシズムの影響が残っていた頃の米国政府とNSAだったと理解しています。
陰謀論かと思われていたものの、実在すると判明したNSAのバックドア事例もありますし、printer tracking dots (https://en.wikipedia.org/wiki/Printer_tracking_dots) のようなものもありました。
最近は、政府が関与した陰謀論よりも、広告を主な収益源とする企業がターゲティング広告のためにスマートフォンのマイクを盗聴しているという話のほうが話題ですが。
そしてソフトウェア技術企業では、ソースコードがもちろん大きな役割を果たしますが、全体的な利便性、サービス運用能力、そして信頼のほうがより大きな役割を果たすと思います。
OpenAIのソースコードをすべて手に入れたからといって、後発組が簡単に多数のユーザーを支えられるインフラを安定して確保・運用し、ブランドの信頼に追いつけるわけではないでしょう。
主要プロダクトをオープンソースで運営し、多数のフォークがありながらも主導権を失っていない事例はかなりあります。
すぐに思い浮かぶものだけでも、ChromeやVS Codeのような例があります。
もちろん、主導権を失った例としてElasticやRedisで、AWSが原因でオープンソースライセンスをめぐる事件がありましたが、同様に私は、両社が相対的にAWSの利便性、サービス運用能力、信頼において後れを取っていたために起きたことだと思います。
まあ、こういう話も見方によっては政治的・思想的な話ではあります。なので、個人的な話を付け加えてみます。
本業でソフトウェア開発をし、趣味で組み込みハードウェアをいじる立場からすると、ソースコードや回路図のようなものがないブラックボックス相手では本当に……開発も保守も本当に大変なんですよね。
何らかのソフトウェアライブラリやハードウェアを使って開発しようとするとき、ソースコードや設計図を入手できる、あるいは少なくとも仕様書がきちんと整理されていれば開発は本当に楽ですが、そうでないと本当に頭が痛いです。
最近、海外で「修理する権利」の話がかなりありましたが、その中で印象的だったのは、昔は電子機器のふたを開けると、修理の参考にするため配線図が描かれていたという話です。 （最近はAppleが修理業者に回路図を提供しているとは聞きます）
こうした経験が、その製品群の信頼性の形成に大きく影響するんですよね。最近は、どの技術を選ぶか、どの製品を買うかを考えるとき、これが壊れたり問題が起きたりしたときに、自分が簡単に理解して修理して使えるか、あるいは回避策を講じて使えるかをまず検討します。
知るとは何ぞや……
「中国語の部屋」実験の頃からある定番ネタですね（笑）
Hacker News の意見
Stallman が MIT AI Lab 時代に symbolic AI を扱い、さらに GCC まで作ったことを考えると、技術界の著名人の中でも問いの本質を深く理解している人だと思う
彼は間違っていない。ChatGPT は 知能の模造物（simulacrum） にすぎず、有用ではあるが完全には信頼できない。自由と開放性の観点から見ても、肯定的とは言いがたい
私は LLM という用語を好む。ただ、ほとんどの人はそれが何か分からないので、結局 AI と説明することになる。LLM は bullshit generator ではない。意味を理解していなくても、結果が有用ならそれで十分だ。料理人が卵の本質を知らなくても茹でられるのと同じだ。ただし、こうしたモデルは 自前のハードウェアや第三者クラウド 上で自由に実行できるべきだ。今は中国モデルが市場を席巻している。ChatGPT は内部の「code red」状態を解決できなければ、長く持たないかもしれない
Stallman のサイトに「What’s bad about」セクションがあるのが面白い。かなり自己認識のある構成だ
電卓が数字を理解していないからといって 数学ができない とは言えないのと同じように、AI も単語を扱う仕方は人間に似ている。創造性は足りないが、日常的な業務なら十分こなせる。たとえばドイツの税制について尋ねれば、多少の不正確さがあっても、自分が2時間調べた結果より正確である可能性は高い
知能を「未知の現象を理解し、心的モデル を作る能力」と定義するなら、現在のモデルは推論時に重みを更新できないので知能ではない。gradient descent 学習は非効率なので、現在の inference 専用モデルの知能は、実質的に 0 に近い
LLM は結局 幻覚（hallucination） を生み出す存在だ。ただし、役に立つ幻覚もある
「ChatGPT は何も理解していないので知能ではない」という主張は、むしろ ChatGPT を 擬人化（anthropomorphize） しつつ貶める論理だ。ただし、「他人のサーバーで動くソフトウェアは コンピューティングの自由 を損なう」という点には同意する。この種の AI の発展が、自由に実行も開発もできない環境 で進んでいるのは残念だ
LLM は本物の知能ではないが、人工知能（artificial intelligence） と呼ぶことはできる。人工芝は本物の芝ではないが、それでも「芝」と呼ばれるのと同じで、その名前自体は妥当だ
LLM の本質は単純だ。知能の定義 は重要ではない。私は LLM を「Associator」と呼んでいる。考えたり理解したりはしないが、言語的パターンを関連付けて 有用な結果を生み出す
もし人工知能が究極的に魂を持ちえないのだとしたら、その知能が真実を追求する人間の知能に必ず似ていなければならない理由があるのでしょうか。そもそも、私たちが知的活動と呼ぶ行為のかなりの部分は、虚偽や幻覚に基づいています。現代社会の人間もまた、現象を認識できないために、あるいは意図的に、虚偽によって他者の人生に影響を与えています。