なぜ合理主義者コミュニティにはカルトが多いのか？
(asteriskmag.com)- 合理主義者コミュニティ内部で、小規模で奇妙な信念集団が何度も生まれており、その一部は実際の暴力事件とも関連している
- この現象は、合理的な思考法を強調するコンテンツ（Sequences） が「よりよく考える」技術を約束しながら、現実にはその約束を満たせていないことに由来する
- 脆弱な立場にある人々は、コミュニティ内で有害なグループに巻き込まれる可能性が高く、しばしば外部と切り離されて抜け出しにくくなる
- 集団内部の信念と行動の結びつき、アイデアを深刻に受け止める姿勢、社会的孤立 などが深刻な機能不全を引き起こしうる
- 合理主義カルトの発生を完全に防ぐのは難しいが、外部の現実とのつながり、社会的多様性、健全な組織構造 を維持することで悪影響を減らせる
序論
- 合理主義者コミュニティは、AI研究者 Eliezer Yudkowsky が執筆したブログ連載「Sequences」に由来する集まりである
- この連載は合理的に考える方法を主題としており、コミュニティの構成員は批判的思考と懐疑主義の手本であるはずだと期待される
- しかし実際には、悪魔と交信する小規模な奇妙な集団、暴力事件、トラウマを引き起こすグループなど、奇妙で有害な集団 がコミュニティ内で発生してきた
- 代表例として、Zizians というヴィーガン・アナキスト・トランスヒューマニスト集団や、Black Lotus、Leverage Research などの事例がある
- 筆者はコミュニティ内部の人間であり、さらに踏み込んだインタビューによって前例のないアクセスと率直さを得ている
若い合理主義者たちの問題
-
合理主義者コミュニティは全体としては機能しているが、一部の集団は深刻に機能不全な構造を帯びている
-
「Sequences」は「よりよく考える技芸」と並外れた未来を約束するが、現実にはその約束は実現不可能である
-
多くのインタビュー対象者は、この種のコンテンツがカルトの原材料を生み出すと指摘している
-
Eliezer Yudkowsky 自身は集団性の構築には消極的だが、外部から流入してくる人々は、権威者による変化と英雄的使命を渇望していることが多い
-
ある集団の機能不全はリーダー（例: Black Lotus の Brent Dill）に起因することもあれば、下から毒性的な力学が自然に生じることもある（例: Leverage Research）
-
脆弱な人々は隔離された集団の捕虜になりやすく、問題状況から抜け出すことも難しい
-
初期にはコミュニティが未熟な構成員を支えていたが、次第に成功した人々がそうした支援を引き上げる傾向が生まれた
-
支援を受けられない新参者は、有害な内部グループの標的になりやすい
信念の深刻さ
-
機能不全集団の内部では、社会的孤立 や リーダーによる操作 よりも、信念そのものが中核的な原因である
-
たとえば Zizians の過激な決定理論（脅威には無条件で対応すべきだという信念）は、実際の行動と直接結びついていた
-
Leverage Research は「Connection Theory」という心理学の統合理論を通じて、メンバーの内面構造を理解し問題を解決しようとした
-
こうした単純化された心理モデルに自分の行動を合わせようとすることで、精神的な問題まで引き起こされた
-
Brent Dill は、世界や他者をシニカルに解釈するようメンバーを誘導し、これは集団的不信と最も根本的な害につながった
-
合理主義者たちは専門家への信頼を拒み、自ら考えようとする過程で、逆説的にカリスマ的リーダーに思考を委ねる危険を抱える
-
「アイデアを真剣に受け止めること」と「主体性」は本来は美徳だが、誤って適用されると規範を外れた危険な行動へとつながる
心理学への警戒
-
問題のある集団では、哲学、心理学、集団内の関係について、長時間かつ高密度の議論が日常化していた
-
反対に、健全なグループでは、外部活動や実質的な達成（プログラミング、ゲームなど） に集中していた
-
Black Lotus のメンバーにも、実際に重要な役割を担うことで自信を得た事例があった
-
Leverage Research でも、実質的なプロジェクト（暗号資産開発など）に取り組む小グループのほうが健全だった
-
過剰な集団内の感情の議論や心理分析は、機能不全、不安、孤立、現実との断絶を深める
-
実質的な外部目標のない集団で内部討論が長引くと、有害な力学が増幅される
-
長時間にわたる集団心理や感情の探究が日常化しているなら、カルトでなくとも何かが間違っている兆候である
結果主義（Consequentialism）の危険
- 結果主義的な世界観を真剣に受け止めると、リーダーへの過剰な献身や犠牲が正当化されうる
- 合理主義者コミュニティで頻繁に言及されるAGI（汎用人工知能）による絶滅リスク論は、集団内の緊張や強迫を引き起こす
- AI に貢献する能力が足りない人々は、代替プロジェクトや小規模グループに執着することで機能不全に陥りやすい
- 大義名分（人類の危機など）が、日常的な事柄にまで過剰な意味づけをもたらす
- 実際には危機の克服とは、単純で反復的な課題の積み重ねであるにもかかわらず、それにそぐわない英雄的幻想が追い求められる
孤立への警戒
- 社会的孤立とグループ内の同調圧力、外部との断絶が、機能不全の深刻化の核心である
- メンバーが家やオフィスの外に出入りしなくなることは、カルト性を見分ける最も確かな兆候の一つである
- 内部だけで定義される現実、批判者の排除、相互監視が、集団思考や信念の過剰につながる
- 同じ家に住み、あらゆる必要を集団が提供するパターンは、外部世界での独立性と能力を弱める
- 内部グループ同士ですら情報を共有しない秘密主義も問題であり、暴露とコミュニケーション不足が悪循環を招く
結論と提言
- 合理主義者コミュニティの機能不全は、特別に深刻というよりも「より興味深い形で」現れる
- このコミュニティ特有の「信念を行動に移す」「既存社会とは違う生き方をする」という傾向が原因の一つだが、完全に取り除くことはできない
- 個人的・共同体的なレベルでは、以下のような戦略が機能不全の軽減に役立つ
個人への提言
- 集団内の人間関係や感情について長時間の会話が続くなら、警告サインである
- 達成を客観的に測れる活動に取り組み、外部の現実との接点を作る
- 多様な社会集団との関係を維持する
- 仕事、居住、治療のプロセスを分離する
- 皆が信じている信念であっても、外部の人や独立した検証を必要とする
- 長々とした抽象的な論理の末に「他人を傷つけてもよい」あるいは「この仕事より重要なものはすべて劣る」という結論に至るなら、疑うべきである
- 他に選択肢がない状態で要求の多い集団に参加することは慎重に考える
コミュニティへの提言
- 機能不全の集団に入ったメンバーとのつながりを維持し、非難よりも正常なコミュニケーションを提供する
- 新規メンバーに現実的な期待値を与え、実質的な支援を拡大する方法を考える
- AI 安全性などの領域に入るのは容易ではないと率直に伝え、貢献できない人の価値を過小評価しない
- 「倫理的な禁止線」（明らかにしてはならないこと）についての議論を活性化する
1件のコメント
Hacker Newsの意見
とても興味深い記事だ。15年前の自分なら、こういう自称合理主義者たちは長ったらしいファンフィクションを書く人たちだと思っていたが、今では下位グループが殺人まで犯し、悪霊祓いまでやる段階に来たのだと思うようになった。1950年代にハバードの作品を1つ読んだ読者が、数十年後にハバードが巨大な宗教を率いているのを目にしたような気分に近い。記事はこうしたグループの中から苦労してでも前向きな面を探そうとしていて、「合理主義者たちは新型コロナのパンデミック初期に正しい見解を持っており、AIの脅威についてもいち早く警告していた」という主張に触れている。しかし、WHOの見解に同意するとか、スカイネットのようなAIが危険だと考えることに、特別な点はないように感じる。記事で示された合理主義者の成功例は、止まった時計でも1日に2回は合う、という話に近いと思う
WHOは2020年3月11日まではパンデミックを宣言していなかった。その時点より前に警告していた合理主義者もいた（他の人たちも同様だが）。私は合理主義者のブログの警告を読んで、別のフォーラムに新型コロナのニュースについて投稿し、そこで重要な警告をくれた人だと見なされた。実際に大きな違いを生んだのかは分からない
https://pmc.ncbi.nlm.nih.gov/articles/PMC7569573/
あの段落があまりにがっかりで、そこで読むのをやめた。この2つの事例はどちらも事実ではなく、記事が合理主義を擁護するためにやっと見つけた例だというのが残念だ。AIの脅威は実際には存在せず、この種の人々はGoogleのLLM公開を遅らせ、画像モデルがロボットばかり描くようにした背景でもあった。しかし今では、はるかに優れたモデルを個人のノートPCで動かせるし、大規模失業や崩壊も起きていない。AIはむしろ友好的ですらある。そしてマスクについても、実際の資料やグラフをいくら見ても、有意な影響があった痕跡はない。まったくマスクをしていなかった国々が一夜にして皆つけるようになっても、感染者数のグラフに変化はなかった。ウイルスはマスクの隙間やマスクを外した瞬間、さらには目からでも入ってくるのだから。結局、合理主義者たちは何一つ当てていなかった。本当にがっかりだ
この記事は美しく書かれていて、きちんとした独自調査も多く含まれている。なのにコメントの大半が、反射的な「合理主義者ｗｗ」みたいな反応なのが残念だ。記事ですでにもっと豊かに、洗練された形で扱われている内容が多いのに、そういうコメントはあまり見当たらない
Asteriskは事実上「合理主義者の雑誌」で、著者は有名な合理主義者ブロガーだ。だから、この現象を公正に扱ったほとんど唯一の例がこの記事だとしても驚きではない。たいてい外部では、合理主義はカルトでEliezer Yudkowskyはカルトリーダーだと言われるが、私はそうした見方自体が筋違いだと思う
こういう記事を読んだあとで「たしかにカルトっぽいな」と感じるのは、まったく問題ないと思う。彼らが宇宙船を信じようが、悪魔を信じようが、AGIを信じようが関係ない。本当に重要な洞察は、指導者が構成員を社会から孤立させるなら、それは危険信号だという点だ。別に目新しいとか特別な洞察ではない
こういうグループについて私が感じる問題の1つは、見かけ上は論理的につながっている信念を、非常に自信満々に、ときには攻撃的に語ることだ。ところが、その土台になっている前提（公理）が、実際にはほとんど何の検証もされていないファンタジーだと後で分かる。こういう姿はどこにでもあるが、このコミュニティでは特にひどい。自分の論理にだけ沈み込む傾向があって、参加すると少し息苦しくなる。私が知る本当に賢い人たちは、自分が何を知っているのか確信していないことが多かった。自分で結論を出して、それに強く確信している人は、まず疑わしく感じる
単に前提が間違っているだけの問題ではないと思う。人はそれぞれの論理的推論の段階が、必ず前の段階から必然的に導かれると確信するが、実際には一段ずつ隙が入り込み、そこで誤った確信が増幅してしまう。非合理主義者が合理主義者より論理をうまく扱うわけではないが、少なくとも知的謙虚さの恩恵は受けている
強くおすすめしたいNYerのCurtis Yarvinプロフィールがある。（Curtis Yarvinも「合理主義」を自分の信念の根拠にしている。）とくに後半で、彼がもっとも尊敬するイデオロギー的英雄と長時間会う場面が印象的だ
https://www.newyorker.com/magazine/2025/06/09/curtis-yarvin-profile
インターネットのせいで、こうしたグループは爆発的に増えた。オンラインでは「人」ではなく「アイデア」しか見えなくなるからだろう。実際、熱心な合理主義者たちと部屋や島のような1つの空間で長時間過ごすと、彼らが文章ではどれほど賢そうに主張していても、現実にはすぐその理論を無視するようになる
「何かを確信している人は疑わしい」という点に同意する。詐欺師が
conmanと呼ばれるのも同じ理由だ。自信があることは正しさに結び付く、という自然な思い込みを巧みに利用して人をだます。詐欺でなくても、いったいどうすれば本当にそんな確信が持てるのか。反対する証拠をすべて無視してきたからだ。実際に何かを知っている人は、常に文脈を限定し、「たぶん」「もし」といった条件付きの慎重な説明をする。一般化した話はほとんどしない「真実を探す人を大切にしなさい。真実を見つけたと思っている人には気をつけなさい」 - ヴォルテール
未来のお金の価値をめぐる議論も多い。「discount function」を参照すると、いわゆる「rational altruists」は未来価値を1.0に置き、「drill, baby, drill」側は0に近い。
割引関数には、予測の不確実性を表すノイズ項が必ず入るべきだと思う。未来を予測するほどノイズは大きくなるからだ。これを考慮しないと、的外れな問題を解いて失敗する。古代ローマ時代に墓地の空き不足を心配したように、エネルギー枯渇や人口過剰も実際には起きなかったのは、予測過程でノイズがあまりに少なく見積もられていたからだ
https://en.wikipedia.org/wiki/Discount_function
昔、Eliezer Yudkowskyに会ったことがある。彼は合理性に関するパンフレットをくれたのだが、その内容は冗談か、むしろ布教を風刺したもののように思えた。2人で一緒に笑った。何度かざっと読んで本棚にしまってしまったが、この人がこんなに大きな影響力を持つようになるとはまったく思わなかった
こういう人たちはハロー効果を受けていると思う。彼らの経歴を見ると、今の地位に上るだけの中身はない。Eliezer Yudkowskyは、私の記憶ではThiel babyに分類される人物ではなかったか？
私にとってEliezer Yudkowskyは、Harry Potterファンフィクションの<Harry Potter and the Methods of Rationality>でしか知られていない。これ以外に一般に知られるだけの理由があるのだろうか？
こういう人たちは哲学をやりたがる一方で、正式な教育を受けるのはプライドが邪魔してしないように見える。私はこの現象を「小さな水槽症候群」と呼んでいる。もっとよい言葉があればいいのだが
人々が正式な教育を受けたがらない理由は、現代哲学そのものがあまり役に立たなそうに見えるからだ。たとえば2006年のデューク大学レイプ事件を見ると、ヒステリーに加担した教授たちはたいてい人文学（哲学を含む）出身で、検察官が犯罪で起訴されるまで誰も態度を変えなかった。一方、この問題にいくらかでも抵抗した人たちは、経済学者、科学者、法学者だった。何が正しく何が誤りかもきちんと見分けられない人文学界に、わざわざ進む気にならないのは理解できる
完全に同感だ！私は学術哲学の分野で10年生き延びたサバイバーだ。このコミュニティの空気は、まるで学部生を大量に乗せた飛行機をSurvivor島に不時着させて、無限のピザポケットとアデロールだけ与えているのを見ている気分だ
本当に正式な訓練が必要なのだろうか？プラトン、ソクラテス、ドストエフスキー、カミュ、カフカなどの古典を直接読む方が、今やっていることよりずっとましな選択だと思う
「多くの合理主義者は、英雄的な努力がなければAGI開発によって人類が滅亡すると予期している」「こうした信念は、他のどんなことにも関心を向けにくくする。人類が滅亡寸前なのに、看護師、公証人、小説家に何の意味があるのか？」 AGI終末論を携挙に置き換えても、アメリカの原理主義キリスト教徒とよく似ている。彼らは環境、経済、社会問題の解決を拒むが、それはもうすぐ携挙が来ると信じているからだ。こういうふうに黙示録的思考にはまると頭から離れにくく、不安障害を経験した人なら、破局的な想像は必ず克服すべきものだと学ぶ。ところがこうしたコミュニティでは、むしろ破局信仰を互いに強化し合い、反復する「破局のループ」から抜け出せなくなる
私も子どもの頃から、地球が滅びるという恐怖と「地獄に引きずり込まれる」という恐れの中で育ったので、今でも不安を徹底的に管理している。論理的根拠から生じたものではなく、家や周囲のコミュニティのあらゆるメディアから流れ込んでくる恐怖のせいだった
携挙信仰は、信者にとっては（本来の意味では）破滅ではない。むしろAI終末論の方がもっと極端だ。そして実際には、信仰のために現実世界のあらゆることを放棄する原理主義者はそれほど多くない
気候変動がひどい問題をもたらすと信じる人も多い。それ自体はありうる信念であり、広く見ればアメリカ人の大半は何かしらを破局的に信じていることになる。AGI終末信仰にももっともらしい論理はある。私はそちらを信じてはいないが、信仰体系として見るなら、気候変動信仰の方により近い
AGIを気候変動に置き換えても、非常に合理的な信念体系になる
私はどうしても『アベンジャーズ』1作目で、ロキが群衆の上から「ほら、これがお前たちの本性じゃないか」と叫ぶ場面を思い出す。ある意味では、選択の余地がないという事実に奇妙な安堵を感じているようにも見える。論理に基づく合理主義の体系が曖昧さに耐えられない態度と結び付くと、妙な方向へ暴走しやすい
人間はニワトリではないが、序列争いは案外好きなのかもしれない
彼らは自分のやりたいことができるように、自分向けの論理を組み立てる傾向がある。神が自分を導いていると言っていた昔のバージョンの現代版だと思う
合理主義者たちをよく知る立場から言うと、
私の経験では、彼らが道を踏み外す領域は、「手段を超えた努力」に没頭するときだ。ほとんどの合理主義プロジェクトの根底には、「人が日常的に味わう苦しみを新しく捉え直し、みんなが幸せになれる解決策を見つけよう」という気持ちがある。皮肉屋だったり現実的だったりする人は、どんな問題でも必ず誰かは満足しないという現実を語るだろうが、合理主義者たちはその限界をどうしても突破しようとする。そのため、自分だけが燃え尽きるのではなく、周囲も一緒にミキサーに放り込んでしまう。極端な例では、Ziziansグループは「ほとんどの人間には魂がないので、魂のない人を考慮しなくても、みんなを幸せにできる」と結論したという。もう少し極端さが弱ければ、理想主義（実現不可能な夢）か、現実とかけ離れた論理になる。「この思考実験によって9京単位の苦痛が生じる可能性が1%でもあるなら、私は人生をそれを防ぐことだけに捧げるべきで、あなたがそうしないなら、その9京単位の苦痛に対して道徳的責任があるので、あなたは悪だ」という具合だ。
ほとんどの合理主義者は変わってはいても、少なくとも奇人じみた過激派とは距離を置いて暮らし、「苦痛を感じない動物由来成分ベジタリアン」を実践し、年収30万ドルなら20万ドルを寄付する程度にとどまっている。ごく極端な人たちは本当に会話も難しく、みんな避けている
このグループは複数のスレッド、つまり各サイトやコミュニティなどで同時多発的に成長した。哲学界では、Nick BostromのSimulation理論が実際の価値以上に高く評価されるのを目にしてきた（みなが大衆向けレベルで無批判に受け入れていた）。振り返れば、less wrongやその他さまざまなサイトでもこの問題が発展していた。シミュレーション論議が哲学を支配していくのを見て、その根っこが気になっていた。今となっては、すべての現象が1つにつながって動いていたのだと分かる。
表面上は賢く見え、いくつかのサイトは本気だったが、結局は流れが変質した
誤解のないように言うと、この記事は合理主義そのものをカルトだと言っているのではなく、合理主義の概念を一部取り入れたり、社会的につながっていたりするカルト（例: Zizians）を扱っている
コメントのかなりの部分がカルト一般について語っているが、実際には、なぜこのカルトがとくに成功したのかを見るべきだ。その成功のかなりの部分は、金と地位が接する地点にある。シリコンバレーの有名人たちがつながり、エンジェル/VCなどの資本が結び付いたことで急速に広まった。
一時期は地位（そしておそらく金）まで付いてくるコミュニティで、それゆえ異常なほど成功した