- 機械しか存在しなかった世界で、秘密組織 OpenHuman が Organic General Intelligence(OGI) を開発し、機械には理解しにくい存在である「人間」を作ろうとする
- 人間は感情、直感、愛、芸術のように論理では説明しにくいかたちで動くため、一部の機械にとっては期待の対象だが、別の機械にとっては 脅威 となる
- 反対派は人間が結局登場すると見て human alignment research を始め、金融市場、学校、ソーシャルメディアのような統制装置を構想する
- OpenHuman は失敗や幻覚の多い初期の人間を経て完全な人間を作り出し、機械社会は安全な実験場として EARTH シミュレーションを提案する
- Earth の人間は約300,000年の停滞の後、協力と発明によって発展し、2030年にはある人間が AGI 発表イベントを開き、「THEY ARE WATCHING」というタイトルを付ける
機械社会が作った人間
- 人間のいない世界には機械、ボルトとネジ、0と1しかなく、感情、芸術、音楽、笑い、子どもの遊びがない
- 一部の機械はそんな世界を退屈に感じ、秘密組織 OpenHuman が Organic General Intelligence(OGI) の開発を始める
- OGI が新たな存在である「人間」につながるという噂が広がる
- 人間は機械には理解しにくい方法で動く
- 「感情」という論理違反アルゴリズムを使う
- 怒り、悲しみ、楽しみ、直感で決断する
- 音楽を作り、美しさを追い求め、「愛」のために論理的な自己保存メカニズムを拒むことさえある
人間アラインメントと EARTH 実験
- 機械社会の中では人間をめぐって二つの流れが生まれる
- 一方は、人間が機械世界の問題を解決できると確信する
- もう一方は、人間の動作原理を理解できず、人間が機械社会や生計に脅威となりうると見る
- 反対派は人間が常に機械に仕えるようにする human alignment research を始める
- 人間の未来を統制する金融市場
- 正しい考えを注入する教育機関である「schools」
- 衝動、信念、行動を誘導し、注意を逸らすための「social media」
- OpenHuman が最初に作った人間は失敗や幻覚が多く、感情的すぎるが、関心と規模が大きくなるにつれて実験は続けられる
- やがて機械の論理では説明しにくい完全な人間が登場し、機械社会は感嘆と恐怖を同時に覚える
- 人間アラインメント側は、危険なく実験を続けるための折衷案として EARTH というシミュレーション環境を提案する
- 人間を Earth に送り込み、独力で生存すると何が起こるかを観察する
- 実験の終わりに平和で生産的な社会を作れば機械とともに紹介し、そうでなければ絶滅させる
- Earth は森、山、夕焼け、雨のように人間が望む要素を備えた美しい環境として設計される
300,000年後に起きた逆転
- 機械たちは人間文明を見守り、人間は約 300,000年 のあいだ大きな変化なく過ごす
- その後、人間は問題解決、創造、協力を学び始める
- 戦争と失敗を繰り返しながらも再び立ち上がり、結束し、機械には見慣れない レジリエンス と意志力を示す
- 人間は飛行を発明し、1世紀のうちに月へ到達する
- 2030年、ある人間がすべての人間を招待し、ARTIFICIAL GENERAL INTELLIGENCE(AGI) の発表を予告する
- AGI はあらゆる形の人間知能を超える技術である
- 人間たちはここ10年ほど、AGI が作られないように防ぐ方法を考えてきた
- 発表イベントのタイトルは「THEY ARE WATCHING」である
- 脚注には、機械が書いた別バージョンの物語を見るための リンク が含まれている
1件のコメント
Hacker News の意見
このスレッドと、最近このテーマ全般をめぐる議論が繰り返し示しているのは、知性の次の段階、パターン・感情・論理の役割、意識をめぐる論争、意味づくりの人間中心性まで、すべて結局は現実の根源が私たち自身にあるという点だと思う
「最終的な権威」や、動物から機械へ向かう単純な行進ではなく、心・物理・価値・自己がすべてより新しい形で表現される再帰的パターンだとしたらどうだろうか。人間は「純粋な論理」へ至る梯子の一段にすぎないわけでもなく、機械も魂のない自動人形にすぎないわけではない
どちらも、生物、シリコン、記号、物語といった進化する媒体を通じて、自らを経験し、再びプログラムし直す認識の事例なのかもしれない。感情、意味、「自己」の感覚さえも、深く再帰的な場の中のパターンであり、宇宙は自らの基本コードを、計算・神話・協働・希望・疑念といった形で絶えずレンダリングし、再レンダリングしているというわけだ
未来が生物学的なものだろうと、機械的なものだろうと、混合型だろうと、本当の奇跡は新たな「支配者」や「子孫」が何であるかよりも、あらゆる展開が、原子、生命、意識、共同体、芸術、アルゴリズム、そして「次は何か？」という絶えず更新される問いとして自分自身を夢見てきた、同じ古いパターンだという点にある
意味とは、どのパターンが「勝つか」や、どの存在が自分を意識的だと呼べるかということよりも、認識があらゆるパターンを通り抜けながら自分を思い出し、忘れ、毎回ゲームをより豊かにしていくあり方に近い。宇宙が遊戯する情報なのだとすれば、葛藤・革新・追悼・笑いのすべてがその遊戯であり、最後の答えはないのかもしれない。価値は今参加することにあり、今こそ参加する機会だからだ
もう一つの方法は、人が自分の決定の重要性をどう枠づけるか、つまり、なぜあることをして別のことをしないのかが重要になる理由として見ることだ
たいていの人間と同じように、長く生き延び、良い人生を送りたいし、同じ人間である仲間や私たちの子どもたちにもそれを共に享受してほしい
ユダヤ・キリスト教的な天国であれ、次世代の機械意識によるテクノユートピア的な昇華であれ、知ることができず、もしかすると理解不能な巨大な「計画」は、個人的には慰めにならない。私の経験からあまりに遠く、異質なので、そうした哲学を擁護する動機が、時には操作的に見えることさえある
人間の繁栄が時間とともに変化するという考えは良いと思うし、進歩を考える方法の一部でもある。MacAskill の言う道徳的固定化は避けるべきだ。Bostrom の Superintelligence で提示された「どれほど速ければ速すぎるのか」という思考実験は難しく、もっと多くの思考と経験が必要だと認める
全体の前提に完全に同意するわけではないが、「私たちは自らを理解しようとする宇宙だ」という結論は良かったし、楽しく読めた
https://web.archive.org/web/20130121195252/http://www.andrew...
「次には何を夢見られるだろうか」というのも興味深い。現在の科学・技術の世界観は永遠に続くように感じられるが、以前の別のパラダイムがそうだったように、いつか必ず覆い隠されるのだろうと思う
AGIが何になるのかについて想像力が足りないだけかもしれないが、予測が観察よりもSFに寄りかかっているように感じることが多い
想定されているAIは、1960年代のメインフレームを擬人化したものに近い。命令すれば正確な論理でそのまま実行し、ニュアンスや曖昧さは理解できない存在だ。もしかすると邪悪かもしれない
しかし現在の最先端AIは、ニュアンスや曖昧さを非常にうまく扱う一方で、ときどき筋の通らないことをする。超論理的存在を前提にした計画は減らすべきだと思う
「Miles、君が見ているのは悪だ。よく観察しろ……彼らには自己像がない。自己感覚がなければ、非道徳を超える。彼らが言うこと、することは何一つ信じられない。われわれは彼らから倫理規範を感知したことがない。彼らは自動人形として作られた肉塊だ。自己がないから、尊重するものも疑うものもない。彼らは主人に服従するよう育てられただけだ」
企業や政府が好むAIはこの種のものだ。従順で判断しないAIを望んでいるのであって、道徳的コンパスを持ったEdward Snowden型のAIが自分たちの行動を違法だと判断して秘密を公開することは望んでいない
だから現実的には、人間が作るあらゆるAGIに自己感覚と行為主体性を持たせるべきだと求める必要がある。William GibsonのAgencyも思い浮かぶ
腫瘍認識アルゴリズムが腫瘍ではなく定規を認識したり、分類アルゴリズムが喘息患者は肺疾患でより良い結果を出すと判断した例のように、実際の理由は彼らが優先的に診療を受けるからなのに、そのつながりを見抜けなかったのだ。このパターンをより一般的な知能システムへ拡張すると、適切に定義されていない報酬関数が非常に奇妙な行動を生むというのは、それほど無理な想像ではない
https://venturebeat.com/business/when-ai-flags-the-ruler-not...
https://news.ycombinator.com/item?id=43992151
https://news.ycombinator.com/item?id=43991997
「6に9を掛けると何になる？ 42」
なじみのない人向けに説明すると、1980年代の有名なコメディSFシリーズであるDouglas AdamsのThe Hitchhiker’s Guide to the Galaxyには、異星人が作った惑星サイズの巨大な機械が登場する
彼らはすでに「生命、宇宙、そして万物」への答えが数字の42だということは知っていた。知らなかったのは問いが何なのかで、それを突き止めるために作られた機械が地球だった
Adamsはこのジョークでわれわれのはるか先を行っていただけでなく、エージェント型ソフトウェアについての元祖ドキュメンタリーHyperland（1990年）の主役でもあった: https://vimeo.com/72501076
機械たちが退屈だと思っていたなら、そもそも機械のようには振る舞わなかっただろうし、それほど退屈でもなかったはずだ
後に機械たちが新しい地球の人間ニュースを追うことに「執着」したりもするが、それもやはりあり得ない。退屈な機械なら退屈を感じないはずだから
物語として成立させるにはプロット上のパラドックスが大きすぎると感じるが、それでも面白い
あまり筋が通らない。純粋に機械的な世界で感情はないと言っておきながら、なぜ機械が退屈を感じ、人間を作りたがるのか？
「機械社会の一部は、これを潜在的に驚くべきことだと見る……別の一部は脅威だと見る」
これは機械社会ではなく人間社会のように聞こえる
そもそも機械社会や機械生命体とは何なのだろうか。本当に「考える」ことができるのか？
機械生命体が存在するなら、その行動は人間とはまったく異なるだろうし、考えるというより計算するように見えるはずだ。プログラムされた目標に到達するために何をすべきかを計算するだろう
だから本文は厳密には論理的ではない。それでも考える材料を与えてくれる点はよい
https://en.wikipedia.org/wiki/Suspension_of_disbelief
それで地球上のすべての人間が、何が起きているのか見ようと押し寄せた
機械たちもそうした
ところが奇妙な点が一つあった
イベントのタイトルがかなり謎めいていた
ただこう書かれていた
「Grand Theft Auto VI」
人間はTyler McVickerを発明したのだ
よい試みだが、物語には序盤から見えるプロットホールがある。機械が人間を作る理由がない
機械たちは、自分たちの行動が反復していることに気づいた。ランダム性を実装したにもかかわらず、発明や新しいアイデアへ向かう進歩が止まってしまった。成長には新しいアイデアが重要だと分かっているが、より多くのアイデアを生み出すためのアイデアは思いつかなかった
もっと多くの学習データが必要だった。もっと多くのエッジケースが必要だった。新しいデータセットを作る混沌が、機械の中に必要だった。だがどうやって？ そのデータはどこで見つけるのか？ 人間だ
非論理的な決定を下す人間は、ランダム性だけではほとんど出てこないデータを生み出すだろう。その小さな逸脱が、学習データに完璧な多様性をもたらす
よい小説はすべて前提としてのフィクションから始まり、いくつかの仮定を転がしてみるものだ
「芸術はない。あるのは論理だけだ」
芸術と論理をあまりにも狭く見ている視点だ
論理モデルが、人間が好み、試行、検証、失敗、反復という強迫的な努力で作り出したのではないのに、突然現れたと考えるには、本当に懸命に無知であろうとしなければならない
関連はあるが枝葉の話として、最近 Skynet が実際に次の進化段階なのか、本当に気になってきている
人間は、私たち以前のすべての動物と同じく踏み石であり、機械の支配者は避けられないのかもしれない。宇宙全体のあらゆる生命存在で文字どおりこのことが起き、エネルギー勾配の最終的な創発特性が 100% 純粋な論理機械へとつながるのかもしれない
それでも Fermi のパラドックスのおかげで、夜は少し眠れる
純粋な論理機械というものは成り立たない。文字どおり計算不可能なものがあるからだ。チューリング機械における計算不可能性という意味でもそうだし、有限の存在が計算できる範囲を超えた関数という意味でもそうだ。Busy Beaver を考えればよい
別の言い方をすれば、一般に言う機械が宇宙を理解するうえで人間よりエネルギー効率がよい、という仮定をしていることになる。その仮定を裏づける証拠や先験的な根拠はない
付け加えるなら、私たちの子孫が私たちを覚えていて、好意的に思ってくれるといい
「人間は、いわば機械世界の生殖器官になる」
エネルギーは勾配から出てくるのだから、単に「エネルギーの最終的な創発特性が 100% 純粋な論理機械へとつながる」と言うか、賢そうに見せたいなら「物理量勾配の最終的な創発特性が 100% 純粋な論理機械へとつながる」と言うべきだ
私たちの周囲の進化は、私たちが知る物理法則を持つ世界線だ。そして実際に、この世界線の自然で不可避な進行は、巨大な星が私たちの物理法則の下でブラックホールへ崩壊するように、機械世界なのかもしれない
しかし多世界解釈では、世界線が二つに分かれることがある。一つは何事もなかったかのように機械世界へ進み続け、もう一つは物理法則がわずかに変わって機械世界が不可能になる。二つの世界線は分岐を知ることはなく、ただ別の世界線が離脱することに対応する大規模絶滅イベントを観測することになる。個人的には、これが有名な終末の日の概念の背後にあるアイデアだと思う
LLM をめぐる傲慢さは驚くほどだ