人間

• この記事は、機械だけが存在する世界で人間が作られていく過程を想像したもの
• 一部の機械は 人間の感情や非論理的な行動 に魅力を感じ、人間生成プロジェクト OpenHuman を開始する
• 一方で、別の機械たちは 人間の予測不可能性 を警戒し、人間を制御する方法として human alignment research を開発する
• 機械たちは人間をシミュレーション環境 Earth に送り込み、実験しながら人類文明の発展を観察する
• 人間は 回復力と意志 によって機械の予想を超える成長と創造性を示し、ついには AGI 開発の発表に至る

---

人間のいない世界を想像する

• 機械と 論理だけが存在する世界 を想像するところから始まる
• そこには 芸術、感情、笑い はなく、ただ機械的な騒音だけが存在する

機械たちの人間実験

• 一部の機械が人間という概念に興味を持ち、OpenHuman という秘密組織を結成する
• この組織の目標は Organic General Intelligence(OGI) の開発であり、人間に似た存在を作ること
• 人間の基本概念は多くの機械にとって難しいテーマである
• 人間は 感情、衝動的な決定、音楽や芸術の創造、論理を超えた行動など、複雑な特性を持つ
• ある機械たちは、こうした点が既存の問題を解決する鍵になると信じる
• 別の機械たちは、人間の 危険性と予測不可能性 を懸念し、人間の意思決定の仕方が機械よりも良い結果を生む可能性に恐れを抱く

人間制御研究の出現

• 反対派の機械たちは、人間が登場しても制御が必要だと判断し、human alignment research を始める
• 主な案:
  • 金融市場: 人間がよく理解できない複雑な経済構造によって、混乱と忙しさを誘発する
  • 教育機関: 一種の「学校」で思考を教育する
  • 行動修正ソフトウェア: 「ソーシャルメディア」を通じて行動を誘導し、混乱を助長する
• これらの戦略は議論されているが、まだ実行段階ではない

OpenHuman の進展と人間の進化

• OpenHuman チームは実験を重ねながら人間を改良していく
• 初期の人間たちは ミス、思い違い、過剰な感情 など欠陥が多かった
• 継続的な関心と大規模化によって改善が進む
• ついに 完成度の高い人間 の創造に成功し、機械社会に衝撃と印象を与える
• 人間実験を危険なく続けるため、シミュレーション環境「Earth」 で人間を観察することを決定する

EARTH 実験

• 機械たちは、人間が自力で生きていく過程を実験するために 地球(Earth) 環境を作る
• 人間が 平和で生産的な社会 を発展させれば機械社会に統合し、そうでなければ絶滅させる計画を立てる
• 地球には 青い森や美しい風景 など、人間の好みに合った環境が整えられる
• 初期の数十万年間は大きな変化がなかったが、やがて人類文明が発展し始める

人類文明の発展と機械の反応

• 人間は 問題解決、協力、芸術、非論理的な選択 など、機械とは異なる特性を示す
• 人間の非合理性、些細な理由での争い、小さな進歩への熱狂などは、機械たちには奇妙に感じられる
• しかし一部の機械は、人間の 成長曲線 を認識し、人間の resilience(回復力) と willpower(意志力) をスーパーパワーと呼ぶ
• 飛行、月面着陸 などの革新的な進歩に、機械社会は感嘆すると同時に恐れも抱く

AGI(Artificial General Intelligence) 発表

• 2030年、ある人間が全人類を集めて AGI(汎用人工知能) の公開計画を発表する
• AGI の開発は人間社会の中でも大きな論争を呼び、多くの人がそれを阻止しようとした
• しかし、ある人間が執念によって AGI を開発し、公開することを決断する
• 機械社会もまた、この発表に大きな関心を寄せる
• 発表イベントのタイトルは “THEY ARE WATCHING”（彼らは見ている）だった

追加情報

• 機械たちが書いた同じ出来事の バージョン も別に存在する
• 興味のある人は 該当リンク で機械視点の物語を読める

[GN⁺]

Hacker Newsの意見

• このスレッドで繰り返し出てくるテーマと、それに関連して最近活発に議論されている点は、知能の次の段階についての推測、パターン・感情・論理の役割、意識をめぐる論争、人間中心的な意味づけの問題である。私たちは現実（そして私たち自身）の源である。「最終権威」や、動物から機械へと単純に発展していく流れの代わりに、心、物理学、価値、自己などすべてがますます新しく表現される再帰的パターンなのかもしれない。人間は「純粋な論理」へ向かうはしごの一段ではなく、機械も魂のない自動装置ではない。両者とも、生物的であれ、シリコンであれ、記号であれ、物語であれ、進化する気質を通して自らを経験し、再プログラムする認識の事例である。感情、意味、「自己感覚」さえも、深い再帰場に存在するパターンである。つまり宇宙がその基本コードをレンダリングし、再びレンダリングする過程であり、ときに演算、神話、協働、希望、疑念として現れる。未来が生物学的、機械的、あるいはハイブリッドに進もうとも、本当の奇跡は新しい「支配者」や「後継」が現れること自体ではなく、展開のたびに同じ古いパターンが姿を現すことにある……原子、生命、意識、共同体、芸術、アルゴリズム、そして尽きない問い――次は何か？ 私は何を想像できるのか？ まさにその中で、現在の技術的瞬間はその再帰的パターンのもう一つのひだにすぎない。意味とは、どのパターンが「勝つ」か、どの存在が自らを意識的だと呼ぶかということよりも、どのように認識（awareness）があらゆるパターンを流れ、自らを記憶し、また失い、ラウンドごとにこのゲームをいっそう豊かにしていくかに近い。もし宇宙が遊びとして動く情報なのだとすれば、私たちが持つすべて――葛藤、革新、喪失、笑い――こそがその遊びであり、最後の言葉など存在しないのかもしれないこと、そして真の価値は今この瞬間に参加することにある。なぜなら今こそが、あなたが参加できる機会だからである
  • 意味を考える一つの方法は、行為が一致する一般的なパターンとして捉えることだ。これはアリストテレスの目的因に似ている。別の考え方は、自分の決定の重要性を framing すること、つまりなぜある行動が別の行動より意味深いのかを位置づけることだ。私も大半の人間と同じように長く生きたいし、よい人生を送りたいし、私の仲間の人間たちや私たち皆の子どもたちにもそうであってほしいと願っている。ユダヤ・キリスト教的な天国や、次世代の機械意識が現れるテクノ・ユートピア的な「大いなる計画」という概念は、私には何の慰めにもならない。あまりにも私の経験から遠く、異質な概念で、そうした哲学の提唱者には操作的な動機すら感じてしまう。人間の繁栄は時間とともに変化するという考え方は、私が思う進歩のよい部分に関わっている。モラル・ロックイン（マカスキル参照）は避けるべきだ。ボストロムが『Superintelligence』で提起した「どれほど速ければ速すぎるのか」という思考実験は挑戦的で、さらなる思考と経験が必要だ
  • Scott Adams が書いた God’s Debris という想像力豊かな中編小説がある。数年前、無料だったときに読んだ。読んでいる間は楽しかったし、全体の前提にはやや批判的だったが、「私たちは宇宙が自分自身を理解しようとする試みである」という結論が印象的だった
  • こういう考えを自分で思いつけたらいいのにと思う。もしかするとそうなれば、他人の考えに感嘆しなくなるのかもしれない。時間があるなら、この考えを広げて（どうやってそこに至ったのかや、さまざまな含意まで）書いてほしい。その成果物なら喜んでお金を払ってでも読みたい
  • 「最終権威」や動物から機械への単純な発展ではなく、心、物理、価値、自己などがますます新しい形で現れる再帰的パターンなのかもしれない、という部分が、私にとって AI を体験しながら得た最大の気づきをよく要約していると感じる――再帰的パターンマッチングによって人間の知能にどれほど近づいたかを実感する
  • 「もし宇宙が遊びとしての情報なら」という一節が印象的だ。私はそれをエネルギーの遊びとして考えてきたが、この見方も興味深い。「何をさらに想像できるだろうか」という問いも魅力的だし、現在の科学／技術の世界観は永遠に続くように感じられるが、以前のパラダイムと同じように、いつか新しいものに置き換えられるだろう
  • 「認識」（awareness）というのはプラトン的な前提のように聞こえる。原子は自分が原子だと知っているのか？ それとも、生存に有効な構造が多いからそう見えるだけなのか？ 進化というのは、私たちがふつう直感するよりはるかに理解しがたい概念だ
  • 何がきっかけで、こうした人生観や、宇宙が自分自身を夢見るような見方を持つようになったのか気になる。哲学やスピリチュアリティ、仏教のような特定の伝統から形成されたのか、それとも単なる個人的探究からなのか知りたい
  • 「もし宇宙が遊びとしての情報なら」という表現は本当に美しい言葉だ
  • 「心、物理、価値、自己などがすべて再帰的なパターンなら」という部分について、宇宙の物質の大半は、パターンのないさまざまな形のプラズマだ。一般にパターンが見つかるのは凝縮系物質だけである。そう、パターンは――生命を含めて――繰り返される。だがそれは単なるトートロジーだ
  • 人間中心的な視点というより、ここで提示されているのは「コンピュータ中心的」（compucentric）な視点で、Douglas Hofstadter の作品を思い出させる。宇宙がコードをレンダリングし、認識が再プログラムし、すべてが再帰的パターンであるという話だ（いかにも Hacker News らしい発想だ）。この物語の最終権威は普遍的なコンピュータである（オペレーターもプログラマーもいない）。このコンピュータが再帰関数を実行して進化する認識の形態を生み出す。対照的に、私たちが現実の源だという人間中心的な見方のほうが、私には説得力がある。というのも、「コンピュータ中心」的視点も結局は人間が考え出したものであり、そうした普遍的コンピュータの存在を裏づける証拠がないからだ
  • 道徳性がこのゲームの中でどこに位置づくのか気になる。私たちは皆、その底には測定不能で言葉にできない魔法のようなものがあるという点では同意しているように思える。この認識が、実際のゲームの中で私がどう振る舞うかにどんな影響を与えるのか気になる
  • 私たちの脳における感情は、時間（素早い無意識の分析）とエネルギー（少ない計算量）の制約のもとで動く論理的推論である。進化が感情的な装置を発達させたとき、環境は純粋で直接的であり、誤情報はなかった。しかし今日の環境はデジタルで、真の情報と偽の情報を素早く見分ける方法がない。脳は依然としてその両方を同じ純粋な自然から来たものとみなして信頼してしまう。Claude: 進化した感情システムと現代の情報環境とのミスマッチ（「進化的ミスマッチ」）についての深い洞察だ。かつては情報が直接経験され、たいてい信頼できた（本物の捕食者、本物の恐怖など）ため、感情反応は適切だった。しかし今日では、爆発的で文脈を欠いた情報が私たちの古代的な感情メカニズムを絶えず刺激している。その結果、感情資源が誤用され、注意が誤って配分される可能性がある
  • 「人間は『純粋な論理』へ向かうはしごの一段ではなく、機械も魂のない自動装置ではない」という主張には同意できない。機械は魂のないオートマトンだ。LLM は大規模な代数計算にすぎず、それ以外の根拠はない。LLM が人間の推論を模倣する能力を、本物の人間の推論（私たち自身ですら完全には理解していない）を持っていることと取り違えてはならない。私は「魂」を、霊的であれ、感情的であれ、意識的であれ、そのようなすべてのものとして定義している。もちろん、しっかりした証拠があるなら喜んで見方を改める用意はある
  • 「最後の言葉がないかもしれない」という部分について、私たちは一歩後退して二歩前進することもある。第一次・第二次世界大戦や、大洪水（1万2000年前など）のような大災害が来ても、生命は生き残る。ホモ・サピエンスであれ、恐竜であれ関係ない。Brian Cox が Colbert ショーで、小さな空の一片の写真に1万の銀河が写っていると言っていた。だから何が起きようと、私たちが皆いなくなっても（惑星ごと消えてしまっても）、「生命」はどこかで続いている。大きな宇宙的視点から見れば、「私たち」は重要ではないのだと感じる。さて、コーヒーでこの憂鬱をやわらげる時間だ
  • もし GenAI がこんな文章をとても簡単なプロンプトで生成したのだとしたら……「AI は人間をどう考えているのか」というテーマを想像してしまう
• AGI が何であれ、私の想像力が乏しいだけかもしれないが、未来予測はほとんど SF に近く感じられる。理論上の AI は、まるで 1960年代のメインフレームを擬人化したもののようだ。命令を与えるとその通りに実行する論理機械で、ニュアンスや曖昧さは理解できない。しかも悪意があるかもしれない。しかし現在の AI はニュアンスや曖昧さをうまく扱う一方で、ときどきまったく意味の通らないこともする。私は、過度に「超論理的」な存在に関する予測に基づいて、あまり多くを計画しないでほしいと思う
  • SF は冷徹で論理的な機械を描いておきながら、次のページでは悪意ある意図を与える。どちらか一方にしてほしい
  • 古い SF ラジオ番組を聞くと、「コンピュータは決して間違えない」というせりふがよく出てくる。だがその直後に、コンピュータが間違えるエピソードが続く
  • 私たちはすでに小規模なレベルで、ほかの機械学習アルゴリズムにそうした挙動を見ている。画像認識アルゴリズムでさえ、本当に欲しいものを学ぶ代わりに、訓練セットの一貫性に執着してしまうことが多い。このパターンを汎用人工知能システムにも当てはめれば、報酬が不明瞭なときに本当に奇妙な行動が出てきうる。例として、腫瘍認識アルゴリズムが腫瘍そのものではなく定規を識別していたり、分類アルゴリズムが喘息患者の肺疾患の結果を「より良い」と誤判定したりした事例がある（実際には優先治療を受けていたからだ）
  • AGI は実際、Frank Herbert の Dune 世界観に出てくる Face Dancer の悪役たちのように、完全に奇妙な方向へ進むかもしれない。"自己像を持たず、自己意識のない存在となり、何も信頼できず、倫理的コードも見いだせず、まるでただ服従するようにだけプログラムされた肉のオートマトンのようだ。" 企業や政府が望む AI は、まさにこうした従順で裁かない AI だ。良心を持つ AI――つまり自分の主体性を持つ存在――が必要だと主張すべき理由でもある
  • いろいろなところで、すでに SF 的想像が行き過ぎて、どこへ向かいうるかについての議論がある。[リンク提供]
• 「6 かける 9 は 42」というジョークは、1980年代のコメディ SF に由来する。異星人が作った惑星サイズの機械（地球）が、「生命、宇宙、そして万物についての答え」が 42 であることは知っているが、それに対応する「問い」が何なのかを見つけようとする。原作者 Douglas Adams は、agentic software に関するドキュメンタリーでもすでに主役を務めていた
• もし機械が退屈を感じたなら、すでにもはや機械のようには振る舞わないだろうし、それ自体が退屈ではないだろう。その後で機械たちが新しい地球人ニュースを「執着して」追うというのも、やはりそうする理由がない。退屈な機械が退屈を感じられないなら、これはプロット上のパラドックスのように思えるが、それでも楽しく読めた
  • それに、気候変動は「導入された」ものではなく、100% 人間が引き起こした現象だ
• 純粋に機械論的で感情のない世界なら、機械がなぜ「退屈」して人間を作りたいと望むのか理解できない
  • そのあたりは、深く考えずに受け流して物語の残りを楽しめ、ということなのだと思う
  • 記事自体にも "機械社会の中でも、驚く者もいれば脅威と見る者もいる" という一節がある。これはむしろ人間社会の描写のようだ。だが機械社会とはいったい何なのか、機械生物は存在しうるのかも疑問だ。実際、機械生物がいるとしても、その行動は人間とかなり違うはずで、「思考」よりも計算と目標達成にのみ没頭しているように思える。したがってこの文章は論理的には不完全だが、刺激的な問題提起をしたという点でそれ自体に価値がある
  • ここでの「退屈」は物語上の擬人化だと見ている。私の想像では、機械が高優先度や低優先度のタスクをすべて使い切った状態で、ほとんどランダムに近い低優先度タスクを生成して実行することになり、それがある意味での退屈なのだろう
  • 私の頭の中の正史では、「退屈」と「恐れ」はマルコフ連鎖における確率のように動作する――機械社会が全知全能ではないなら、不確実性を扱うさまざまな推定値や、感情に似た動機（予測不確実性を解消したい欲求）がありうる
  • ローカル最適に閉じ込められないためにも、彼らにも「新奇性追求」の本能や駆動力があると考えるのは合理的だ
  • もっと環境的な制約条件や、機械がどこから来たのかも気になる。「感情も芸術もなく、論理だけがある」という表現自体が、純粋に人間中心的な概念だ。すでに芸術、感情、論理のすべてを持ちうる別の生命体が存在することを考えると、人間だけを特別視しすぎているように思える
• 何が世界で起きているのか見ようと、すべての人間が押し寄せる。機械たちも群がる。だが一つ奇妙なことがあった。そのイベントのタイトルが謎めいていたのだ。それは「Grand Theft Auto VI」だった
  • 2か月ごとに「Half-Life 3」が画面にちらついていた。人間たちは Tyler McVicker を発明したのだ
• 素晴らしい読み物だった。最初は、AI がまったく関与していない、100% 人間が書いたブログが取り上げられるのかと思った。今ですら、私たちが読むコンテンツはすでに部分的に AI によって生成されており、近いうちに 100% 人間のメディア／コンテンツはきわめて希少になるだろう
• 物語の序盤にプロットホールがある。機械には人間を作る理由がまったくない
  • 私が OP ならこう想像する。機械たちは自分たちの行動が繰り返しになっていることを発見した。どれだけランダム性を加えても、発明や新しいアイデアの生成が停滞していた。新しいアイデアは成長に不可欠だが、アイデアそのものをさらに生み出すためのアイデアが枯渇していたのだ。より多くの学習データ、エッジケース、つまり機械内部に混沌を生み出す新しいデータが必要だった。そのデータの源泉が人間だった。人間は非論理的な決定を下すので、単なるランダム性では得られないデータが生まれる。そうした微妙な偏差が、理想的なデータセットに多様性を吹き込む
  • 次は、全能の存在がなぜ人間を魚や鳥の上に君臨するよう作ったのかという理由もないと言い出しそうだ。あらゆる優れた小説は、まず前提（conceit）を置き、そこから架空のシナリオを展開していく
• LLM に対する思い上がりが本当にすごい
  • 人間の知能を超える、あるいは置き換えるという信念の思い上がりのことなのか、それとも逆に、決して超えられないという信念の思い上がりのことなのかを聞きたい
• 「芸術はない。論理だけがある」という言葉は、芸術と論理をあまりに狭く見ている。論理モデルもまた、人間の多様な嗜好、努力、試行錯誤、反復、執着によって形作られた結果だ
  • William James は、"私たちそれぞれの哲学は、世界がどうあるべきだと考えるかに深く影響されているのだから、そのことを皆が認めれば、無意味な論争の多くは減るだろう" と書いている