最も深遠なビデオゲーム：研究のための優れた認知的補助ツール

 (thoughtforms.life)
2 ポイント 投稿者 GN⁺ 2024-06-17 | 1件のコメント | WhatsAppで共有
  • パズルゲーム Baba is You は、生命と心を理解する際に必要な精神的柔軟性を鍛え、データとアルゴリズム、認知システムとその内容の境界を曖昧にする
  • 単語オブジェクトの配置を変えると世界のルールが変わる構造が、事物とルール、物理的対象と情報メッセージの区別を揺さぶる
  • 生物学でも分子・生体電気情報が、細胞、器官、生物個体の解釈の仕方とその後の進化に影響し、内部で変化する 自己参照的ダイナミクス を生み出す
  • McConnell のプラナリア共食い実験、記憶痕跡、active data、agential memories は、同じ物質でも組織レベルによってオブジェクトであると同時に認知媒体にもなりうることを示す
  • Baba is You は、発生生物学、計算機科学、認知科学が交わる領域に入るための 仮想現実の精神補綴 として使うことができ、TAME フレームワークに基づく拡張や AI との組み合わせの可能性もある

Baba is You が鍛える思考法

  • Baba is You は挑戦的なパズルゲームであると同時に、生命と心を扱う際に慣れ親しんだカテゴリーを打ち破るための道具でもある
  • 特に次の区別を、固定された二分法ではなく、より連続的で流動的な関係として見るよう促す

    • データとアルゴリズム

    • 認知システムとその内容

      • 事物と情報メッセージ
      • 研究室に加わるための準備リストに入れられるほど、関連分野の精神的柔軟性を身につける入門ツールとして適している
      • Hofstadter の古典 GEB も、同様の準備資料としてあわせて言及されている

事物とルールの区別を崩すゲーム構造

  • Baba is You の世界には、位置や通行不能性といった物理的属性だけでなく、意味を持つオブジェクト が存在する
  • 一部の意味は世界の物理を直接決定し、単語同士の相対位置を変えると、オブジェクトの振る舞いもプレイヤーができる行動も変化する
  • 新しい文を作るためにオブジェクトを動かす行為そのものが、世界の作動の仕方を変える操作になる
  • この構造は、メッセージ、観察者、解釈、ルールをめぐる問いへとつながる
    • 現実世界の対象が、単なる事物なのか情報なのかをどう区別できるのか
    • その二者の間に二分法的な区別はあるのか
    • 形やパターンそのものがエージェントになりうるのか

物理法則と生物学的法則を問い直す方法

  • ゲームにおけるルール操作は、物理世界で 物理法則の地位 をどう考えるべきかという問いへ拡張される
  • 物理法則が宇宙のある側面から生じるのであれば、原理的には宇宙の内部で変化しうるはずである
  • 逆に、物理法則が宇宙から生じるのではないなら、大文字の U を持つ Universe という概念において、その法則がどこに由来するのかが問題になる
  • 生物学的法則の一部は内部から変化しうる
    • 分子情報と 生体電気情報 は、分子経路、細胞、器官、生物個体が生物学的情報を解釈する仕方に影響する
    • そのような情報は、その後の進化の展開の仕方にも影響を与えうる
    • この過程は本質的に自己参照的なダイナミクスである

オブジェクトとメッセージが同時に成り立つ生物学的事例

  • McConnell の古典的なプラナリア共食い研究では、訓練されたプラナリアが経験のない宿主に食べられ、行動情報が伝達される
  • この事例では、ドナーの化学的な記憶痕跡は宿主にとって 食物 であると同時に、宿主の組織が解釈して行動を導く 記憶 でもある
  • より広く見ると、mRNA、タンパク質、その他の基質から構成される記憶痕跡は、組織レベルによって異なる性質を持つ
    • 分子レベルでは物理的オブジェクト
    • 生物個体レベルでは認知媒体

ソフトウェア、ハードウェア、能動的データ

  • Baba is You は、ソフトウェアと機械、データとハードウェアのあいだの二分法的構図を崩す
  • この視点は、Diverse Intelligence 分野で発展の可能性が大きいテーマとつながっている
  • 受動的な情報パターンとしての思考と、能動的な認知エージェントとしての思考する存在とのあいだには、連続体がありうる
  • ゲームプレイは、科学論文だけでは理解しにくいこの枠組みを直感的に身につけさせてくれる

「YOU」トークンとメタ可塑性

  • ゲーム内でプレイヤーが操作できるトークンの一つである YOU は、プレイヤー自身を指している
  • このトークンを含む新しい文を作ると、プレイヤーの能力と世界との関係が変化し、一種のメタ可塑性が可能になる
  • これは、発生や変態のような生物学的過程において、行動が形態や機能を急激に変えるシステムを想起させる
  • こうした変化は次の要素ともつながる
    • 行為する 空間
    • 追求する目標
    • 保有する選好
  • プレイヤーの行動が プレイヤー数 と選好を変えるゲーム理論の拡張へとつなげることもできる
    • この場合、報酬行列は動的に変形される

仮想現実の精神補綴としてのゲーム

  • Baba is You は単なるゲームではなく、仮想現実の精神補綴 に近い
  • 能動的で動的な没入型の直観ポンプ群のように機能し、新しい科学分野の重要な側面へ入っていく助けになりうる
  • この分野は次の交差点にある
    • 発生生物学
    • 計算機科学
    • 認知科学

TAME フレームワークに基づく拡張アイデア

  • TAME framework をもとに、少なくとも 3 つの拡張方向が考えられる

  • Polycomputing の実装

    • polycomputing は、複数の観察者が世界の物理的特徴をそれぞれのやり方で解釈し、ハックするという枠組みである
    • マルチプレイヤー・ダイナミクスとして実装することも、環境内のオブジェクトを自らの目的に合わせて読み取る生物学着想の NPC として実装することもできる
    • プレイヤーは観察者中心・観点中心の視点に慣れ、必要に応じて意味フレームを切り替えられるようになる

  • 自律的エージェンシーの強化

    • テキストメッセージが、情報伝達、解釈可能性、より大きな認知システムによる採用などに関わる自己目標を持つ 知能スペクトラム を実装できる

  • 多重スケール・ダイナミクスの実装

    • agents within agents のように、エージェントの内部に入れ子のエージェントを可能にできる
    • オブジェクトとメッセージが階層に沿って別のオブジェクトやメッセージを仮想化し、生成する構造を実装できる

AI と関連資料

関連記事

1件のコメント

 
GN⁺ 2024-06-17
Hacker Newsのコメント

  • この記事の元になったゲームは Baba Is You: https://store.steampowered.com/app/736260/Baba_Is_You/
    論理パズルゲームで、「you」を「flag」に送るのが目的のように見えるが、より正確には「win」に到達することが目的。通常の基本ルールは「flag is win」で、さまざまな物体と言葉を組み合わせて、ゲームの ルールそのもの を変えていく。HN好みの人には強くおすすめ

    • Baba Is You が他のパズルゲームと違っていた点は、パズル自体が本当に 面白い ことだった
      Portal のように楽しい物語の横でパズルを解くのではなく、パズルの言語そのものの中で設定がひっくり返り、ばかばかしいのに心地よく何層にも反転しながら解法へ近づいていく。遊んでいるあいだ、数学を担当する脳が笑っているような感覚だった
      ゲームが親切に手取り足取り教えてくれるわけではなく、パズル言語に十分慣れて本当に好きになるまで10時間ほどかかった気がする。終盤の深い部分では腹が立つほど細かくなることもあったが、中盤の30時間ほどはこれまで遊んだ中でもっとも満足度の高いゲームプレイだった
      ちょっと 反-Witness のようにも感じた。The Witness は几帳面なまでにフェアで、あまりに精巧なので振り返ると感嘆するが、実際のプレイはかなり形式的でユーモアがなかった。Baba Is You は少し大雑把でアンフェアなことがあっても、温かくて楽しくておかしく、パズルの職人芸もそれなりのやり方で最高級だ
    • 購入前にいくつかのレベルを先に試したいなら、ゲームジャム版が itch.io にある: https://hempuli.itch.io/baba-is-you
      ただし Windows 専用。最近では、レベル数が少ない Pico-8 向けの ディメイク も出ていて、ブラウザーで遊べる: https://www.lexaloffle.com/bbs/?tid=142638
    • 以前の HN スレッドでのおすすめを見て買い、7歳と8歳の子どもと一緒に遊んでいる
      まだ3時間くらいしか遊べていないが、とても楽しい。隣のコメントにあるように、パズルは3人全員にとってしばしば笑えるし、末っ子も解法を提案したり見つけたりできる。7歳の子が私より先に解法を思いついたレベルもあった
    • Google Play Store にもある: https://play.google.com/store/apps/details?id=org.hempuli.ba...
      昨夜の睡眠計画を完全に台無しにし、数分で「キャラクターを動かす」という期待を打ち砕いた
      カードを出すたびにルールが変わるカードゲーム Fluxx を少し思い出した: https://www.looneylabs.com/games/fluxx
    • 実際に持っていて遊んでみたが、思考の限界を試されるゲーム
      自分も詰まるところは多いが、それでもおすすめできる。アハ体験 がたくさんある

  • 筆者が述べた認知的側面について、以前に書いた記事がある:
    https://blog.jtoy.net/examining-concepts-through-different-f...
    https://blog.jtoy.net/on-the-wondrous-human-simulation-engin...
    https://arxiv.org/abs/2210.12068
    人間の脳には少なくとも12を超える異なる座標系があり、この画像をよく参照している: https://cln.sh/gpqhwrw2Hg92MQz62TY6
    人間は心の中のリアルタイムなビデオゲームシミュレーションシステムのように、どんなものでも望む視点から眺めることができる。人工ニューラルネットワークには、データを処理する際の視点をエンコードして変換する中核的な能力が欠けているように思える。基本的なLLMが reversal curse に失敗することを見てもそうだし、GPUや学習データをいくら増やしても直らない気がする: https://arxiv.org/abs/2309.12288
    人間の内嗅皮質にはグリッド細胞という特殊なニューロンがあり、海馬細胞とともに一般化された座標変換を行う。グリッド細胞の発見はノーベル生理学・医学賞を受賞した: https://www.nobelprize.org/prizes/medicine/2014/advanced-inf...
    個人的には、座標変換層に入れてみる有力候補だと思う。この「座標変換システム」を含むANNを作りたいが、まだコードにどう落とし込めばよいかわからず、夢のプロジェクトになっている

    • ANNやLLMには物理的な位置や視点がないことが問題で、そのため機械学習の分野では embodiment の概念へ向かっている
      アルゴリズムやエージェントが、インターネット上の主にキュレーションされた画像・動画・テキストのデータセットから学ぶのではなく、人間に近い自己中心的知覚で環境と相互作用しながら学ぶ方向だ
      興味深いことに、論文にはこの用語は見当たらなかったが、自己中心表現と外部中心表現の対比は扱われており、それが核心にある
      AGIの大きな課題は、二つの視点を統合して双方の利点を得つつ、不均衡のリスクを減らすことになりそうだ。重力と量子力学を扱う物理学に似ている
      大域的に最適な意思決定には外部中心の視点が必要であり、固有の局所環境で頑健な自律性を可能にするには自己中心的な推論も必要だ
      マルチモーダル表現学習は、グリッド細胞のようなクロスモーダル動作を本質的にある程度達成しているように見える。ただし、私が知る研究では物理的位置が入力として与えられてはいない。位置エンコーディングとは別の話だ
    • 探しているのは**群等変性(group equivariance)**であり、群等変ニューラルネットワークに関する研究がある
      ごく最近の Clifford Group-Equivariant networks の論文も興味深いかもしれない。ユークリッド時空の変換だけでなく、ミンコフスキー時空にも適用される
      新しい視点合成の実装である instantngp や、ほかの NeRF 系モデルにも関心を持つ価値がある。個人的には InstantNGP は最近のニューラルネットワークアーキテクチャの大半と比べるとばかげているほど単純だ
      reversal curse の問題については、たとえばエンコーダー・デコーダーモデル（T5 など）や「順序なし自己回帰」モデル（先週の sigma-GPT など）でも、なおどれほど強く成り立つのか気になる
    • トランスフォーマーで使われる位置埋め込みは、実はグリッド細胞と不気味なほど似ている
      非常によく似た種類の座標変換を可能にしている

  • このゲームは本当に頭が吹き飛ぶようなゲーム
    ルールは単純で明快で、隠された特殊な裏技もないのに、ほぼすべてのパズルが「これは不可能だ」から「ああ、その発想はなかった」に変わる。前提を次々に粉砕してくる

  • 考え方を変えたり、スキルを身につけさせてくれるゲームの話が出たので、おすすめできるものはあるだろうか？
    個人的に役に立ったのはチェス、Vim Adventures、DuoLingo。
    チェスは、器用さ、創造性、計算、行動する前に立ち止まること、未解決の状態に居心地よくいる方法を教えてくれた。たとえば、2つ以上の駒交換が可能でも、単純化が自分の局面を悪化させるなら、その衝動を抑えなければならない。また、注意散漫さや睡眠不足が認知にどれほど影響するかも気づかせてくれた。ひどく寝不足だと自分のEloが100点下がり、気が散る公共の場所で指してもさらに100点ほど下がりうる
    Vim Adventuresは、ゲームそのものとしておすすめできるほど面白いわけではないが、数日間、1日3〜4時間ずつVimのキー入力を繰り返して筋肉記憶を作り、たいていのコーディング作業で以前よりぎこちなくなく使えるようになるまで耐えられる形にしてくれた
    DuoLingoは「ゲーム」というより教育ツールに近いが、本や音声で外国語を学ぶよりはるかに簡単にしてくれるので言及する価値がある

    • Factorioをプレイして本当に助けられた
      物流的な思考様式が身につき、何かをする前にまずサプライチェーンを組むように考えるようになった。これは非常に抽象的なスキルとなって、人生のさまざまな領域に応用され始めている
      2つ目に、工場を作る工場を作る工場を作るようになることで、思考がより高い抽象化レベルへ上がる
      3つ目に、高次の多相的思考を学べる。製品は異なる工程を通るとまったく別の物になり、その一部は再びシステムにフィードバックされる
      プレイ時間は10数時間程度だったが、思考を具体的に拡張してくれた。Factorioは強くおすすめする
      チェスも、より近い未来を見通すのに役立った。実際の競争相手がいる状況では特にそうで、競争相手がいなくてもそうだった
      Scrabbleは、幼い頃に、巧妙な小技や実利主義のほうが「優雅さ」のような性質より勝利に役立つのだと、平手打ちのような教訓として教えてくれた
    • リバースエンジニアリングに入門したいなら http://microcorruption.com がよい
    • while True: learn() を思い出す
      フローの観点で考える必要があるパズルを解き、偶然にも機械学習も少し学べて、コンピュータネットワーク設計や、ボトルネックが課題となるアプリのスケーリングのような仕事にも転移しそうなものを扱っている
      Polytopiaはチェスに似た感触がある。攻撃や防御を成立させるには正確に動かなければならない場面が多い。チェスが軍事と領土に大きく集中するのに対し、Polytopiaでは軍事・領土・経済・技術発展をバランスよく扱わなければならない
      このゲームは「この部族でこのマップ種別なら最適に拡張する方法は何だろう」といった問いをたくさん生み、最終的には小さなコーディングプロジェクトで答えを探してみることになる
    • Elden Ringもおすすめしたい
      反射神経と手と目の協調に役立つが、もっと重要なのは禅のような心構えを育ててくれる点だ。1000回目の死を避けられないたびに挫折するのではなく、打ちのめされながら問題を解かなければならない
    • 一般に、ゲームを通じてスキルを転移させるのはかなり難しい
      実際にゲーム内で練習するスキルを除けばそうで、チェスを指して主に伸びるのはチェスのEloだ。ただし、この領域を広げようとする研究は進んでいる: https://link.springer.com/content/pdf/10.1007/s41465-022-002...
      ゲーム、そして最近特定のWebサイトやYouTubeチャンネルで宣伝されている「教育用」アプリが確実に役立つ点は、扱っている科学分野への認識と動機づけを高めてくれることだ

  • 数分前、あるいはこれをいつ読むかによっては数時間前・数日前に、The Legend of Zelbaba: Linkeke between words というカスタムレベルセットが @party 2024 で発表された: https://scenesat.com/video/atparty
    実際の発表はライブストリームの17分ごろから始まる。レベルパックはここにあり、基本ゲームが必要: https://gamebanana.com/mods/150971

  • 数年かけて作業中のサイドプロジェクトを少し宣伝すると、Baba is Youが好きなら Pathology や Sokopath も楽しめるかもしれない
    自分のサイト Thinky.gg でプレイ可能: https://thinky.gg
    Thinkyには、ブロック押しレベルを毎日公開しているかなり活発なコミュニティがある。難易度は幼稚園レベルからスーパーグランドマスターまでさまざま。世界中にカスタムレベルを公開できるレベルエディタもある

  • 「何よりもデータとアルゴリズム、認知システムとその内容のあいだの壁を溶かし、違う考え方をさせる」という部分を見て、13年ほど前に Prolog を初めて理解できたときの気づきを思い出した
    そのとき小さな韻文として書き留めていた:
    データと演算のあいだには
    隔てるものは何もない
    計算の最も低いレベルを定義する同じ単純な真実を見つけるには、皮肉にも最も高いレベルまで登らなければならない。ゲームもすばらしい

    • 「観察者こそが観察されるものであると心が完全に悟るとき、その悟りが起こるとき、新たなエネルギーの解放があり、それは『あるもの』を超えるだろう」
      —Jiddu Krishnamurti, 1973年10月28日 ローマ公開講演
      https://www.krishnamurti.org/transcript/when-the-mind-realis...
    • こういう悟りは普通LispやHaskellで来るものだが、Prologとは興味深い例だ

  • 面白いことに、このゲームの開発者は Noita という別の技術的驚異のゲームも作っている
    ほとんどのプレイヤーが、自分がチュートリアルしか遊んでいなかった事実に気づいていない、という説明が最もしっくりくるゲーム

  • Baba is Youは エクスプロイト作成 に必要な思考様式を身につける入門としても同様によい

    • Michael Lewisの『Going Infinite』に描かれたJane Streetの採用プロセスに似ているように見える
      Jane Streetは、ゲームの途中でルールが変わるゲームで応募者がどれだけうまくやれるかをテストする

  • 「WALL」「IS」「STOP」をアイコンや画像に置き換えると、個人的にはもうそれほど興味深くない。
    少なくとも Captain Blood を思い出す: https://www.abandonware-france.org/ltf_abandon/ltf_galeries....
    あちらにも、連動するメカニズムを持つ記号列がある。ブロックの順序を違えて配置すると、別の結果になる。
    今日の私は少し気難しいのかもしれないが、このゲームがなぜ「深遠」なのかはよくわからない。
    付け加えると、私たちが任意の記号の束から意味を作り、その意味を定められるという事実は、むしろ言語が本当に空虚であり、知能は言語の外側にあることを示しているように思える。言語はただの道具にすぎない。

    • 何を言いたいのかよくわからない。
      単語をアイコンに置き換えながら、どうやってまったく同じメカニズムを維持できるのか、そして同じメカニズムなのだとしたら、単語ではなくアイコンであることで何が変わるのかがわからない。