- DiffLogic CAはNeural Cellular AutomataとDifferentiable Logic Gate Networksを組み合わせ、離散的なセル状態を維持しながら勾配ベースで局所ルールを学習するセルラーオートマトンのアプローチ
- 各セルはn次元の二値ベクトル状態を持ち、知覚段階と更新段階の両方をロジックゲートネットワークで処理して次状態を直接計算する
- ConwayのGame of Life実験では、3x3周期格子の512通りの構成を1ステップ学習して全ルールを習得し、ハード推論でもglider、block、loaf、boatといった代表的パターンを再現した
- パターン生成実験では16x16のチェッカーボードを20ステップで生成し、4倍大きい格子と4倍長い時間でも動作し、損傷したセルに対する耐故障性と再活性化後の自己修復を示した
- より複雑なlizardの輪郭や8色のRGB Gも生成したが、複雑な構造の学習には多くのハイパーパラメータ調整が必要で、階層型NCAとLSTM類似ゲートが改善候補として残っている
DiffLogic CAが狙う問題
- セルラーオートマトンは通常、まず局所ルールを定め、その結果として現れる創発パターンを観察する形で扱われる
- DiffLogic CAは、望ましい複雑なパターンがあるとき、そのパターンを生み出す局所ルールを完全に微分可能な方法で学習する手法を探る
- 既存のNeural Cellular Automataは任意のパターンや振る舞いを学習できるが、本質的には離散状態空間で動作しないため解釈性が低くなり、連続状態更新には行列積のコストがかかる
- Differentiable Logic Gate Networksは組合せ論理回路の発見に使われてきたが、空間と時間の両方で再帰的なNCA設定ではまだ動作が実証されていなかった
- 一連の実験はノートブックで再現できる
Neural Cellular Automataの基本構造
- Neural Cellular Automataは古典的なセルラーオートマトンにディープラーニングを組み合わせ、手作業でルールを設計する代わりに勾配降下法で更新ルールを学習する
- Growing-NCAの各セルは2D格子上でn次元の状態ベクトルを持つ
- RGBの3チャネルはセルの色を表す
- Alphaチャネルはセルの生存性を表し、alpha値が0.1より大きければ生きているセルとみなされる
- 残りのhidden channelは周囲環境に関するより複雑な情報を伝える
- 更新は2段階で行われる
- 知覚段階: Sobel filterをチャネルごとに適用して空間勾配を近似し、セルの現在状態と周辺情報を組み合わせたperception vectorを作る
- 更新段階: 約8,000個のパラメータを持つニューラルネットワークがすべてのセルに同一に適用され、各セルがどう変化するかを決める
- すべての演算が微分可能なので、システム全体で特定のパターンや振る舞いを学習できる
Differentiable Logic Gate Networksの方式
- Deep Differentiable Logic Gate Networksは人工ニューロンの代わりにAND、OR、XORのようなロジックゲートを基本単位として使う
- ネットワークはゲート層で構成され、各ゲートは前段の2つのゲートから入力を受ける疎な構造を持つ
- 接続はランダムに初期化された後は学習中に変わらず、学習では各ゲートがどの論理演算を実行するかだけを決める
- 学習中は離散ロジックゲートをそのまま使わず、2つの仕組みを用いる
- 連続緩和: hard ANDのような離散演算を、0から1の入力を受け取る微分可能バージョンに置き換える
- 確率的ゲート選択: 各ゲートは2入力に対する16通りの可能な二値演算上の確率分布を持ち、softmaxで表現された16次元パラメータを学習する
- 学習が終わると各ゲートは最も確率の高い演算に固定され、推論時には純粋な二値演算のみを実行する
- 学習安定性のため、初期ゲート分布はpass-throughゲート寄りに設定される
DiffLogic CAの構造
- DiffLogic CAはNCAの2D格子構造に従うが、各セルの状態をn次元の二値ベクトルで表現する
- セル状態とチャネルは同じ意味で使われ、二値状態ベクトルは前の反復の情報を保存する作業メモリの役割を果たす
- 知覚段階ではSobel filterの代わりにロジックゲートネットワークベースのカーネルを使う
- 各カーネルは固定接続構造を持つ独立した回路で、ゲートの種類が学習される
- カーネルはチャネルごとに計算される
- 各回路は中心セルと近傍セルの相互作用を計算するよう設計された4層を使う
- 更新段階では、セルの以前のメモリと近傍から受け取った情報を連結した入力をDifferentiable Logic Gate Networkに入れて新しい状態を計算する
- 標準NCAのように状態を段階的に加算するODE型更新ではなく、次の二値状態を直接出力する
- 1ラウンドの動作は2つのレジスタとして見られる
- 灰色のレジスタには既存のセル状態がある
- オレンジ色のレジスタには知覚段階の結果が保存される
- 更新後の新状態は灰色のレジスタに書き込まれ、オレンジ色のレジスタは次ラウンドのために空にされる
- この構造は、各セルが近傍と通信し、観測結果に基づいて判断を下す小さな独立コンピュータ群のネットワークのように動作する
実験1: ConwayのGame of Life学習
- Game of Lifeは、各セルが8近傍の状態と自身の現在状態に応じて次世代で生死が決まる二値セルラーオートマトン
- ルールは4つある
- 死んでいるセルは、ちょうど3つの生きた近傍を持つと次世代で生きる
- 生きているセルは、2つまたは3つの生きた近傍があれば生存する
- 生きているセルは、近傍が2つ未満だと死ぬ
- 生きているセルは、近傍が3つを超えると死ぬ
- この実験は前状態の反復に依存しないルールを対象にするため、セル状態は1ビットに設定される
- モデル構成は次の通り
- 知覚回路カーネル16個
- 各知覚カーネルのノード構造は
[8, 4, 2, 1]
- 更新ネットワークは23層
- 最初の16層はそれぞれ128ノード
- その後の層は
[64, 32, 16, 8, 4, 2, 1]
- 学習データは3x3周期格子で可能な512通りの全構成を含む
- 各セルの次状態は自身と8近傍で決まるため、3x3構成は512通りある
- 1ステップ先の次状態をすべて正しく当てられれば、Game of Life全体のルールを学習したのと同じになる
- 損失関数は予測格子と正解格子の二乗差を合計したもの
- soft lossとhard lossの両方が完全に収束し、ハード推論では学習済み回路がより大きな格子でもGame of Lifeパターンを再現した
- 有効ゲート数はpass-through AとBを除いて336個で、知覚ネットワークと更新ネットワークの両方でORとANDが最もよく使われた
- 生成された回路はGame of Life回路として直接操作できる
実験2: チェッカーボードパターン生成
- パターン生成実験では、任意の初期状態から目標画像へ進化するルールを学習するよう設定する
- 損失は最後のタイムステップでのみ計算されるため、モデルは中間段階ごとの監督なしで離散遷移ルールを見つけなければならない
- セル状態は8ビットで、DiffLogic CAは20ステップ反復される
- モデル構成は次の通り
- 知覚回路カーネル16個
- 各カーネルは層ごとに8、4、2個のゲートを持つ
- 更新ネットワークは16層
- 最初の10層はそれぞれ256ゲート
- その後の層は
[128, 64, 32, 16, 8, 8]
- 損失関数は最後のタイムステップにおける予測格子の第1チャネルと目標格子との二乗差の合計
- モデルは16x16のチェッカーボードパターンを20ステップ以内に復元するよう学習された
- soft lossとhard lossの両方が収束し、第1チャネルで明確なパターン形成が見られた
- モデルには組み込みの方向バイアスはなかったが、パターンが左下から右上へ伝播する性質が現れた
- 有効ゲート数はpass-through AとBを除いて22個で、枝刈り後はチェッカーボード生成関数全体を実質5個のロジックゲートで実装できた
- 4倍大きい格子と4倍長い時間へ拡張しても回路は動作し、学習済みルールは特定の格子サイズにだけ過学習した形ではなかった
損傷、自己修復、非同期更新
- チェッカーボード実験では、一部セルが故障した状況を想定して2種類の損傷実験を行った
- 広い領域のセルを恒久的に無効化して欠陥部品をシミュレートする
- 一定ステップ後に無効セルを再び有効化する
- システムは恒久的な損傷下でもパターンの完全性を維持し、無効セルが再びオンラインになった後には正しいパターンを再生成した
- 耐故障性や自己修復を明示的に設計していないにもかかわらず、損傷が局所化され、全体機能が急激に崩壊しない振る舞いを示した
- 非同期更新実験では、すべてのセルを同時に更新せず、各ステップでランダムなセル部分集合だけを更新した
- 非同期学習は既存のNCAより難しいと予想されていた
- 各ステップで増分ではなく完全な新状態を出力しなければならない
- 周辺セルが互いに異なる段階だけ進んだり遅れたりした組み合わせを処理しなければならない
- チェッカーボードでは非同期学習は比較的容易に成功し、同じ初期状態から異なる更新順序を使っても50ステップ以内に目標パターンを再構成した
- 同期学習された既存ルールを非同期推論に適用しても動作した
- 推論の各タイムステップごとに画像領域内の10x10ピクセル矩形をランダムに無効化するテストでは、非同期学習されたセルの方が損傷からやや速く回復した
- 目標画像と再構成画像の絶対差の総和で誤差を測定すると、非同期学習はこうした攪乱に対する頑健性を高めた
実験3: lizard輪郭の成長
- lizard実験は元のNCA研究へのオマージュで、DiffLogic CAが任意形状を学習できるかを確認するもの
- チェッカーボードのような高度に圧縮可能な規則的パターンではなく、lizardの輪郭はより多くの記憶を必要とする
- 設定は次の通り
- セル状態は128ビット
- DiffLogic CAは12ステップ反復される
- 知覚回路カーネルは4個
- 各カーネルは層ごとに8、4、2、1個のゲートを持つ
- 更新ネットワークは10層
- 最初の8層はそれぞれ512ゲート
- 最終層は
[256, 128]
- モデルは20x20のlizardパターンを12ステップ以内に生成するよう学習された
- 初期条件はNCAと同様に対称性を破るための中央seedで、格子の端には周期境界条件が適用される
- 40x40のより大きな格子で評価してもlizard成長パターンをうまく生成でき、境界条件を利用した解法ではなかったことを示した
- soft lossとhard lossはいずれも0に収束した
- 有効ゲート数はpass-through AとBを除いて577個だった
- 知覚カーネルではTRUEゲートが主に使われ、更新回路では利用可能なほぼすべてのゲートが使われた
- 複雑なパターン生成の学習は最適化が難しく、広範なハイパーパラメータ調整が必要だった
実験4: 色付きGの生成
- これまでの実験が実質的に単色画像に集中していたため、より複雑な目標状態として16x16のカラー画像を生成する実験を行った
- セル状態は64チャネルで、モデルは15ステップで色付きのアルファベットGを生成する
- 最初の3チャネルは標準NCAの慣例どおりRGB値を表すが、ここでは各値が0または1の二値表現に制限されるため、8色のパレットになる
- モデル構成は次の通り
- 知覚回路カーネル4個
- 各カーネルは8、4、2個のゲートを持つ3層で構成される
- 更新ネットワークは11層
- 最初の8層はそれぞれ512ノード
- 最後の3層は
[256, 128, 64]
- 初期状態は完全に0で、周期境界条件は使わない
- 損失関数は最後のタイムステップにおいて、最初の3チャネルである0、1、2番チャネルのみを対象に、予測格子と目標格子の二乗差を合計する
- soft lossとhard lossが収束し、モデルは15ステップ以内に色付きGを再構成した
- 有効ゲート数はpass-through AとBを除いて927個だった
- TRUEとFALSEゲートは知覚ネットワークと更新ネットワークの両方で多く使われ、更新ネットワークではORゲートが最も多く使われた
- この回路は以前の実験より、ハイパーパラメータ探索と回路サイズの両面でさらに複雑だった
残された課題と改善の方向性
- DiffLogic CAは、完全に離散的なセル状態を使い、学習済みの再帰的二値回路で状態を更新する新しいNCA構造と学習方法を提案する
- ニューラルネットワーク構成要素をDeep Differentiable Logic Networksに置き換えることで、離散ロジックゲートに微分可能学習の柔軟性を組み合わせる
- Game of Lifeの再現とパターン生成実験は、微分可能ロジックゲートがセルラーオートマトンに適用可能であることを示した
- その結果、Differentiable Logic Gate Networksが再帰構造でも効果的に学習できることが確認された
- 現在のモデルはパターン学習の可能性を示したが、より複雑な形状や構造を生成する学習は依然として難しい
- 改善案として、階層型NCA構造と状態忘却を助ける特殊ゲートが提案されている
- LSTM類似のゲーティング機構を状態更新過程に統合すれば、過去状態と新たに計算された候補状態をより豊かに組み合わせられ、モデルのダイナミクスと表現力を高められる
1件のコメント
Hacker Newsのコメント
とても興味深い。新しい汎用チューリング機械の基質を探し回っていて、遺伝的プログラミングの実験用にポケモンのように集めていた。以前にセル・オートマトンも rule 30/110 などで触ってみたが、このアプローチはずっと説得力がある。
カーネルをデジタル論理回路のようにモデル化するという発想はなかった。ブール論理、ゲート、回路の制約が、適合度地形を作るうえで興味深い質感を与えているように思う。得られたパラメータはハードウェア実装にそのまま変換できるし、追加の最適化段階を経て単純なプログラムにコンパイルすることもできる。数十億パラメータのブラックボックス内にある魔法のような浮動小数点を扱うより良さそうだ。
わくわくする。Michael Levinは、動物細胞が階層構造なしにどう協調できるのかを最もうまく問題化してくれた。たとえば、カエル胚の眼の細胞を取り出しても、眼があるべき位置へ移動するという生物学実験がある。
彼が十分に答えられていなかった問いは、細胞はいつ止まるべきかをどう知るのかだったと思う。非階層的な組織化を理解することは、社会が機能する仕組み、そして自己組織化された世界のさまざまなスケールで囚人のジレンマを解くうえでも核心になる。生の複雑性を理解し、モデル化することでもある。こうしたものをモデル化できる能力を見たのは今回が初めてで、ここから広がる方向は本当に多そうだ。
最近知能についてよく考えているが、知能がどう働くのかを突き止める、少なくとも理解を大きく前進させる決定的な地点に来ているように感じる。知能は、古典的なニュートン力学や電気と大きく変わらない、自然に創発する振る舞いのように見える。
結局は単純な規則に行き着くようだ。脳の中で離散的でないものすべてが、実際の仕事をしている単純だが重要な中核プロセスを支えるインフラにすぎないとしたらどうだろう。突き詰めれば論理ゲートと電気信号だとしたら。これから面白い時代になりそうだ。
こうしたアプローチには、特に一般化能力の面で魅力がある。ただ、大きなビジョンが何なのかは気になる。今後何ができるようになるのだろうか。哲学的には、世界について何を教えてくれるのだろう。1次元セル・オートマトンがチューリング等価であることはすでに分かっているので、ある見方では NCA やこの方式はそれほど驚くものではない。
環境と相互作用するセル・オートマトン、低レベルのシステムとも高レベルの制度とも相互作用するオートマトンが出てくるだろう。ある程度近似すれば、人間もこうしたネットワークの中で相互作用する個々の細胞にすぎない。知能の未来は LLM ではなく、代謝的な側面を持つオートマトン・システムだと思う。共進化し、エネルギーを消費し、価値を生み出し、競争し、互いをモデル化するオートマトンだ。
私たちは置き換えられるのではなく、技術システムと細胞システムの境界が曖昧になり、やがて消えていく変換に参加しているのだ。これを目撃できることにとても感謝している。参考: https://x.com/zzznah/status/1803712504910020687
アート制作でセル・オートマトンをいじるのが好きだ。どんなパターンが創発し得るのかには驚かされる。例: https://gods.art/math_videos/hex_func27l_21.html
このDLCAも一度触ってみるべきだと思う。
ここにはクールなアイデアがたくさんある。小さな観察かもしれないが、この計算は状態を持つ。各セルにはメモリと周囲環境への知覚がある。
一方、現代的なニューラルネットワークはおおむね状態を持たない。たとえば、状態を持つLLMについての研究があったのか気になる。
自己宣伝ではあるが非常に関連している: Robustness and the Halting Problem for Multicellular Artificial Ontogeny(2011)
更新規則が等方性拡散と結合したパーセプトロンであるセル・オートマトンだった。ニューラルネットワークの重みを最適化してセル・オートマトンに絵を描かせ、攪乱されるとその絵を再生成する自己修復も行わせた。当時は自動微分が今ほど利用しやすくなかったので、進化戦略で重みを最適化した。もちろん、勾配降下法を使えばずっと良くなる可能性が高い。
これをARC-AGIチャレンジに使えるだろうか。最近のこのアプローチと組み合わせることもできそうだ: https://news.ycombinator.com/item?id=43259182
本当にすごい。長い間読むだけだったが、モデリングとシミュレーションを多用する立場から見ると、複雑なエージェント行動モデルの創発的行動をよりよく理解するうえで大きな可能性があるように思える。
捕食者/被食者モデルのようなものや、単純に見えるが巨大なスケールでは複雑な創発的結果を生む他のモデルに適用されるところを見てみたい。この研究は引き続き追っていくつもりだ。
結果のチェッカーボード模様が、目標パターンの反対、つまりNOTのように見える。だがそれについての言及がない。言及するほど重要ではないのか、それとも自分が何か見落としているのか気になる。