- TitansアーキテクチャとMIRASフレームワークは、AIモデルが実行中にもコアメモリを更新し、膨大な文脈を高速に処理できるよう設計されている
- TitansはRNNの速度とTransformerの精度を組み合わせ、入力中に『驚き（surprise）』が大きい情報を長期記憶に選択的に保存する
- MIRASは、さまざまなシーケンスモデルを統合的に解釈する理論的な設計図として、メモリ構造・バイアス・忘却・最適化プロセスを体系化する
- 実験結果、TitansとMIRASの派生モデル（YAAD、MONETA、MEMORA）は、Transformer++やMamba-2などの最新モデルより、長い文脈処理と効率性で優れた性能を示した
- 本研究は、RNNの効率性とTransformerの表現力を融合した新世代の長期文脈AIモデルへの移行を示している
TitansとMIRASの概要
- TitansアーキテクチャとMIRASフレームワークは、AIが実行中にリアルタイムでメモリを更新し、大規模な文脈を処理するよう設計されている
- 既存Transformerの注意（アテンション）機構は、シーケンス長に応じて計算コストが急増する
- TitansとMIRASはこの制約を克服し、長期文脈理解とリアルタイム適応を可能にする
- Titansは具体的なモデル構造、MIRASはこれを一般化した理論的ブループリントとして機能する
- 両システムは**テスト時の記憶（test-time memorization）**の概念を発展させ、再学習なしで実行時に新しい情報を統合する
Titans: リアルタイム文脈学習
- Titansは**短期記憶（注意機構）と長期記憶（ニューラルネットワークベースのモジュール）**を分離し、人間の記憶構造を模倣する
- 長期記憶モジュールは**多層パーセプトロン（MLP）**形式で、固定ベクトルの代わりに深層ニューラルネットワークを用いてより豊かな情報要約が可能
- 中核コンセプトは**『驚き指標（surprise metric）』**
- 入力が既存の記憶と大きく異なるほど、驚きが高いものとして判定され、長期記憶に保存される
- 例：予期された単語（『cat』）は低い驚き、予想外の入力（『banana peel』）は高い驚きとして処理される
- Titansは**モメンタム（momentum）と忘却（weight decay）**のメカニズムを組み合わせる
- モメンタムは最近の文脈の連続性を反映し、関連情報も一緒に保存
- 忘却は不要情報を除去し、メモリ容量を効率的に維持する
MIRAS: シーケンスモデルの統合的観点
- MIRASは、すべてのシーケンスモデルを**連想記憶（associative memory）**システムとして解釈する
- 多様なモデルは、結局『新しい情報と既存の記憶を効率的に統合する』という同一の問題を解決すると定義する
- MIRASは4つの設計要素でモデルを定義する
- メモリ構造：情報保存形式（ベクトル、行列、MLPなど）
- 注意バイアス：モデルがどの情報を優先するかを決定する
- 保持ゲート（retention gate）：忘却を調整する正則化方式
- メモリアルゴリズム：メモリ更新の最適化方法
- 既存モデルが平均二乗誤差（MSE）や内積類似度に依存する限界を超え、**非ユークリッド（non-Euclidean）**目的関数と正則化を探索する
MIRASベースのモデル
- YAAD：Huber損失を使い、入力誤差や外れ値に対する感度を下げた構造
- MONETA：一般化ノルム（generalized norms）を適用し、安定した長期記憶維持を実現
- MEMORA：メモリを確率マップのように制約し、バランスの取れた情報統合を保証
- いずれのモデルも注意（アテンション）なしでも強力な長期記憶性能を達成
実験結果と性能
- TitansとMIRASの派生モデルは、Transformer++、Mamba-2、Gated DeltaNetなどの最新アーキテクチャと比較評価される
- **言語モデリング（C4、WikiText）およびゼロショット推論（HellaSwag、PIQA）**で、より高い精度と低いperplexityを達成
- ゲノム（DNA）モデリングと時系列予測でも汎化性能が実証された
- **記憶深度（Depth）**が性能に決定的な影響を与える
- 同じサイズのメモリでも、より深い構造ほど低いperplexityと優れたスケーラビリティを確保
- 効率性の面で、Titansは並列学習と線形推論速度を維持し、既存モデルより高速な処理を可能にする
- BABILongベンチマークでは、GPT-4より少ないパラメータ数で長文脈推論に優れた性能を示した
- 最大200万トークン以上の文脈ウィンドウを効果的に処理
結論
- TitansとMIRASは固定サイズのリカレント状態の限界を超え、データ入力中にリアルタイムで学習する新しいメモリ構造を提示している
- MIRASはオンライン最適化・連想記憶・アーキテクチャ設計を統合する強力な理論枠組みを提供する
- 非ユークリッド的設計空間を通じて、RNNの効率性とTransformerの表現力を融合した長期文脈AIモデル時代を開く基盤を築く
1件のコメント
Hacker Newsの意見
Titans: Learning to Memorize at Test Time 論文を紹介している
原文はarXivリンクにある
関連論文は1本目、2本目のリンクで見られる。Googleはこのような透明性によって大きな信頼を得るに値すると思う
米国の大手研究所の論文は実用性能とかけ離れていることが多い。DeepSeekの例としてこの論文とこの論文に言及している
MetaのLlama、Qwen、DeepSeekの方がはるかに先を行っている。現時点で利用可能なのは非公式実装だけだ
最近印象的だったのはlumineプロジェクトで、論文リンクと公式研究ページを共有している
Googleだけが特別により多くの功績を認められる理由はないと思う
「ついに“Torment Nexus”を作ってしまった」という冗談を言っている
Eclipse Phaseの世界観では、TITANが人類を破壊したAIネットワークだったことに触れている
Titansアーキテクチャの核心は、内部誤差信号(gradient) を通じて驚きと重要度を判断し、それに応じて長期記憶を更新することだ
こうした構造なら、ランダムノイズ入力でモデルを攪乱できるのではないかと疑問を呈している
モデルは推論中にも学習し、訓練段階では「何を学習するか」を学習する
無意味な入力には低いsurprise埋め込みが与えられ、学習にはほとんど反映されない
人間は新しさよりも感情の強度によって記憶する。AIにも「何を望むか」という内的状態が必要だ
しかしコードベース開発のように文脈が維持される環境では、過去の設計判断や議論内容を記憶してより良い判断を下せるだろう
Titans論文を最初に読んだとき、「これは大きな進歩になる」と感じた
AI業界の人間ではないが、長いあいだ人間型思考AIについて考えてきた
LLMはその基準には遠く及ばなかったが、Titansはその方向へ一歩進んだように見える
ブログにこうした考えを整理したいが、有名人ではないので関心を持ってもらえるか確信がない
それでもTitansの実装が実際に出てくれば、皆が驚くことになりそうだ
大きな絵を押さえる文章の方が、むしろ有用な洞察を与えられるかもしれない
Titansについてはすでにブログ記事を書いたことがある
Googleの主張以外には検証済みの実装がなく、後続研究もほとんどない状態だ
Titansの構造がプロンプトインジェクションに対してより脆弱なのか、あるいは逆に強いのか気になっている
リアルタイム学習が防御力を高めるかもしれない一方で、悪意ある入力がより深く残る可能性もある
Transformerのattentionメカニズムの説明を読みながら、CursorのようなIDEがどのようにメモリ管理しているのか気になった
コードベースと文脈をますますうまく理解しているように見える
単にTransformerのコンテキストウィンドウの動作方式を説明している部分だ
TitansをLoRAのように継続的に適応させる構造として想像してよいのかと尋ねている
もしそうなら、LoRAをメインモデルに再統合する段階があるのだろうか。それはまるで睡眠の過程のようだと表現している
Titansにはそうした低次元構造はない
その代わり、入力チャンクを処理しながらMLP全体を学習する方式だ
驚きベースの学習が、モデルをユーザープロンプトにより**精密に整列（alignment）**させる効果を持つのか気になっている