OpenMythos: 公開研究で復元した Claude Mythos アーキテクチャは仮説か、それとも別の AI ハイプか

 (flamehaven.space)
2 ポイント 投稿者 flamehaven01 5 일 전 | まだコメントはありません。 | WhatsAppで共有

概要

  • OpenMythos は、Claude Mythos に似た構造を公開研究に基づいて再構成しようとする理論的アーキテクチャ実験（theoretical architecture experiment）として紹介されている
  • 記事は OpenMythos 自体を単なる「スロップ（slop）」とは見なしていない
  • その代わり、OpenMythos を事例として、AI コミュニティにおいて README・AI 要約・YouTube/Reddit での拡散・GitHub スターが、検証より先に公的な確信を生み出す構造を扱っている
  • 記事はこの現象を「sheepwave」と呼ぶ
  • ここでいう sheepwave とは、無知や単純な好奇心ではなく、技術的にもっともらしく感情的にも魅力的な物語が、検証前に集団的確信として固まっていく現象を指す
  • 核心的な主張は、「OpenMythos が面白くない」のではなく、興味深い研究アーティファクトが、検証済みのアーキテクチャ上のブレークスルー（architecture breakthrough）であるかのように消費されるあり方が問題だという点にある

OpenMythos とは何か

  • OpenMythos は Anthropic の Claude Mythos を直接複製したり流出させたりしたモデルではない
  • 開発者は OpenMythos を、Claude Mythos の検証済み再実装ではなく、公開研究の流れを組み合わせた理論的アーキテクチャ実験だとしている。
  • OpenMythos が注目を集めた理由は、Claude Mythos という名前自体がすでにミステリー性を帯びていたからである
  • Claude Mythos の全体アーキテクチャは公開されておらず、コミュニティは「中に何があるのか？」という問いを抱くことになった
  • OpenMythos はその空白に対し、「こういう構造かもしれない」という形を与えた
  • オンラインでは、「公開研究に基づく推定的な反復深度アーキテクチャ実験」よりも、「Claude Mythos を再構成した」という一文のほうがはるかに速く広まる

なぜ OpenMythos は急速に注目を集めたのか

  • OpenMythos は、AI コミュニティがすでに信じたいと思っている複数の期待を同時に刺激した
  1. パラメータ効率への期待
  • より小さな反復深度モデルが、より大きな固定深度 Transformer と同等の品質に到達できるという話は強いメッセージになる
  • 「より大きくならず、より深くなれる」という物語は、GPU コストや frontier lab 中心の構造に疲れを感じているコミュニティにとって魅力的に作用する
  1. ループ型アーキテクチャ
  • 反復計算は視覚的に「考えているように」見える
  • しかし、共有重みを用いた反復計算と、実際の推論能力や適応的行動は同義ではない
  1. 個人向け／小型ハードウェアへの期待
  • 反復深度構造と MLA 方式のキャッシュ圧縮が組み合わさることで、小さなモデルでもより大きなモデルのように感じられるのではないかという期待が生まれる
  • しかし実際には、分岐処理コスト、メモリ動作、学習安定性、カーネル効率、依存関係の正確性、スループットといったエンジニアリング上の課題が残る
  1. Claude Mythos という名前そのもの
  • Anthropic が全体構造を公開していない状況で、OpenMythos はコミュニティが望む「形」を提供した
  1. MoE、MLA、LTI、ACT、反復深度構造といった最新の AI アーキテクチャのキーワードが 1 つのリポジトリに集まっていたこと
  • このため OpenMythos は、中身のない過熱として簡単に切り捨てにくい
  • 実際のアイデアがあるからこそ、過熱がむしろ強まることもある

Sheepwave の動作原理

  • 記事は OpenMythos をめぐる反応を 3 段階で説明している
  1. 信念の段階
  • 人々は Claude Mythos、オープンソース、反復深度構造、パラメータ効率といった手がかりを見て、まず可能性に反応する
  • この時点では、実際の学習経路や性能再現の可否よりも、「もっともらしい可能性」が先に消費される
  1. 増幅の段階
  • YouTube、Reddit、ニュースレター、ソーシャル投稿、AI 要約が、最も強いバージョンの物語を繰り返す
  • この段階では、ベンチマーク再現や学習経路の検証は必要とされない
  • 重要なのは「よく広まる物語」である
  1. コードレベルの疑念の段階

  • コード分析者はリポジトリをクローンし、学習スクリプト、ルーター経路、ACT ロジック、MoE 分岐処理、大規模コンテキスト設定などを確認する

  • しかしこの段階に到達するのは普通は遅い

  • この構造は情報の非対称性の問題である

    • 「770M モデルが 1.3B 級の性能を出す」という一文は素早く広まる
    • 一方で、「その効率性の主張がこのリポジトリで再現されたものなのか、MoE 分岐処理が大規模で持ちこたえるのか、ルーターのバイアス値が学習スクリプトで実際に更新されるのか」を確かめるには、長いコードレビューが必要になる

  • 片方の文は投稿になるが、もう片方の文にはレビューが必要になる

  • そのため、大衆的な記憶には単純な主張が残り、監査結果は遅れて付く脚注（footnote）になりやすい

今回の Sheepwave が異なる理由

  • 今回の過熱には AI アシスタント が介在している

  • GitHub リンクを AI に渡すと、AI は README、ファイル構成、アーキテクチャ用語、もっともらしい参照を読み、説得力のある要約を作れてしまう

  • これは有用ではあるが、検証ではない

  • 一般的なチャット環境の AI アシスタントは次のことを行わない

    • マルチ GPU 学習の再現
    • ベンチマーク曲線の再現
    • 長期学習においてルーターのバランスが維持されるかの観察
    • MoE スループットの測定
    • 大規模コンテキスト設定における初期化とメモリ動作の確認

  • したがって、「AI も驚いた」という反応は、実際のコード検証ではなく、README とリポジトリ表面の構造に対する反応である可能性がある

  • 記事の核心的な区別は次のとおりである

    • AI がコードに感嘆した場合がある
    • AI が README に感嘆した場合もある
    • この 2 つは同じではない

  • 今回の過熱は「行動するエージェント」への過熱ではなく、「考えているように見えるアーキテクチャ」への過熱である

  • この種のアーキテクチャ過熱は、劇的なデモ失敗で崩れるというより、学習経路、ベンチマーク再現、損失関数、統合状態、実行経路といった静かな地点で弱点が露呈する

ソースレベル監査の結果

  • 記事は OpenMythos に対する ソースレベル監査 の結果も併せて提示している

  • この監査では、モデル実装、学習スクリプト、派生モデル設定、トークナイザー、テスト、依存関係ファイル、README の主張を実際のコード経路と照合した

  • 監査の結果、OpenMythos は中身のない過熱（Empty slop）ではないと評価されている

  • 実際に実装されている要素も存在する

    • Prelude + Recurrent Block + Coda 構造が存在する
    • LTI 方式の反復安定化は、強い実装要素の 1 つと評価されている
    • MLA 方式のキャッシュ圧縮は、長いコンテキスト処理の課題と結びついている
    • ACT 方式の停止ロジックも存在する
    • 反復深度構造は、拡張、計算量配分、反復、メモリ、ルーティングの議論に含めることができる

  • しかし、大衆的な物語が示唆したレベルの運用準備性とは隔たりがある

監査で確認された主な差異

  • 770M vs 1.3B の効率性主張

    • これはリポジトリ内で再現された結果ではなく、外部の主張または引用に近い
    • したがって、「結果」ではなく「引用」と見るのが適切である

  • MoE ルーティング

    • ルーティングロジックは存在するが、入れ子になった Python の分岐処理があり、大規模スループット上のリスクと見なすべきである
    • これは「絶対に不可能だ」という断定ではなく、実際のプロファイリングが必要なリスクである

  • ルーターのバランス

    • ルーターのバイアスメカニズムは露出しているが、公開された学習スクリプトではそれが明示的に更新される経路が見当たらない
    • 長期学習では負荷分散リスクが高まる可能性がある

  • ACT 停止ロジック

    • ACT 方式の停止ロジックは存在する
    • しかし、公開された学習経路には明示的な ponder loss や計算量正則化項が含まれていない
    • 停止ヘッドは言語モデル損失を通じて間接的に勾配を受け取る可能性はあるが、効率的な適応的停止を直接促す目的関数はない

  • MoDA モジュール

    • 別個の実験ファイルとしては存在するが、主モデルに統合されているとまでは言いがたい

  • 大規模派生モデル

    • 100B+ や 1M コンテキスト設定は、即座に RoPE バッファを作成する構造のため、実運用可能な設定というより目標志向の設定に近い

研究ラベルの問題

  • OpenMythos は運用モデルではなく、理論的再構成（theoretical reconstruction）または研究アーティファクト（research artifact）と見ることができる
  • そのラベル自体は正当である
  • 研究プロジェクトには、不完全な学習経路、実験的構造、未完成の統合が含まれうる
  • 問題は、研究ラベルと大衆的過熱が異なる言語で動いている点にある

研究ラベルと大衆的過熱の違い

  • 研究ラベル: 「これは理論的実験である」

    • 大衆的過熱: 「AI の未来を変えるだろう」

  • 研究ラベル: 「公開研究と推定に基づく再構成である」

    • 大衆的過熱: 「誰かが Claude Mythos を再実装した」

  • 研究ラベル: 「探究すべきアーキテクチャである」

    • 大衆的過熱: 「小型モデルが今や大型モデルのように考えられる」

  • 記事はこの違いを、「プロジェクトは研究の言語で語るが、大衆の反応はそれを到達の言語へと翻訳する」と説明している

AI リポジトリ評価のための 3 層

  • 記事は、AI オープンソースリポジトリを評価する際には 3 つの層を分けて考えるべきだとしている
  1. 物語（Narrative）
  • README、解説記事、ソーシャル投稿が語る内容
  1. メカニズム（Mechanism）
  • コードが実際に実装している構造
  1. 運用経路（Operational path）

  • 学習経路、実行経路、評価経路が実際に支える能力

  • 大半の AI 過熱は、この 3 層を 1 つに混同する

  • 優れたエンジニアリング上のデューデリジェンスは、この 3 層を切り分ける

結論

  • OpenMythos は無視したり嘲笑したりする対象ではない
  • OpenMythos は有用で興味深く、技術的示唆を持つ研究アーティファクトである
  • しかし、これがアーキテクチャだけで既にスケールの限界を打ち破った証拠ではない
  • README は出発点であって、検証の終点ではない
  • 記事の結論は「README は岸辺（shore）ではない。コード経路こそが岸辺だ」に要約される
  • 関連記事には、sheepwave の全体分析と、別途 OpenMythos v0.5.0 のソースレベル監査レポートが含まれている
    https://flamehaven.space/writing/…

関連記事

まだコメントはありません。

まだコメントはありません。