OpenMythos: Claude Mythosをリバースエンジニアリングしたオープンソース実装が登場
(github.com/kyegomez)- Claude Mythosの構造を仮定し、「反復的に思考するトランスフォーマー」という形で実装したオープンソースプロジェクト
- OpenMythosはAnthropicの次世代モデルとされるClaude Mythosをもとに、公開情報と研究アイデアを組み合わせて構造を再現
- 実際のモデルではなく、「このような方式で動作する可能性がある」という仮説をコードとして実装したプロジェクト
中核アイデア
このプロジェクトの中核は、既存のLLMとは異なり、
モデルをより大きくする代わりに同じ構造を複数回繰り返し実行する方式である。
1つのレイヤーを何度も回しながら段階的に内部状態を更新し、
その過程でより深い推論を行う。
主な構造
- 同一のトランスフォーマーブロックを反復実行する構造
- 反復過程で異なるエキスパート(MoE)が選択的に活性化
- 中間結果を外部トークンとして出力せず、内部状態で処理
- メモリ効率を改善するためのattention構造を適用
既存方式との違い
一般的なLLMがトークンを生成しながら推論過程を表に出す方式だとすれば、
この構造は内部で複数回計算を繰り返した後、最終結果だけを出力する方式に近い。
つまり、「話しながら考える」のではなく、
「内側で十分に考えた後に話す構造」を志向している。
意義
このアプローチは、トークン使用量の増加によるコスト問題ともつながる。
推論を内部反復で処理すれば、外部に生成されるトークン数を減らせるためだ。
また、モデル性能をパラメータ数の増加ではなく、
推論段階での計算量増加によって引き上げる方向である点でも、新しい流れと見なせる。
限界
実際のClaude Mythosの構造と同一である保証はなく、
検証済みの性能や大規模実験の結果はまだ不足している。
ひとことインサイト
- モデルをさらに大きくする代わりに、同じモデルを反復実行してより深く考えさせる方向が、次世代LLM設計になる可能性がある
7件のコメント
低評価があるといいですね、ギークニュースに
> 実際のClaude Mythosの構造と同一である保証はなく、
じゃあ全然リバースエンジニアリングじゃないじゃん;;
まだ公開すらされていないのに、どうやってリバースエンジニアリングするっていうんだ……??
実際のモデルではなく、「このような方式で動作する可能性がある」という仮説をコードで実装したプロジェクト。
なんで gpt 6 を作って、こういう方式で動作する可能性がある〜とか言ってるんだよ笑
この人、話題になるものがあるたびに毎回
open*という名前のパターンで量産しているので、あまり印象は良くない気がしますね…。誰がやったのかと思ったらコイン系プロジェクトのトップだと分かって、なるほどと頷きました..
ああ、そうですね。リポジトリ一覧を見ると、
Openで始まるプロジェクトがいくつか他にもありますね..