5分でノートPC上で学習できる最強のAIモデルは何か？
(seangoedecke.com)- MacBook Proで5分のうちに、約180万パラメータのGPTスタイル・トランスフォーマーモデルを約2000万TinyStoriesトークンで学習し、約9.6のパープレキシティを達成
- 5分以内の学習における主な制約はモデルサイズと処理可能なトークン数であり、モデルが大きいほど収束が遅くなり、少ないデータでは効果が下がる
- 性能最適化では、MPSの使用が、コンパイル・量子化・勾配累積やPyTorch代替よりも、小さいモデルを選ぶことのほうが効果的
- TinyStoriesのような単純で一貫性のあるデータセットは、百科事典的なデータよりも小型モデルの性能により良い影響を与える
- トランスフォーマーアーキテクチャは、小さなサイズと短い学習時間という条件で、LSTMやdiffusion方式より優れた結果を示す
概要
この記事は、ノートPC（MacBook Pro）で5分以内に学習可能な最大性能のAI言語モデルを実験した結果と、最適なトレーニング戦略、データセット選定、モデルアーキテクチャに関する知見を提供する
実験結果の要約
- 約180万パラメータのGPTスタイル・トランスフォーマーモデルを約2000万のTinyStoriesデータで学習し、9.6のパープレキシティを記録
- 生成例は短いものの一貫した物語の形を保ち、英語の文法も概ね正しく維持されるレベル
- 5分以内で実用的な水準のモデル結果が得られたことは期待以上だと強調
実験の背景と限界
- ノートPC環境で強力なモデルを短時間で学習するのは現実的ではない、という好奇心から始まった実験
- 実際には**クラウド上の高性能GPU（H100など）**でより強力なモデルを学習できるが、この実験の制約条件は時間（5分）である
- モデルサイズが大きくなるほどトークン処理速度が遅くなり、5分以内に良い結果を出すのが難しい
- 小さすぎるモデル（例: 1万パラメータ）は十分な複雑さを学習できない
- 実用的な範囲は約100万〜200万パラメータのモデル
スループット最適化
- **MPS（AppleのMetal Performance Shaders）**の使用が最も効果的
torch.compile、float16、MLXなどのさまざまな数値最適化は、期待したほどの性能改善がなかったり、むしろ悪化したりした- 勾配累積はメモリ管理のための手法ではあるが、実際には速度低下が深刻
- モデルが内部メモリ内で素早くweight updateできることが効率上重要
データセットの選択
- 限られたトークン数（約1000万〜2000万）でSimple English Wikipediaなどの単純な英語Wikipediaデータを先に使った結果、文法的一貫性は得られたが意味的一貫性が不足
- 固有名詞中心で、作為的に並べたような事実の羅列になり、有意義な内容生成には限界があった
- TinyStoriesデータセットを使うと、物語構造が明確で言語も単純なため、結果ははるかに一貫性があり意味のあるものになった
- 4歳児レベルのストーリーであり、小型モデルでも学習が進みやすい
トークナイザーとトークン化
- トークナイザーのトレーニングは5分以内には含まれず、データ規模も小さいため最適化の必要性は低い
- マルチバイトトークンの学習はモデル学習にとってより容易
モデルアーキテクチャの実験
-
**トランスフォーマー（GPT-2スタイル）**アーキテクチャを使用
- 2〜3レイヤー、SwiGLUなどの活性化関数、positional embeddingなどのハイパーパラメータを調整
- LSTMは性能が近いものの、パープレキシティの面ではトランスフォーマーのほうが優れる
- Dropout、mixture-of-expertsなどはサイズが小さいため非効率
- Curriculum learningは学習時間が短すぎて効果が小さい
-
**Diffusionモデル（D3PM）**も試行
- 自然言語は離散トークンであるため、拡散過程では無意味なランダムトークンしか生成されず失敗
- トランスフォーマーやLSTMと比べて、文の構造を素早く形成するのが難しい
モデルサイズとトークン/秒スループットの関係
- 100万〜200万パラメータのモデルが最も理想的なsweet spot
- 大きすぎると5分以内に収束できず、小さすぎると学習直後に性能限界へ達する
- Chinchilla scaling lawと実験結果は概ね一致
- 総学習トークン数/20が理想的なモデルサイズであり、この実験でも確認された
結論と示唆
- 非常に短い時間と小さなハードウェアでも、一貫したストーリーテリングモデルの学習は可能
- 5分学習は強力なモデル開発には適さないが、小規模・超軽量モデル設計やハードウェア・アーキテクチャ最適化の実験には意義がある
- 今後ノートPC GPUやモデル構造が進化すれば、わずか数分で訓練できるモデル性能がさらに向上する可能性がある
1件のコメント
Hacker Newsの意見
量子暗号関連の講演を見てみたい、動画の冒頭で言及されていたその講演へのリンクを知っている人がいないか気になっているという声
小規模モデルの最適化された学習は、アクセシビリティだけでなくLLMの科学的研究にとっても重要であり、生物学研究で酵母のような単純な生物を使うのと同じように、理解と制御のために大規模モデルの興味深い挙動を示す最も単純なトランスフォーマーを研究する必要がある
最近聞いた中でも特に印象的だったポッドキャストの1つがTiny Storiesの論文とデータセットに関するもので、このデータセットには幼児向けのおとぎ話のような単純な単語や概念しか含まれていないが、これによって小さなモデルでも文法、多様性、推論を備えた英語生成が可能になるという内容だった。著者とのポッドキャスト自体も、LLMの能力を小さく制御された研究例で見事に説明していて、生物学の比喩で言えば、このデータセットはおそらく非常に単純で制御された環境である寒天培地にあたるのだと思う。関連リンクはポッドキャストのエピソード、TinyStories論文
多くの企業は、ユーザーの購入履歴のような私有データセットを使って、小規模モデルで実際のビジネス課題を解決できる。大規模言語モデルから生まれた進歩も、入力シーケンスを特化言語で表現できるなら、そのまま小さな問題に適用可能だ
小規模モデルで見られた挙動や最適化が、大規模モデルではうまく再現されないことは広く知られている
ここで著者がやっているのは事前学習であり、普通はGoogleやMetaなどのモデル開発者が行うものだ。ビジネスであれば、ファインチューニングや、あるいはそれより少ない範囲での追加事前学習のほうがはるかに実用的であり、著者が学術的理由でこれを試していることを強調している
ノートPCで高速に動作するモデルには関心があるが、学習プロセス自体は数日あるいはそれ以上かかることがある
時間の代わりにエネルギーを基準にしたほうがよいのではないか、つまりジュール単位で与えられたエネルギー予算内で最高のモデルを学習するのが本当の比較になり、そうすればMBPとH100の比較もより公平になるだろうという意見
ここでの核心は効率性ではなく「アクセシビリティ」であり、H100は日常向け製品ではないが、ノートPCはそうだからだ
理解している範囲では、Macは消費電力の面ではより競争力がある。Nvidia GPUのように電力を大量消費しないからだ。ちなみにH100は1時間10ドル未満でレンタルできるので、1時間以内に学習できるモデルの性能を競うのも面白そうだ
どんな基準でも構わないと思うし、多少恣意的でも悪くないと思う
ノートPCベースなのか、MacBook Proベースなのかという実用的な指標を表したいのであれば、目的を明確にしてほしいと思う
もうAI効率性オリンピックを開催しようという感じだ。ノートPCでもデスクトップでも、スマホでも、5分でも1時間でも1日でも1週間でも、船の上でもヤギと一緒でも、場所は問わないという愉快な表現
ヤギと一緒とは、おそらくLlamaのことだろう。韻の踏み方としては限界があるが、ボストン訛りならもっと面白そうだ
Vernor Vingeの小説に、人間が携帯用チェスコンピューターを作って試合中に助手として使う話がある。大会でチェスクロック以外に電源も提供されるなら、参加者が自分のAIに有利な手を考えられて独特だろうと思う
Mac Studio M3 Ultra 512GBで極限の性能を出すことを表現した一文で、その船ならヤギも浮かべられるだろうというような冗談
ヤギはパラメータ数が多すぎて、ほぼGPT-4級だという冗談
GoatLMが出たら課金するつもりだ
"Paris, France is a city in North Carolina..."というナンセンスな例で、officially major people という表現が気に入った、日常会話でどう使えるのか気になるという声数年前の「cramming」論文を思い出すという意見で、著者が1日で現代的なノートPC上で最適なモデルを学習しようと試みた内容だとして論文リンクを共有
GPT-2 speedrunの試みから持ってきたいくつかのテクニック、Muon、より良い重み初期化、慎重な学習率調整などを適用するだけでも、はるかに良くなるはずだという意見。関連資料はこちら
AIにはdemoscene（90年代のグラフィックデモショーのように、小さな資源で技術を見せつける文化）が欠けていると思う
小さく、より特化したモデルを作りたいし、必要に応じてその場で作れることにも価値があると感じる。何でも知っている大規模モデルが必要なのではなく、自分が働くドメインにだけレーザーのように焦点を当てて非常に高速に動くモデルのほうが必要だ。大規模LLMに「<必要な作業>に最適化されたモデルを学習させるスクリプトを書いてくれ」と頼んで、そのモデルを動かせるようになってほしい。そうこうしているうちにGoogleがGemma 3 270Mをリリースした
"Paris, France is a city in North Carolina..."のようなナンセンスな出力を例に挙げて、「わからない(I don't know)」と言える技術さえあれば小規模モデルはずっと有用になるはずだという意見。非常に大きなLLMが必要なのは、対象範囲があまりに広いため作り話をしないようにするためだ。顧客対応チャットボットをノートPCで適度な時間内に学習できるようになるとよいが、そのドメイン外では深刻に的外れな回答をする確率が高い