TimesFM - Googleの2億パラメータ・16kコンテキストの時系列基盤モデル

 (github.com/google-research)
7 ポイント 投稿者 GN⁺ 28 일 전 | 1件のコメント | WhatsAppで共有
  • TimesFMは Google Research が開発した時系列予測向けの大規模事前学習モデルで、デコーダ専用アーキテクチャを採用
  • 最新バージョン 2.5 はパラメータ数2億、コンテキスト長16k、最大1k horizon 予測をサポート
  • 連続分位予測、共変量入力（XReg）、Flax・PyTorch バックエンドなど多様な機能を含む
  • モデルは Hugging Face を通じて公開され、BigQuery にも統合されて活用可能
  • 時系列データ予測の汎用基盤モデルとして、研究と実務の両方で拡張性と効率性を提供

TimesFM の概要

  • TimesFM（Time Series Foundation Model） は Google Research が開発した時系列予測向け事前学習モデル
  • ICML 2024 論文 “A decoder-only foundation model for time-series forecasting” に基づく
  • モデルチェックポイントは Hugging Face コレクション を通じて提供され、BigQuery にも正式統合されている
  • オープン版は公式 Google 製品ではない

モデルのバージョンと主なアップデート

  • 最新バージョンは TimesFM 2.5。以前のバージョン（1.0、2.0）は v1 ディレクトリに保管されており、timesfm==1.3.0 でインストール可能

  • 2025年9月15日のアップデート

    • TimesFM 2.5 モデルを公開
    • パラメータ数を200Mに縮小（従来の500M比で半分以下）
    • コンテキスト長を16kに拡張（従来の2048から増加）
    • 連続分位予測（continuous quantile forecast） を最大1k horizonまでサポートし、オプションの 30M quantile head を含む
    • frequency インジケーターを削除
    • 新しい**予測フラグ（forecasting flags）**を追加
    • 推論 API（inference API） をアップグレード
    • 今後追加予定の項目
      1. Flax バージョンのモデル対応（より高速な推論）
      2. 共変量（covariate）サポートの復元
      3. docstring、ドキュメント、ノートブックの強化

  • 2025年10月29日のアップデート

    • XReg による共変量（covariate）入力サポートが TimesFM 2.5 に再追加

インストール方法

  • GitHub リポジトリをクローンし、uv を使って仮想環境を作成しパッケージをインストール
    • torch、flax、xreg の中からバックエンドを選択してインストール可能
    • OS とアクセラレータ（CPU、GPU、TPU、Apple Silicon）に応じて PyTorch または JAX（Flax） を選択可能

コード例

  • **PyTorch ベースの TimesFM 2.5（200M パラメータ）**モデルのロード例を提供
    • timesfm.TimesFM_2p5_200M_torch.from_pretrained("google/timesfm-2.5-200m-pytorch") を使用
    • ForecastConfig により、入力正規化（normalize_inputs）、連続分位ヘッドの使用、正の値の強制（infer_is_positive）、分位交差の修正（fix_quantile_crossing） などを設定可能
    • forecast() 呼び出し時に point forecast と quantile forecast の2種類の結果を返す
      • point_forecast.shape: (2, 12)
      • quantile_forecast.shape: (2, 12, 10) — 平均および10〜90分位を含む

関連記事

1件のコメント

 
GN⁺ 28 일 전
Hacker News のコメント

  • 一般的な時系列モデルという概念には少し違和感がある
    同じモデルがイタリアの卵価格と世界全体のインフレを同時に信頼性高く予測できるのか疑問だ
    しかも予測の根拠を説明できないなら、結果を信頼しにくいという点も問題に見える

    • 実際には、こうしたモデルは卵価格やインフレそのものを予測しているというより、時系列データをトレンド・季節性・残差に分解している
      中東での戦争のような非季節的イベントがインフレに与える影響は、モデルでは捉えられない
    • 私の理解では、合成学習データによって複数ドメインに共通する抽象的な時系列パターンを捉えられるようにしている
      論文の付録 8 によると、線形トレンド、ARMA、サイン・コサインの季節パターンなど、従来の統計モデルで合成データを作って学習させている
      結局は Transformer アーキテクチャなので、LLM のように入力コンテキストに応じて問題ごとのパターンを見つける
    • Google Ads で働いていたとき、広告キャンペーンの目標達成確率を予測するために時系列予測を使っていた
      多くの広告主は単純に現在の数値から直線を引いて予測していたが、曜日・季節性を反映していないため不正確だった
      一方で時系列モデルははるかに正確で、キャンペーン全体のデータで学習すれば 95% 信頼区間も提供できた
    • Benford の法則(Benford’s law)を適用することもできる
      符号と指数はゆっくり変化するのでそれを予測し、仮数部は Benford の法則で推定するという方法だ
    • アプローチとしては
      • 分解(decomposition): Fourier 変換の一般形を見つけて根本要因を分離する
      • 記憶(memorization): 複数ドメインで繰り返し現れるパターン（例: べき乗則）を学習する
      • マルチタスク(multitask): 天気と電力のようにドメイン間の関連性を活用する

  • タイトルに (2024) を追加したほうがよい
    すでに Google Research ブログで紹介されていた内容なので、最新ニュースではない

    • ただし 2025 年末に大きなアップデートがあった

  • 関連するブログ記事は GitHub の TimesFM ページで見られる

    • おそらくこの Google Research ブログ記事へリンクしたかったのだと思う
    • GPU 学習時間の総量が気になる
      LLM と比べるとはるかに小さそうだが、個人研究者や大学研究室レベルでも学習可能なのか知りたい
    • iOS の Chrome では、投稿された GitHub リポジトリと同じ内容として開く

  • 参考までに、似たプロジェクトとして Nixtla と Prophet がある

  • 「ELI5 レベルで説明できますか？ それと、何個のデータポイントを読めるんですか？」という質問があった

  • 時系列が文脈なしの単なる数字の集合として与えられるのか気になる
    モデルがデータを見て、どのカテゴリ（株価、検索トレンドなど）かを推定し、それに合った予測を出す構造に見える
    ただ、学習データにないカテゴリには弱そうだ
    個人的には ARIMA のような単純モデルや理論ベースのモデルのほうを好む

    • とはいえ、LLM が長いトークン列の次トークンを予測するように、このモデルも動作しうる
      核心はアーキテクチャと学習方法がどこまで一般化できるかだ

  • このモデルは数か月前から公開されていたが、実際にこれをベースに何かを作った事例があるのか気になる

  • 過去の太陽放射量と天気予報の時系列があるとき、将来時点の天気予報を使って電力価格を予測できるのか気になる
    つまり、ある時系列の時点 X のデータを使って別の時系列の時点 X を予測できるのか、それとも単一時系列内のパターンだけを扱うのか、という質問だ

    • 論文では予測(forecasting)に焦点を当てたとされている
      ただ、学習データが少ないと、単に「右肩上がり」のパターンだけを学んでしまう可能性があり、限界はありそうだ

  • このプロジェクトを見逃していたのだが、関連するコンペがあるのか気になる
    時系列と ML はいつも難しかったので、自分でも試してみたい

  • 個人的には、LLM + pandas + 独自の実験ループを回せば、このモデルより良い結果を出せる気がする

    • それなら自分で試してみればよい
      限界が決まっているわけでもないし、その主張のほうがむしろ間違っている可能性が高いと思う