Google TimesFM - 時系列予測のための時系列ファウンデーションモデル

• Google Researchが開発した時系列予測向けのファウンデーションモデル
  • 1,000億件の実世界の時系列データポイントで事前学習
  • さまざまな公開ベンチマークで優れたゼロショット性能を示す
  • ドメインや時間単位が異なるデータセットに適用可能
• 時系列予測は、小売、金融、製造、医療、自然科学など幅広い分野で広く活用されている
  • 例えば小売分野では、需要予測の精度向上が在庫コストの削減と収益増加に寄与する
• ディープラーニングモデルの台頭
  • さまざまな設定で優れた性能を実証したディープラーニングモデルが、時系列予測で広く使われている
  • M5コンペティションでもディープラーニングモデルが好成績を収めた
• 大規模言語モデルの発展
  • 翻訳、検索拡張生成、コード補完などの自然言語処理タスクに使われる大規模言語モデルが急速に進化している
  • 大量のテキストデータで学習し、言語パターンを識別する能力を備えている
  • 検索と組み合わせることで、現在の出来事に関する質問への回答や要約が可能な強力なゼロショットツールとして活用されている
• ディープラーニングベースの予測モデルの限界
  • 従来手法より優れた性能を示す一方で、学習および推論コストの削減には課題がある
  • 新しい時系列データに対してモデルを試す前に、長い学習・検証サイクルが必要になる
• TimesFMは時系列予測のためのデコーダ専用ファウンデーションモデル
  • 1,000億件の実世界の時系列データで事前学習された単一の予測モデル
  • 最先端の大規模言語モデルよりはるかに小さい2億個のパラメータを持つ
  • さまざまなドメインと時間単位のデータセットに対し、ゼロショットで最先端の教師あり学習アプローチに近い性能を示す
  • 追加学習なしで、これまで見たことのない時系列データに対して即座に適切な予測を提供する
  • ユーザーが小売需要計画のような実際のダウンストリームタスクにおける予測改善に集中できるようにする
• 論文: "A decoder-only foundation model for time-series forecasting"、ICML 2024で発表予定

GN⁺の見解

• 有望に見える新しい時系列予測モデルだが、まだ多様な実運用ユースケースでの検証が必要そう。特に確率予測をまだサポートしていない点は、実用性の面で惜しい
• 入力として与える周波数値が実際の時系列データの頻度を反映せず、任意に調整可能という点は興味深いが、どの値が最適かは各データとユースケースに合わせて実験する必要がありそう
• 公開された最初のチェックポイントが単変量に焦点を当てているため、多変量予測が可能なバージョンにも期待したい。多変量時系列予測ベンチマークデータセットでの性能比較も必要になりそう
• このモデルを導入する際には、予測対象となる時系列の特性（長さ、分布、季節性、頻度など）と必要な予測ホライズンに合わせてモデルを選定・チューニングできる専門人材が必要になるだろう。end-to-end推論APIの提供により活用しやすそうだが、ブラックボックスモデルの限界も考慮すべき
• 類似の時系列予測ライブラリとしては、MetaのKats、GluonTS、Darts、sktimeなどがある。各ライブラリの特徴や長所・短所を比較検討したうえで、実データに最も適したモデルを選ぶのが望ましい