- TimeGPT は、追加学習なしで複数ドメインの時系列データを予測する 時系列ファウンデーションモデル
- 既存の統計・機械学習・ディープラーニング手法と比較して、ゼロショット推論における性能・効率・シンプルさを同時に改善するアプローチを掲げる
- 時系列予測は、金融、医療、気象、社会科学、電力需要、サーバー・労働者・機械の容量計画のように、将来の意思決定が必要な領域の中核基盤
- 既存の時系列予測分野では、ディープラーニングの効果に関する実務上の合意が弱く、言語や知覚領域ほど広く認知された 汎用事前学習モデル が不足していた
- 汎用事前学習モデルが、高精度予測へのアクセス性を高め、時間と計算複雑性を減らせる可能性を示す
TimeGPT が掲げるモデルの方向性
- TimeGPT は、学習中に見ていない多様なデータセットでも予測を生成できる時系列向けファウンデーションモデル
- 中核は、複数ドメインやアプリケーションに対して追加学習なしで予測を行う ゼロショット推論
- 事前学習済みの汎用モデルは、時系列予測の実務をより身近で正確なものにし、時間コストと計算複雑性を大きく下げる方向へ変えうる
時系列予測が使われる領域
- 時系列 は時間順に並んだデータであり、システム・企業・機関で将来の状態を判断する基盤データとして活用される
- 適用例は複数の領域にまたがる
- 景気循環とトレンドの理解
- 消費者の支出パターン把握
- 電力生産と電力網管理のための電力需要最適化
- サーバー、労働者、機械の容量やインフラの調整
- 海洋潮汐の測定と Dow Jones の日次終値追跡
- 金融、医療、気象、社会科学では、時間パターン、トレンド、周期変動を把握することが、将来値の予測と意思決定に重要
既存の予測手法の限界
- 時系列予測分野は、言語や知覚領域の生成モデルのように広く認知された水準の合意にまだ達していない
- 予測タスクにおける ディープラーニングの有効性 について、実務者の評価はいまだに分かれている
- 既存の予測研究は、真の汎用事前学習モデルが約束する水準を十分には満たしていない
評価結果と示唆
- TimeGPT は既存の 統計モデル、機械学習モデル、ディープラーニングモデルと比較評価された
- 評価の結果、事前学習済み TimeGPT のゼロショット推論は、性能、効率、シンプルさの面で優れているとまとめられている
- 他の AI 分野の進展から得られた知見を 時系列分析 にも適用できる根拠として活用される
- 大規模時系列モデルは、より高精度な予測へのアクセス性を高め、不確実性を減らす機会になりうる
1件のコメント
Hacker Newsの意見
時系列予測をかなり長くやってきたが、こうした時系列特化のディープラーニングモデルの有用性はまだ見いだせていない
非常に高次元のデータでは、たとえばカード決済処理会社で不正検知のモデリングをしたときのように、ディープラーニングが優位になる。だが、時間を他の特徴量とは別扱いする専用の「時系列」モデルを使う利点はほとんどなかった
最新性能だと主張されるN-BEATS、N-HiTSや、Transformer以前に流行したほぼすべてのRNN変種を試したが、ラグ値を特徴量として入れたMLPには勝てなかった。予測分野の他の人たちと話しても、同じ結果を見たと言っていた
中次元のデータではLightGBM/XGBoostが圧倒的に良く、たいていどんなディープラーニングモデルと同等かそれ以上の性能を出しながら、微調整はずっと少なく、計算時間もごくわずかで済む
低次元のデータでは十分なデータがないため、人間の直感で構造を組む必要があり、今でも(V)ARIMA/ETS/ファクターモデルが最強だ
だから、汎用的に高い性能を出す「時系列」モデルという主張には非常に懐疑的だ。言語モデルとは違い、時系列で学習しても世界が動く根本構造をモデルが理解できる範囲は限られているので、汎化能力も非常に限定的にならざるを得ない
それから、複数時点先を予測しなければならない多段階予測では、XGBoostのようなモデルをどう使うのかも知りたい
MLPにラグ特徴量を入れるやり方は、Transformerのアテンションでより長いシーケンス長を使うのと比べてどうなのだろうか。フィードフォワードニューラルネットワークに128時点分のラグ値を入れても良い結果が出るのか気になる
さまざまな機械学習アルゴリズムを試しながらインテリジェント取引ボット https://github.com/asavinov/intelligent-trading-bot を作ったときも、その結論に至った
ただし、Transformerが大きな利点をもたらし得る場合もある。数値予測に離散イベント分析を組み合わせ、イベントの順序が重要な場合、あるいはテクニカル分析で探す特定のパターンが重要な場合には有用かもしれない。こうした場合には、はるかに多くのデータが必要になる
GPTベースの市場予測を売ると言えば、チャートアナリストたちが間違いなく押し寄せてくるだろう
十分に大きな学習コーパスを持つ時系列モデルなら、季節性、ショック、外れ値のような典型的な特異点をかなりうまく扱えるかもしれないと思う
これまでの状況については全面的に同意するが、ここで提示されたようなモデルを実務家たちが試してみるのは楽しみだ。本当にうまくいく可能性もある
いや、Transformerは万能の解決策ではない
Transformerが最先端の汎用関数近似器のように感じられるとしても、なぜ言語とビジョンでこれほどよく機能するのかを理解する必要がある
Transformerは非常に並列化しやすく、精巧な中間表現を学習する。空間上で意味概念がきれいに分離され始め、区切り文字の検出も自然に行い、線・曲線・色・犬の耳のような要素の扱い方も学ぶ。最後の層はこうした精巧な概念を組み合わせて、犬／猫／ブログのような高次概念を学習する
しかしTransformer、より広くはディープラーニング手法全般は、時系列データからまだ新しい中間表現を抽出できていないため、うまく機能しない
表面的に見ても「トークンウィンドウ」をどう扱うべきなのか？ 最も単純に言えば、時系列モデリングとは、世界に関する特定の観測を条件として、互いに大きく異なるライフサイクルの反復パターンを識別することだ。そもそも問題に取り組むには、モデルが年・日・秒単位を同時に自然に推論できなければならない。皮肉なことに、先週のMITのストリーミングLLM論文がこれには役立つかもしれない
第二に、改善幅はよくてもわずかに見える。巨大なアーキテクチャ変更を提案しながら観測可能性と説明可能性をなくすなら、本当に圧倒的な結果が必要だ
実際、時系列予測で画期的な手法を見つけた人がいるなら、市場で最初の10億ドルを稼ぐ前に他人に話すのは愚かなことだ。10億ドルで止まるのも愚かだと思う。時系列予測は、解けるなら金銭的に最も大きな報酬をもたらす問題だ。論文として公開されたのなら、それ自体で期待外れだろうと予想する
入力テープが、収集可能なすべてのデータと関心のある時系列を連結したものから構成される、すべての単調汎用チューリングマシンを列挙すればよい。時間がかかりすぎるプログラムは飛ばし、入力シーケンスを再現する残りのプログラムだけを残したうえで、次の出力ビットに対する確率分布をプログラムサイズの2^-重みで作ればよい
何がそんなに難しいというのか？
高頻度取引業界では、すでに市場データにディープラーニングをかなり長い間、成功裏に適用してきた。パケットキャプチャやティックからローソク足まで、すべて扱っている
50人のクオンツ／ソフトウェアエンジニア／トレーダーのチームが年間10億ドル以上の利益を出す方法を、なぜ公開するだろうか？
標準的な時系列予測では、その特性はたいてい「周期的パターンは続く」や「成長パターンは続く」といったものだ
言語データで学習されたTransformerは本質的に、続きに影響する複雑な特性が非常に多様に現れる時系列予測を学習しているようなものだ。言語データはあまりに複雑で多様なので、テキストを書き続けるには文脈内学習が必要になる。どんな種類の記号列からでも共通特性を見つけ、それを利用して続きを書く能力だ
言語データの中には、株価や天気の記録のようなさまざまなデータが入った巨大なExcel表も含まれ得る。だから文脈内学習が非常に強力になり、ゼロショットで時系列の続きを書けるようになるというのはあり得る話だ
さらに、言語データとTransformerアーキテクチャには、文脈内学習のおかげで本物の汎用知能のような振る舞いを得る潜在力があると思う。汎用的なパターン認識だ。言語データは十分に複雑なので、確率的勾配降下法が汎用的なパターン認識と続きを書く能力につながらざるを得ない
私たちはまだ入り口にいて、今は文脈内学習を壊すファインチューニングに集中している。しかし近いうちに、あらゆるモダリティ、見つけられるあらゆる記号列で巨大なTransformerを学習するようになるだろう
ただ、動画は結局、層を重ねたビジョンのように見える。フレーム群のビジョンも、ビジョンと同じように機能できない理由は何だろう？ 現時点での答えは機能していないということだが、ニューラルネットワークにはできないのか、それともまだ正しいモデリング方法を見つけていないだけなのかが気になる
「Prophet [Taylor and Letham, 2018] や ARIMA のような人気モデルは、計算要求が過大で学習時間が長いため分析から除外した」というくだりが理解できない
時系列予測をたくさんやってきた人に、もっと詳しく説明してもらえるのか気になる
ARIMA は簡単な用途で使ったことがある。なぜ Transformer モデルより学習と実行のコストが高いのか分からないし、たとえ事実だとしても ARIMA は非常に広く使われているので、リソースと時間を比較すれば有益だったはず
そうでないと営業文句のように聞こえるし、「自分は専門家だ、abc xyz 業界略語」式のマーケティングのために難解な略語を投げているように見える
もっともな懸念に答えると、計算コストが高い理由はいくつかあります。第一に、ARIMA や他の「統計的」手法はローカルモデルなので、各時系列ごとに別々のモデルを1つずつ学習する必要があります。一方、機械学習やディープラーニングのモデルはグローバルモデルなので、すべての時系列に対して「1つの」モデルを使います
第二に、ARIMA は今回の実験のような多様な時系列集合では、通常あまり性能が良くありません。AutoARIMA のほうが良い選択肢ですが、時系列の数と長さを考えると学習時間ははるかに長くなります。また AutoARIMA は長い時系列で非常に遅くなる傾向があります
要するに、ベンチマークに使った50万本の時系列に ARIMA を適用すると、文字どおり数週間かかり、費用も非常に大きかったはずです
そのため、Theta や CES のように性能の良いいくつかのローカルな「統計的」モデルを含めました。すべてのベースラインには、StatsForecast、MLForecast、Neuralforecast を含む私たちのオープンソースエコシステムの実装を使いました。より小さなサブセットで再現可能な実験セットを近く公開する予定です
1970年代の予測手法を「学習時間が長い」という理由で除外するなら、この論文を真剣に受け止めるのは難しい
ARIMA を除外する言い訳はいくつか見つけられる。実際にきちんと動かすには、時系列に関する重要な事前情報、たとえば周期性や転換点の補正のようなものを入れる必要があるからだ
だが「過大な計算量と長い学習時間」は当てはまらない
その部分は少し大げさに見えるが、論文の残り、特に ゼロショット能力 は、確認されれば非常に興味深い。「お問い合わせください」式の API よりアクセスしやすくなって、自分で ARIMA などと比較できるようになることを期待している
欠点や限界はいくつもあるが、計算効率は問題ではない
この論文は内容が極めて薄い。重要なことに関する情報が事実上ほとんどなく、アーキテクチャとデータについては手ぶりで示すだけだ
その代わりに、MAE の式や学習と推論の概念を描いた図のようなものに紙幅を使っている。随所が危険信号だ
Nixtla の Max です。これほど多くの関心を集めるとは思っておらず、肯定的な反応も批判的な反応もどちらもうれしく見ています
いくつか重要な点を明確にしたいです
この論文の初版の主な目的は TimeGPT-1 を紹介し、大規模実験の予備的な結果を示しながら、時系列でもこの規模の転移学習が実際に可能であることを示すことです。論文で述べたように、事前学習済みモデルは多くのアプリケーションにおいて、計算資源の面で非常に費用対効果の高い解決策になり得ると強く信じています。また、この版はプレプリントです。データの一部について再現可能な実験セットを公開しようと作業しているので、待っていただければと思います
Nixtla のこれまでの仕事はすべてオープンソースでしたが、TimeGPT は実務者に予測と異常検知をすぐに提供する実行可能な商用製品になり得ると考えています。一部の興味深い詳細は、会社の成長に活用し、より良いソリューションを提供し、エコシステムを構築し続けるための競争優位にあたるため省略しました
このスレッドの他の人たちが言っているように、できるだけ多くの人を無料トライアルにオンボーディングし、より多くの独立した実務者が自分のユースケースで精度を検証できるよう取り組んでいます。Prophet 作者の初期印象 https://x.com/seanjtaylor/status/1694745912776749296?s=20、GluonTS 作者の反応 https://www.linkedin.com/posts/tim-januschowski_foundational...、H20 の人たちが行った初期テスト https://youtu.be/N0gyDVUFPlg?si=xH8oy5cjgLm-o_WD&t=457 も見られます。近く、より多くの独立ベンチマークが出てくることを期待しています
学界が「査読は重要だ」「その分野の専門家でないなら arxiv のプレプリントを読むな」と警告するとき、まさにこういうもののことを言っている
「不確実性は人生の本質的な側面であり、人間が疲れを知らずに乗り越え、理解しようとしてきた定数だ」という文はちょっとどうかと思う
本気で何かをやるのはいいが、それなら少なくとも BBC のドキュメンタリーより詩的であるべきだ
関連しているように見える？
Inverted Transformers Are Effective for Time Series Forecasting
https://news.ycombinator.com/item?id=37848321
これは製品 https://www.nixtla.io/ のためのマーケティング資料のように見える
間違っていればよいのですが、Seasonal Naive モデルよりおおよそ 20〜30% 良く見える程度です。その程度では、それほど有用には見えません
ゼロショットである点は確かに印象的ですが、実際にそれで多くのことができるようには思えません