xLSTMを活用した長期時系列予測: XLSTMTime

 (arxiv.org)
1 ポイント 投稿者 GN⁺ 2024-07-18 | 1件のコメント | WhatsAppで共有

xLSTMTime: Long-term Time Series Forecasting With xLSTM

  • 近年、Transformerベースのモデルは多変量長期時系列予測（LTSF）で顕著な成果を示してきた。しかし、高い計算コスト、時間的ダイナミクスの捉えにくさ、長期依存関係の管理といった課題に直面している
  • 単純な線形構造を持つLTSF-Linearの登場により、Transformerベースのモデルを上回る性能が示され、時系列予測におけるTransformerの有用性が再評価されることになった
  • これに対応して、この論文は最近のアーキテクチャである拡張LSTM（xLSTM）をLTSFに適用した結果を提示する。xLSTMは指数ゲーティングと、より高い容量を持つ修正メモリ構造を含み、LTSFに適した潜在力を持つ
  • 私たちが採用したLTSFアーキテクチャであるxLSTMTimeは、既存のアプローチを上回る。複数の実世界データセットでさまざまな最先端モデルとxLSTMTimeの性能を比較した結果、優れた予測能力が実証された
  • 私たちの研究結果は、洗練された再帰アーキテクチャがLTSFタスクにおいてTransformerベースのモデルに対する競争力のある代替となり得ること、そして時系列予測の地形を再定義する可能性を示唆している

GN⁺のまとめ

  • この論文は、Transformerベースのモデルの限界を克服するためにxLSTMを導入し、長期時系列予測で優れた性能を示している
  • xLSTMTimeは、指数ゲーティングと修正メモリ構造を通じて、既存モデルを上回る予測能力を実証している
  • この研究は、時系列予測における再帰アーキテクチャの可能性を再び注目させ、Transformerベースのモデルに対する新たな代替案を提示している
  • 類似の機能を持つプロジェクトとしては、FacebookのProphet、AmazonのDeepARなどがある

関連記事

1件のコメント

 
GN⁺ 2024-07-18
Hacker News のコメント

  • ここ数年、Transformer ベースのモデルが多変量の長期時系列予測で注目されているのは確かだが、非ディープラーニングモデルより一般に優れているのかは疑問
    私の理解ではそうではなかったが、この分野をそれほど closely に追っているわけではない

    • 決済／支出予測の経験では、ディープラーニングは概して勾配ブースティング木より性能が低かった
      ディープラーニングモデルは季節性を学ぶのは得意だが、複雑なトレンドやショックはうまく扱えない傾向がある
      経済・金融データは季節性が単純でトレンドが複雑なことが多いので、ディープラーニングはかなり苦戦するように思う
      この論文には同意する。私が使った中で良かったディープラーニング時系列アーキテクチャは、DeepAR や N-BEATS のように MLP やリカレントニューラルネットワークの単純な拡張に近いもので、Transformer ベースの構造は、特に最近大量に出ている Transformer ベースの基盤モデルまで含めて、本当にひどかった
    • 航空安全の仕事では、多変量時系列予測でディープラーニングが従来の非ディープラーニングモデルより優れていた
      ただしディープラーニングモデル同士でも、Transformer、双方向 LSTM、通常の MLP、VAE などで性能差は非常に大きかった
    • 自分で使ったわけではないが、最近の時系列分析で XGBoost のような木ベースモデルを使っている友人とこの話題について話した
      その友人は、Transformer ベースの構造は木モデルに比べ、比較的少ない労力でも時系列タスクでまずまずの性能を出しやすいと言っていた
      私の理解では、十分にパラメータをチューニングすれば木ベースモデルが通常は Transformer に勝てる。ただし TimeGPT のようなモデルは、広範なチューニングなしでもそこそこの性能を出すので、素早い実装には魅力的
    • 論文のすぐ次の段落にその話が出ている。xLSTMTime も Transformer ベースではない
    • ずば抜けた水準ではないが、最近の転移学習の試みは有望に見えた

  • 私の仕事の一部は実際に、経済分野のナウキャスティングと予測モデルを作ること。インフレ率、GDP のような経済指標と、市場流動性のような金融指標を扱っている
    まだ論文は読めていないが、「Transformer は得意なことでは素晴らしいが、LSTM 系モデルもなお非常に価値がある」という全体的なトーンには完全に同意する

    • 仕事で Mamba を適用してみる機会があったのか、考えを聞いてみたい

  • これは Google の AI ベースの天気予測モデルとどう関係があるの？
    https://deepmind.google/discover/blog/graphcast-ai-model-for...

    • 違う。Graphcast は ERA5 の大気再解析データで学習したグラフ Transformer であって、汎用の時系列予測モデルではない
      参考までに、Graphcast は少なくとも大規模な全球パターン予測では、すべての従来型の全球単一予測を上回っている。Z500 のような指標で、おおむね 3〜10 日先の区間が基準
      ECMWF には Graphcast 派生の AIFS があり、数年以内にそれか類似のものを運用環境に載せる可能性が高い

  • 予測ツールとして売り出されているなら、時系列のイベント分類には適用されないのだろうか？

    • それは少し別のタスクだと思う。この分野の専門家というほどではないが、イベント数 n が非常に小さいなら、各イベントごとの確率を目標値にする多変量予測問題のように扱うことはできそう
    • このアプローチや Transformer／LLM ベースのアプローチが、例えば異常検知をどこで改善するのかも気になる

  • 論文中のデータセットリンクが動かないのが残念。修正されるといい

  • 最高のディープラーニング時系列モデルは、ヘッジファンド内部に非公開で存在しているはず

    • 実際に難しい作業の大半は、巨大な単一モデルではなく特徴量設計。私の知る限り、勾配ブースティングが今でも支配的
    • ノーフリーランチ定理があるので、一般に最高のモデルなどというものはない
      ヘッジファンドでうまくいく方法でも、データ量やデータの性質が異なり、必要な帰納バイアスが少ない、または異なる領域では悪い可能性がある
    • 少なくとも高度なヘッジファンドは、もはや時系列モデリングを使っていないと思う。今の基準ではかなり古臭い

  • 時系列予測は決定論的な領域で最もよく機能する
    公開されている LLM、AI、ディープラーニング、機械学習手法の中で株式市場に効くものはない。本当に一つもない。全部試した

  • 誰かの時系列予測手法が実際に効いたなら、それを公開してはいなかったはず

    • 必ずしもそうではない。実際にはかなり公開もされている。時系列タスクの圧倒的多数は、資産価格や株式市場のリターンに勝つこととは関係がない
    • Transformer モデルも AI の歴史上最も成功したモデルの一つだったが、論文として公開された

  • これを XSLT と読み間違えた

    • 2024 年に XML 関連の記事がどれほど面白いのか気になってクリックしたが、同時にがっかりもし、満足もした
    • そうだね。そしてこれも変換についての記事ではある
    • 自分もそうだった。年を取ったのかな？

  • 誰かがこれで株価予測をしようとして全財産を失う日が楽しみだ