xLSTMTime: Long-term Time Series Forecasting With xLSTM
- 近年、Transformerベースのモデルは多変量長期時系列予測（LTSF）で顕著な成果を示してきた。しかし、高い計算コスト、時間的ダイナミクスの捉えにくさ、長期依存関係の管理といった課題に直面している
- 単純な線形構造を持つLTSF-Linearの登場により、Transformerベースのモデルを上回る性能が示され、時系列予測におけるTransformerの有用性が再評価されることになった
- これに対応して、この論文は最近のアーキテクチャである拡張LSTM（xLSTM）をLTSFに適用した結果を提示する。xLSTMは指数ゲーティングと、より高い容量を持つ修正メモリ構造を含み、LTSFに適した潜在力を持つ
- 私たちが採用したLTSFアーキテクチャであるxLSTMTimeは、既存のアプローチを上回る。複数の実世界データセットでさまざまな最先端モデルとxLSTMTimeの性能を比較した結果、優れた予測能力が実証された
- 私たちの研究結果は、洗練された再帰アーキテクチャがLTSFタスクにおいてTransformerベースのモデルに対する競争力のある代替となり得ること、そして時系列予測の地形を再定義する可能性を示唆している
GN⁺のまとめ
- この論文は、Transformerベースのモデルの限界を克服するためにxLSTMを導入し、長期時系列予測で優れた性能を示している
- xLSTMTimeは、指数ゲーティングと修正メモリ構造を通じて、既存モデルを上回る予測能力を実証している
- この研究は、時系列予測における再帰アーキテクチャの可能性を再び注目させ、Transformerベースのモデルに対する新たな代替案を提示している
- 類似の機能を持つプロジェクトとしては、FacebookのProphet、AmazonのDeepARなどがある
1件のコメント
Hacker Newsのコメント