時系列異常検知：10年間のレビュー

• 時系列異常検知：10年間のレビュー

  • 最近のデータ収集技術の進化とストリーミングデータの増加により、時系列分析の重要性が強調されるようになり、それに伴い時系列異常検知はサイバーセキュリティ、金融市場、法執行、医療など多岐にわたる分野で重要な活動として確立した。

  • 従来の異常検出文献は統計的指標に重きを置いていたが、近年増加した機械学習アルゴリズムは、時系列異常検出研究法に対して、構造的かつ一般化可能な性質を求めている。

  • 本サーベイは時系列の文脈で、プロセス中心の分類法を用いて既存の異常検知ソリューションを分類・要約する。さらに、異常検出手法の独自の分類を提示し、文献のメタ分析を行って時系列異常検出研究の一般的傾向を概観する。

[GN⁺]

Hacker Newsコメント

• UCR Matrix Profileは時系列分析で非常に効率的なツールです。モチーフと異常値の検出に関しては、従来の手法と異なり、窓サイズやしきい値を調整する必要がありません。製造センサーデータからECG分析、地震検知まで、さまざまな分野で活用可能です。
• Prometheusのoffset機能を使って、週次平均を記録ルールとして設定しています。週ごとに変動するシステムで特定の指標の平均を計算し、現在値と比較することで動的なしきい値を設定します。GitLabではこの方法の詳細が説明されています。
• ここ数年の作業は反映されていません。Granite TSという時系列ベースのモデルがうまく機能しており、異常値モデルは次のNステップを予測し、実測値が予測とどれほど異なるかを確認するという方法で動作します。
• 水技術分野では、IoTデバイスが水流を監視して漏れを検知し、機器別の水消費量を推定します。漏れ検知は時系列の異常値を識別することであり、季節によっては配管温度変化のため複数の分布が必要になる場合があります。
• パフォーマンス追跡プロジェクトで異常値検知を試みましたが、適切なオープンソースまたは有料ソリューションが不足しています。この分野には大きな機会があります。
• データ生成の複雑さ、測定システムの不完全性、悪意あるアクターとの相互作用により異常な現象が発生します。こうした異常イベントは収集されたデータ上で異常値として現れます。
• 産業機械の時系列異常検知を行うスタートアップを運営しており、オフラインで動作するソリューションを開発しています。セキュリティに敏感な産業向けソフトウェアに興味がある方は連絡してください。
• Eamonn KeoghのTSADに関する研究が興味深いです。
• SVMが「Distribution-Based」と分類された理由が気になります。一般に、モデルフリーの密度推定やモデルベースの分布推定は行いません。
• 10年前、修士課程でオンライン障害予測システムを構築し、例外が発生する前に検出して対応するシステムを開発しました。この分野ではやることが多かったのに、再び取り組めなかったのは残念です。