多変量時系列の異常検知には、見落とされがちな二面性がある。ひとつは時間依存 ―― 各指標が過去の自分のパターンからどう外れるか。もうひとつは指標間依存 ―― 複数の指標がどう相関し合うか。たとえば「温度が上がれば流量も上がる」という関係だ。やっかいなのは、各指標は一見正常なのに、指標どうしの相関だけが崩れる 異常が存在することだ。温度は正常範囲、流量も正常範囲、しかし両者の連動が壊れている ―― こうした異常は、各指標を独立に見るモデルにはまったく引っかからない。
ところが従来手法の多くは、時間依存か指標間依存のどちらか一方しかモデル化していなかった。OmniAnomaly は指標間依存に重きを置き、MSCRED は時間依存を重視する ―― という具合に。両方を明示的にモデル化しなければ、片方の依存を破る異常を取りこぼす。
ここに正面から取り組んだのが InterFusion(Li et al., “Multivariate Time Series Anomaly Detection and Interpretation using Hierarchical Inter-Metric and Temporal Embedding,” KDD 2021)である。InterFusion は二視点(two-view)の階層変分オートエンコーダで、指標間依存と時間依存を同時に低次元へ埋め込む。さらにMCMC補完によって、検出だけでなく「どの指標が異常か」という解釈まで行う。本記事は論文(KDD 2021)を一次情報から読み込み、two-view埋め込み・prefiltering・階層VAEのELBO・MCMC補完を数式と図で深掘りする。本シリーズで何度もベースラインに登場する手法でもある。
全体像はこうだ。多変量時系列の窓を、時間方向に圧縮した時間埋め込み $z_2$(Conv1D)と、指標方向に圧縮した指標間埋め込み $z_1$(SRNN)の二つの確率的潜在変数で表す。階層VAEで再構成し、負の再構成確率を異常スコアとする。まず、なぜ両依存のモデル化が必要かを、異常の種類から見ていく。
多変量時系列の3つの異常型
論文は、複雑システムの監視指標(多変量時系列)に現れる異常を3種類に整理する。
- 時間異常(temporal anomaly)：複数の指標が同時に履歴上の正常パターンから大きく逸脱する(左)。システム全体の障害や再起動を示すことが多い。各指標を時間方向に見れば検出できる。
- 指標間異常(intermetric anomaly)：各指標はおおむね正常パターンに従うが、指標どうしの線形・非線形な関係が崩れる(中央)。たとえば「m3, m4 が m5, m6, m7 と正の相関」という履歴パターンが破られる。システムの一部の異常な振る舞いで、局所的な変動を起こす。各指標を独立に見ても気づけない。
- 指標間-時間異常(intermetric-temporal anomaly)：両方の依存が同時に崩れる(右)。時間・指標どちらの視点からも検出しやすい。
ここで核心になるのが指標間異常だ。各指標の値域は正常範囲に収まるため、時間依存だけを見るモデルには透明になってしまう。だからこそ、両依存を明示的にモデル化することが正常パターンを特徴づける鍵になる。これを実際のデータで確かめてみよう。
なぜ両依存が必要か：時間のみ vs two-view
5つの強く相関した指標を用意し、ある区間だけ一部指標の相関を反転させた(各指標の値域は正常のまま)。これを「時間のみを見るモデル」と「指標間も見る two-view」で比較する。
上段が5指標の時系列で、区間90-110で一部の指標の相関だけが崩れている。中段の時間のみモデル(各指標を独立に履歴予測した残差)は、異常区間のスコアが 0.06 と正常区間の 0.05 とほぼ変わらず、見逃す。各指標は値域内で正常に振る舞っているからだ。一方、下段の two-view(指標間相関の崩れも見る)は、異常区間で 0.82 と正常区間の 0.04 から劇的に跳ね上がり、検出する。両依存をモデル化することが、相関だけが崩れる異常を捉える決め手になる ―― これが InterFusion の設計動機だ。では、二つの埋め込みをどう作るのか。
two-view埋め込み：時間と指標を別々に圧縮する
InterFusion の埋め込みは、画像向けの伝統的な階層VAEとは設計が異なる。
手順はこうだ。まず入力窓 $x_{1:W} \in \mathbb{R}^{M \times W}$ に、時間方向に沿った Conv1D を適用して時間埋め込み $z_2 = f(x_{1:W}) \in \mathbb{R}^{M \times W’}$ を得る($W’$ は圧縮された窓長)。次に対応する Deconv1D で再構成入力 $d_{1:W} = g(z_2) \in \mathbb{R}^{M \times W}$ を作る。そして $d$ の指標方向に沿って、SRNN(構造化RNN)風のアーキテクチャで指標間埋め込み $z_1 \in \mathbb{R}^{M’ \times W}$ を導出する($M’$ は圧縮された指標次元数)。
なぜこの順序か。画像向けの伝統的HVAEは、大きな $z_2$ で低レベル特徴を捉え、小さな $z_1$ を $z_2$ から直接導く。だがこれを時系列に当てはめると、時間圧縮された $z_2$ から導いた $z_1$ が特定時刻の特徴と整合しなくなる。$z_1$ は各時刻 $t$ の指標間関係を符号化すべきなのに、時間圧縮された $z_2$ から小さな $z_1$ を直接導くと時間順序と食い違う。two-view埋め込みは、学習済みの時間情報を意識しつつ、指標間埋め込みの時間整合性を保つための工夫なのだ。ただし、ここに学習上の落とし穴がある。
prefiltering：異常への過適合を防ぐ
柔軟な指標間埋め込みは複雑な依存を捉えるのに必要だが、訓練に使う生の多変量時系列には異常が混ざっていることが多い。生データから直接柔軟な埋め込みを学ぶと、異常パターンに過適合して検出性能が落ちる。
そこで InterFusion は prefiltering戦略 を採る。指標間埋め込み $z_1$ を、生入力 $x$ からではなく再構成入力 $d$ から導出する。$d$ は埋め込み-再構成の手続きを通じて $x$ の時間異常を濾過しつつ、生入力を忠実に再構成しようとする。さらに $d$ は学習開始時の再構成能力を確保するため、VAEモデルで事前学習しておく。こうすることで、柔軟な指標間埋め込みを保ちながら、潜在的な異常への過適合リスクを下げる ―― 系列予測の scheduled sampling から着想を得た工夫だ。これら二視点埋め込みと prefiltering を、ひとつの確率モデルにまとめたのが階層VAEである。
階層VAE：二つの潜在変数とELBO
InterFusion は二つの確率的潜在変数 $z_1$(指標間)・$z_2$(時間)を持つ階層VAEだ。VAEは通常、変分下界(ELBO)を最大化して学習する。
$$ \begin{equation} \mathcal{L}(x, \theta, \phi) = \mathbb{E}_{q_\phi(z_1, z_2, d|x)}[\log p_\theta(x|z_1, z_2, e)] – D_{KL}(q_\phi(z_1, z_2, d|x) \,\|\, p_\theta(z_1, z_2, e)) \end{equation} $$
補助決定変数 $d$(推論側)・$e$(生成側)を取り込んで展開すると、
$$ \begin{equation} \mathcal{L} = \mathbb{E}_{q_\phi}\big[\log p_\theta(x|z_1, z_2, e) + \log p_\theta(z_1, e|z_2) + \log p_\theta(z_2) – \log q_\phi(z_1, d|z_2, x) – \log q_\phi(z_2|x)\big] \end{equation} $$
第1項が再構成項、残りがKL正則化項に対応する。ポイントは補助変数 $d, e$ の扱いだ。$d_{1:W}$ は時間圧縮された $z_2$ に DeconvNet を適用して得る決定的な「再構成入力」なので、$q_\phi(d_{1:W}|z_2) = \delta(d_{1:W} – g(z_2))$ というデルタ分布に従う。生成側の $p_\theta(e_{1:W}|z_2) = \delta(e_{1:W} – g(z_2))$ も同様だ。推論ネット(qnet)と生成ネット(pnet)で DeconvNet のパラメータを共有することで、$q(d|z_2) = p(e|z_2)$ となり、ELBO計算時に相殺される。これにより、推論は $q_\phi(z_2|x) \to d=g(z_2) \to q_\phi(z_1|d)$ の流れ、生成は $p_\theta(z_2) \to p_\theta(z_1,e|z_2) \to p_\theta(x|z_1,z_2,e)$ の流れで、すっきり計算できる。学習が済んだら、検出時にもうひとつの工夫が入る。
MCMC補完：異常のバイアスを取り除く
VAEで異常を検出する素朴な方法は「再構成確率が低い点を異常とする」だ。だが論文が指摘するように、テストデータ中の異常が埋め込みにバイアスをかけ、再構成の推定を歪める。新しく来たデータ $x_t$ が異常かどうか分からないので、InterFusion はあらかじめ異常だと仮定してMCMC補完で妥当な再構成を得る。
MCMC補完はもともと画像の欠損補完の手法だ。入力 $x = (x_o, x_m)$ を観測部分 $x_o$ と欠損部分 $x_m$ に分け、潜在埋め込み $z \sim q_\phi(z|x_o, x_m)$ をサンプリングして $x_m$ を再構成し $x_m’$ を得る。$(x_o, x_m)$ を $(x_o, x_m’)$ で置き換えて反復すると、補完値 $x_m’$ が正しい周辺分布 $p(x_m|x_o)$ から得た正常パターンに近づいていく。検出時には窓の最新点 $x_t$ を「異常」とみなして $x_m$ とし、他の点を $x_o$ とする。十分大きい $S$ 回反復してバイアスを除き、より妥当な再構成 $\bar x = (x_o, x_m’)$ を得る。補正後の再構成確率は $L$ 個の $(z_1, z_2)$ サンプルでモンテカルロ積分する。
$$ \begin{equation} \mathbb{E}_{q_\phi(z_1, z_2|\bar x)}[\log p_\theta(x|z_1, z_2)] = \frac{1}{L} \sum_{l=1}^{L} [\log p_\theta(x|z_1^{(l)}, z_2^{(l)})] \end{equation} $$
異常スコアは負の補正再構成確率だ ―― スコアが高いほど異常らしい。この同じMCMCの発想が、解釈にも使われる。
検出と解釈：どの指標が異常かを局在化する
InterFusion の強みは、検出にとどまらず異常解釈 ―― 検出した各異常について「最も異常な指標群を見つける」ことだ。
上段のように異常スコアが閾値 $\delta$ を超えた点を異常と判定し、下段のように指標ごとの再構成確率の悪さで「どの指標が異常か」を局在化する。ここでも問題は、異常が埋め込みにバイアスをかけ、正常な指標まで再構成が悪くなることだ(他の異常指標の影響で)。そこでMCMCを使う。検出した異常 $x_t$ について、まず元の再構成確率 $r_0 = \mathbb{E}_{q_\phi(z_1,z_2|x)}[\log p_\theta(x|z_1,z_2)] \in \mathbb{R}^{M \times W}$ で「最も異常な点」群 $x_m$ を推定し、MCMC補完でより妥当な埋め込みと再構成を得る。最初の推定がすべての異常を覆えるとは限らないので、再構成が「十分に正常」になるまで反復する。これにより、異常指標の影響を除いた正常パターンを近似し、本当に異常な指標群を特定できる。設計が実データで効くことを、結果が裏づける。
評価：検出と解釈の両方で最良
論文は SWaT・WADI・SMD・ASD の4データセットで、LSTM-NDT・MSCRED・MAD-GAN・OmniAnomaly・USAD・DSANet などと比較している。InterFusion の検出 best-F1 は SWaT 0.928・WADI 0.910・SMD 0.982・ASD 0.953、平均 0.9433 で全ベースラインを上回った。とくに、指標間依存だけを見る OmniAnomaly(平均0.831)や時間依存中心の MSCRED に対し、両依存を捉えることで微妙な異常(局所的な変動や相関異常)まで取りこぼさないのが効いている。
解釈性能(IPS、どの指標が異常かの局在化精度)でも、InterFusion は SMD 0.834・ASD 0.911、平均 0.872 で最良だ。MCMC補完を使わない変種(InterFusion-nI)より一貫して高く、MCMC補完が解釈の質を押し上げていることが分かる。検出と解釈を両立する点が、運用での troubleshooting を加速する実用性につながっている。
まとめ
InterFusion のエッセンスを整理する。
- 問題：多変量時系列には時間依存と指標間依存の二面がある。各指標は正常でも相関だけ崩れる指標間異常は、片方の依存しか見ないモデルには透明(デモで時間のみ0.06 vs two-view 0.82)。
- two-view埋め込み：Conv1Dで時間埋め込み $z_2$、その再構成入力 $d$ の指標方向からSRNNで指標間埋め込み $z_1$ を導出。画像向けHVAEの時刻整合崩れを避け、時間整合性を保つ。
- prefiltering：$z_1$ を生入力でなく再構成入力 $d$ から導出(VAE事前学習)。訓練データの異常への過適合を防ぐ。
- 階層VAE + ELBO：二潜在変数 $z_1, z_2$ と補助決定変数 $d, e$(デルタ分布、DeconvNet共有で相殺)。ELBOをSGVBで最大化(式1-2)。
- MCMC補完：最新点を異常と仮定し反復補完してバイアスを除去。異常スコア=負の補正再構成確率(式5)。同じ発想で異常解釈(局在化)も実現。
- 結果：検出best-F1平均0.9433、解釈IPS平均0.872でともに最良。
InterFusion は「時間 vs 指標間」という多変量時系列の二面性を、二視点の階層VAEで初めて同時に捉え、さらにMCMCで解釈まで踏み込んだ一手だ。SARAD や OmniAnomaly が片方の側面を深掘りするのに対し、両依存の融合と解釈性で独自の位置を占めている。
