再構成ベースの時系列異常検知には、地味だが厄介な弱点があります。「正常データだけで学習する」のが建前ですが、現実の訓練データにはラベルのない異常がしばしば紛れ込みます。再構成モデルは賢いので、その紛れ込んだ異常まで律儀に学習し、テスト時にも再構成できてしまう——結果、異常を異常として見逃すのです。「正常を覚えてほしい」のに「異常まで覚えてしまう」という、再構成ベースの根本的なジレンマです。
KDD 2025で発表された TSINR(Li et al., 2025)は、この問題に意表を突く角度から答えます。鍵は、ニューラルネットワークが持つスペクトルバイアス(spectral bias) ——「低周波の信号を優先的に学習し、高周波の信号は学習が遅い/苦手」という性質です。
普通、スペクトルバイアスはモデルの弱点とされ、緩和の対象になります。ところがTSINRはこれを逆手に取ります。時系列の正常成分はトレンドや周期のように滑らか＝低周波が主役。一方、異常(スパイク・不連続な逸脱)は急峻な変化＝高周波を多く含みます。だったら、低周波だけ得意なモデルで再構成すれば、正常はよく再現でき、異常は再現できずに大きな誤差として残る——スペクトルバイアスが「異常への鈍感さ」を自然に生む、というわけです。
これを実現するため、TSINRは時系列を 暗黙的ニューラル表現(INR; Implicit Neural Representation) ——時刻 $t$ を入力すると値を返す連続関数——としてモデル化します。
出典: Li et al., KDD 2025, Fig.1. 左(a)が時刻 $\{t\}_{i=1}^{T}$ を入力して多変量の値を返すINRの模式図、右(b)がスペクトルバイアスの核心です。学習が進むほど Initial → Underfit → Well-fitted → Overfit と再構成(赤)が観測(青)に近づきますが、Overfit まで進むと異常(ピンク帯)まで写し取ってしまいます。だからWell-fitted のあたりで学習を打ち切る(Early Stop) ——正常だけ再現でき異常が残る点を狙う、というのがTSINRの設計思想です。
本記事では、コードではなく仕組みと直感に集中して、TSINRを解き明かします。
本記事の内容
- 再構成ベース異常検知のジレンマと、TSINRの着眼点
- スペクトルバイアスとは何か（小実験での実演つき）
- INRによる連続関数表現と、トレンド/季節/残差の三成分分解
- 多変量を扱うgroup-basedな残差MLP(inter-/intra-channel情報)
- 全体アーキテクチャ（凍結GPT-2 → INR token → Transformer → INR重み生成）
- 異常スコアの定義と、5つのベンチマークでの性能
TSINRの新規性は3点に整理できます。(1) スペクトルバイアスを緩和せず逆用して低周波=正常を優先再構成する、(2) inter-/intra-channel情報を同時に学ぶ group-based なINR連続関数、(3) 凍結した事前学習LLMで異常の揺らぎを増幅する。以下ではこの3点を、図とデータフローで具体化していきます。
前提知識
この記事を読む前に、以下を読んでおくと理解が深まります。
TSINRの着眼：異常を「あえて再構成しない」
まず、TSINRが従来手法と何を変えたのかを直感で押さえましょう。
左が従来の再構成手法のイメージです。表現力が高いので、異常(赤帯)の鋭い変化まである程度写し取ってしまいます。すると観測と再構成の差(＝異常スコア)が小さくなり、異常を見逃します。
右がTSINRです。低周波を優先するスペクトルバイアスのおかげで、異常の高周波成分を再構成しきれません。その結果、異常の位置で観測と再構成が乖離し、誤差が大きく残ります。「うまく再構成できないこと」を、むしろ武器にしているのです。
この「低周波優先」という性質が話の根幹なので、まずそこを実際に見てみましょう。
スペクトルバイアスとは — 低周波が先に学習される
スペクトルバイアスは、ニューラルネットを学習させるとなめらかな(低周波の)構造から先に当てはまり、細かい(高周波の)変動は後から、あるいは最後まで合わないという現象です。言葉だけだと抽象的なので、小さな実験で確かめます。
なめらかな正常信号に、鋭いスパイク異常を3つ加えた波形を用意し、これを「時刻 $t$ → 値」を返すReLUのニューラルネット(INRの簡易版)に当てはめます。学習が進むにつれて再構成がどう変わるかを見たのが次の図です。
灰色が目標の波形(正常＋異常)、青がネットワークの再構成です。注目は赤帯のスパイク(異常)です。
- 学習初期：なめらかな全体の形(低周波)はもう捉えていますが、スパイクには一切反応していません。
- 学習途中：低周波はほぼ完璧。スパイクはまだほとんど再構成されず、平らなままです。
- 学習後期：ようやくスパイクにも追従し始めます。
つまり「なめらかな正常 → 鋭い異常」の順に学習が進みます。だから学習を適度なところで止めれば、正常だけが再構成され、異常は手つかずで残る。これがスペクトルバイアスであり、TSINRが異常検知に活かす中核の性質です。
では、この性質を最大限に引き出す「INR」という表現を見ていきます。
INR：時系列を連続関数で表す
暗黙的ニューラル表現(INR) とは、データを「座標 → 値」のニューラル関数として表す方法です。時系列なら、時刻 $t$ を入力すると、その時刻の値を返す連続関数 $f(t)$ をネットワークで構成します。
従来は時系列を「離散的な点の並び」として扱いますが(図の黒点)、INRは背後にある連続で微分可能な関数(青線)として表します。連続関数として捉えることで、離散点の隙間にある滑らかな時間構造(temporal continuity)を自然に学べ、逆に不連続な異常には敏感になります。そして、この連続関数の学習にスペクトルバイアスが効くわけです。
TSINRは、この $f(t)$ を意味のある3つの成分に分けて表現します。
三成分分解：トレンド・季節・残差
TSINRは連続関数 $f(t)$ を、解釈しやすい3つの成分の和として構成します。
$$ \begin{equation} f(t) = f_{tr}(t) + f_{s}(t) + f_{r}(t) \end{equation} $$
それぞれ、性質に合った関数で表します。
トレンド $f_{tr}(t)$ は長期のゆるやかな変化で、多項式で表します。
$$ \begin{equation} f_{tr}(t) = \sum_{i=0}^{p} w_{tr}^{(i)}\, t^{i} \end{equation} $$
季節成分 $f_{s}(t)$ は周期的な変動で、フーリエ級数(三角関数の和)で表します。
$$ \begin{equation} f_{s}(t) = \sum_{i=0}^{\lfloor T/2-1 \rfloor} \Big( w_{s}^{(i)} \cos(2\pi i t) + w_{s}^{(i+\lfloor T/2 \rfloor)} \sin(2\pi i t) \Big) \end{equation} $$
級数は $\lfloor T/2-1 \rfloor$ 項で打ち切られており、表せる最高周波数に上限が設けられています。
残差 $f_{r}(t)$ は、トレンドと季節で説明しきれない複雑な変動で、ここだけMLP(多層パーセプトロン) で表します。
ここで効いているのがわざと表現力を絞る設計です。トレンドの多項式は次数 $p$ を小さく抑え、季節のフーリエ級数も $\lfloor T/2-1\rfloor$ 項で打ち切る——どちらも低周波しか表せないように制限してあります。低周波(なめらかな正常)を素直に表す土台を、構造そのものに組み込んでいるわけです。残差MLPだけが複雑な変動を引き受けますが、それでもスペクトルバイアスにより高周波の異常は最後まで残ります。
論文は、この分解が実際に効くことを可視化しています。
出典: Li et al., KDD 2025, Fig.4. 上段が観測(灰)とTSINR再構成、下段が異常スコアです。ピンク帯の異常区間では、なめらかな成分で正常部分を再現しつつ、異常区間で再構成が追従しきれず下段のスコアが大きく立ち上がる様子が分かります。スパイク的でない緩やかな異常でも、低周波優先の分解が残差として浮かび上がらせています。
残差MLPの作りをもう少し見ておきましょう。
残差を表すgroup-based MLP
残差成分のMLPは、多変量(多チャネル)を効率よく扱うためにgroup-basedな構造になっています。
論文の図でも、入力 $t$ から global層(黄)を共有で通したあと、出力が複数グループ(緑・紫・青)に分岐し、各グループが独立に group層を通る様子が描かれています。
出典: Li et al., KDD 2025, Fig.3. 左から「タイムスタンプ $t$ → Global Layers(全変数共通) → Group Layers(グループごとに独立) → Data($d$ 変数)」というデータフローです。色分けされた経路が、グループごとに枝分かれした独立サブネットワークを表します。
式で押さえると、残差MLPは2段構えです。前半の global層(層番号 $m$)は全チャネルをまとめて通します。
$$ \begin{equation} q_{m+1} = \mathrm{ReLU}\!\left( W_r^{(m)} q_m + b_r^{(m)} \right) \end{equation} $$
そして $M$ 層通したあと、その出力 $q_M$ を $n$ 個(おおむね変数の数)に複製し、各グループ $i$ が独立な group層(層番号 $M+l$)を持ちます。
$$ \begin{equation} q_{M+l+1,\,i} = \mathrm{ReLU}\!\left( W_r^{(M+l,\,i)} q_{M+l,\,i} + b_r^{(M+l,\,i)} \right) \end{equation} $$
最後に各グループの出力を連結して残差 $f_r(t)$ とします。
$$ \begin{equation} f_r(t) = q_{M+N,1} \oplus q_{M+N,2} \oplus \cdots \oplus q_{M+N,n} \end{equation} $$
- global層：全チャネルに共通する構造(チャネル間＝inter-channelの関係)を捉えます。
- group層：チャネルをグループに分けて各グループが受け持つ変数を減らし、グループごとの個別変動(チャネル内＝intra-channelの関係)を捉えます。
論文の実験設定では global層が3つ、group層が2つで、活性化関数は ReLU です(画像生成系INRでよく使われるSIRENのsin活性ではなく、通常のReLU MLPである点が特徴)。global層で共通構造を、group層で個別変動を分担することで、各変数の表現力を情報を失わずに高められる、というのが論文の主張です。これがTSINRの新規性の一つ、「inter-/intra-channel情報を同時に学ぶ新しいINR連続関数」の正体です。
ここまでが「時系列をどう表すか」でした。次は「その表現の重みをどう作るか」です。
全体アーキテクチャ
INRは通常、系列ごとに個別フィットしますが、TSINRはTransformerに各系列のINRの重みをまとめて予測させる(ハイパーネットワーク的な)構成を取り、汎化を効かせます。さらに前段に、事前学習済み言語モデルを置くのが特徴です。
論文の全体ワークフロー図がこのデータフローを正確に描いています。
出典: Li et al., KDD 2025, Fig.2. 下から時系列データを「Instance Norm & Patching → Input Embedding → 凍結した Pre-trained LLM Encoder(左下に内部の Multi-Head Attention/Feed Forward を展開)」で特徴化し、それを Data Tokens に変換します。別途用意した学習可能な INR Tokens と一緒に Transformer Encoder へ入れ、出力された INR Tokens を FC で INR連続関数 $f(t)$ の重み(右側のTrend/Seasonal/Residualの3成分)に写像します。最後にその $f(t)$ から再構成データを得る流れです。
処理の流れを式とともに追います。
- 凍結GPT-2エンコーダ：入力 $X \in \mathbb{R}^{d \times T}$ を特徴 $Z = \mathrm{Encoder}(X)$ に写します。GPT-2の自己注意層とフィードフォワード層は凍結(freeze) したまま使い、事前学習で得た知識を保ったまま転用します。この符号化が、時間方向・チャネル方向の両方で異常の揺らぎを増幅します(後述)。
- トークン化：特徴 $Z$ を FC層で data tokens にします。これとは別に、学習可能なベクトルパラメータである INR tokens を初期化します。
- Transformer(6ブロック)：data tokens と INR tokens を一緒にTransformerエンコーダ(6ブロック)へ入れます。INR tokens は「クエリ」のように振る舞い、data tokens の情報を受け取って各系列向けに更新されます。
- 重みへの写像：更新された INR tokens を別の FC層で INRの全重み——トレンドの多項式係数、季節のフーリエ係数、残差MLPの重み・バイアス——に変換します。INRを系列ごとに個別フィットするのでなく、Transformerに一回の順伝播でまとめて生成させる(ハイパーネットワーク的)のがポイントで、推論は1ステップで済みます。
- INR $f(t)$ と再構成誤差：得た重みで連続関数 $f(t)=f_{tr}+f_{s}+f_{r}$ を構成し、観測とのズレを異常スコアにします。
このように、TSINRは「Transformerがデータを見て、その系列専用のINRの重みを丸ごと書き下す」という構造を取ります。INRの良さ(連続表現＋スペクトルバイアス)と、Transformerの良さ(データ依存の汎化・一括推論)を橋渡しするのが INR tokens という発明です。GPT-2で異常を強調しておくことで、後段のINRが「正常を再構成し、異常を残す」コントラストがいっそう際立つ、という設計です。
GPT-2エンコーダが実際にどう異常を増幅するのか、論文の可視化で確かめましょう。
出典: Li et al., KDD 2025, Fig.6. 5つのデータセット(SMD/PSM/SWaT/MSL/SMAP)について、元データ(青)と凍結LLMの特徴(橙)を上下2チャネルで重ねたものです。ピンク帯の異常区間で、LLM特徴は元データより時間方向(赤矢印)に大きく振れ、さらに上下チャネル間で同じ異常パターンが共有(緑矢印=チャネル方向) されています。凍結GPT-2を通すだけで、異常がより目立つ形に整えられている——再構成残差で異常を浮かせるための「下ごしらえ」になっているのが見て取れます。
最後に、異常スコアの定義と性能を確認します。
異常スコアと性能
異常スコアは、各時刻における観測 $x_t$ とINR再構成 $f(t)$ の二乗誤差(L2) を、チャネル方向に平均したものです。
$$ \begin{equation} \mathrm{AnomalyScore}(t) = \frac{1}{d} \sum_{i=1}^{d} \big\lVert x_{t,i} – f(t)_i \big\rVert^2 \end{equation} $$
ここで $d$ はチャネル数です。学習は基本的にこの再構成誤差(MSE)の最小化で行います。先のスペクトルバイアスにより、正常時点では $f(t)$ がよく一致して誤差が小さく、異常時点では再構成できずに誤差が大きくなります。先ほどの小実験で、このスコアがどう立つかを見てみましょう。
上段の通り、INRは正常部分をなめらかに再構成し、異常(赤帯)では追従できず乖離しています。その差を二乗した下段のスコアは、異常時点だけで鋭く立ち上がります。実際この実験では、異常時点の平均スコアは正常時点の数百倍に達しました。スペクトルバイアスという「弱点」が、そのまま異常検知の「武器」に変わっているのが分かります。
論文では、多変量の標準ベンチマークでこの効果が確かめられています。
| データセット | F1 [%] |
|---|---|
| SMD | 81.76 |
| MSL | 84.47 |
| SMAP | 83.35 |
| SWaT | 83.69 |
| PSM | 94.04 |
(数値は論文 Table 1 より。F1のほか、閾値に依存しない AUC・VUS でも評価されています。)
TSINRは、Anomaly Transformer・TimesNet・FEDformer・DLinear など11のSOTA手法と比較され、総合的に最良の性能を示しました。とりわけNASA由来のSMAPなど、滑らかな正常と急峻な異常のコントラストが効くデータで強みが出ています。前提記事で触れたSMD/PSMもこの評価に含まれています。
なお性能比較を読む際は、これらの数値が point-adjust 系の評価を含むかどうかにも注意してください(評価プロトコルの影響はSMD/PSMの記事で解説しています)。
まとめ
本記事では、TSINRを仕組みと直感の面から解説しました。
- 着眼：再構成ベースは訓練データの異常まで学習して見逃す。TSINRは異常を「あえて再構成しない」ことで防ぐ
- スペクトルバイアス：ニューラルネットは低周波(なめらかな正常)を先に学び、高周波(鋭い異常)は苦手。この性質を逆手に取る
- INRと三成分分解：時系列を連続関数 $f(t)=f_{tr}+f_{s}+f_{r}$ として表す。トレンド=多項式、季節=フーリエ級数、残差=group-based ReLU MLP
- アーキテクチャ：凍結したGPT-2で異常を増幅し、TransformerがINRの重みを予測。再構成のL2誤差を異常スコアに
- 性能：SMD/MSL/SMAP/SWaT/PSMで、11のSOTAと比較し総合最良
「モデルの弱点とされてきたスペクトルバイアスを、異常検知では武器に変える」という発想の転換が、TSINRの面白さです。手法の弱みが別の課題では強みになる——研究のアイデアの作り方としても示唆に富みます。
次のステップとして、以下も参考にしてください。
参考文献
- M. Li, K. Liu, H. Chen, J. Bu, H. Wang, H. Wang. “TSINR: Capturing Temporal Continuity via Implicit Neural Representations for Time Series Anomaly Detection.” Proc. 31st ACM SIGKDD (KDD ’25), 2025. DOI: 10.1145/3690624.3709266. arXiv: 2411.11641. 公式コード: https://github.com/Leanna97/TSINR
- A. Abdulaal, Z. Liu, T. Lancewicki. “Practical Approach to Asynchronous Multivariate Time Series Anomaly Detection and Localization.” KDD ’21, 2021.（PSM）
- Y. Su et al. “Robust Anomaly Detection for Multivariate Time Series through Stochastic Recurrent Neural Network.” KDD ’19, 2019.（SMD/OmniAnomaly）
- N. Rahaman et al. “On the Spectral Bias of Neural Networks.” ICML, 2019.（スペクトルバイアス）