機械学習を使った時系列異常検知アルゴリズムは、発表のたびに「既存を大幅に上回る」と主張します。しかし宇宙機の運用に実際に使えるかというと、全く別の話です。なぜなら、研究コミュニティが長年使ってきたベンチマークデータセットの多く――NASA SMAP・MSL をはじめとするもの――は、現実の運用環境とかけ離れた性質を持っているからです。
- 異常密度が非現実的に高い（全データの20%超が異常というデータセットすら存在する）
- アノテーションが粗く、重複やミスラベルが多い
- サンプリングレートが均一かつ低次元で、実際の多変量テレメトリとは別物
- 評価指標のpoint-adjustは、ランダムな検出器でも高F値を得られることが指摘されている
欧州宇宙機関（ESA）と機械学習専門家の共同チームは、これらの問題をすべて直視したESA-ADB（ESA Anomaly Detection Benchmark）を2024年に発表しました（Kotowski et al., arXiv:2406.17826）。17.5年分、15億点を超える実運用テレメトリ、800件以上の丁寧なアノテーション、9つの技術要件、5つの評価側面から成る階層評価パイプライン――これを読めば、現実の異常検知評価がいかに複雑かがわかります。
本記事では ESA-ADB の全体像を、データセット設計・評価指標の数学的定義・ベースライン結果まで徹底的に解説します。異常検知の評価設計に携わる方、実運用向けのシステムを作ろうとしている方に特に役立つ内容です。
前提知識
この記事を読む前に、以下の記事を読んでおくと理解が深まります。
ESA-ADB の全体像
ESA-ADB は三つの主コンポーネントから構成されます。
出典: Kotowski et al., 2024 (arXiv:2406.17826), Supplementary Fig. 1
図からわかるように、ESA-ADB は ESA Anomalies Dataset（ESA-AD）を包む形で評価パイプラインとベンチマーク結果が組み合わさっています。ESA-AD は Mission1・Mission2・Mission3 の三ミッションからなりますが、Mission3 は異常が少なくシンプルすぎる（Wu & Keogh の「triviality」フラウ）ため ESA-ADB からは除外されています。データセットは Zenodo（doi:10.5281/zenodo.12528696、CC BY 3.0 IGO ライセンス）で公開されており、コードは GitHub（github.com/kplabs-pl/ESA-ADB、MIT ライセンス）で入手できます。
三つのコンポーネントが「評価の信頼性」という一つの目標に向かって設計されています。実際の宇宙機運用でアルゴリズムを信頼できるかどうかを確かめる――これが ESA-ADB の核心です。では、そのためにデータセットをどう設計したのでしょうか。
データセット：ESA-AD の設計
規模と多様性
ESA-AD の統計をまとめたのが次の表です。
出典: Kotowski et al., 2024 (arXiv:2406.17826), Table 1
主要な数値を整理すると以下のようになります。
| 項目 | Mission1 | Mission2 | 合計 |
|---|---|---|---|
| チャネル数（全体） | 76 | 100 | 176 |
| うちターゲット | 58 | 47 | 105 |
| テレコマンド数 | 698 | 123 | 821 |
| データポイント数 | 7.7億 | 7.8億 | 約15.5億 |
| データ期間（匿名化後） | 14年 | 3.5年 | 17.5年 |
| アノテーション済みイベント | 200 | 644 | 844 |
| うち異常 | 118 | 31 | 148 |
| うち稀正常イベント | 78 | 613 | 690 |
| うち通信ギャップ | 4 | 0 | 4 |
| アノテーション密度 | 1.80% | 0.58% | 1.19% |
このスケールは既存の公開衛星テレメトリデータセットと比較して桁違いです。NASA SMAP・MSL は各々数千万点程度ですが、ESA-AD は各ミッションで7億点超、合計15.5億点以上に達します。しかも匿名化処理（チャネル名・時刻・測定値の種類を隠蔽）を施しつつ、データ整合性はアルゴリズムが同一結果を出すことで検証されています。
アノテーション密度と現実的な希少性
異常密度は Mission1 で 1.80%、Mission2 で 0.58% です。これは「現実の運用環境に近い」設計です。多くの公開ベンチマークでは異常が 10〜50% を占め、「異常検知」よりも「クラス分類」に近い問題になっています。ESA-AD ではオペレーターが実際に経験する「年に数十件の異常」という感覚を保っています。
また重要なのは、訓練・検証・テストのすべてのセットに異常が含まれるという設計です。実運用では訓練データに異常が混入することは避けられません。多くのアルゴリズムはこれを想定していないため、ESA-ADB に対応するには専用の工夫が必要になります。
イベント分布とその時間的散らばり
844 イベントが17.5年にわたってどのように散らばっているかを示すのが次の図です。
出典: Kotowski et al., 2024 (arXiv:2406.17826), Fig. 1
上段が Mission1（14年間）、下段が Mission2（3.5年間）のイベントタイムラインです。横軸が時刻、縦軸が「イベントクラス番号」（同種のイベントは同じクラスに属します）。赤が異常（Anomaly）、青が稀正常イベント（Rare Event）、緑が通信ギャップ（Communication Gap）を表します。
この図から重要なことが読み取れます。まず、異常はミッション全体に散らばっており、「run-to-failure bias」（故障直前にデータが集中する偏り）が起きていません。次に、Mission2 は稀正常イベント（青）が圧倒的に多く、実際の異常（赤）はわずか 31 件しかありません。これが Mission2 での異常検知を非常に困難にしています――稀正常を検知してしまうアルゴリズムは大量の誤検知を出します。
この「稀正常と異常を区別できるか」という問いは、既存のベンチマークでは扱われてこなかった実運用固有の課題です。データ設計の工夫が確認できたところで、次にテレコマンドという特殊な入力に目を向けましょう。
テレコマンド：外生入力として異常検知を強化する
衛星テレメトリの大きな特徴の一つは、テレコマンド（TC）の存在です。地上から衛星に送る命令（スラスタ点火・姿勢制御モード変更・センサキャリブレーション等）は、テレメトリに大きな変化を引き起こします。この変化を「異常」と誤検知しないためには、アルゴリズムがテレコマンドを外生入力として受け取り、「このコマンドが送られたから、この変化は正常だ」と理解できなければなりません。
ESA-AD では各ミッションのテレコマンドに 0〜3 の優先度 が付与されています。
| 優先度 | 意味 |
|---|---|
| 0 | データセット内のサブシステムと直接関係しないTC |
| 1 | サブシステムに関連するがアノメリー検知には重要でないとSOEが判断したTC |
| 2 | SOEが異常検知に潜在的に有用と判断したTC |
| 3 | MLチームが優先度2から「訓練データに3回以上、テストデータに1回以上出現する」等の基準でさらに絞り込んだTC |
Mission1 では 698 TC のうち優先度3が 11 本、Mission2 では 123 TC のうち優先度3が 4 本です。優先度3のTCのみが DC-VAE-ESA と Telemanom-ESA に実際に入力されます。ただしこれはあくまで提案であり、研究者はどの組み合わせを使うか自由に実験できます。
テレコマンドの符号化方式も具体的です。元のデータは「TCが実行されたタイムスタンプのリスト」ですが、ESA-ADB ではターゲットリサンプリング解像度に従ってバイナリインパルス（実行タイムスタンプに1、それ以外に0）に変換されます。ゼロ次ホールド補間との相性が良く、リサンプリング後も TC 情報が失われません。
これはシステム要件 R6（「アルゴリズムはターゲットチャネル・非ターゲットチャネル・テレコマンドを区別し、すべての情報から学習しつつ、ターゲットチャネルの異常のみを報告できるべき」）に直結する設計です。テレコマンドが利用可能だということで、今度はアルゴリズムが何を求められるかを詳しく見ていきましょう。
9つの技術要件（R1〜R9）
ESA-ADB は宇宙機運用の現場を踏まえた 9 要件を定義しています。ECSS（欧州宇宙標準化協力機構）の用語に従い、最初の 2 件は「shall（必須）」、残り 7 件は「should（推奨）」です。
必須要件：
- R1. バイナリ出力：連続スコアだけでは不十分。閾値付きの 0/1 バイナリ判定を提供すること。オペレーターが「これはアラームか否か」を即座に判断できなければならない
- R2. リアルタイム・オンライン・ストリーム検知：地上管制は大きなデータバッチを通信ウィンドウでまとめて受信するため、厳密なリアルタイムは不要な場合も多い。ただし将来の衛星上搭載を見据えて、未来のサンプルを使わないストリーム処理が必要
推奨要件：
- R3. 複数チャネル間依存性のモデリング：多変量テレメトリにはチャネル間の複雑な依存がある。単変量アルゴリズムでは取りこぼす異常が多い
- R4. 訓練・検証データ中の異常からの学習：実運用では訓練データに異常が混在する。これを適切に扱えること
- R5. 影響チャネルリストの提供：どのチャネルが異常に関与しているかを出力できること。オペレーターの調査を支援するために不可欠
- R6. ターゲット・非ターゲット・TCの区別：前述のテレコマンド外生入力に対応
- R7. 稀正常イベントの学習による誤検知回避：初回出現後は異常と見なさないことが理想。既存のどのアルゴリズムもこれを明示的に達成していない点が ESA-ADB の重要な発見の一つ
- R8. 不規則タイムスタンプ・可変サンプリングレートのネイティブ対応：一般的なリサンプリングはギャップ長の情報を失い、誤検知を生みやすい
- R9. シングル高性能 PC で現実的な時間内に実行できること：計算コストの上限を明示
これら 9 要件を満たすアルゴリズムは現時点では存在しません。R7（稀正常イベントの区別）と R8（可変サンプリングレートへのネイティブ対応）は特に未達です。これは ESA-ADB がコミュニティへの「招待状」として機能していることを示しています。要件が明確になったところで、それを測定するための評価指標を詳しく見ていきます。
異常タイプの分類
評価の前に、どんな異常が存在するかを定義しておく必要があります。
出典: Kotowski et al., 2024 (arXiv:2406.17826), Supplementary Fig. 10
ESA-ADB では Blázquez-García ら（2022）の分類体系を拡張し、各異常を3属性で定義します。
次元性（Dimensionality）： – 単変量（Univariate）：1チャネルのみに影響する – 多変量（Multivariate）：複数チャネルに同時影響する（844イベント中 799/844=94.8% が多変量）
局所性（Locality）： – 大域的（Global）：少なくとも一つのサンプルが訓練データ全体の min/max 範囲を外れる – 局所的/文脈的（Local）：値自体は正常範囲内だが、文脈（前後のパターン）から見て異常
長さ（Length）： – 点（Point）：主要サンプリング周波数でリサンプリング後、3サンプル以下の短いもの – 部分列（Subsequence）：それより長い持続的な異常
実際のデータでは、多変量・大域的・部分列の組み合わせが最も多く（全体の 4〜59%）、点異常は比較的少数（全体の 1〜12%）です。なお、一つのアノテーションが複数の非連続セグメントから成ることもあります（たとえば同じ原因による断続的な乱れ）。この場合も「一つのイベント」として扱い、評価時に誤って複数の異常にカウントしないように設計されています。
異常の多様性が確認できたところで、最も重要なセクション——評価指標の設計——に進みましょう。
5つの評価側面と階層評価
ESA-ADB の評価パイプラインの最大の特徴は階層評価です。5つの側面（aspects）を優先度順に並べ、高優先度の側面で引き分けになった場合のみ次の側面の比較に進みます。
出典: Kotowski et al., 2024 (arXiv:2406.17826), Table 4
優先度 1（最高）：誤検知最小化と異常存在確認
2つの側面が同一優先度の最高位を占めます。
1a. 誤検知なし（No false alarms）：誤検知は解決に人的コストがかかり、オペレーターの信頼を損なう。高誤検知率のアルゴリズムは、他のすべての指標が優れていても実用的に使えない。
1b. 異常存在確認（Anomaly existence）：検知できた異常の数。この2側面を同時に測る指標として、補正イベントワイズ F0.5-score を採用。
両者を同一優先度にすることには深い意味があります。精度（誤検知防止）と再現率（見逃し防止）のどちらが重要かというトレードオフは運用者によって異なります。ESA-ADB は β = 0.5 として精度を重視しつつ（Hundman ら 2018 の推薦に従い）、この判断を透明化しています。
優先度 2：影響チャネル・サブシステムの特定
2a. サブシステム特定（Subsystems identification）：影響サブシステムの特定。サブシステムレベルでの概観が先決。
2b. チャネル特定（Channels identification）：具体的な影響チャネルの特定。サブシステム特定より詳細な情報。
この順序も現実的です。オペレーターはまず「電力系？熱制御系？」と大括りで把握し、次に具体チャネルを調べます。アルゴリズムがこの流れをサポートできるかを評価します。
優先度 3〜5：二次的側面
3. 一イベント一検知（Exactly one detection per anomaly）：同一異常に対して複数の断続的アラームを出すことは、誤検知に次いでオペレーターを混乱させます。
4. 検知タイミング（Detection timing）：異常開始時刻をどれだけ正確に捉えるか。早すぎる検知（誤警告）と遅すぎる検知（対応遅延）の両方が問題です。
5. 異常範囲と近接性（Anomaly range and proximity）：異常の持続時間の正確な捕捉と、誤検知が実際の異常に近い場所にあるかどうか。
これら後半3側面は重要ではあるものの、現実の管制では1・2優先度ほど緊急的ではない、という SOE の判断が反映されています。さて、これら各側面に対応する具体的な指標の数式を見ていきましょう。
補正イベントワイズ F-score：point-adjust の弱点を克服する
既存の評価指標に存在する根本的な問題から始めます。
sample-wise（時刻ワイズ）評価は各サンプルを独立に True Positive / False Positive としてカウントします。長い異常は正確に検知しやすいため、短くても重要な異常を軽視してしまいます。
point-adjust 評価（Hundman ら 2018）はより良いアイデアを持ちます。異常区間中の少なくとも1点を検知すれば、その区間全体を TP とみなします。しかしこれには致命的な欠陥があります――全サンプルを常に「異常」と出力するアルゴリズムが完全スコアを得られるのです。
ESA-ADB が採用した補正イベントワイズ F-scoreはこの弱点を次の設計で克服します。
出典: Kotowski et al., 2024 (arXiv:2406.17826), Supplementary Fig. 11
この図の例が核心を突いています。Algorithm 2（全区間を異常と判定）は通常のイベントワイズ F1 では完全スコア 1.0 を得ますが、補正版では 0 になります。
数式を確認します。まず補正イベントワイズ精度 $Prec_{corr}$ を次のように定義します：
$$ Prec_{corr} = \frac{TP_e}{TP_e + FP_e} \cdot TNR_t, \quad TNR_t = \frac{TN_t}{N_t} $$
ここで $TP_e$ はイベントワイズ真陽性数、$FP_e$ はイベントワイズ偽陽性数、$TN_t$ は真陰性の総ナノ秒数、$N_t$ は正常区間の総ナノ秒数です。
この式が持つ直感を整理します。通常のイベントワイズ精度 $TP_e / (TP_e + FP_e)$ に、時刻レベルの真陰性率 $TNR_t$ を乗算する形です。全区間を異常と出力するアルゴリズムは $TNR_t = 0$ となるため、精度が 0 に押し下げられます。偽陽性が多いほど $TNR_t$ が小さくなる、という罰則が自然に組み込まれています。
この補正精度と通常のイベントワイズ再現率 $Rec_e$ を組み合わせた補正イベントワイズ $F_\beta$-score は次の式で定まります：
$$ F_{\beta,e}^{corr} = (1 + \beta^2) \frac{Prec_{corr} \cdot Rec_e}{(\beta^2 \cdot Prec_{corr}) + Rec_e}, \quad Rec_e = \frac{TP_e}{TP_e + FN_e} $$
ESA-ADB では $\beta = 0.5$ を採用し、精度（誤検知防止）を再現率（見逃し防止）より重視します。Hundman ら（2018）の Telemanom 論文で使われた値と一致させることで、先行研究との比較も可能にしています。
多変量アノマリーへの対応：複数チャネルにまたがる異常では、すべてのターゲットチャネルのアノテーションと検知の論理和を取り、単一の時系列として計算します。
サブシステム・チャネル aware F-score
一般的な TSAD 指標は単変量（1 チャネル）の入出力を前提にしています。複数チャネルのスコアを得るには「チャネルをまたいで集約する」か「チャネルごとにスコアを計算して平均する」しかなく、どのチャネルが異常に関与したかを評価できません。
ESA-ADB はこの問題に対してサブシステム aware F-scoreとチャネル aware F-scoreを定義します。考え方はシンプルです。
サブシステム $s$ の真陽性 $TP_{SA}$：そのサブシステムにアノテーション済みチャネルが少なくとも1本あり、かつ検知済みチャネルも少なくとも1本ある（同じチャネルでなくてよい）。
$$ F_{\beta}^{SA} = (1 + \beta^2) \frac{Pr_{SA} \cdot Rec_{SA}}{(\beta^2 \cdot Pr_{SA}) + Rec_{SA}}, \quad Pr_{SA} = \frac{TP_{SA}}{TP_{SA} + FP_{SA}}, \quad Rec_{SA} = \frac{TP_{SA}}{TP_{SA} + FN_{SA}} $$
チャネル aware F-score $F_\beta^{CA}$ も同様に定義されますが、こちらはアノテーション済みチャネルと検知済みチャネルが1対1で対応している必要があります（あるチャネルが正解されていないと $FN_{CA}$ としてカウント）。
この指標は重要な実用的含意を持ちます。テレメトリに 50 チャネルあって 3 チャネルに異常がある場合、アルゴリズムが 47 チャネルを誤検知しながら 3 チャネルを検知しても高スコアにはなりません。精度（誤ったチャネルを指摘しない）が明示的に要求されます。このチャネル・サブシステム診断の側面が確認できたら、アラームの多重性という問題に移ります。
イベントワイズアラーミング精度：重複アラームを罰する
補正イベントワイズ F-score は、一つの異常イベントに対して分断された複数の検知があっても「1 TP」としてカウントします。これは「とにかく検知できたか」を測るには良いですが、オペレーターにとって分断したアラームは誤検知とほとんど変わりません。
出典: Kotowski et al., 2024 (arXiv:2406.17826), Supplementary Fig. 12
図中の「R」が余剰アラーム（redundant alarm）です。Algorithm 1 はイベント2に対して 2 回の余剰アラームを出しており、$TP_r = 2$ です。イベントワイズアラーミング精度 $Pr_A$ は次の式で定まります：
$$ Pr_A = \frac{TP_e}{TP_e + TP_r} $$
Algorithm 1 では $TP_e = 2, TP_r = 2$ なので $Pr_A = 0.5$。一方 Algorithm 2 は連続した大きな検知を1つ出し余剰なし、$Pr_A = 1.0$ です。後処理でアラームを統合するアルゴリズム（Telemanom の NDT など）は、この指標で恩恵を受けます。タイミングの精度についても、独自の指標が必要です。
ADTQC：異常検知タイミング品質曲線
異常検知のタイミング評価には、従来 After-TP（異常開始後の検知のみ有効）や Early Detection（ED）が使われてきました。しかし「早すぎる検知」をどう扱うかに関して、オペレーターの現実的な感覚と乖離がありました。
出典: Kotowski et al., 2024 (arXiv:2406.17826), Supplementary Fig. 14
ESA と KP Labs の SOE にアンケートを取り、「検知がどれくらい早い/遅い場合に実用的か」を定量化した結果が Anomaly Detection Timing Quality Curve（ADTQC） です。その関数形は次のとおりです：
$$ ADTQC(x) = \begin{cases} 0 & -\infty < x \leq -\alpha \\ \left(\dfrac{x + \alpha}{\alpha}\right)^e & -\alpha < x \leq 0 \\ \dfrac{1}{1 + \left(\dfrac{x}{\beta - x}\right)^e} & 0 < x < \beta \\ 0 & \beta \leq x < +\infty \end{cases} $$
ここで $x$ は「検知開始時刻 – 異常開始時刻」（正が遅延、負が早期）、$e$ はオイラー数（ネイピア数 $\approx 2.718$）です。パラメータは次のように決まります：
$$ \alpha = \min(\text{異常の長さ}, \text{異常開始時刻} – \text{前の異常開始時刻}) $$ $$ \beta = \text{異常の長さ} $$
この関数が持つ重要な非対称性を理解しましょう。早すぎる検知は指数的に品質が低下します（オペレーターはアラーム時点で異常を確認できないので、誤検知と区別できない）。一方、遅い検知はロジスティック的により緩やかに低下します。異常終了時刻（$\beta$）を過ぎた後の検知は品質 0 です。
点異常（$\alpha = 0$ または $\beta = 0$）は特別ケースで、正確な開始時刻の検知（$x = 0$）のみが品質 1 を得ます。それ以外は 0 です。
この非対称な設計は「早め早めに検知してアラートを出し続ける」戦略に対するペナルティとして機能します。SOE の信頼を維持するには「鳴ったら本当に異常がある」という精度が不可欠だというメッセージです。タイミングの次は、異常の空間的な範囲をどう評価するかです。
補正 affiliation ベース F-score
最後の評価側面（優先度5）として、異常範囲と近接性を測る補正 affiliation ベース F0.5-score が採用されています。これは Huet ら（2022）の affiliation-based metric をベースに修正を加えたものです。
元の affiliation-based metric は以下の特性を持ちます： – 連続する異常間のゾーンに基づいて局所評価する（各ゾーンの境界は異常間の中間点） – ゾーンごとに、アノテーションと検知の間の平均有向距離で精度・再現率を計算する（時刻ドメインで動作するため、リサンプリングに依存しない） – パラメータ不要、かつ「スコア 0.5 = ランダム予測」という統計的解釈が可能
ESA-ADB での重要な修正点：検知がゼロのアフィリエーションゾーン（見逃し）を元論文は平均から除外していましたが、これでは「1件だけ正確に検知して他は全て見逃す」アルゴリズムが「5件中バランスよく検知する」アルゴリズムより高いスコアを得てしまいます。ESA-ADB では検知ゼロのゾーンに精度 0.5（ランダム予測相当）を与えることでこの問題を解決しています。
これにより affiliation F-score は「異常から近い場所での誤検知」を「異常から遠い場所での誤検知」より高く評価するという直感的な特性を維持しつつ、見逃しにも適切にペナルティを与えます。5つの指標設計の意図が理解できたところで、実際のデータがどのような見た目かを確認しましょう。
チャネルの実際の姿：Mission1 と Mission2
Mission1：長期的に安定したが一部が難しい
出典: Kotowski et al., 2024 (arXiv:2406.17826), Supplementary Fig. 3
Mission1 のチャネルグループ4の例です。上段はアノテーションなし、下段はアノテーションあり。青の縦線が稀正常イベント、黄が通信ギャップ、赤が異常です。長期運用のため信号に緩やかなトレンドや分布シフトが見られます。「軽量サブセット」（チャネル 41〜46）は異常が多く挑戦的ですが、比較的手動解析可能な規模に収まっています。
Mission2：稀正常イベントが主役
出典: Kotowski et al., 2024 (arXiv:2406.17826), Supplementary Fig. 5
Mission2 の軽量サブセット（チャネル 18〜28）です。青の稀正常イベントが非常に多く、チャネル全体にわたって大きな変化を起こしています。上段（アノテーションなし）と下段（アノテーションあり）を見比べると、人間の目でも「これは異常か稀正常か」の判断が難しいことがわかります。Mission2 の実際の異常（赤）はわずか 31 件で、このノイズの中から拾い出す必要があります。これが Mission2 を最も難しい評価環境にしています。
ベースラインアルゴリズム
ESA-ADB は 8 アルゴリズムをベンチマークに採用しています。
教師なし（5本）： – PCC（主成分分類器）：PCA ベースのシンプルな基準線 – HBOS（ヒストグラムベース外れ値スコア）：各チャネルの独立なヒストグラム。50 ビン（デフォルト 10 では粗すぎた） – iForest（Isolation Forest）：ランダムフォレスト系の外れ値検知 – Windowed iForest：時間窓を使う変種。軽量サブセット限定 – KNN（k 近傍法）：軽量サブセット限定
半教師あり（3本）： – GlobalSTD：訓練データの正常サンプルから平均・標準偏差を計算し、$N$ 標準偏差外れたサンプルを異常とする。$N = 3$（STD3）と $N = 5$（STD5）の2バリアント。局所異常は検知できない – Telemanom-ESA：NASA の LSTM 予測ベース手法を大規模データ対応・多チャネル出力・GPU 対応に改造したもの。非ParametricDynamic閾値（NDT）付き – Telemanom-ESA-Pruned：NDT の 0.05 の magic threshold を 0.007 に下げ、誤検知を抑制するバリアント – DC-VAE-ESA：膨張畳み込み VAE を多チャネル対応・L2 正則化追加で改造。STD3/STD5 の 2 バリアント
教師なしアルゴリズムは TC・非ターゲットチャネルを入力に使えない点、チャネル aware スコアが出ない点に注意が必要です。Telemanom-ESA と DC-VAE-ESA は優先度3 TC を入力に含めることができます。
ベンチマーク結果
Mission1 の結果
出典: Kotowski et al., 2024 (arXiv:2406.17826), Table 2（一部）
階層評価による総合ランキングでは Telemanom-ESA-Pruned が Mission1 のベストアルゴリズムです。主要な知見を整理します：
Telemanom-ESA-Pruned の強み： – 軽量サブセットでの補正イベントワイズ F0.5 が最良 – すべてのミッションフェーズで他を大きく上回る（ただし閾値 0.007 は非常にデータ依存） – NDT（非パラメトリック動的閾値）によりアラーミング精度も最高
Telemanom-ESA-Pruned の弱み： – 「プルーニング」により channel-aware・subsystem-aware スコアが大幅低下（多くのチャネルで検知が抑制される） – 予測ベースのため異常を早く（異常開始より前に）検知する傾向があり ADTQC が低い – NDT の平滑化処理がこの早期検知効果をさらに増幅する
教師なしアルゴリズムの苦戦： – 全体的に Event-wise スコアが非常に低い – DC-VAE-ESA と GlobalSTD は少しマシだが、期待外れに終わっている – 主要因：ノイズと可変サンプリングレートによる大量の誤検知
DC-VAE-ESA の注目点： – ADTQC と affiliation ベーススコアでは Telemanom-ESA より高い場合がある – これは「適切な後処理・閾値調整でイベントワイズスコアも改善できる可能性」を示している
Mission2 の結果
出典: Kotowski et al., 2024 (arXiv:2406.17826), Table 2（続き）
Mission2 では結果が複雑になります：
軽量サブセット（チャネル 18〜28）： Windowed iForest が最良（補正イベントワイズ F0.5 = 0.949、ADTQC = 0.985）。このサブセットには稀正常イベントが多く突然の変化が特徴的なため、シンプルなウィンドウ切り出し+異常スコアで検知しやすかった。
全チャネル： Telemanom-ESA-Pruned が最良になるものの、スコアは大幅に低下。深層学習ベースの複雑なモデルが単純手法に劣る場面が多く現れた。
最重要な発見： 9件の実際の異常のうち、どのアルゴリズムも正確に特定できたものはゼロです。稀正常イベントの洪水の中から真の異常だけを取り出すという Mission2 のコアチャレンジは、現時点のアルゴリズムには未解決です。
高次元化の困難
全チャネルでの結果が軽量サブセットより著しく悪い主要因が二つあります：
- 次元の呪い：ターゲットチャネルが増えるほど、少なくとも一つのチャネルで誤検知を出す確率が増加する
- 依存関係の伝播：チャネル間の強い依存関係により、誤検知が関係のないチャネルに波及する（Telemanom-ESA の全チャネル訓練・軽量テストの実験で確認）
既存ベンチマークの問題と ESA-ADB の回答
Wu & Keogh（2021）が指摘したベンチマークの代表的なフローを ESA-ADB がどう解決したかをまとめます。
| Wu & Keogh のフロー | ESA-ADB の対処 |
|---|---|
| Triviality（自明性） | 大規模かつ多様な異常タイプ、コンセプトドリフト、困難な異常の選抜（Supplementary Table 4） |
| Unrealistic anomaly density（非現実的密度） | 異常密度 0.57〜1.80%、年数十件の異常という実運用感覚 |
| Mislabelled ground truth（ミスラベル） | SOE とMLチームの反復的な精緻化プロセス、複数アルゴリズムでのクロス検証 |
| Run-to-failure bias（故障直前集中） | 異常が長期ミッション全体にランダムに分散 |
また ESA-ADB は point-adjust 評価を明示的に採用しない立場を取っています。sample-wise 評価も過大評価の懸念から除外し、補正イベントワイズ F-score を主指標に選んでいます。VUS（Volume Under the Surface）は計算複雑度が2乗超のため大規模データへの適用が困難として除外されましたが、メトリクスの設計思想はVUS 記事で詳しく解説しています。
ESA-ADB が開く研究の地平
論文が指摘する未解決課題と今後の展望を整理します。
短期的な改善余地： – 後処理・閾値設計：DC-VAE-ESA の ADTQC スコアの高さが示すとおり、生スコアは良質でも閾値設定が悪ければイベントワイズスコアが下がる。モデル精度向上と同じくらい後処理の改善が重要 – Telemanom の過剰早期検知抑制：NDT の平滑化が早期検知を増幅しているが、これを適切に設計すると ADTQC が改善する可能性がある
中期的な研究方向性： – 稀正常イベントの記憶（R7）：現時点で達成しているアルゴリズムはゼロ。Few-shot・One-shot 学習との融合が期待される。ESA-AD は訓練セットに稀正常イベントのアノテーションがあるため、このテストに使える – 可変サンプリングレートへのネイティブ対応（R8）：TACTiS（位置時刻エンコーダ付き Transformer）のような手法が候補。ESA-AD の不規則タイムスタンプはそのまま維持されているため、対応アルゴリズムに適している
長期的な活用可能性： – コンティニュアル学習・コンセプトドリフト：Mission2 の稀正常イベントが引き起こす分布シフトは、継続学習アルゴリズムの評価に適している – 基盤モデル・Foundation Models：MOMENT・Chronos 等の時系列基盤モデルを ESA-AD でゼロショット評価できる – テレメトリデータ圧縮・予測：15億点のデータは予測・圧縮アルゴリズムの訓練にも使える – 衛星上搭載（On-board）異常検知：OPS-SAT 衛星での Telemanom のリアルタイム実行という前例がある。ESA-ADB の R9 は「シングル高性能 PC」を基準にしているが、将来の衛星搭載向けには R2 の制約が核心になる
データ前処理の設計
実際にアルゴリズムを適用する際の前処理設計も ESA-ADB の重要なコントリビューションです。
ゼロ次ホールド（ZOH）リサンプリング： – 不均一サンプリングのデータを均一な時刻グリッドに変換 – 「最後に既知の値を前方伝播」する補間法で、バイナリ・量子化信号（テレコマンド・センサのデジタル出力）に適している – 線形補間や Fourier 補間は「ありえない中間値」を生成するリスクがある – 未来のサンプルを使わないため、リアルタイム処理に対応
チャネルタイプ別の標準化： – 通常の数値チャネル：訓練セットの正常サンプルの平均・標準偏差で標準化 – バイナリチャネル（テレコマンド・ステータスフラグなど）：[0, 1] 正規化（標準偏差が極小になり数値誤差が生じるため） – 定数チャネル（標準偏差 = 0）：平均のみ引く – 単調チャネル（カウンタ・累積稼働時間など）：一階差分を取ってから標準化 – カテゴリカルチャネル：訓練セットでの出現順に整数エンコード後に標準化（ナイーブだがチャネルの手動マッピングが不要）
ターゲット対サンプリング周波数の選択： – Mission1: 0.033 Hz（点異常のあるチャネル 41〜46 の支配的周波数に基づく） – Mission2: 0.056 Hz（全ターゲットチャネルの支配的周波数。点異常なし）
まとめ
本記事では ESA-ADB（Kotowski et al., 2024, arXiv:2406.17826）を徹底的に解説しました。
データセット（ESA-AD）の特徴： – 176チャネル（ターゲット105）、821テレコマンド、17.5年、15.5億点 – 844アノテーション済みイベント（異常148、稀正常690、通信ギャップ4） – アノテーション密度 1.19%（現実的な希少性） – 訓練・検証・テスト全セットに異常が存在
評価パイプラインの革新： – 9要件（R1〜R9）による要件分析 – 5優先度側面の階層評価（誤検知最小化が最優先） – 補正イベントワイズ F0.5（TNR による精度補正でランダム検出器を排除） – サブシステム・チャネル aware F-score（影響チャネルの特定能力を評価） – ADTQC（早期検知を急速に罰し、遅延は緩やかに罰す非対称タイミング品質関数） – 補正 affiliation F0.5（見逃しゾーンに 0.5 の精度を与えてバランス化）
ベンチマーク結果の主要知見： – Telemanom-ESA-Pruned が Mission1 の総合最良（ただし閾値設計が高度にデータ依存） – Mission2 の実際の異常はどのアルゴリズムも検知できず（稀正常イベントの圧倒的多数が問題） – R7（稀正常イベントの記憶）と R8（可変サンプリングレートへのネイティブ対応）はいずれも未達 – 単純アルゴリズムが深層学習を上回る場面が複数存在
ESA-ADB は単なるデータセットではなく、「実運用で何が求められるか」という問いを評価パイプラインとして結晶化した貢献です。これを上回るスコアを主張するアルゴリズムは、現実の運用に近い候補として真剣に検討できます。
