PatchTST — パッチ化とチャネル独立設計で時系列Transformerを革新する【ICLR 2023】
Transformerは自然言語処理や画像認識で圧倒的な成功を収めてきましたが、...
stop-gradient（停止勾配）とは？順伝播はそのまま、逆伝播だけを止める仕組みを徹底理解
ディープラーニングの論文を読んでいると、stop_gradient、.detac...
InfoNCE損失とは — NCEからの系譜と相互情報量の下界を導出で理解する
SimCLRもCLIPもMoCoも、自己教師あり学習の主要手法はみな同じひとつの...
埋め込みのアライメントとは — Alignment と Uniformity で対照学習の良さを測る
「良い埋め込み」とは何でしょうか。対照学習で得たベクトルが「良い」とき、私たちは...
Masked Autoencoder（MAE）の理論と実装 — 画像の75%を隠して学ぶ自己教師あり表現学習
100ピースのジグソーパズルを想像してください。75ピースを取り除き、残った25...
THOC：多スケールの超球面で時系列を囲い込む階層One-Class異常検知
異常検知には、再構成や予測とは別の、もっと直截な発想がある。One-Class分...
対照学習(Contrastive Learning)の理論と実装
はじめに — なぜ対照学習が重要なのか 深層学習の成功は、大量のラベル付きデータ...
TimeSiam — Siameseネットワークで時系列の時間的相関を学習する【ICML 2024】
衛星のテレメトリデータには時間的な規則性があります。温度センサの値は軌道周期（約...
TimeSiam — Siameseネットワークで時系列の時間的相関を学習する【ICML 2024】
衛星のテレメトリデータには時間的な規則性があります。温度センサの値は軌道周期（約...
TimeSiam — Siameseネットワークで時系列の時間的相関を学習する【ICML 2024】
衛星のテレメトリデータには時間的な規則性があります。温度センサの値は軌道周期（約...