埋め込みの次元を増やす・結合するとは何をしているのか — 次元拡張の意図とメリット・落とし穴
100人を10畳の部屋に詰め込むと、誰もが隣の人とぶつかります。同じ100人を、...
自然言語とスケッチで株価を検索する：CLIP流対照学習とツインオートエンコーダによる金融時系列検索（Bamford+ ICAIF’23）
株価の時系列データベースに「今より少しボラティリティが高くて、右肩上がりの銘柄」...
Superposition（重ね合わせ）と特徴の多義性 — ニューラルネットは次元より多くの特徴をどう詰め込むか
画像認識モデルの中間層を調べていて、「犬の耳」にだけ強く反応するニューロンを見つ...
InfoNCE損失とは — NCEからの系譜と相互情報量の下界を導出で理解する
SimCLRもCLIPもMoCoも、自己教師あり学習の主要手法はみな同じひとつの...
埋め込みのアライメントとは — Alignment と Uniformity で対照学習の良さを測る
「良い埋め込み」とは何でしょうか。対照学習で得たベクトルが「良い」とき、私たちは...
Masked Autoencoder（MAE）の理論と実装 — 画像の75%を隠して学ぶ自己教師あり表現学習
100ピースのジグソーパズルを想像してください。75ピースを取り除き、残った25...
転移学習はなぜ効くのか — 転移可能性の理論と負の転移（Negative Transfer）
機械学習を学んでいると「大規模データで事前学習したモデルを流用すれば、手元の少な...
THEMIS：凍結した時系列基盤モデルの埋め込みでゼロショット異常検知
新しいセンサー群や新しい工場ラインに異常検知を導入するたびに、私たちは「そのデー...
対照学習(Contrastive Learning)の理論と実装
はじめに — なぜ対照学習が重要なのか 深層学習の成功は、大量のラベル付きデータ...
対照学習（Contrastive Learning）の理論と損失関数の導出
対照学習（Contrastive Learning）は、ラベルなしデータから有用...