InfoNCE損失とは — NCEからの系譜と相互情報量の下界を導出で理解する
SimCLRもCLIPもMoCoも、自己教師あり学習の主要手法はみな同じひとつの...
相互情報量とは？定義と性質をわかりやすく解説
2つの確率変数がどの程度「関連し合っている」かを定量的に測りたい場面は、情報理論...
自己情報量とエントロピーの定義をわかりやすく解説
「メッセージにどれだけの情報が含まれているか」を、数で測れたら便利だと思いません...
結合エントロピーと条件付きエントロピーを導出して理解する
情報理論では、1つの確率変数の不確実性をシャノンエントロピー $H(X)$ で測...
レート歪み理論 — 情報圧縮の限界
音声を電話で伝えるとき、どれだけデータを圧縮すれば十分な音質が保てるでしょうか。...
データ処理不等式と十分統計量 — 情報は処理で増えない
写真を何度フィルター加工しても、元の写真に映っていなかった人物が突然現れることは...