畳み込み符号とビタビ復号の理論 — トレリスと動的計画法
携帯電話で通話するとき、音声データはデジタル化されてから無線回線を通って基地局に...
ターボ符号の理論 — 反復復号と性能限界
1993年、国際通信会議（ICC）の会場で、ベルー（Claude Berrou）...
LDPC符号の理論 — スパースグラフ符号の原理と復号アルゴリズム
デジタル通信では、ノイズのある通信路を通じてデータを正確に届ける必要があります。...
f-ダイバージェンスの統一理論 — KLダイバージェンスからχ²まで
2つの確率分布がどれだけ「異なる」かを測定する方法は一つではありません。統計的仮...
交差エントロピーとKLダイバージェンスの関係
機械学習で分類モデルを訓練するとき、ほぼ確実に登場する損失関数が交差エントロピー...
データ処理不等式と十分統計量 — 情報は処理で増えない
写真を何度フィルター加工しても、元の写真に映っていなかった人物が突然現れることは...
線形符号の理論 — 生成行列と検査行列による誤り訂正符号の体系的構築
デジタルデータを通信チャネルで伝送すると、ノイズや干渉によってビットが反転するエ...
ハミング符号の理論と誤り訂正能力 — 完全符号の優美な構造
1950年、ベル研究所の研究者リチャード・ハミング（Richard Hammin...
エントロピーの定義と物理的意味を徹底解説
熱いコーヒーをテーブルの上に置くと、やがて冷めて室温になります。しかし、室温のコ...
相互情報量の定義と応用
相互情報量は「2つの確率変数がどれだけ情報を共有しているか」を測る量です。相関係...