情報理論

「2つの確率分布がどれだけ違うか」を数値で表したい——機械学習や統計の現場でこの...

KLダイバージェンスとは、2つの確率分布 $P$ と $Q$ の「ずれ」を1つの...

コインを投げたときに得られる情報量は、シャノンのエントロピーで定量化できます。し...

手元のデータに直線を当てはめるか、2次曲線を当てはめるか、それとも10次の多項式...

2つの確率変数がどの程度「関連し合っている」かを定量的に測りたい場面は、情報理論...

「メッセージにどれだけの情報が含まれているか」を、数で測れたら便利だと思いません...

情報理論では、1つの確率変数の不確実性をシャノンエントロピー $H(X)$ で測...

1972年、NASAの惑星探査機マリナー9号は火星の表面写真を地球へ送り届けまし...

音声を電話で伝えるとき、どれだけデータを圧縮すれば十分な音質が保てるでしょうか。...

サイコロを投げたとき、各目が出る確率はどのように推定すればよいでしょうか。何の情...