確率変数のエントロピーとは?確率分布における情報量まとめ

Posted: , Category: 数学 , 機械学習 , 確率 , 統計学

確率変数$X$における確率分布を$p(x)$とした時、その確率変数のエントロピーという統計量 $H[X]$を定義します。

連続確率変数のエントロピーの定義

H[X] = - \int p(x) ln p(x)dx

離散確率変数のエントロピーの定義

H[X] = - \sum_{i=1}^{M} p(x_i)ln p(x_i)

このエントロピーは、1つの確率変数において、定義できる統計量です。期待値や分散といった統計量と言えます。

確率変数における統計量エントロピーの意味

新しい統計量を勉強するときは、必ずその意味を理解する必要性があります。今回のエントロピーという統計量は、ざっくりいうと、確率分布の乱雑さを示す指標となっています。この乱雑さという指標はイマイチ理解しにくいのですが、とりあえず今の段階ではそのようなものだと考えてください。

【広告】
統計学的にあなたの悩みを解決します。
仕事やプライベートでお悩みの方は、ベテラン占い師 蓮若菜にご相談ください。

機械学習と情報技術