ishishi11’s blog

■自己情報量 事象Aの起こる確率がP(A)である時、事象Aが起こることの自己情報量は、I(A)=-log2P(A)によって定義される ■エントロピー 確率変数Xにおいて、X=xとなる確率がP(x)で与えられている時、確率変数Xのエントロピーは以下で与えられる。 エントロピーは情報量の期待値であり、確率変数のランダム性の指標としてよく…