- 情報量(選択情報量、自己エントロピー)とは何か
- 平均情報量（エントロピー、シャノンエントロピー）とは何か
情報量(選択情報量、自己エントロピー)
情報量(選択情報量、自己エントロピー)とは
情報量(選択情報量、自己エントロピー)とは、
情報量は、以下のように定義されています。
場合の数の比を対数化したものです。
$$ I(A) = -\log _{2}P\left( A\right) $$
情報量という考え方をなぜ用いるのかというと、情報を扱いやすい形にすることを目的としています。
目の前で起こった事象は価値があるのか分からないため、定量的に表すことができるように定義されました。
情報量で表すことで大きく2つのメリットを享受することができます。
珍しい事象を大きな情報量で表現できる
情報量は定義式から、小さな確率の事象ほど大きな値となります。
これは、よく起こることよりもめったに起こらない珍しい事象が起こった時の方が情報量的に価値が高いということを表しています。
例えば、サイコロを振って偶数が出た場合の情報量は、
$$ I(偶数) = -\log _{2}\left(\frac{1}{2}\right) = 1$$
となります。
サイコロを振って1が出た場合の情報量は、
$$ I(1) = -\log _{2}\left(\frac{1}{6}\right) = \log _{2}6$$
となります。
この場合発生する確率の低いサイコロで1の目が出る情報量が大きくなっていることが分かります。
複数の事象を和で表現できる
情報量ではlogを使っているため、複数事象の同時確率は足し算で表すことができます。
例えば、サイコロを2回投げて両方とも1となる場合の情報量を求めてみます。
各事象の情報量を足し算すれば良いので、
$$ I(1,1) = \left(-\log _{2}\left(\frac{1}{6}\right)\right)+\left(-\log _{2}\left(\frac{1}{6}\right)\right)= 2log _{2}6$$
となります。
本当にこの結果が正しいか確認してみましょう。
サイコロを2回投げて両方とも1となる確率は
$$ P(1,1) = \frac{1}{6}×\frac{1}{6} = \frac{1}{36}$$
となります。
情報量は、
$$ I(P(1,1)) = -\log _{2}\left(\frac{1}{36}\right)= 2log _{2}6$$
となり、上記と一致していることが確認できました。
平均情報量（エントロピー、シャノンエントロピー）
平均情報量（エントロピー、シャノンエントロピー）とは、
です。
平均情報量は、以下のように定義されています。
事象の起こりにくさ(情報量)の期待値です。
$$H[P(x)]=-\sum _{x}p\left( x\right) \log _{2}p(x)$$
一般式だと分かりづらいので、具体例を考えてみましょう。
以下の条件でサイコロを振ったときの平均情報量を求めてみます。
それぞれの情報量は、
$$ I\left(P(A)\right) = -\log _{2}\left(\frac{2}{3}\right) = \log _{2}3-1$$
$$ I\left(P(B)\right) = -\log _{2}\left(\frac{1}{3}\right) = \log _{2}3$$
です。
平均情報量は情報量の期待値となるので、
$$H[P]=-P(A)\log _{2}\left(P(A)\right) -P(B)\log _{2}\left(P(B)\right)\\
=\frac{2}{3}\left(\log _{2}3-1\right)+\frac{1}{3}\left(\log _{2}3\right) \qquad \quad\\
=\log _{2}3-\frac{2}{3} \qquad \qquad \qquad \qquad \quad$$
となります。
平均情報量は確率変数のランダム性の指標としてよく用いられます。
まとめ
情報量(選択情報量、自己エントロピー)とは、ある事象が起きたとき、それがどのくらい起こりづらいか表す尺度です。
平均情報量（エントロピー、シャノンエントロピー）とは、情報源がどれだけ情報を出しているか図る指標です。
コメント