結合エントロピー

出典: フリー百科事典『ウィキペディア(Wikipedia)』
移動: 案内検索

結合エントロピー: Joint entropy)とは、情報理論における情報量の一種。結合エントロピーは、2つの確率変数の結合した系でのエントロピーを表す。確率変数 XY があるとき、結合エントロピーは H(X,Y) と記される。他のエントロピーと同様、単位対数の底によってビット (bit)、ナット (nat)、ディット (dit) が使われる。

背景[編集]

確率変数 X があるとき、そのエントロピー H(X)X の値の不確かさを表す。X について、イベント x が発生する確率が p_x であるとき、X のエントロピーは次のようになる。

H(X) = -\sum_x p_x \log_2(p_x) \!

もう1つの確率変数 Y では、イベント y が発生する確率が p_y であるとする。Y のエントロピーは H(Y) で表される。

ここで、XY が相互に関連したイベントを表しているとき、系全体のエントロピーは H(X)+H(Y) にはならない。例えば、1から8までの整数を1つ選ぶとし、それぞれの整数が選ばれる確率が同じとする。X は選んだ整数が奇数かどうかを表し、Y は選んだ整数が素数かどうかを表すとする。1から8の整数のうち半分は偶数であり、同じく半分は素数である。したがって H(X)=H(Y)=1 となる。しかし、選んだ整数が偶数であるとわかっている場合、それが素数である場合は4つのうち1つしかない。つまり、2つの確率変数の分布は関連している。従って系全体のエントロピーは2ビットよりも小さくなる。

定義[編集]

ここで、考えられる結果の「対」 (x,y) を全て考慮する。

それぞれの対の発生確率を p_{x,y}\quad としたとき、結合エントロピーは次のようになる。

H(X,Y) = -\sum_{x,y} p_{x,y} \log_2(p_{x,y}) \!

上記の例では、1を素数と見なしていない。従って、結合確率分布は次のようになる。

P(even,prime)=P(odd,not prime)=1/8  \quad
P(even,not prime)=P(odd,prime)=3/8 \quad

以上から、結合エントロピーは次のようになる。

 -2\frac{1}{8}\log_2(1/8)  -2\frac{3}{8}\log_2(3/8) \approx 1.8 bits

特性[編集]

部分エントロピーよりも大きい[編集]

結合エントロピーは、常に元の系のエントロピー以上となる。新たな系を追加しても不確かさが減ることはない。

H(X,Y) \geq H(X)

この不等式が等式になるのは、YX の(決定的)関数になっている場合だけである。

YX の(決定的)関数であるとき、以下も成り立つ。

H(X) \geq H(Y)

劣加法性[編集]

2つの系をまとめて考えたとき、それぞれの系のエントロピーの総和より大きなエントロピーには決してならない。これは劣加法性 (subadditivity) の一例である。

H(X,Y) \leq H(X) + H(Y)

この不等式が等式になるのは、XY確率論的独立性がある場合だけである。

限界[編集]

他のエントロピーと同様、常に H(X,Y) \geq 0 が成り立つ。

他のエントロピー尺度との関係[編集]

結合エントロピーは、次のように条件付きエントロピーの定義に使われる。

H(X|Y) = H(X,Y) - H(Y)\,

また、次のように相互情報量の定義にも使われる。

I(X;Y) = H(X) + H(Y) - H(X,Y)\,

参考文献[編集]

  1. Theresa M. Korn; Korn, Granino Arthur. Mathematical Handbook for Scientists and Engineers: Definitions, Theorems, and Formulas for Reference and Review. New York: Dover Publications. pp. 613-614. ISBN 0-486-41147-8.