ギブスの不等式

出典: フリー百科事典『ウィキペディア(Wikipedia)』
移動: 案内検索

ギブスの不等式(ぎぶすのふとうしき、: Gibbs' inequality)とは、情報理論における離散確率分布エントロピーに関する式である。確率分布のエントロピーに関しては、ギブスの不等式を出発点としていくつかの式が考案されており、ファーノの不等式などがある。

この不等式は19世紀ウィラード・ギブスが最初に提示した。

定義[編集]

ある確率分布 P を次のように表す。

 P = \{ p_1 , \ldots , p_n \}

別の確率分布 Q を次のように表す。

 Q = \{ q_1 , \ldots , q_n \}

このとき、次の不等式が成り立つ。

 - \sum_{i=1}^n p_i \log_2 p_i \leq - \sum_{i=1}^n p_i \log_2 q_i

ただし、これは全ての i について次の等式が成り立つときだけ等式として成り立つ。

 p_i = q_i \,

2つの量の差は、カルバック・ライブラー情報量(相対エントロピー)の符号を反転させたものと等しい。したがって、この不等式は次のようにも表せる。

 D_{\mathrm{KL}}(P\|Q) \geq 0

証明[編集]

対数の性質から、次が成り立つ。

 \log_2 a = \frac{ \ln a }{ \ln 2 }

従って、自然対数 (ln) について証明できれば十分である。自然対数には次の性質がある。

 \ln x \leq x-1

これは、全ての x について成り立つ(x=1 のときだけ等号)。

pi がゼロでない全ての i の集合を I とする。すると、


\begin{align}
- \sum_{i \in I} p_i \ln \frac{q_i}{p_i} & {} \geq - \sum_{i \in I} p_i \left( \frac{q_i}{p_i} - 1 \right) \\
& {} = - \sum_{i \in I} q_i + \sum_{i \in I} p_i \\
& {} = - \sum_{i \in I} q_i + 1 \\
& {} \geq 0
\end{align}

となるので、次が成り立つ。

 - \sum_{i \in I} p_i \ln q_i \geq - \sum_{i \in I} p_i \ln p_i

両辺に 0 を加えても大小関係は変わらないから、0 であるような pi も含めることができて、

 - \sum_{i=1}^n p_i \ln q_i \geq - \sum_{i=1}^n p_i \ln p_i

等式として成り立つには、次の条件が成立しなければならない。

  1. 全ての i \in I について  \frac{q_i}{p_i} = 1 であれば、\ln \frac{q_i}{p_i} = 1 - \frac{q_i}{p_i} が成り立つ。
  2.  \sum_{i \in I} q_i = 1 であれば、証明の3行目から4行目の部分で等号が成り立つ。

これらが成り立つのは、i = 1, ..., n について以下が成立しているときのみである。

p_i = q_i

他の証明手法[編集]

ジェンセンの不等式を使って証明することもできる。

[編集]

Pエントロピーは次の式で上限が与えられる。

H(p_1, \ldots , p_n) \leq \log n

証明は簡単で、全ての i について q_i = 1/n とすればよい。

関連項目[編集]