交差エントロピー

情報理論において、交差エントロピー（こうさエントロピー）またはクロスエントロピー（英: cross entropy）は、2つの確率分布の間に定義される尺度である。符号化方式が、真の確率分布 $p$ ではなく、ある所定の確率分布 $q$ に基づいている場合に、とりうる複数の事象の中からひとつの事象を特定するために必要となるビット数の平均値を表す。

定義

同じ確率空間における2つの分布 $p$ と $q$ において、$q$ の $p$ に対する交差エントロピーは、次のように定義される。

$\mathrm {H} (p,q)=\mathrm {E} _{p}[-\log q]=\mathrm {H} (p)+D_{\mathrm {KL} }(p\|q)\!$

ここで、$H(p)$ は $p$ のエントロピー、$D_{\mathrm {KL} }(p||q)$ は $p$ から $q$ のカルバック・ライブラー情報量（相対エントロピー）である。

$p$ と $q$ が離散確率変数なら、これは次のようになる。

$\mathrm {H} (p,q)=-\sum _{x}p(x)\,\log q(x)\!$

連続確率変数なら、同様に次のようになる。

$-\int _{X}p(x)\,\log q(x)\,dx\!$

なお、$\mathrm {H} (p,q)$ という記法は交差エントロピーだけでなく、結合エントロピーにも使われるので、注意が必要である。

対数尤度との関係

分類問題において、異なる事象の確率を推定したいとする。N サンプルからなる訓練集合内における事象 $i$ の頻度（経験的確率）が $p_{i}$ である一方、事象 $i$ の確率が $q_{i}$ と推定されたとすると、訓練集合の尤度は次のようになる。

${\displaystyle \prod _{i}q_{i}^{Np_{i}}}$

この対数尤度をNで割ると、

${\displaystyle {\frac {1}{N}}\log \prod _{i}q_{i}^{Np_{i}}=\sum _{i}p_{i}\log q_{i}=-H(p,q)}$

となり、この尤度を最大化することは、交差エントロピーを最小化することと同義となる。

交差エントロピー最小化

交差エントロピー最小化は、最適化問題と希少事象の予測によく使われる技法である（交差エントロピー法）。

確率分布 $q$ を参照用固定確率分布 $p$ と比較したとき、交差エントロピーとカルバック・ライブラー情報量は（$p$ が固定なので）付加的な定数を除いて同一である。どちらも $p=q$ であるとき最小値となり、カルバック・ライブラーの値は $0$、交差エントロピーの値は $\mathrm {H} (p)$ となる。

ただし、カルバック・ライブラー情報量参照のとおり、q を固定の参照用確率分布とし、p を最適化して q に近づけるようにすることもある。この場合の最小化は交差エントロピーの最小化とはならない。文献ではどちらの手法で説明しているか、注意する必要がある。

交差エントロピー誤差関数とロジスティック回帰

交差エントロピーは機械学習および最適化における損失関数を定義するために使うことができる。真の確率 $p_{i}$が真のラベルであり、与えられた分布 $q_{i}$が現在のモデルの予測値である。

より具体的に、ロジスティック回帰を考えてみる。ロジスティック回帰は（その最も基本的な形式において）任意のデータ点のセットを2つの可能なクラス（一般的に$0$および$1$とラベル付けされる）への分類を扱う。ロジスティック回帰モデルはしたがって入力ベクトル$\mathbf {x}$を与えられると出力$y\in \{0,1\}$を予測する。確率は標準シグモイド関数$g(z)=1/(1+e^{-z})$を使ってモデル化される。すなわち、出力$y=1$を見出す確率は式

$q_{y=1}\ =\ {\hat {y}}\ \equiv \ g(\mathbf {w} \cdot \mathbf {x} )\ =1/(1+e^{-\mathbf {w} \cdot \mathbf {x} })$

によって与えられる。上式において、重み$\mathbf {w}$のベクトルは最急降下法といったいくつかの適切なアルゴリズムによって最適化される。同様に、出力$y=0$を見出す余事象の確率は式

$q_{y=0}\ =\ 1-{\hat {y}}$

によって与えられる。

真の（観察された）確率は同様に$p_{y=1}=y$および$p_{y=0}=1-y$として表すことができる。

本記事の記法を使って$p\in \{y,1-y\}$、$q\in \{{\hat {y}},1-{\hat {y}}\}$とすると、$p$と$q$との間の非類似性の尺度を得るために交差エントロピーを使うことができる。

$H(p,q)\ =\ -\sum _{i}p_{i}\log q_{i}\ =\ -y\log {\hat {y}}-(1-y)\log(1-{\hat {y}})$

ロジスティック回帰で用いられる典型的な損失関数は、サンプル中の全ての交差エントロピーの平均を取ることによって計算される。例えば、それぞれのサンプルが$n=1,\dots ,N$によってラベル付けされた$N$個のサンプルを持っていることを仮定する。損失関数は次に以下の式となる。

${\begin{aligned}J(\mathbf {w} )\ &=\ {\frac {1}{N}}\sum _{n=1}^{N}H(p_{n},q_{n})\ =\ -{\frac {1}{N}}\sum _{n=1}^{N}\ {\bigg [}y_{n}\log {\hat {y}}_{n}+(1-y_{n})\log(1-{\hat {y}}_{n}){\bigg ]}\,,\end{aligned}}$

上式において、${\hat {y}}_{n}\equiv g(\mathbf {w} \cdot \mathbf {x} _{n})=1/(1+e^{-\mathbf {w} \cdot \mathbf {x} _{n}})$ であり、$g(z)$ は標準シグモイド関数である。

ロジスティック損失は交差エントロピー損失と呼ばれることがある。また、log lossとも呼ばれる（この場合、二値ラベルは {-1,+1} で示されることが多い）。

関連項目

• 情報量
• 結合エントロピー