交差エントロピー

出典: フリー百科事典『ウィキペディア(Wikipedia)』
クロスエントロピーから転送)
移動先: 案内検索

交差エントロピークロスエントロピー: cross entropy)とは、情報理論において2つの確率分布の間に定義される尺度である。符号化方式が、真の確率分布 ではなく、ある所定の確率分布 に基づいている場合に、とりうる複数の事象の中からひとつの事象を特定するために必要となるビット数の平均値を表す。

定義[編集]

同じ確率空間における2つの分布 の交差エントロピーは、次のように定義される。

ここで、エントロピー から カルバック・ライブラー情報量(相対エントロピー)である。

離散確率変数なら、これは次のようになる。

連続確率変数なら、同様に次のようになる。

なお、 という記法は交差エントロピーだけでなく、結合エントロピーにも使われるので、注意が必要である。

交差エントロピー最小化[編集]

交差エントロピー最小化は、最適化問題と希少事象の予測によく使われる技法である(交差エントロピー法)。

確率分布 を参照用固定確率分布 と比較したとき、交差エントロピーとカルバック・ライブラー情報量は( が固定なので)付加的な定数を除いて同一である。どちらも であるとき最小値となり、カルバック・ライブラーの値は 、交差エントロピーの値は となる。

ただし、カルバック・ライブラー情報量参照のとおり、q を固定の参照用確率分布とし、p を最適化して q に近づけるようにすることもある。この場合の最小化は交差エントロピーの最小化とはならない。文献ではどちらの手法で説明しているか、注意する必要がある。

関連項目[編集]