最小記述長

出典: フリー百科事典『ウィキペディア(Wikipedia)』
移動先: 案内検索

最小記述長(さいしょうきじゅつちょう)は、情報理論に基づくモデル選択基準である。MDL (minimum description length)。

モデル選択とは、一連のデータをモデル(1つの数式)で説明するのに、どのようなモデルが適切かを検証する過程を指す。誤差が少ないモデルが好ましいことは基本条件であり、たとえばモデルとして多項式を使うなら、次数を増やせば誤差が減ることになり、次数が違うモデル同士を比べるには工夫が必要になる。

MDLは、1978年Jorma Rissanen により導入された。MDLでは、モデルとデータの符号長を最小にするモデルが、データの説明として最適であるとする。この最小符号長をMDLという。

最小記述長原理に基づくモデル選択指標としてNormalized Maximam Likelihood (NML)とその漸近近似であるFisher Information Approximation (FIA)がある。

MDLは (AICと違い) 離散データを扱う情報理論に基盤を置いているので、連続値データに対し使うときは注意を要する。

AIC・BICとの比較[編集]

MDLは、G. Schwartzベイズ理論から導出したベイズ情報量規準 (BIC) のちょうど半分であり、MDL原理はBIC最小化と同じである。←まったく同じではない

MDLのΟ (logn)までの項のみを残したものがBICの半分と(なぜか)一致するため、BICはMDLの粗い近似となる。

また、ベイズ統計学における(負の)対数周辺尤度をジェフリーズ事前分布を用いて漸近展開したものがFIAと一致する。さらにサンプルサイズnに拠らない項を切り捨てたものがBICである。したがって、FIAおよびBICは漸近的にNMLに一致する。

AICとBICがモデルの自由パラメータ数のみを複雑性として罰するのに対し、FIAとNMLはモデル式の構造に由来する複雑性をも罰することが可能である。

ただし、小サンプルの下ではFIAの罰則項は正常に機能せず、常により複雑なモデルが選択されてしまう(BICおよびNMLにはこの欠点は無い)。

AIC、BIC、MDLは立脚する背景が異なるため(期待対数尤度の推定、対数周辺尤度の近似、記述長の最小化)、その時々の問題意識に基づいてどれを使うかを慎重に決める必要がある。