最大事後確率

出典: フリー百科事典『ウィキペディア(Wikipedia)』
移動: 案内検索

最大事後確率(さいだいじごかくりつ、: Maximum a posteriori, MAP推定は、統計学において、実測データに基づいて未知の量の点推定を行う手法である。ロナルド・フィッシャー最尤法 (ML) に密接に関連するが、推定したい量の事前分布を利用して最適化された結果を得る。したがってMAP推定は、ML推定の正規化と見ることができる。

概要[編集]

x の観測に基づいて、未知の母集団パラメータ \theta を推定したいとする。x標本分布f とすると、母集団パラメータを \theta としたときの x の確率は f(x|\theta) となる。すると

\theta \mapsto f(x | \theta) \!

という関数は尤度関数であり、

\hat{\theta}_{\mathrm{ML}}(x) = \arg \max_{\theta} f(x | \theta) \!

\theta の最尤推定である。

ここで、\theta の事前分布を g とする。すると、\thetaベイズ推定における確率変数として扱える。\theta事後確率は次のようになる。

\theta \mapsto \frac{f(x | \theta) \, g(\theta)}{\displaystyle\int_{\Theta} f(x | \theta') \, g(\theta') \, d\theta'} \!

ここで g\theta の密度関数、\Thetag の定義域である。これはベイズの定理の直接的な応用である。

最大事後確率推定の手法では、次に \theta をこの確率変数の事後分布の最頻値として推定する。

\hat{\theta}_{\mathrm{MAP}}(x)
= \arg\max_{\theta} \frac{f(x | \theta) \, g(\theta)}
  {\displaystyle\int_{\Theta} f(x | \theta') \, g(\theta') \, d\theta'}
= \arg\max_{\theta} f(x | \theta) \, g(\theta)
\!

事後分布の分母は \theta に依存していないので、最適化には何の役割も果たさない。\theta のMAP推定の結果は、ML推定で事前分布 g が一様分布の場合に一致する。MAP推定は、一様損失関数におけるベイズ推定関数である。

MAP推定の計算方法はいくつか存在する。

[編集]

ある並び (x_1, \dots, x_n) の独立な確率変数 N(\mu,\sigma_v^2 ) があり、\mu の事前分布は N(0,\sigma_m^2 ) で与えられるとする。ここで \mu のMAP推定値を求める。

最大化すべき関数は次のようになる。

\pi(\mu) L(\mu) =  \frac{1}{\sqrt{2 \pi} \sigma_m} \exp\left(-\frac{1}{2} \left(\frac{\mu}{\sigma_m}\right)^2\right) \prod_{j=1}^n \frac{1}{\sqrt{2 \pi} \sigma_v} \exp\left(-\frac{1}{2} \left(\frac{x_j - \mu}{\sigma_v}\right)^2\right)

これは、\mu を動かし次の式を最小化することと等価である。

 \sum_{j=1}^n \left(\frac{x_j - \mu}{\sigma_v}\right)^2 + \left(\frac{\mu}{\sigma_m}\right)^2

従って μ のMAP推定値は以下のようになる。

\hat{\mu}_{MAP} =     \frac{\sigma_m^2}{n \sigma_m^2 + \sigma_v^2 } \sum_{j=1}^n x_j

\sigma_m \to \infty の場合を無情報事前分布(non-informative prior)と呼び、この例では \hat{\mu}_{MAP} \to \hat{\mu}_{MLE} である。

関連項目[編集]

参考文献[編集]

  • M. DeGroot, Optimal Statistical Decisions, McGraw-Hill, (1970).
  • Harold W. Sorenson, (1980) "Parameter Estimation: Principles and Problems", Marcel Dekker.