ガウス=マルコフの定理

出典: フリー百科事典『ウィキペディア(Wikipedia)』
移動先: 案内検索

ガウス=マルコフの定理(ガウス=マルコフのていり)とは、あるパラメタを観測値の線形結合で推定するとき、残差を最小にするような最小二乗法で求めた推定値が、不偏で最小の分散を持つことを保証する定理である。カール・フリードリヒ・ガウスアンドレイ・マルコフによって示された。

パラメタ推定[編集]

いま、n 組の観測値 を説明するモデルとして、

という形を期待する。推定したいパラメタは β で、未知である。誤差 εi も未知であるが、以下のような統計的性質は分かっているとする。

  1. E(ε) = 0 (不偏)
  2. E(ε εT) = σ 2I (系列無相関で、分散均一)
  3. E(xεT) = 0 (説明変数と無相関)

ここに で、E() は平均を取る操作、 I は単位行列、上付き添字 T転置行列を表す。上述のように誤差は未知であるが、パラメタ β の推定値 が決まれば、残差の平方和 が計算できる。これを最小にするように を定めるのが最小二乗法である。このようにして求められた推定値は、不偏()で他のいかなる β の線形推定値よりも小さな分散 を持つ。誤差が正規分布している必要はなく、観測が独立でなくても誤差が無相関であればよい。

証明[編集]

上と同じ記号を用いると、最小二乗推定量

である。これは、

という変形が可能なことに注意する。 両辺の平均を取ると、 誤差の不偏性の仮定より最右辺第二項が消えて、 の不偏性が示される。また右辺の β を左辺に移項して、平均を取ることで、

である。ここで別な β の推定値 を考える。Dx とは無相関 E(DX) = 0 であることに注意すると、

となる。第二項は負でないから が最小分散を持つことが示された。

最適内挿法[編集]

地球科学において、不規則な観測点 ri で得られたある物理量 xi の観測値 yi をグリッド上に内挿する技法も、ガウス=マルコフの定理と呼ばれることがある。グリッド上の物理量の値を zj で、表すと、その推定値として

という観測値の線型結合を用いることにする。このような行列 B の中で最良のものは、誤差の共分散 の対角成分を最小とするものである。式変形を続けると、


となり、B=E(zyT)E(yyT)-1 と取ると、共分散行列の対角成分が最小になることが示される。

観測値 y は物理量 x と、誤差 n を含んだ関係 y = Fx + n と仮定することが多い。さらに観測値と誤差は無相関であることを利用すると、 E(yyT) = FE(xxT)FT+ E(nnT) や、 E(zyT) = E(xxT)FT となることが示され、これが残差最小になるように求めた x の最小二乗解と一致する。この場合、E(xxT)E(nnT) は既知である必要がある。

関連項目[編集]

参考文献[編集]

外部リンク[編集]