非線形最小二乗法

出典: フリー百科事典『ウィキペディア(Wikipedia)』
非線型最小二乗法から転送)
移動: 案内検索

非線形最小二乗法[1][2](ひせんけいさいしょうにじょうほう)とは、観測データに対するカーブフィッティング手法の一つであり 、最小二乗法を非線形なモデル関数に拡張したものである。非線形最小二乗法は、未知パラメータ(フィッティングパラメータ)を非線形の形で持つ関数モデルを用いて、観測データを記述すること、即ち、データに最も当てはまりの良い[注 1]フィッティングパラメータを推定することを目的とする。

最小二乗法の主張[編集]

m 個のデータポイント (x1 , y1 ), (x2 , y2 ), ... , (xm , ym ) からなるセットに対し、n[注 2]のフィッティングパラメータ β1 , β2 , ... , βn を持つモデル関数

y=f(x, \boldsymbol \beta) (1-1)

をあてはめる場合を考える。ここで、それぞれのデータ (xm , ym ) において、xi説明変数とし、yi目的変数とする。β = (β1 , β2 , ... , βn ) は、前記のn 個のフィッティングパラメータβi からなる実数ベクトルとする。

また、以下で定まる残差

r_i= y_i - f(x_i, \boldsymbol \beta) \qquad(i=1, 2,\dots, m) (1-2)

のそれぞれは、それぞれ、期待値 0、標準偏差σi正規分布に従うとする。 また、話を簡単にするため、xi それぞれは、いずれも誤差を持たないとする。

このとき、考えるべき問題は、もっとも当てはまりのよいβを見つけ出すことである。

非線形最小二乗法では、以下の残差平方和(より正確に言えば、規格化された残差平方和)

S(\boldsymbol \beta)
=\sum_{i=1}^{m}
\frac{
r_i^2
}{
2{\sigma}_{i}^{2}
}
=\sum_{i=1}^{m}
\frac{
({y}_{i} - f({x}_{i}, \boldsymbol{\beta}))^{2}
}{
2{\sigma}_{i}^{2}
}
(1-3)

を最小とするようなβが、もっとも当てはまりの良いf を与えるフィッティングパラメータと考える[1][2]

この考え方は、数多ある考え方の一つに過ぎない。他の考え方としては、例えば

  • {\sum}_{i=1}^{n}|{r}_{i}|を最小にする考え方
  • \sum_{i=1}^m(y_i - f(x_i, \boldsymbol \beta))^2を最小とする考え方(単に各データのバラつきが同じと勝手に仮定しただけ)。
  • データ、モデル関数共に何らかの変換(例えば対数変換)を加えたうえで、最小二乗法をする考え方。
  • カイ二乗値を最小にする考え方[3]

等があり得る。これらの考え方で”最適”となったフッティングパラメータは、最小二乗法では”最適”とは限らない。 [注 3]

但し、最小二乗法の考え方は、確率論的に尤もらしさが裏付けられている[2]。このことについては、次節にて論じる。

最小二乗法の尤もらしさ[編集]

最小二乗法は、正規分布に対応したフィッティングパラメータの最尤推定法である[4]。ここでは最小二乗法の尤もらしさについて、確率論を援用して検討する[2]。即ち、残差riそれぞれが、期待値 0、標準偏差σi正規分布に従う確率変数であり、 かつ、riからなる確率変数の族は、独立試行と考え、確率論を援用する。

仮定より、残差ri それぞれは、いずれも、期待値 0、標準偏差σi正規分布に従うため、あるデータセット (xi , yi ) において、その測定値がyi となる確率P (yi ) は、

{P}({y}_{i})=\frac{1}{\sigma\sqrt{2\pi}}\exp\left(-\frac{{r}_{i}^{2}}{2\sigma^2}\right) (2-1)

となる。

今、データの測定は(数学的に言えば残差riそれぞれが)独立試行と考えられるため、m 個のデータポイントのセット (x1 , y1 ), (x2 , y2 ), ... , (xm , ym ) が得られる確率P (y1 , ... , ym ) は、

\begin{align}
P(y_1,\dots,y_m)
&=\prod_{i=1}^m P(y_i)\\
&=\prod_{i=1}^m \frac{1}{\sigma\sqrt{2\pi}}
\exp\left(-\frac{r_i^2}{2\sigma^2}\right)\\
&=\frac{1}{(\sigma\sqrt{2\pi})^m}\exp\left(\sum_{i=1}^m \left(-\frac{(y_i - f(x_i, \boldsymbol \beta))^2}{2\sigma^2}\right)\right)
\end{align} (2-2)

となる。ここで、{\Pi}_{i=1}^{n}は、連乗積を表す。

上式において、正規分布の単峰性より、確率P (y1 , ... , ym ) は、

S(\beta)=\sum_{i=1}^m \frac{
(y_i - f(x_i, \boldsymbol \beta))^2
}{
2\sigma^2
} (2-3)

が最小(最も0に近いとき)において、最大(最尤)となる。すなわち、最尤法の教えるところによれば、このとき、もっとも当てはまりがよいと考えるのが妥当だろうということになる。

勾配方程式への帰着[編集]

我々が考えるべき問題は、規格化された残差平方和

S(\boldsymbol \beta)
=\sum_{i=1}^m
\frac{r_i^2}{2\sigma_i^2}
=\sum_{i=1}^m \frac{(y_i - f(x_i, \boldsymbol{\beta}))^2}{2\sigma_i^2}
 (3-1)

を最小とするようなパラメータβを見つけることである。

このようなβにおいて、S勾配 grad S は 0 になる(必要条件)。 従って、このようなβは、以下の連立方程式の解となる。

\frac{\partial S}{\partial \beta_j}=2\sum_{i=1}^m r_i\frac{\partial r_i}{\partial \beta_j}=0 \quad (j=1,\dots,n)\qquad(1) (3-2)

数値解法[編集]

線形の最小二乗法では、式(3-2)は未知パラメータβについての連立一次方程式になるため、行列を用いて容易に解くことができるが、非線形最小二乗法では反復解法を用いる必要がある。解法には以下のような方法が知られている[4]

脚注・参考文献[編集]

参考文献[編集]

  1. ^ a b 本間 仁; 春日屋 伸昌 『次元解析・最小二乗法と実験式』 コロナ社、1989年 
  2. ^ a b c d T. Strutz: Data Fitting and Uncertainty (A practical introduction to weighted least squares and beyond). Vieweg+Teubner, ISBN 978-3-8348-1022-9.
    Ch6に、非線形最小二乗法の尤もらしさに関する記述が記載されている。
  3. ^ http://www.hulinks.co.jp/support/kaleida/curvefit.html
  4. ^ a b 中川徹; 小柳義夫 『最小二乗法による実験データ解析』 東京大学出版会、1982年、19, 95-124頁。ISBN 4-13-064067-4 

脚注[編集]

  1. ^ 実際には、重解が出る場合も多い。
  2. ^ 少なくともm > n でなければナンセンスとなる。
  3. ^ 無論、例えば一つの特別な状況として、いずれの残差の標準偏差も、全て同じ値σである時、即ち、ri それぞれが、期待値 0、標準偏差σの正規分布に従う場合には、残差平方和S から、共通項 1/(2σi2 ) がくくりだせる。従って、この場合には、最小二乗法は、
    \sum_{i=1}^m
(y_i - f(x_i, \boldsymbol \beta))^2
    を最小とするようなβが、最も当てはまりが良いと考えるのと同等である。