非線形最小二乗法

非線形最小二乗法 （ひせんけいさいしょうにじょうほう、Non-linear least squares)とは、 非線形な観測データに対するカーブフィッティング手法の一つである。非線形最小二乗法は、未知パラメータ（フィッティングパラメータ） を持つ非線形モデルを用いて、観測データを記述することを目的とする。即ち、データに最も当てはまりの良い フィッティングパラメータを推定するの一つである。

関数関係が陽に与えられている場合

最小二乗法の主張

$m$ 個のデータポイント $(x_1, y_1), (x_2, y_2),\dots,(x_m, y_m)$ からなるセットに対し、$n$個のフィッティングパラメータ ${\beta}_{1}, {\beta}_{2},\cdots,{\beta}_{n}$を持つモデル関数

$y=f(x, \boldsymbol \beta),$

をあてはめる場合を考える。ここで、それぞれのデータ$(x_m, y_m)$において、${x}_{i}$は、説明変数とし、${y}_{i}$は、目的変数とする。$\boldsymbol \beta = (\beta_1, \beta_2, \dots, \beta_n),$ は、前記の$n$個のフィッティングパラメータ${\beta}_{i}$からなる、実数ベクトルとする。

また、以下で定まる残差 (errors)

$r_i= y_i - f(x_i, \boldsymbol \beta)$　　( $i=1, 2,\dots, m.$)

それぞれは、それぞれ、期待値0、標準偏差${\sigma}_{i}$の正規分布に従うとする。 また、話を簡単にするため、${x}_{i}$それぞれは、いずれも誤差を持たないとする。

このとき、考えるべき問題は、もっとも当てはまりのよい$\boldsymbol \beta$を見つけ出すことである。

非線形最小二乗法では、以下の残差平方和（より正確に言えば、「規格化された残差平方和」）

$S(\boldsymbol \beta) ={\sum}_{i=1}^{n} \frac{ ({r}_{i})^{2} }{ 2{\sigma}_{i}^{2} } ={\sum}_{i=1}^{n} \frac{ ({y}_{i} - f({x}_{i}, \boldsymbol{\beta}))^{2} }{ 2{\sigma}_{i}^{2} }$

を、最小とするような$\boldsymbol \beta$が、 もっとも当てはまりの良い$f$を与えるフィッティングパラメータと考える 。

残差すべてが同一の標準偏差を持つとき

尚、上記の場合において、一つの特別な状況として、いずれの残差の標準偏差も、全て同じ値$\sigma$である時、 即ち、${r}_{i}$それぞれが、期待値0、標準偏差${\sigma}_{i}$の正規分布に従う場合には、残差平方和 $S$から、 $\frac{1}{2{\sigma}_{i}^{2}}$ がくくりだせる。従って、この場合には、最小二乗法は、

${\sum}_{i=1}^{n} (y_i - f(x_i, \boldsymbol \beta))^2$

を、「最小とするような$\boldsymbol \beta$が、最もあてはまり通い」と考えるのと 同等である。

最小二乗法の尤もらしさ

最小二乗法の尤もらしさについて、確率論を援用して検討する。 仮定より、残差 (errors) r_i それぞれは、いずれも、期待値0、標準偏差$\sigma$の正規分布に従うため、 あるデータセット$(x_i, y_i)$において、その測定値がy_iとなる確率${P}({y}_{i})$は、

${P}({y}_{i})=\frac{1}{\sigma\sqrt{2\pi}}\exp(-\frac{{r}_{i}^{2}}{2\sigma^2})$

となる。これに、r_iの定義を考え合わせると、

${P}({y}_{i}) =\frac{1}{\sigma\sqrt{2\pi}} \exp( -\frac{ (y_i - f(x_i, \boldsymbol \beta))^{2}} {2\sigma^{2}} )$

となる。今、残差の値それぞれはランダムであるため、$m$ 個のデータポイントのセット$(x_1, y_1), (x_2, y_2),\dots,(x_m, y_m)$ は、独立試行と考えられ、したがって、$m$ 個のデータポイントのセット$(x_1, y_1), (x_2, y_2),\dots,(x_m, y_m)$ が得られる確率$P({y}_{1},\cdots,{y}_{n})$は、

$P({y}_{1},\cdots,{y}_{n})=P({y}_{i})\cdot P({y}_{2})\cdot \cdots \cdot P({y}_{n})$

となる。従って、

$P({y}_{1},\cdots,{y}_{n})$

$={\Pi}_{i=1}^{n} \frac{1}{ \sigma\sqrt{2\pi} }\exp(-\frac {y_i - f(x_i, \boldsymbol \beta)}{2{\sigma}^{2}})$

$=\frac{1}{(\sigma\sqrt{2\pi})^n}\exp({\sum}_{i=1}^{n}(-\frac{y_i - f(x_i, \boldsymbol \beta)}{2\sigma^2}))$

となる。ここで、${\Pi}_{i=1}^{n}$は、連乗積を表す。

上式において、正規分布の単峰性より、$P({y}_{1},\cdots,{y}_{n})$は、

${\chi}^{2} ={\sum}_{i=1}^{n}\frac{ {(y_i - f(x_i, \boldsymbol \beta))}^2 }{ 2{\sigma}^{2} }$

が最小（最も0に近いとき）において、最大（最尤）となる。すなわち、最尤法の教えるところによれば、このとき、もっとも当てはまりがよいと考えるのが 妥当だろうということになる。

Sの極値点

我々が考えるべき問題は、規格化された残差平方和

$S(\boldsymbol \beta) ={\sum}_{i=1}^{n} \frac{ ({r}_{i})^{2} }{ 2{\sigma}_{i}^{2} } ={\sum}_{i=1}^{n} \frac{ ({y}_{i} - f({x}_{i}, \boldsymbol{\beta}))^{2} }{ 2{\sigma}_{i}^{2} }$

を、最小とするような$\boldsymbol \beta$を見つけることである。

このような$\boldsymbol \beta$において、S の勾配$\boldsymbol{\mathsf{grad}} S$ は、0になる（必要条件）。 従って、このような、$\boldsymbol \beta$は、以下の勾配方程式の解となる。

$\frac{\partial S}{\partial \beta_j}=2\sum_i r_i\frac{\partial r_i}{\partial \beta_j}=0 \quad (j=1,\ldots,n).$

脚注・参考文献

関連項目

• 最急降下法
• 曲線あてはめ