線形回帰

1つの従属変数と1つの独立変数がある線形回帰の例。

統計学
回帰分析
モデル
線形回帰 単回帰 多項式回帰 一般線形モデル
一般化線形モデル 離散選択 ロジスティック回帰 多項ロジット 混合ロジット プロビット 多項プロビット 順序ロジット 順序プロビット ポアソン
多水準モデル 固定効果 変量効果 混合モデル
非線形回帰 ノンパラメトリック セミパラメトリック ロバスト 分位点 等調 主成分 最小角度 局所 折れ線
変数誤差
推定
最小二乗法 線形 非線形
普通 加重 一般化
部分 総最小二乗法 非負 リッジ回帰 正則化
最小絶対偏差 繰返し加重 ベイズ ベイズ多変量
背景
回帰検証 平均応答と予測応答 誤差と残差 適合度 スチューデント化残差 ガウス＝マルコフの定理

線形回帰（せんけいかいき、英: linear regression）とは、統計学における回帰分析の一種である。線形回帰は非線形回帰と対比される。

基本モデル

線形回帰モデルは、目的変数 Y と説明変数 X_i, i = 1, ..., p および擾乱項 ε の関係を以下のようにモデル化したものである。

$Y=\beta _{0}+\beta _{1}X_{1}+\beta _{2}X_{2}+\cdots +\beta _{p}X_{p}+\varepsilon \$

ここで β₀ は切片（「定数」項）、β_i は各々の説明変数の係数であり、p は説明変数の個数である。線形回帰においては、説明変数の係数および切片の組 {β_i}_i∈[0,p) をパラメタとするモデルを与える。また、擾乱項 ε は説明変数 X とは独立である。

ベクトル・行列記法を用いれば、線形回帰モデルは以下のように表せる。

$Y=X\beta +\varepsilon \$

線形回帰が「線形」であるのは、目的変数 Y が説明変数 X の係数 β に対して線形であるためである。たとえば

$Y=\beta _{0}+\beta _{1}x+\beta _{2}x^{2}+\varepsilon$

という回帰は x に対して明らかに線形ではないが、係数 β に対して線形であるから、線形回帰の問題に分類される。

単回帰の場合、説明変数は1つだけであり回帰パラメタは2つである。上式は以下のようになる。

$y=a+bx+\varepsilon \$

同等な定式化に、線形回帰を条件付き期待値のモデルとして陽に表すものがある。

${\mbox{E}}(y|x)=\alpha +\beta x\$

ここで、所与の x に対する y の条件付き確率分布は擾乱項の確率分布に一致する。

線形回帰の種類

最小二乗モデル

最小二乗法はカール・フリードリッヒ・ガウスが1820年代に発展させた。本方法は、擾乱項 ε_i の振る舞いに次のような仮定をする（ガウス＝マルコフ仮定）。

• 擾乱 ε_i の期待値は 0 である

  $E[\varepsilon ]=0$

• 擾乱 ε_i は相互に無相関である（統計的な独立の仮定よりは弱い）

  $\operatorname {cov} (\varepsilon _{i},\varepsilon _{j})=0,\qquad i\neq j.$

• 擾乱 ε_i は等分散、すなわちみな等しい分散をもつ（ガウス＝マルコフの定理も参照）

  $V[\varepsilon _{i}]=\sigma ^{2},\qquad \forall i\in [n].$

以上の仮定は、最小二乗法がある意味で最適なパラメタの推定量を与えることを保証する。

説明変数の個数が p 個のモデルを考えると、線形回帰によって決定すべきパラメタは係数 β₁,..., β_p と切片 β₀ の p + 1 個である。目的変数と説明変数の測定結果の組 (y_k; x_k1,...,x_kp) を1つのデータとし、n 個のデータを用いた線形回帰は以下のように表すことができる。

${\begin{bmatrix}y_{1}\\y_{2}\\\vdots \\y_{n}\end{bmatrix}}={\begin{bmatrix}1&x_{11}&x_{12}&\dots &x_{1p}\\1&x_{21}&x_{22}&\dots &x_{2p}\\\vdots &\vdots &\vdots &&\vdots \\1&x_{n1}&x_{n2}&\dots &x_{np}\end{bmatrix}}{\begin{bmatrix}\beta _{0}\\\beta _{1}\\\vdots \\\beta _{p}\end{bmatrix}}+{\begin{bmatrix}\varepsilon _{1}\\\varepsilon _{2}\\\vdots \\\varepsilon _{n}\end{bmatrix}}$

上記の連立方程式は、目的変数の観測値を n 成分の列ベクトル Y、説明変数の観測値および切片 β₀ の係数 (=1) を n × (p + 1) 行列 X、回帰パラメタを (p + 1) 成分の列ベクトルβ、観測ごとの擾乱を n 成分の列ベクトル ε とすれば、行列の記法を用いて以下のように表せる。

$Y=\mathbf {X} \beta +\varepsilon$

n = p の場合、回帰パラメタの標準誤差は算出できない。n が p より小さい場合、パラメタは算出できない。

回帰パラメタの推定量は、

${\widehat {\beta }}=(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }{\vec {y}}$

で与えられ、ガウス＝マルコフの定理より推定量${\widehat {\beta }}$は最良線形不偏推定量になる。つまり、任意の線形不偏推定量$\beta$に対して

$V[\beta ]\geq V[{\widehat {\beta }}]$

が成立する。

回帰の二乗和 SSR は下式で与えられる。

${{\mathit {SSR}}=\sum {\left({{\hat {y_{i}}}-{\bar {y}}}\right)^{2}}={\hat {\beta }}^{\top }\mathbf {X} ^{\top }{\vec {y}}-{\frac {1}{n}}\left({{\vec {y}}^{\top }{\vec {u}}{\vec {u}}^{\top }{\vec {y}}}\right)}$

ここで ${\bar {y}}={\frac {1}{n}}\sum y_{i}$ であり ${\vec {u}}$ は n × 1 の1ベクトル（各要素が1）である。 項 ${\frac {1}{n}}y^{\top }uu^{\top }y$ は ${\frac {1}{n}}(\sum y_{i})^{2}$　と等価である。

誤差の二乗和 ESS は下式で与えられる。

${{\mathit {ESS}}=\sum {\left({y_{i}-{\hat {y_{i}}}}\right)^{2}}={\vec {y}}^{\top }{\vec {y}}-{\hat {\beta }}^{\top }\mathbf {X} ^{\top }{\vec {y}}}$

二乗和の全和 TSS' は下式で与えられる。

${{\mathit {TSS}}=\sum {\left({y_{i}-{\bar {y}}}\right)^{2}}={\vec {y}}^{\top }{\vec {y}}-{\frac {1}{n}}\left({{\vec {y}}^{\top }{\vec {u}}{\vec {u}}^{\top }{\vec {y}}}\right)={\mathit {SSR}}+{\mathit {ESS}}}$

決定係数, R² は下式で与えられる。

${R^{2}={\frac {\mathit {SSR}}{\mathit {TSS}}}=1-{\frac {\mathit {ESS}}{\mathit {TSS}}}}$

擾乱項が正規分布に従うモデル

以下では擾乱項ε_iが互いに独立な平均$0$, 分散$\sigma ^{2}$の正規分布に従うと仮定する。

残差は、観測値とモデルによる予測値の差を表し、以下のように決定される。

${\hat {\vec {\varepsilon }}}={\vec {y}}-\mathbf {X} {\hat {\beta }}\$

この時、統計量$S^{2}={\frac {{\hat {\vec {\varepsilon }}}{\;}^{\top }{\hat {\vec {\varepsilon }}}}{n-p-1}}$は分散$\sigma ^{2}$の不偏推定量（$E[S^{2}]=\sigma ^{2}$）になる。また、最小二乗推定量${\widehat {\beta }}$と統計量$S^{2}$について以下が成立することが知られている。証明は久保川(2017)や解説記事が詳しい。

1. ${\widehat {\beta }}$は多次元正規分布${\mathcal {N}}\left(\beta ,\sigma ^{2}({\boldsymbol {X}}^{\top }{\boldsymbol {X}})^{-1}\right)$に従う
2. ${\frac {(N-P-1)S^{2}}{\sigma ^{2}}}$は自由度$n-p-1$の$\chi _{n-p-1}^{2}$分布に従う
3. ${\widehat {\beta }}$と$S^{2}$は独立

上記の事実をもとに回帰係数の有意性検定、信頼区間や予測区間を構成できる。

回帰係数の有意性検定

回帰係数の推定量${\widehat {\beta }}_{i}$は正規分布${\mathcal {N}}\left(\beta _{i},\sigma ^{2}({\boldsymbol {X}}^{\top }{\boldsymbol {X}})_{ii}^{-1}\right)$に従うことから

$T={\dfrac {{\hat {\beta }}_{i}-\beta _{i}}{\sqrt {({\boldsymbol {X}}^{\top }{\boldsymbol {X}})_{ii}^{-1}S^{2}}}}$

は自由度$n-p-1$の$t$分布に従う。ここで$({\boldsymbol {X}}^{\top }{\boldsymbol {X}})_{ii}^{-1}$は行列${\boldsymbol {X}}^{\top }{\boldsymbol {X}}$の第$(i+1,i+1)$成分である。（添え字$i$は0から始まることに注意。）

これより適当な有意水準$\alpha$で

• 帰無仮説: $\beta _{i}=0$
• 対立仮説: $\beta _{i}\neq 0$

を検定することできる。

信頼区間と予測区間

値 ${\vec {x}}={\vec {x}}_{0}$における$100(1-\alpha )\%$ の信頼区間は下式で表される。

${{\vec {x_{0}}}{\widehat {\beta }}\pm t_{{\frac {\alpha }{2}},n-p-1}{\sqrt {{\vec {x_{0}}}(\mathbf {X} ^{\top }\mathbf {X} )_{}^{-1}{\vec {x_{0}}}^{\top }S^{2}}}}$

同様に値 ${\vec {x}}={\vec {x}}_{0}$における$100(1-\alpha )\%$ の予測区間は下式で表される。

${{\vec {x_{0}}}{\widehat {\beta }}\pm t_{{\frac {\alpha }{2}},n-p-1}{\sqrt {(1+{\vec {x_{0}}}(\mathbf {X} ^{\top }\mathbf {X} )_{}^{-1}{\vec {x_{0}}}^{\top })S^{2}}}}$