線形回帰

1つ従属変数と1つの独立変数がある線形回帰の例。

統計学
回帰分析
モデル
線形回帰 単回帰 多項式回帰 一般線形モデル
一般化線形モデル 離散選択 ロジスティック回帰 多項ロジット 混合ロジット プロビット 多項プロビット 順序ロジット 順序プロビット ポアソン
多水準モデル 固定効果 変量効果 混合モデル
非線形回帰 ノンパラメトリック セミパラメトリック ロバスト 分位点 等調 主成分 最小角度 局所 折れ線
変数誤差
推定
最小二乗法 線形 非線形
普通 加重 一般化
部分 総最小二乗法 非負 リッジ回帰 正則化
最小絶対偏差 繰返し加重 ベイズ ベイズ多変量
背景
回帰検証 平均応答と予測応答 誤差と残差 適合度 スチューデント化残差 ガウス＝マルコフの定理

線形回帰（せんけいかいき、英: linear regression）とは、統計学における回帰分析の一種である。線形回帰は非線形回帰と対比される。

基本モデル

線形回帰モデルは、目的変数 Y と説明変数 X_i, i = 1, ..., p および擾乱項 ε の関係を以下のようにモデル化したものである。

$Y=\beta _{0}+\beta _{1}X_{1}+\beta _{2}X_{2}+\cdots +\beta _{p}X_{p}+\varepsilon \,.$

ここで β₀ は切片（「定数」項）、β_i は各々の説明変数の係数であり、p は説明変数の個数である。線形回帰においては、説明変数の係数および切片の組 {β_i}_i∈[0,p) をパラメタとするモデルを与える。また、擾乱項 ε は説明変数 X とは独立である。

ベクトル・行列記法を用いれば、線形回帰モデルは以下のように表せる。

$Y=X\beta +\varepsilon \,.$

線形回帰が「線形」であるのは、目的変数 Y が説明変数 X の係数 β に対して線形であるためである。たとえば

$Y=\beta _{0}+\beta _{1}x+\beta _{2}x^{2}+\varepsilon$

という回帰は x に対して明らかに線形ではないが、係数 β に対して線形であるから、線形回帰の問題に分類される。

単回帰の場合、説明変数は1つだけであり回帰パラメタは2つである。上式は以下のようになる。

$y=a+bx+\varepsilon .\,$

同等な定式化に、線形回帰を条件付き期待値のモデルとして陽に表すものがある。

${\mbox{E}}(y|x)=\alpha +\beta x\,$

ここで、所与の x に対する y の条件付き確率分布は擾乱項の確率分布に一致する。

線形回帰の種類

最小二乗モデル

最小二乗法はカール・フリードリッヒ・ガウスが1820年代に発展させた。本方法は、擾乱項 ε_i の振る舞いに次のような仮定をする（ガウス＝マルコフ仮定）。

• 擾乱 ε_i の期待値は 0 である

  $E[\varepsilon ]=0.$

• 擾乱 ε_i は相互に無相関である（統計的な独立の仮定よりは弱い）

  $\operatorname {cov} (\varepsilon _{i},\varepsilon _{j})=0,\qquad i\neq j.$

• 擾乱 ε_i は等分散、すなわちみな等しい分散をもつ（ガウス＝マルコフの定理も参照）

  $V[\varepsilon _{i}]=\sigma ^{2},\qquad \forall i\in [n].$

以上の仮定は、最小二乗法がある意味で最適なパラメタの推定量を与えることを意味する。

説明変数の個数が p 個のモデルを考えると、線形回帰によって決定すべきパラメタは係数 β₁,..., β_p と切片 ß₀ の p + 1 個である。目的変数と説明変数の測定結果の組 (y_k; x_k1,...,x_kp) を1つのデータとし、n 個のデータを用いた線形回帰は以下のように表すことができる。

${\begin{bmatrix}y_{1}\\y_{2}\\\vdots \\y_{n}\end{bmatrix}}={\begin{bmatrix}1&x_{11}&x_{12}&\dots &x_{1p}\\1&x_{21}&x_{22}&\dots &x_{2p}\\\vdots &\vdots &\vdots &&\vdots \\1&x_{n1}&x_{n2}&\dots &x_{np}\end{bmatrix}}{\begin{bmatrix}\beta _{0}\\\beta _{1}\\\vdots \\\beta _{p}\end{bmatrix}}+{\begin{bmatrix}\varepsilon _{1}\\\varepsilon _{2}\\\vdots \\\varepsilon _{n}\end{bmatrix}}$

上記の連立方程式は、目的変数の観測値を n 成分の列ベクトル Y、説明変数の観測値および切片 β₀ の係数 (=1) を n × (p + 1) 行列 X、回帰パラメタを (p + 1) 成分の列ベクトルβ、観測ごとの擾乱を n 成分の列ベクトル ε とすれば、行列の記法を用いて以下のように表せる。

$Y=\mathbf {X} \beta +\varepsilon .$

n = p の場合、回帰パラメタの標準誤差は算出できない。n が p より小さい場合、パラメタは算出できない。

回帰パラメタの推定量は、

${\widehat {\beta }}=(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }{\vec {y}}$

ガウス＝マルコフの定理による仮定を用いると、結果を分析し、最小二乗法を用いて決定したモデルが有効かどうかを決定できる。 自由度は　n − p − 1　で与えられる。

残差は、観測値とモデルによる予測値の差を表し、回帰結果を分析するときに必要となる。以下のように決定される。

${\hat {\vec {\varepsilon }}}={\vec {y}}-\mathbf {X} {\hat {\beta }}\,$

モデルの標準偏差 ${\hat {\sigma }}$ は以下のように決定される。

${{\hat {\sigma }}={\sqrt {\frac {{\hat {\vec {\varepsilon }}}{\;}^{\top }{\hat {\vec {\varepsilon }}}}{n-p-1}}}={\sqrt {\frac {{\vec {y}}{\,}^{\top }{\vec {y}}-{\hat {\vec {\beta }}}{\,}^{\top }\mathbf {X} ^{\top }{\vec {y}}}{n-p-1}}}}$

誤差の分散は以下のカイ二乗分布に従う。

${\hat {\sigma }}^{2}\sim {\frac {\chi _{n-p-1}^{2}\ \sigma ^{2}}{n-p-1}}$

母数の $100(1-\alpha )\%$ 信頼区間である $\beta _{i}$ は以下のように算出される。

${{\widehat {\beta }}_{i}\pm t_{{\frac {\alpha }{2}},n-p-1}{\hat {\sigma }}{\sqrt {(\mathbf {X} ^{\top }\mathbf {X} )_{ii}^{-1}}}}$

ここで t はt分布でその自由度は $n-p-1$ であり $(\mathbf {X} ^{\top }\mathbf {X} )_{ii}^{-1}$ は行列の第　 $i^{th}$ 行および列の値を表す。

$100(1-\alpha )\%$ 予測（補間または補外）応答の信頼区間は、値 ${\vec {x}}={\vec {x_{d}}}$ に対して下式で表される。

${{\vec {x_{0}}}{\widehat {\beta }}\pm t_{{\frac {\alpha }{2}},n-p-1}{\hat {\sigma }}{\sqrt {{\vec {x_{0}}}(\mathbf {X} ^{\top }\mathbf {X} )_{}^{-1}{\vec {x_{0}}}^{\top }}}}$

ここで ${\vec {x_{0}}}=\langle 1,x_{2},x_{3},...,x_{p}\rangle$　である。

データに対する応答の信頼区間の予測は、$100(1-\alpha )\%$ 以下のように与えられる。

${{\vec {x_{0}}}{\widehat {\beta }}\pm t_{{\frac {\alpha }{2}},n-p-1}{\hat {\sigma }}{\sqrt {1+{\vec {x_{0}}}(\mathbf {X} ^{\top }\mathbf {X} )_{}^{-1}{\vec {x_{0}}}^{\top }}}}$

回帰の二乗和 SSR は下式で与えられる。

${{\mathit {SSR}}=\sum {\left({{\hat {y_{i}}}-{\bar {y}}}\right)^{2}}={\hat {\beta }}^{\top }\mathbf {X} ^{\top }{\vec {y}}-{\frac {1}{n}}\left({{\vec {y}}^{\top }{\vec {u}}{\vec {u}}^{\top }{\vec {y}}}\right)}$

ここで ${\bar {y}}={\frac {1}{n}}\sum y_{i}$ であり ${\vec {u}}$ は n × 1 の1ベクトル（各要素が1）である。 項 ${\frac {1}{n}}y^{\top }uu^{\top }y$ は ${\frac {1}{n}}(\sum y_{i})^{2}$　と等価である。

誤差の二乗和 ESS は下式で与えられる。

${{\mathit {ESS}}=\sum {\left({y_{i}-{\hat {y_{i}}}}\right)^{2}}={\vec {y}}^{\top }{\vec {y}}-{\hat {\beta }}^{\top }\mathbf {X} ^{\top }{\vec {y}}}.$

二乗和の全和 TSS' は下式で与えられる。

${{\mathit {TSS}}=\sum {\left({y_{i}-{\bar {y}}}\right)^{2}}={\vec {y}}^{\top }{\vec {y}}-{\frac {1}{n}}\left({{\vec {y}}^{\top }{\vec {u}}{\vec {u}}^{\top }{\vec {y}}}\right)={\mathit {SSR}}+{\mathit {ESS}}}.$

決定係数, R² は下式で与えられる。

${R^{2}={\frac {\mathit {SSR}}{\mathit {TSS}}}=1-{\frac {\mathit {ESS}}{\mathit {TSS}}}}.$