標本平均・標本共分散

標本平均（ひょうほんへいきん、英: sample mean; sample average）および標本共分散（ひょうほんきょうぶんさん、英: sample covariance）は、1つまたは複数の確率変数に関するデータの標本から算出される統計量である。標本平均は標本における中心傾向を表す統計量であり、標本共分散は2つの変数間の関係を表す統計量である。

標本平均とは、母集団（英: population）から抽出された標本の数値から算出される平均値である。統計的推定において、標本平均は母集団全体の平均値である母平均の推定量として用いられる。 母集団から抽出された標本に基づいて母集団の特性を推測することを推測統計といい、母平均の点推定では、標本の大きさが大きくなるほど標本平均は母平均に近づくため、標本平均が母平均の推定値となる。 推定量のばらつきを表す指標として標準誤差があり、標本平均の標準誤差は、多くの場合、標本から得られた不偏分散の正の平方根を用いて推定される。 標本の大きさが大きくなるほど標準誤差は小さくなる。 また、独立に同一の分布から抽出された標本については、標本サイズが大きくなるにつれて、標本平均の分布は近似的に正規分布に従う。

「標本平均」という用語は、多変量データにおいて、各変数の標本平均を成分とする標本平均ベクトルを指す場合にも用いられる。 この場合、各変数について標本分散を定義でき、さらに各変数間の関係を示す標本共分散を計算できる。 標本分散および標本共分散は、分散共分散行列、または単に共分散行列の形にまとめられる。変数が $K$ 個あるとき、この行列は $K\times K$ の大きさを持つ。 標本分散共分散行列は、母集団の分散共分散行列の推定量として用いられる。 また、多変量の標本平均ベクトルの分布や信頼区間を扱う際にも、分散共分散行列が用いられる。

標本平均や標本共分散は、標本内の値の確率分布の位置、ばらつき、および変数間の関係を記述するために用いられる。また、母集団の平均、分散、共分散などの特性値を推定するためにも用いられる。

標本平均の定義

標本平均とは、標本に含まれるある変数の値の平均値であり、それらの値の合計を値の個数で割ったものである。数式で表せば、母集団から変数 $X$ の観測値 $N$ 個の標本が抽出された場合、標本平均 ${\bar {X}}$ は次のように表される:

${\bar {X}}={\frac {1}{N}}\sum _{i=1}^{N}X_{i}$

$X_{i}$ が確率変数であるため、${\bar {X}}$ もまた確率変数である。すなわち、同じ母集団から得られた標本平均でも、何度も試行すれば標本平均として算出される数値も異なる可能性がある。

$K$ 次元の確率変数に興味がある場合、各標本はそれぞれ $K$ 個の観測値からなり、個々の変数に対する標本平均 $K$ 個から確率変数全体の標本平均が構成される。以下では、 $i(\in \{1,2,\ldots ,N\})$ 番目の標本の $j(\in \{1,2,\ldots ,K\})$ 番目の成分を $x_{ij}$ と表し、$i$ 番目の標本の観測値を次の列ベクトル $\mathbf {x} _{i}$ として表すとする:

$\mathbf {x} _{i}=\left[{\begin{matrix}x_{i1}\\\vdots \\x_{ij}\\\vdots \\x_{iK}\end{matrix}}\right]$

この時、標本平均ベクトル $\mathbf {\bar {x}}$ を、次のような各成分ごとの標本平均を縦に並べた列ベクトルとして定義する:

$\mathbf {\bar {x}} ={\frac {1}{N}}\sum _{i=1}^{N}\mathbf {x} _{i}={\begin{bmatrix}{\bar {x}}_{1}\\\vdots \\{\bar {x}}_{j}\\\vdots \\{\bar {x}}_{K}\end{bmatrix}}$

すなわち、標本平均ベクトルの $j$ 番目の成分は、標本から $j$ 番目の成分だけを抜き出して構成される一変量データの標本平均と一致する:

${\bar {x}}_{j}={\frac {1}{N}}\sum _{i=1}^{N}x_{ij},\quad j=1,\ldots ,K$

標本共分散の定義

標本共分散は $K\times K$ のサイズを持つ行列 $\textstyle \mathbf {Q} =\left[q_{jk}\right]$ として表せ、その各成分は

$q_{jk}={\frac {1}{N-1}}\sum _{i=1}^{N}\left(x_{ij}-{\bar {x}}_{j}\right)\left(x_{ik}-{\bar {x}}_{k}\right)$

である。こうして計算される $q_{jk}$ は、母集団の $j$ 番目の要素と $k$ 番目の要素との共分散の推定量として用いることができる。先に定義した列ベクトル表記を用いれば、

$\mathbf {Q} ={1 \over {N-1}}\sum _{i=1}^{N}(\mathbf {x} _{i}-\mathbf {\bar {x}} )(\mathbf {x} _{i}-\mathbf {\bar {x}} )^{\mathrm {T} }$

となる。ただし、式中でTは転置を表す。別の表記法として、列ベクトルを並べて構成できる以下の$K$ 行 $N$ 列の行列

$\mathbf {F} ={\begin{bmatrix}\mathbf {x} _{1}&\mathbf {x} _{2}&\dots &\mathbf {x} _{N}\end{bmatrix}}$

を定義すると、標本共分散は

$\mathbf {Q} ={\frac {1}{N-1}}(\mathbf {F} -\mathbf {\bar {x}} \,\mathbf {1} _{N}^{\mathrm {T} })(\mathbf {F} -\mathbf {\bar {x}} \,\mathbf {1} _{N}^{\mathrm {T} })^{\mathrm {T} }$

として与えられる。ここで、$\mathbf {1} _{N}$ は全ての要素が 1 であるような $N$ 次行ベクトルである。

さらに、$\mathbf {M} =\mathbf {F} ^{\mathrm {T} }$を用いて標本共分散を定義するのであれば、

$\mathbf {Q} ={\frac {1}{N-1}}(\mathbf {M} -\mathbf {1} _{N}\mathbf {\bar {x}} )^{\mathrm {T} }(\mathbf {M} -\mathbf {1} _{N}\mathbf {\bar {x}} )$

として表せる。

多変量確率変数の共分散行列と同様、標本共分散行列もまた半正定値である。これは任意の行列 $\mathbf {A}$ に対して、行列 $\mathbf {A} ^{T}\mathbf {A}$ が半正定値行列であることから直ちに従う。さらに、標本共分散行列が正定値であることと、$\mathbf {F}$ のランクが $K$ であることは同値である。

不偏性

標本平均や標本共分散は、それぞれ母集団平均・母集団の共分散行行列の推定量として、推定量のバイアスを含まない形となっている。上述の定義式で標本共分散の分母に $\textstyle N$ ではなく $\textstyle N-1$ を採用しているのはベッセル補正の一種である。標本共分散は各観測値と標本平均との差に基づいて計算されるが、標本平均自体も観測値を用いて定義されるため、各観測値との相関が0ではない。ベッセル補正はこれを補正している。

標本平均の分布

どの確率変数についても、標本平均は母集団平均の「優れた」推定量である。ここで、「優れた」推定量とは、効率（統計学）が良く、さらに不偏であることを指す。もちろん、同じ分布から抽出した異なる標本では異なる標本平均が得られ、ひいては真の平均に対する異なる推定値となるため、その推定量が母集団平均の真の値そのものであるとは限らない。したがって、標本平均は定数ではなく確率変数であり、その結果として独自の分布を持つことになる。

簡単な例として、母集団が平均 $\mu$、分散 $\sigma ^{2}$ であるような正規分布である場合、$N$ 個の標本から計算される標本平均の従う分布も正規分布である。具体的には、平均 $\mu$、 分散 $\sigma ^{2}/N$ である正規分布に従う。

母集団が正規分布に従わない場合でも、標本サイズ $N$ が十分に大きく、かつ $\sigma ^{2}/N$ が有限であれば、標本平均はおおよそ正規分布に従う。これは中心極限定理の帰結である。

重みつき標本

標本に重みがある場合、$i$ 番目の標本 $\textstyle {\textbf {x}}_{i}$に関連する重み $\textstyle w_{i}\geq 0$ が定義される。ここで、それぞれの重みは規格化されている、すなわち

$\sum _{i=1}^{N}w_{i}=1$

としても一般性を失わない。そうでない場合は、単に上の量で全ての重みを割ればいいからである。

すると、$\textstyle \mathbf {\bar {x}}$ を重み付き算術平均として

$\mathbf {\bar {x}} =\sum _{i=1}^{N}w_{i}\mathbf {x} _{i}$

によって定義できる。また、重み付きの共分散行列 $\textstyle \mathbf {Q}$ の成分 $q_{jk}$ は

$q_{jk}={\frac {1}{1-\sum _{i=1}^{N}w_{i}^{2}}}\sum _{i=1}^{N}w_{i}\left(x_{ij}-{\bar {x}}_{j}\right)\left(x_{ik}-{\bar {x}}_{k}\right)$

で与えられる。もし全ての重みが均一な時、すなわち $\textstyle w_{i}=1/N$ である時、重み付きの平均・共分散はともに重みのない状況の式を再現する。

批判

標本平均や標本共分散は、ロバスト統計量ではないため、外れ値の影響を強く受ける。ロバスト性は、特に実世界での応用において望ましい特性であることが多いことから、ロバストな代替案が望ましいとされる場合がある。それらの代替案として、分布の中心を示す標本中央値や、ばらつきを示す四分位範囲といった、分位数に基づく統計量が挙げられる。また、刈り込み平均や ウィンザー化平均といった代替手法も用いられる。

脚注

関連項目

• 平均
• 共分散
• 標本 (統計学)