外れ値

外れ値（中央の赤い点）

外れ値（はずれち、英: outlier）は、統計学において、他の値から大きく外れた値のこと。測定ミス・記録ミス等に起因する異常値とは概念的には異なるが、実用上は区別できないこともある。ロバスト統計では、外れ値に対しての頑健性確保を重視する。

英語のoutlierには「他より著しく異なるため一般的結論を導けない人や物や事実」を指す意味もある。

検定

外れ値かどうか検定したい標本について、偏差を不偏標準偏差で割った検定統計量

$\tau _{1}={\frac {x_{1}-\mu }{\sigma }}$

を求め（x₁ は標本値、μ は平均、σ は標準偏差）、この値（両側検定をする場合はこの絶対値）が有意点より大きいかどうかで検定する。

簡単な方法では、2または3を有意点とする。つまり、μ ± 2–3 σ の外なら外れ値とする。

スミルノフ・グラブス検定

より精密には、正規分布を仮定して、スミルノフ・グラブス (Smirnov‐Grubbs) 検定を使う。サンプルサイズを n、所要の有意水準を α、自由度 n - 2 のt分布の α / n × 100 パーセンタイルを t として、

$\tau ={\frac {(n-1)t}{\sqrt {n(n-2)+nt^{2}}}}$

を有意点とする。平均値から最も外れている1つのデータのみを検定し、それが外れ値と判定されたら、それを除外した n － 1 のサンプルサイズにおいて最も外れているデータを検定し、以下、外れ値が検出されなくなるまでこれを繰り返す。

トンプソン検定

トンプソン (Thompson) 検定では、

$t={\frac {\tau {\sqrt {n-2}}}{\sqrt {n-1-\tau ^{2}}}}$

を使う。計算式の都合上、スミルノフ・グラブス検定とは逆に、標本値の検定統計量 τ₁ から t₁ を経て有意水準 α₁ を求めることが多い。n が十分大きければスミルノフ・グラブス検定と同じ結果になる。

アンスコムの例

外れ値は統計的推定に大きな影響を与える場合がある。「アンスコムの例」の第IIIのデータセットでは、1つの外れ値が相関係数や回帰直線の傾きを大きく変えている。この事例は、外れ値が統計量を歪める典型例であり、可視化によって初めてその影響を認識できる。

関連項目

• Huber損失

外部リンク

• スミルノフ・グラブス検定の有意点