有意

有意（ゆうい, significance）は、確率論・統計学の用語で、「確率的に偶然とは考えにくく、意味があると考えられる」ことを指す。

p値

帰無仮説の下で実際にデータから計算された統計量よりも極端な統計量が観測される確率を、p値(p-value)という。

有意水準

有意水準(significance level) α (0<α<1) は、どの程度の正確さをもって帰無仮説$H_{0}$を棄却するかを表す定数である。有意水準αの仮説検定は、$p<\alpha$の時に$H_{0}$を棄却する。このとき、「統計量はα水準で有意である」という。$H_{0}$が正しい場合に、これを棄却してしまう確率（第一種の誤り）はαに等しい。

$\alpha$ の値としては、0.05 (= 5%) を用いるのが一般的であるが、そのとり方は学問・調査・研究対象によっても違いがあり、社会科学などでは0.1（10%）を用いる場合もあり、厳密さが求められる自然科学では0.01（1%）などを用いる場合もある。また、データ表示に当たっては有意性に段階をつけて複数の有意水準を同時に用いることもあり、たとえば0.05水準で有意ならば * 、0.01水準と0.001水準に対してはそれぞれ ** 、 *** と表示する。

有意であるからといって「偶然ではない」と断定できるわけではなく、「偶然とは考えにくい」という意味に過ぎない。 したがって、たとえば有意水準5%で有意という場合には、「実際には偶然に過ぎないのに、誤って『意味がある』と判断している」可能性が多くて5%ある。逆に、有意でないという場合には、あくまで「偶然かもしれない」という意味であって、「偶然である」とまでは断定できない。

多重比較

同種の検定を繰り返して全体での有意性の有無を判断する場合（多重比較, multiple comparison）、1回の検定に対する有意水準をαとすると、k回の同様の試行に対して一度でも有意な結果を得る確率 $\alpha _{k}$ はk回の試行の独立性に依存する。たとえば、k回の試行が独立であるときは、$\alpha _{k}=1-(1-\alpha )^{k}$ となる。しかしながら、$\alpha _{k}$ の上限はkαであることから、1回の検定に対する有意水準をα/kと定めれば、k回の同様の試行に対して有意水準が高々αの検定を行うことができる。これをボンフェローニ(Bonferroni)の方法という。ただし、この方法ではkの値が大きくなるにつれて有意水準が下がり、実用性に乏しくなる。そのため、より検定力の高い手法が提案されている。古くはLSD法が、ボンフェローニ法と共に計算が容易であるため好まれた。今日では、HSD法やRyan法が最も一般的である。また、Sheffe法やWSD法も見かけるようになっている。これらは、分散分析で3水準以上の要因の主効果が有意であった場合の下位検定にも用いられる。

有意差

帰無仮説を「2つの母数に差がない」という形にした場合には、帰無仮説が棄却されることで「2つの母数の間には有意差 (statistical significance) がある」という結論が導かれる。

信頼区間と仮説検定

統計量Xが、ある母数 θ の推定量である場合を考える。このとき、有意水準 α で帰無仮説が棄却されないような X のとりうる範囲は、信頼水準 $1-\alpha$ に対するθの信頼区間と等しい。

たとえば、標本平均 X を母平均 θ の推定量とみなすと、帰無仮説：$\theta =\theta _{0}$ が有意水準5%で棄却されない X の範囲は、$\theta _{0}$ の95%信頼区間と一致する。

関連項目

• 推計統計学
• 仮説検定
• 信頼区間