有意

有意（ゆうい, significance）は、確率論・統計学の用語で、「確率的に偶然とは考えにくく、意味があると考えられる」という事である（優位、有為と混同しないこと）。

p値

帰無仮説の下で、実際にデータから計算された統計量よりも極端な統計量が観測される確率をp値(p-value)という。

有意水準

有意水準(significance level) α (0<α<1) とは、どの程度の正確さをもって帰無仮説$H_{0}$を棄却するかを表す定数である。 有意水準αの仮説検定は、$p<\alpha$の時に$H_{0}$を棄却する。 このとき、「統計量はα水準で有意である」という。 $H_{0}$が正しい場合に、これを棄却してしまう確率（第一種の誤り, type I error）はαに等しい。

$\alpha$ の値としては、0.05 (=5%) を用いるのが比較的一般的であるが、 そのとり方は学問・調査・研究対象によっても違いがあり、社会科学などでは0.1（10%）を用いる場合もあり、 厳密さが求められる自然科学では0.01（1%）などを用いる場合もある。 また、データ表示に当たっては有意性に段階をつけて複数の有意水準を同時に用いる事もあり、たとえば0.05水準で有意ならば * 、0.01水準と0.001水準に対してはそれぞれ ** 、 *** と表示する。

有意であるというのは「偶然ではない」と言い切れる事ではなく、「偶然とは考えにくい」というに過ぎない。 したがって、たとえば有意水準5%で有意といった場合には、「実際には偶然に過ぎないのに、誤って『意味がある』と判断している」可能性が多くて5%ある。逆に有意でないといった場合には、あくまで「偶然かもしれない」という意味であって、「偶然である」とまでは断定できない。

多重比較

同種の検定を繰り返して全体での有意性の有無を判断する場合（多重比較, multiple testing）、1回の検定に対する有意水準をαとすると、k回の同様の試行に対して一度でも有意な結果を得る確率 $\alpha _{k}$ はk回の試行の独立性に依存する。たとえば、k回の試行が独立であるときは、$\alpha _{k}=1-(1-\alpha )^{k}$ となる。しかしながら、$\alpha _{k}$ の上限はkαであることから、1回の検定に対する有意水準をα/kと定めれば、k回の同様の試行に対して有意水準が高々αの検定を行うことができる。これをボンフェローニ(Bonferroni)の方法という。ただし、この方法ではkの値が大きくなるにつれて有意水準が下がり、実用性に乏しくなる。そのため、より検定力の高い手法が提案されている。古くはLSD法が、ボンフェローニ法と共に計算が容易であるため好まれた。今日では、HSD法やRyan法が最も一般的である。また、Sheffe法やWSD法も見かけるようになっている。

有意差

帰無仮説を「2つの母数に差がない」という形にした場合には、帰無仮説が棄却されることで「2つの母数には有意差がある」という結論が導かれる。

信頼区間と仮説検定

統計量Xが、ある母数 θ の推定量である場合を考える。このとき、有意水準 α で帰無仮説が棄却されないような X のとりうる範囲は、 信頼水準 $1-\alpha$ に対するθの信頼区間と等しい。

例えば、標本平均 X を母平均 θ の推定量とみなすと、帰無仮説：$\theta =\theta _{0}$ が有意水準5%で棄却されない X の範囲は、 $\theta _{0}$ の95%信頼区間と同じである。

関連項目

• 推計統計学
• 仮説検定
• 信頼区間