独立同分布

独立同分布（どくりつどうぶんぷ、英: independent and identically distributed; IID, i.i.d., iid）や独立同一分布（どくりつどういつぶんぷ）とは、確率論と統計学において、確率変数の列やその他の系が、それぞれの確率変数が他の確率変数と同じ確率分布を持ち、かつ、それぞれ互いに独立している場合をいう^[1]。「独立同分布」という確率分布があるわけではない。

IIDという注記は統計において特に一般的であり、推計統計学の目的のために、しばしば標本中の観測値が効果的にIIDであると仮定される。観測値がIIDであるという前提（または要件）により、多くの統計的方法の基礎となる数学が単純化される傾向がある（数理統計学（英語版）および統計理論（英語版）を参照）。しかし、統計モデルの実際の応用においては、この仮定が現実的である場合とそうでない場合がある。与えられたデータの集合上でこの仮定がどれほど現実的であるかをテストするために、コレログラム（英語版）を書いたりターニングポイントテスト（英語版）をすることで、自己相関を計算することができる^[2]。交換可能な確率変数（英語版）の一般化はしばしば十分であり、より容易に満たされる。

この仮定は、有限の分散を有するIIDな変数の和（または平均）の確率分布が正規分布に近づくという中心極限定理の古典的な形式において重要である。

IIDは確率変数の列を参照することに注意が必要である。独立同分布とは、列内の要素が、その要素の前の確率変数とは独立していることを意味する。このように、IIDの列はマルコフ過程とは異なる。マルコフ過程では、n 番目の確率変数の確率分布は、列内の前の確率変数の関数である（1次マルコフ過程の場合）。IIDの列は、標本空間またはイベント空間の全ての要素の確率が同じでなければならないということを意味しない^[3]。例えば、いかさまサイコロを繰返し投げた場合、結果が偏っているにもかかわらず、IIDである列が生成される。

定義[編集]

確率変数を $\mathbb {I} \subseteq \mathbb {R}$ の値を取ると定義する。

$P[x\geq X]=P[x\geq Y],\,\forall x\in \mathbb {I}$ の時かつその時に限り、2つの確率変数 $X$ と $Y$ は 同一分布に従う(identically distributed)という。

$P[x\geq Y]=P[x\geq Y|x\geq X]\land P[x\geq X]=P[x\geq X|x\geq Y]\,\forall x\in \mathbb {I}$ の時かつその時に限り、2つの確率変数 $X$ と $Y$ は独立(independent)であるという。独立 (確率論)#確率変数の独立も参照。

例[編集]

モデリングでの使用[編集]

以下に挙げるは、IID確率変数の例または適用例である。

公正または不正なルーレットの出目の列はIIDである。例えば、ルーレットのボールが20回連続して「赤」に入ったとしても、次にルーレットを回した時に「黒」に入る確率は、高くも低くもなっていない（ギャンブラーの誤謬を参照）。
公正または不正なサイコロの出目の列はIIDである。
公正または不正なコイントスの結果の列はIIDである。
信号処理と画像処理では、IIDへの変換という概念は、ID（同一分布）部分とI（独立）部分の2つの仕様を意味する。
- ID: 信号レベルは時間軸上で平衡しなければならない。
- I: 信号スペクトルは平坦化されなければならない。すなわち、フィルタリング（逆畳み込みなど）によって白色信号（全ての周波数が等しく存在するもの）に変換されなければならない。

推論での使用[編集]

最も簡単な統計検定の1つであるz検定は、確率変数の平均に関する仮説を検定するために使用される。z検定を使用するとき、中心極限定理の条件を満たすために、全ての観測値がIIDであると仮定する（IIDであることが要求される）。

一般化[編集]

確率変数がIIDであるという仮定の下で証明された多くの結果は、より弱い分布仮定の下でも真であることが示されている。

交換可能な確率変数[編集]

詳細は「en:Exchangeable random variables」を参照

IID変数の主な特性を共有する最も一般的な概念は、ブルーノ・デ・フィネッティによって導入された交換可能な確率変数（英語版）である。交換可能性とは、変数が独立していない可能性はあるが、将来のものは過去のものと同じように振る舞う（正式には、有限な列の値はそれらの値の順列と同じである）ことを意味する。同時分布は対称群の下で不変である。

これは有益な一般化を提供する。例えば、置換を伴わない標本化は独立ではなく、交換可能である。これは、ベイズ統計学で広く使用されている。

レヴィ過程[編集]

詳細は「独立増分過程#レヴィ過程」を参照

確率解析では、IID変数は離散時間（英語版）レヴィ過程と見なされる。各変数は、ある時刻から別の時刻の間にどれだけ変化するかを示す。例えば、ベルヌーイ試行の列は、ベルヌーイ過程と解釈される。これを一般化して、連続時間レヴィ過程を含めることができ、多くのレヴィ過程はIID変数の限界として見ることができる。例えば、ウィーナー過程はベルヌーイ過程の限界である。

ホワイトノイズ[編集]

ホワイトノイズは、IIDの単純な例である。

脚注[編集]

[脚注の使い方]

^ Aaron Clauset. “A brief primer on probability distributions”. Santa Fe Institute. 2017年7月28日閲覧。
^ Le Boudec, Jean-Yves (2010). Performance Evaluation Of Computer And Communication Systems. EPFL Press. pp. 46-47. ISBN 978-2-940222-40-7
^ Cover, Thomas (2006). Elements Of Information Theory. Wiley-Interscience. pp. 57–58. ISBN 978-0-471-24195-9

[1] Aaron Clauset. “A brief primer on probability distributions”. Santa Fe Institute. 2017年7月28日閲覧。

[2] Le Boudec, Jean-Yves (2010). Performance Evaluation Of Computer And Communication Systems. EPFL Press. pp. 46-47. ISBN 978-2-940222-40-7

[3] Cover, Thomas (2006). Elements Of Information Theory. Wiley-Interscience. pp. 57–58. ISBN 978-0-471-24195-9

[1]

[2]

[3]