シンプソンのパラドックス

シンプソンのパラドックスは1951年にE.H.シンプソンによって記述された統計学的なパラドックスである。

母集団での相関と、母集団を分割した集団での相関は、異なっている場合がある。

つまり集団を2つに分けた場合にある仮説が成立しても、集団全体では正反対の仮説が成立することがある。

シンプソンのパラドックスの例

例：A君とB君が1回目と2回目で合わせて110問を解くというテストを受けた。最初のテストでは、A君は100問を解き60問正解で、B君は10問中9問が正解であった。次のテストでは、A君は10問中1問、B君は100問中30問が正解だった。

この例について考えてみる。話を整理するためにいくつかの記号を導入する。

• 最初のテストでは、A君は解答した問題の60％(S_A(1) = 60%)、B君は90％(= S_B(1) = 90%)が正解であった。つまりB君の方が正解率が高かった。

• 同様に、次のテストでは、A君は10％(S_A(2) = 10%)、B君は30％(= S_B(2) = 30%)の正解率であった。どちらのテストもB君の方が正解率が高かった。

• しかし、2つのテストを合わせてみると、A君とB君は2人とも110の問題を解いていて、そのうちA君は61問(S_A = 61/110)、B君は39問(S_B = 39/110)が正解であった。

• つまり、S_B < S_A となり、B君はどちらのテストでもA君よりも正解率が高かったのにもかかわらず、A君の方が正解率が高いという結果になった。

このパラドックスでは、計算の方法が考慮されていない。もし、S_B(1) > S_A(1) かつ S_B(2) > S_A(2)であれば、私たちは S_B は S_Aよりも大きいに違いない、と思いこみがちである。 しかし、各々の総得点を計算する際に異なった加重を与えてみるとどうなるだろうか。A君の最初のテストの加重は100/110でありB君では10/110である。2回目のテストの加重は各々、A君 10/110、B君 100/110となる。

S_A = 100/110 S_A(1) + 10/110 S_A(2).

S_B = 10/110 S_B(1) + 100/110 S_B(2).

加重を与えることによってAの総得点率は約60％、Bの総得点率は約30％と計算できる。このように、計算方法によりパラドックスを見抜くことが出来る。

しかし、これはA君とB君が「まったく同じ内容の110問テストを受けていた」という仮定においてのみ有効で、たとえば110人の顧客対応に対するリピート率や顧客満足アンケートへの回答の集計など現実的な統計処理においては、依然として個人の成績と全体の成績の間には矛盾が残る。

A君とB君のどちらが上なのだろうか？

総得点に基づくとA君の方が上だと考えられる。しかし、次の例のようにB君の方が上であるかのように話を持って行くことは可能である。

『A君とB君は医師として、病院で治療を行っている。患者は中等症と重症の2群に対する治療で、各々110名の治療成績をテストした。B君は中等症、重症両方の群でA君より良い治療成績であったが、全体の治療成績は悪かった。その理由はB君の患者はほとんどが重症であり（100/110）、A君の患者は殆どが軽症(100/110）であったためである。よってA君の治療成績が良かったという結論は論理的に誤っている。』

上の話では、A君とB君の状況を先ほどのテストの話から何も改変していない。これらの問題は近年の文献でシンプソンのパラドックスとして議論された問題である。

統計学者にとっては1世紀以上前からこの現象は既知であったが、哲学者、コンピュータを扱う科学者、疫学者、経済学者らは最近でもこのパラドックスに対する議論を行っている。