判別分析

出典: フリー百科事典『ウィキペディア(Wikipedia)』
移動先: 案内検索

判別分析(はんべつぶんせき、: discriminant analysis)は、事前に与えられているデータが異なるグループに分かれる場合、新しいデータが得られた際に、どちらのグループに入るのかを判別するための基準(判別関数、: discriminant function)を得るための正規分布を前提とした分類の手法。英語では線形判別分析(: linear discriminant analysis)をLDA、二次判別分析(: quadratic discriminant analysis)をQDA、混合判別分析(: mixture discriminant analysis)をMDAと略す。1936年ロナルド・フィッシャーが線形判別分析を発表し[1][2]1996年に Trevor Hastie, Robert Tibshirani が混合判別分析を発表した[3]

3つ以上のグループの判別は重判別分析: multiple discriminant analysis)や正準判別分析と呼ばれる。

判別関数の種類[編集]

判別関数には以下の物などがある。

線形判別関数(: linear discriminant function
超平面・直線による判別。線形判別分析は等分散性が必要。
二次判別関数(: quadratic discriminant function
楕円など二次関数による判別。二次判別分析は等分散性が不要。
非線形判別関数(: nonlinear discriminant function
超曲面・曲線などの非線形判別関数。

前提条件[編集]

線形判別分析は、以下の前提条件が成立する必要がある。

その上で、マハラノビス汎距離: Mahalanobis' generalized distance)が等距離の所に直線を引く。これらの前提条件が成立しないとおかしな結果になる。

各グループの平均が異なる以上、分散が異なることは多々ある。等分散性の仮定を外した物が二次判別分析である。それぞれのグループで異なる共分散行列を使用してマハラノビス距離を計算して、等距離になる場所を判別曲面とする方法である。この方法は二次関数となり、正規分布が成立している場合は正しい結果になる。

線形判別分析において、グループ間の確率のロジットは線形関数となるが、ここで線形関数という仮定を残したまま、正規分布や等分散性の仮定を外すとロジスティック回帰や単純パーセプトロンになる[4]

さらに別な方法としては、線形判別関数を使用したい場合は、線形サポートベクターマシンで線形判別関数を求めるという方法もある。

線形判別分析[編集]

線形判別関数は以下の通り。これの正負で判断。 は入力、平均共分散行列。この式は多変量正規分布の式より導出できる。

より細かく、線形判別関数 (y=a1x1+a2x2+…+anxn+a0) の求め方を以下に示す。

  1. 第一群、第二群についてそれぞれ平方和・積和を求める。
    Wii=Σ(xi-x)2,Wij=Σ(xi-x)(xj-x)
  2. 第一群と第二群の平方和・積和を、同じ2変数について足し、自由度N1+N2-2で除す。
    Sij=(Wij(第一群)+Wij(第二群))/(N1+N2-2)
  3. Sijを、そのij列に対応させて分散共分散行列Sとし、各変数にかかる係数をn行1列に並べた行列をA、第一群の各変数の平均値から第二群の各変数を引いた数xi(第一群)-xi(第二群)をn行1列に並べた行列をXとすると以下の式が成り立つ。
    SA=X ゆえに A=S-1X
  4. これにより各変数にかかる係数を求めることができる。
    定数項は、a0=-1/2[a1{x1(第一群平均値)+x1(第二群平均値)}+…+an{xn(第一群平均値)+xn(第二群平均値)}]
  5. 判別得点yが正のとき第一群、負のとき第二群と判別される。
    変数が標準化されていれば、係数の大きさは、そのままその変数が判別に与える影響の大きさである。
    変数が定性的な場合は、ダミー変数を用いる。
    y=a11x11+a12x12+…a21x21+a22x22+…an1xn1+an2xn2+…a0
    ここに、xij:xiのj番目のカテゴリーに反応するとき1、しないとき0。

二次判別分析[編集]

グループの平均を中心に回転・軸方向のスケーリングを行い共分散行列を揃え、線形判別分析を行えば良い。

混合判別分析[編集]

単一の正規分布ではなく、混合正規分布で表現した物を混合判別分析という。その場合でも共分散行列は共通の物を使う。混合正規分布を使うことにより複雑な分布も扱えるようになる。混合正規分布はEMアルゴリズムなどで求める。

関連項目[編集]

参照[編集]

  1. ^ FISHER, R. A. (September 1936). “The use of multiple measurements in taxonomic problems”. Annals of Eugenics 7 (2): 179–188. doi:10.1111/j.1469-1809.1936.tb02137.x. 
  2. ^ Cohen et al. Applied Multiple Regression/Correlation Analysis for the Behavioural Sciences 3rd ed. (2003). Taylor & Francis Group.
  3. ^ Trevor Hastie; Robert Tibshirani (1996). “Discriminant Analysis by Gaussian Mixtures”. Journal of the Royal Statistical Society, Series B 58 (1): 155-176. 
  4. ^ Trevor Hastie, Robert Tibshirani, Jerome Friedman 『統計的学習の基礎 ―データマイニング・推論・予測―』 共立出版、2014年6月25日ISBN 978-4320123625