グラフィカルモデル

グラフィカルモデル(英語: Graphical model)は、グラフが、確率変数間の条件付き依存構造を示しているような確率モデルである。これらは一般に確率論や統計、特にベイズ統計や機械学習で使用される。

グラフィカルモデルの種類

一般的には、多次元空間上の完全な分布と、ある特定の分布が保持する独立性の集合のコンパクトかつ分解された(表現であるグラフを表現するための基盤として、確率的グラフィカルモデルはグラフベースの表現を使用している。グラフィカルな分布の表現でよく使われるものにベイジアンネットワークとマルコフ確率場がある。両者は分解と独立性の性質を包含するが、表現することができる独立性の集合と、導く分布の分解が異なる。

ベイジアンネットワーク

詳細は「ベイジアンネットワーク」を参照

もし、モデルのネットワーク構造が無閉路有向グラフならば、そのモデルは、すべての確率変数の同時確率の積で表される。厳密に言うと、事象を$X_{1},\ldots ,X_{n}$とすると、共起確率は次を満たす:

$P[X_{1},\ldots ,X_{n}]=\prod _{i=1}^{n}P[X_{i}|pa_{i}]$

ここで$pa_{i}$はノード$X_{i}$の親である。言い換えれば、同時確率は条件付き確率の積に因数分解される。例えば、上に指名した図のグラフィカルモデルは、同時確率が次のように因数分解される確率変数$A,B,C,D$によって構成されている:

$P[A,B,C,D]=P[A]P[B]P[C|B,D]P[D|A,B,C].$

どの2つのノードも、それらの親ノードによる条件付き独立()である。一般に、d-separationと呼ばれる基準をグラフが満たしていれば、どの2つのノード集合も第3の集合による条件付き独立となる。ベイジアンネットワークにおいては、局所独立性と大域独立性は等しい。

このグラフィカルモデルは有向グラフであるベイジアンネットワーク(Bayesian network, Belief network)として知られている。隠れマルコフモデルやニューラルネットワークといった古典的な機械学習モデルや、のような新しいモデルは、ベイジアンネットワークの特殊ケースと考えることができる。

マルコフ確率場

詳細は「マルコフ確率場」を参照

マルコフ確率場(マルコフネットワーク)は無向グラフ上のモデルである。繰り返し構造を多く持つグラフィカルモデルはen:plate notationを用いて表すことができる。

他の種類

• 因子グラフ(en:factor graph)は変数と因子を繋ぐ無向2部グラフである。それぞれの因子はそれと繋がっている変数の確率分布を表現する。グラフは、確率伝搬法を作用させるために因子グラフの形に変形される。
• クリークツリー(en:clique tree, junction tree)は、クリークの木であり、Junction Treeアルゴリズム(en:junction tree algorithm)で用いられる。
• 連鎖グラフ(en:chain tree)は有向エッジと無向エッジの両方を持つことを許した、有向な閉路を持たない（つまり、どのノードからスタートしても、枝の方向に従って移動すれば始点に戻らない）グラフである。有向無閉路グラフも無向グラフも連鎖グラフの特殊ケースであり、それゆえベイジアンネットワークやマルコフネットワークを単一化したり一般化したりすることができる。
• en:ancestral graphは拡張版であり、有向エッジ、双方向エッジ、無向エッジを持つ。
• 条件付き確率場(en:conditional random field)は無向グラフ上の識別モデルである。
• 制限ボルツマンマシン(en:restricted Boltzmann machineは無向グラフ上の生成モデルである。

応用

このモデルのフレームワークは、複雑な分布を簡潔に記述したり、分布中の非構造化情報を抽出したりするために、その構造を発見し分析するアルゴリズムを提供する。さらにそれらを構築し有効的に利用することを可能にする。グラフィカルモデルの応用には、情報抽出、音声認識、コンピュータビジョン、低密度パリティ検査符号の復号、遺伝子調節ネットワーク(en:gene regulatory networkのモデリング、遺伝子の発見および疾患の診断、タンパク質構造のためのグラフィカルモデル(en:graphical models for protein structure))などがある。

関連項目

• 確率伝搬法
• 共分散構造分析

参考文献

書籍

• Bishop, Christopher M. (2006). “Chapter 8. Graphical Models”. Pattern Recognition and Machine Learning. Springer. pp. 359–422. ISBN 0-387-31073-8. MR2247587. http://research.microsoft.com/~cmbishop/PRML/pdf/Bishop-PRML-sample.pdf 
• Cowell, Robert G.; Dawid, A. Philip; Lauritzen, Steffen L.; Spiegelhalter, David J. (1999). Probabilistic networks and expert systems. Berlin: Springer. ISBN 0-387-98767-3. MR1697175  A more advanced and statistically oriented book
• Jensen, Finn (1996). An introduction to Bayesian networks. Berlin: Springer. ISBN 0-387-91502-8 
• Koller, D.; Friedman, N. (2009). Probabilistic Graphical Models. Massachusetts: MIT Press. pp. 1208. ISBN 0-262-01319-3 
• Pearl, Judea (1988). Probabilistic Reasoning in Intelligent Systems (2nd revised ed.). San Mateo, CA: Morgan Kaufmann. ISBN 1-55860-479-0. MR0965765  A computational reasoning approach, where the relationships between graphs and probabilities were formally introduced.

ジャーナル記事

• Edoardo M. Airoldi (2007). “Getting Started in Probabilistic Graphical Models”. PLoS Computational Biology 3 (12): e252. doi:10.1371/journal.pcbi.0030252. PMC 2134967. PMID 18069887. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC2134967/. 
• doi:10.1214/088342304000000026
  これはおそらく他の言語版からコピーされた出典です。日本語版では副テンプレートはまだ作成されていません。テンプレートページを開いて該当言語版からコピーする必要があります。通常英語版ページ

その他

• Heckerman's Bayes Net Learning Tutorial
• A Brief Introduction to Graphical Models and Bayesian Networks
• Sargur Srihari's lecture slides on probabilistic graphical models