逐次最小問題最適化法

出典: フリー百科事典『ウィキペディア(Wikipedia)』
ナビゲーションに移動 検索に移動
逐次最小問題最適化法
クラス サポートベクターマシンの訓練のための最適化アルゴリズム英語版
最悪計算時間 O(n³)

逐次最小問題最適化法: Sequential Minimal Optimization, SMO)はサポートベクターマシン (SVM) の訓練で生じる2次計画問題 (QP) を解くためのアルゴリズムである。1998年にマイクロソフトリサーチJohn Platt英語版によって発明された[1]。SMOはサポートベクターマシンの訓練のために広く使われ、人気のLIBSVMツールによって実装される[2][3]。以前から利用できたSVM訓練法はより一層複雑で、高価なサードパーティーのQPソルバーを必要としたので、1998年のSMOアルゴリズムの公表はSVMコミュニティでたくさんの興奮を引き起こした[4]

最適化問題[編集]

データセット (x1, y1), ..., (xn, yn) に関する二項分類問題を考える。ここで xi は入力ベクトル、yi ∈ {-1, +1} はそれに対応する2値ラベルである。ソフトマージンサポートベクターマシンは以下の双対問題で表される2次計画問題を解くことによって訓練される:

ただし

ここで C は SVM hyperparameter、K(xi, xj) はカーネル関数英語版で、どちらもユーザが与える。変数 ラグランジュ乗数である。

アルゴリズム[編集]

SMOは上記の最適化問題を解くための反復型アルゴリズムである。SMOはこの問題をその時解析的に解かれる一連の最小の可能な部分問題に分割する。ラグランジュ乗数 を伴う線形等式制約のため、最小の可能な問題はそのような2つの乗数を含む。そして、任意の2つの乗数 について、次の制約に分解される:

は前述の和の等式より導かれる定数である。そしてこの問題は解析的に解くことができる。

アルゴリズムは次のように進行する:

  1. 最適化問題のKKT条件を破るラグランジュ乗数 を見つける。
  2. 第2の乗数 を選び、組 を最適化する。
  3. 収束するまでステップ1、2を繰り返す。

すべてのラグランジュ乗数がKKT条件を十分に満たすとき、全体の最適化が終了する。このアルゴリズムは収束することが保証されている。しかし、データセットが大きくなると、組 の選び方がで大きくなるので、より速く収束させるために、部分問題を構成する変数を選び出すためのヒューリスティックを使うことが重要となる。

関連項目[編集]

参考文献[編集]

  1. ^ Platt, John (1998), Sequential Minimal Optimization: A Fast Algorithm for Training Support Vector Machines, CiteSeerx10.1.1.43.4376 
  2. ^ Chang, Chih-Chung; Lin, Chih-Jen (2011年). “LIBSVM: A library for support vector machines”. ACM Transactions on Intelligent Systems and Technology 2 (3). 
  3. ^ Luca Zanni (2006). Parallel Software for Training Large Scale Support Vector Machines on Multiprocessor Systems.
  4. ^ Rifkin, Ryan (2002), “Everything Old is New Again: a Fresh Look at Historical Approaches in Machine Learning”, Ph.D. thesis: 18, http://dspace.mit.edu/handle/1721.1/17549