ニューラルネットワーク

出典: フリー百科事典『ウィキペディア(Wikipedia)』
移動: 案内検索

ニューラルネットワーク(神経回路網、: neural network, NN)は、脳機能に見られるいくつかの特性を計算機上のシミュレーションによって表現することを目指した数学モデルである。研究の源流は生体の脳のモデル化であるが、神経科学の知見の改定などにより次第に脳モデルとは乖離が著しくなり、生物学神経科学との区別のため、人工ニューラルネットワーク(人工神経回路網、: artificial neural network, ANN)とも呼ばれる。

概要[編集]

シナプスの結合によりネットワークを形成した人工ニューロン(ノード)が、学習によってシナプスの結合強度を変化させ、問題解決能力を持つようなモデル全般を指す。狭義には誤差逆伝播法を用いた多層パーセプトロンを指す場合もあるが、これは誤った用法である。

ニューラルネットワークは、教師信号(正解)の入力によって問題に最適化されていく教師あり学習と、教師信号を必要としない教師なし学習に分けられる。明確な解答が用意される場合には教師あり学習が、データ・クラスタリングには教師なし学習が用いられる。中間層が2層以上ある深層学習においては、出力に近い最後の中間層を教師あり学習で、それよりも入力に近い側を教師なし学習で学習する方法がジェフリー・ヒントンらにより提案されている。

結果としていずれも次元削減されるため、画像や統計など多次元量のデータで線形分離不困難な問題に対して、比較的小さい計算量で良好な解を得られることが多い。 現在では、特徴量に基づく画像認識、市場における顧客データに基づく購入物の類推など、パターン認識データマイニングとして応用されている

歴史[編集]

代表的な人工ニューラルネットワーク[編集]

フィードフォワードニューラルネット[編集]

最初に考案された、単純な構造の人工ニューラルネットワークモデル。ネットワークにループする結合を持たず、入力ノード→中間ノード→出力ノードというように単一方向へのみ信号が伝播するものを指す。英語名称は、FFNN、Feedforward Neural Network

多層パーセプトロンの模式図

教師信号によるニューラルネットワークの学習は心理学者ドナルド・ヘッブが1949年に提唱したシナプス可塑性についての法則、「ヘッブの法則」に基づく。神経細胞間のネットワークの繋がりが太くなり、その結果、特定の細胞への情報伝達経路が作られる(情報が流れやすくなる)、これを学習とする。パーセプトロンは学習の結果、集合を超平面により分割する。この学習は有限回の試行で収束することがマービン・ミンスキーによって1969年に証明された。

1986年にデビッド・ラメルハートらにより誤差逆伝播法(バックプロパゲーション)が提案され、多層パーセプトロンの学習モデルとして使用されている。バックプロパゲーションは主に中間層が1層の時に使われ、中間層が2層以上ある時は深層学習と呼ばれ、入力に近い側の層をオートエンコーダで学習してから積み上げていく方法などが提案されている。

各層を X_i と置くと、下記漸化式で表現される。3層の場合は、X_1 が入力層、X_2 が中間層、X_3 が出力層。

X_{i+1} = f(A_i X_i + B_i)

A_iB_i はパラメータ。A_i行列B_iX_i は縦ベクトルA を重みパラメータ、B をバイアスパラメータと呼ぶ。f は活性化関数と呼び、単純パーセプトロンでは使われていなかった、つまり、f(x) = xであったが、すると線形になってしまうので、現在は何らかの非線形関数を使う。微分可能な単調関数を使うことが一般的。最もよく使われるのはシグモイド関数f(x) = 1 / (1 - e^{-x})

学習は誤差を最小化する最適化問題を解く。最適化問題の解法はバックプロパゲーションを使うのが一般的。誤差は二乗和誤差を使うのが一般的。汎化能力を高めるために、誤差に正則化項を加算することが多い。2次の正則化項を追加する場合、誤差に \lambda (\sum_{i, j} a_{ij}^2 + \sum_i b_i^2) を加算する。a, bA, B の要素。\lambda は実数のパラメータ。

RBFネットワーク[編集]

誤差逆伝播法に用いられるActivation function放射基底関数を用いたニューラルネットワーク

自己組織化写像[編集]

自己組織化写像はコホネンが1982年に提案した教師なし学習モデルであり、多次元データのクラスタリング、可視化などに用いられる。自己組織化マップ、コホネンマップとも呼ばれる。

リカレントニューラルネット (フィードバックニューラルネット)[編集]

フィードフォワードニューラルネットと違い、双方向に信号が伝播するモデル。すべてのノードが他の全てのノードと結合を持っている場合、全結合リカレントニューラルネットと呼ぶ。

確率的ニューラルネット[編集]

乱数による確率的な動作を導入した人工ニューラルネットワークモデル。モンテカルロ法のような統計的標本抽出手法と考えることができる。

スパイキングニューラルネットワーク[編集]

ニューラルネットワークをより生物学的な脳の働きに近づけるため、活動電位(スパイク)を重視して作られた人工ニューラルネットワークモデル。スパイクが発生するタイミングを情報と考える。ディープラーニングよりも扱える問題の範囲が広い次世代技術と言われている。ニューラルネットワークの処理は逐次処理のノイマン型コンピュータでは処理効率が低く、活動電位まで模倣する場合には処理効率がさらに低下するため、実用する際には専用プロセッサとして実装される場合が多い。

関連項目[編集]

参照[編集]

解説サイト[編集]