コンテンツにスキップ

適応共鳴理論

出典: フリー百科事典『ウィキペディア（Wikipedia）』

適応共鳴理論 (Adaptive resonance theory: ART) は、ステファン・グロスバーグ（英語版）とゲイル・カーペンター（英語版）によって提唱された、脳が情報を処理する仕組みに関する理論である。この理論は、教師あり学習および教師なし学習を用いた複数の人工ニューラルネットワークモデルによって記述されており、パターン認識や予測といった問題に適用する。

ARTモデルの直感的なコンセプトは、視覚オブジェクト認識における物体の同定および認識が、「トップダウン」の観察者の期待と「ボトムアップ」の感覚情報の相互作用の結果として生じる、というものである。ニューラルネットワークモデルでは、「トップダウン」の期待は記憶テンプレートやプロトタイプとして表現され、「ボトムアップ」の感覚である検出された実際の特徴と比較される。この比較によりカテゴリの帰属度が生じる。この期待と感覚の差が所定の閾値（警戒パラメータ）を超えない限り、感知された対象は期待されるクラスに属すると見なされる。この仕組みにより継続学習（英語版）に見られる「可塑性と安定性」の問題、すなわち新しい知識の習得が既存の知識を妨げるという問題（破滅的忘却）の解決に取り組む。

学習モデル

[編集]
基本的なARTの構造

基本的なARTシステムは教師なし学習モデルである。通常は、比較層と認識層（それぞれ人工ニューロンから構成される）、警戒パラメータ（認識の閾値）、およびリセットモジュールから構成される。

  • 比較層は入力ベクトル（一次元配列）を受け取り、それを認識層で最もよく一致するニューロンへ転送する。
    • 最も一致するニューロンとは、重みベクトルが入力ベクトルに最も近いニューロンである。
  • 各認識層のニューロンは、他のすべての認識層ニューロンに負の信号（そのニューロンの一致度に比例）を出力し、出力を抑制する。
    • この仕組みにより、認識層は側抑制を示し、それぞれのニューロンが入力ベクトルの分類カテゴリを表現できるようになる。
  • 入力ベクトルが分類された後、リセットモジュールはその一致度と警戒パラメータを比較する。
    • 一致度が警戒パラメータを超える場合（すなわち入力ベクトルが以前の入力と似ている範囲内である場合）、学習が開始される。
      • 勝利した認識ニューロンの重みは入力ベクトルの特徴に向かって調整される。
    • 一致度が警戒パラメータを下回る場合（ニューロンにとって想定外の入力である場合）、勝利したニューロンは抑制され、探索プロセスが開始される。
      • この探索では、リセット機構によって認識ニューロンが1つずつ無効化され、警戒パラメータを満たす一致が得られるまで繰り返される。
        • 各サイクルにおいて、最も活性の高い認識ニューロンが選ばれ、その活性が閾値未満であれば無効化され、他のニューロンの抑制が解除される。
    • いずれの既存ニューロンでも警戒パラメータを満たせない場合は、新たなニューロンが活性化され、その重みは入力ベクトルに合わせて調整される。
  • 警戒パラメータはシステムの動作に大きな影響を与える。値を高く設定すると記憶は詳細になり（細かく分かれた多数のカテゴリ）、低く設定すると記憶は一般化される（少数で広範なカテゴリ）。

訓練

[編集]

ARTベースのニューラルネットワークには「高速学習」と「低速学習」の2種類の訓練法が存在する。低速学習では、認識ニューロンの重みの調整量が微分方程式によって連続的に計算され、入力ベクトルの提示時間に依存する。一方、高速学習では代数方程式により重みの調整を計算し、2値（バイナリ）を用いる。高速学習は多くのタスクに対して効率的だが、生物学的妥当性を考慮する場合や連続時間ネットワークでは低速学習が望ましい。

種類

[編集]
  • ART 1[1][2]：最も基本的なARTモデルで、2値入力のみに対応する。
  • ART 2[3]：連続値入力にも対応する。
  • ART 2-A[4]：ART 2を簡略化し、実行速度が大幅に向上。
  • ART 3[5]：神経伝達物質を模倣することで、生理学的に現実味のあるパターン認識を実現する。
  • ARTMAP（予測ART）[6]：ART 1またはART 2ユニットを2つ組み合わせて教師あり学習を実現する。
  • ファジィART[7]：ARTにファジィ論理を導入し、汎化性能を高めた。
  • ファジィARTMAP[8]：ファジィARTを用いたARTMAPで、分類性能を向上させる。
  • 簡易ファジィARTMAP（SFAM）[9]：分類問題に特化した簡略化モデル。
  • Fusion ART[11][12][13]：複数のパターンチャネルに対応し、教師あり・なし・強化学習をサポートする。
  • TopoART[14]：ファジィARTとトポロジ学習ネットワークを統合し、ノイズ削減機構も導入する。
  • ハイパースフィアART／ARTMAP[15]：L2ノルムを用いたモデルで、入力の正規化を必要としない。
  • LAPART[16]：2つのファジィARTを結合し、学習された関係に基づく予測が可能なモデル。

参考文献

[編集]
  1. ^ Carpenter, G.A. & Grossberg, S. (2003), Adaptive Resonance Theory Archived 2006-05-19 at the Wayback Machine., In Michael A. Arbib (Ed.), The Handbook of Brain Theory and Neural Networks, Second Edition (pp. 87-90). Cambridge, MA: MIT Press
  2. ^ Grossberg, S. (1987), Competitive learning: From interactive activation to adaptive resonance Archived 2006-09-07 at the Wayback Machine., Cognitive Science (journal), 11, 23-63
  3. ^ Carpenter, G.A. & Grossberg, S. (1987), ART 2: Self-organization of stable category recognition codes for analog input patterns Archived 2006-09-04 at the Wayback Machine., Applied Optics, 26(23), 4919-4930
  4. ^ Carpenter, G.A., Grossberg, S., & Rosen, D.B. (1991a), ART 2-A: An adaptive resonance algorithm for rapid category learning and recognition Archived 2006-05-19 at the Wayback Machine., Neural Networks, 4, 493-504
  5. ^ Carpenter, G.A. & Grossberg, S. (1990), ART 3: Hierarchical search using chemical transmitters in self-organizing pattern recognition architectures Archived 2006-09-06 at the Wayback Machine., Neural Networks, 3, 129-152
  6. ^ Carpenter, G.A., Grossberg, S., & Reynolds, J.H. (1991), ARTMAP: Supervised real-time learning and classification of nonstationary data by a self-organizing neural network Archived 2006-05-19 at the Wayback Machine., Neural Networks, 4, 565-588
  7. ^ Carpenter, G.A., Grossberg, S., & Rosen, D.B. (1991b), Fuzzy ART: Fast stable learning and categorization of analog patterns by an adaptive resonance system Archived 2006-05-19 at the Wayback Machine., Neural Networks, 4, 759-771
  8. ^ Carpenter, G.A., Grossberg, S., Markuzon, N., Reynolds, J.H., & Rosen, D.B. (1992), Fuzzy ARTMAP: A neural network architecture for incremental supervised learning of analog multidimensional maps Archived 2006-05-19 at the Wayback Machine., IEEE Transactions on Neural Networks, 3, 698-713
  9. ^ Mohammad-Taghi Vakil-Baghmisheh and Nikola Pavešić. (2003) A Fast Simplified Fuzzy ARTMAP Network, Neural Processing Letters, 17(3):273–316
  10. ^ James R. Williamson. (1996), Gaussian ARTMAP: A Neural Network for Fast Incremental Learning of Noisy Multidimensional Maps, Neural Networks, 9(5):881-897
  11. ^ Y.R. Asfour, G.A. Carpenter, S. Grossberg, and G.W. Lesher. (1993) Fusion ARTMAP: an adaptive fuzzy network for multi-channel classification. In: Proceedings of the Third International Conference on Industrial Fuzzy Control and Intelligent Systems (IFIS).
  12. ^ Tan, A.-H.; Carpenter, G. A.; Grossberg, S. (2007). “Intelligence Through Interaction: Towards a Unified Theory for Learning”. In Liu, D.; Fei, S.; Hou, Z.-G. et al. (英語). Advances in Neural Networks – ISNN 2007. Lecture Notes in Computer Science. 4491. Berlin, Heidelberg: Springer. pp. 1094–1103. doi:10.1007/978-3-540-72383-7_128. ISBN 978-3-540-72383-7. https://ink.library.smu.edu.sg/sis_research/6558 
  13. ^ Tan, A.-H.; Subagdja, B.; Wang, D.; Meng, L. (2019). “Self-organizing neural networks for universal learning and multimodal memory encoding” (英語). Neural Networks 120: 58–73. doi:10.1016/j.neunet.2019.08.020. PMID 31537437. https://linkinghub.elsevier.com/retrieve/pii/S0893608019302370. 
  14. ^ Marko Tscherepanow. (2010) TopoART: A Topology Learning Hierarchical ART Network, In: Proceedings of the International Conference on Artificial Neural Networks (ICANN), Part III, LNCS 6354, 157-167
  15. ^ Georgios C. Anagnostopoulos and Michael Georgiopoulos. (2000), Hypersphere ART and ARTMAP for Unsupervised and Supervised Incremental Learning, In: Proceedings of the International Joint Conference on Neural Networks (IJCNN), vol. 6, 59-64
  16. ^ Sandia National Laboratories (2017) Lapart-python documentation
「https://ja.wikipedia.org/w/index.php?title=適応共鳴理論&oldid=105483490」から取得