次元の呪い
次元の呪い（じげんののろい、英: The curse of dimensionality）という言葉は、リチャード・ベルマンが使ったもので、（数学的）空間の次元が増えるのに対応して問題の算法が指数関数的に大きくなることを表している。
例えば、単位区間をサンプリングするには100個の点を等間隔で、かつ点間の距離を 0.01 以上にならないように配置すれば十分である。同じようなサンプリングを10次元の単位超立方体について行おうとすると、必要な点の数は 1020 にもなる。したがって、10次元の超立方体はある意味では単位区間の1018倍の大きさとも言える。
高次元ユークリッド空間の広大さを示す別の例として、単位球と単位立方体の大きさを次元を上げながら比較してみればよい。次元が高くなると、単位球は単位立方体に比較して小さくなっていく。したがってある意味では、ほとんど全ての高次元空間は中心から遠く、言い換えれば、高次元単位空間はほとんど超立方体の角で構成されており、「中間」がない。このことは、カイ二乗分布を理解する上で重要である。
数値解析における次元の呪い[編集]
数値解析における次元の呪い（計算時間・数値誤差の増大）として、以下が挙げられる。
最適化と機械学習における次元の呪い[編集]
次元の呪いは、状態変数の次元が大きい動的最適化問題を数値的後ろ向き帰納法で解く際の重大な障害となる。また機械学習問題においても、高次元の特徴空間と高次元空間での最近傍探索で、有限個の標本から自然の状態を学習しようとする際に、次元の呪いが問題を複雑化する。
関連項目[編集]
出典[編集]
- ^ a b 山本哲朗『数値解析入門』（増訂版）サイエンス社〈サイエンスライブラリ 現代数学への入門 14〉、2003年6月。ISBN 4-7819-1038-6。
- ^ 手塚集、「数値多重積分に関する話題(<特集>数値計算)」 『応用数理』 1998年 8巻 4号 p.267-276, doi:10.11540/bjsiam.8.4_267, 日本応用数理学会
- ^ Traub, J. F., & Woźniakowski, H. (1994). Breaking intractability. Scientific American, 270(1), 102-107.
参考文献[編集]
- Bellman, R.E. 1957. Dynamic Programming. Princeton University Press, Princeton, NJ.
- Republished 2003: Dover, ISBN 0486428095.
- Bellman, R.E. 1961. Adaptive Control Processes. Princeton University Press, Princeton, NJ.
- Powell, Warren B. 2007. Approximate Dynamic Programming: Solving the Curses of Dimensionality. Wiley, ISBN 0470171553.