「情報幾何学」の版間の差分
記事作成 |
(相違点なし)
|
2021年6月15日 (火) 16:08時点における版
情報幾何学（じょうほうきかがく、英: information geometry、仏: géométrie de l’information、独: Informationsgeometrie、略称: IG[1]）とは、確率分布を要素とする統計モデルに関する微分幾何学的研究[2]のことであり、狭義には双対アフィン接続の微分幾何学[3]を指す。「数理統計学の微分幾何学化」[4]や「統計的推論の幾何学的方法論」[5]や「情報理論における微分幾何を用いた定式化」[6]と表現されるように、情報幾何学は統計学・情報理論・確率理論（大偏差理論）にまたがる[7]学際的な分野である。
概要
情報幾何学のアイデアは、1929年にハロルド・ホテリングが記した草稿[8][9]にまで遡ることができる[10]。ホテリングはフィッシャー情報行列が統計モデルにリーマン計量（フィッシャー計量）を定めることを考察し[11]、1945年にクラメール・ラオも独立にそのことを指摘した[12]。さらに1972年にはニコライ・チェンツォフが、マルコフ埋め込みに関する不変性の下では、リーマン計量が（定数倍を除いて）フィッシャー計量だけに限られ、アフィン接続も（1次元実数パラメータの自由度を除いて）一意に定まることを有限集合上の確率分布の場合について証明した[13][14]（チェンツォフの定理[15]）。一方、1975年にブラッドリー・エフロンは統計的推論の高次漸近理論において、指数型分布族に埋め込まれた統計モデル（曲指数型分布族）にある種の埋め込み曲率を定義し[16]、フィリップ・デイヴィッドはその曲率がフィッシャー計量に関して非計量的なあるアフィン接続から定まることを指摘した[17]。
このような状況に対し、甘利俊一は1982年に 接続を定義することによって一般論を展開することに成功し[18]、フィッシャー計量と 接続（特に の場合）の成す微分幾何学的構造が研究され始めるようになった。実際、たしかに有限集合上の確率分布において、 接続はチェンツォフの定めたアフィン接続の1係数族と一致している[19]。甘利はさらに、1982年に長岡浩司と共同で情報幾何の双対構造を発表し[20]、1983年に公文雅之と共同で統計的推論の高次漸近理論の幾何を提唱した[21][22]。1984年にデイヴィッド・コックス卿が統計の微分幾何に関するワークショップをロンドンで開催したのを皮切りに[23]、少しずつ世界的な知名度が上がって研究が活発化するようになった[24]。江口真透が情報幾何をダイバージェンスを基に構築できることを示したのはその翌年のことであり[25]、双対平坦空間や標準ダイバージェンスなどの一般論が整備されるにつれて情報幾何学はその地位を確立することに成功した。
情報幾何学の応用は、EMアルゴリズム[26][27]のような統計的推論のみならず、統計物理学[28][29]や学習理論[30]、情報熱力学[31][32]にまで及んでおり、2018年にはこのような進展を背景にSpringer社から学術誌 Information Geometry が刊行されることが決定した。今後はさらに、量子情報幾何[33][34]やワッサースタイン幾何[35]、ルピナー幾何などの発展も期待されている。
注釈と出典
- ^ Nielsen, Frank (2020). “An Elementary Introduction to Information Geometry”. Entropy 22 (10): 1100. doi:10.3390/e22101100. ISSN 1099-4300. PMC PMC7650632. PMID 33286868.
- ^ “情報幾何学”. 岩波数学辞典. 日本数学会 (4th ed.). 岩波書店. (2007). pp. 543-546. ISBN 978-4-00-080309-0. OCLC 1086209906
- ^ 藤原, 彰夫 (2015). 情報幾何学の基礎. 牧野書店. ISBN 978-4434208812. OCLC 922844329
- ^ Goto, Shin-itiro; Hino, Hideitsu (2019). “Information and contact geometric description of expectation variables exactly derived from master equations”. Physica Scripta 95 (1): 015207. doi:10.1088/1402-4896/ab4295. ISSN 1402-4896.
- ^ 松添, 博 (2014). “統計多様体とアファイン微分幾何学”. 数理解析研究所講究録 1916: 1-17.
- ^ 伊藤, 創祐 (2018). “情報幾何の確率的熱力学による解釈と熱力学不確定性関係”. 日本物理学会講演概要集 73.2: 2183–2183. doi:10.11316/jpsgaiyo.73.2.0_2183.
- ^ 長岡, 浩司 (2006). “情報幾何の基礎概念”. 情報幾何への入門と応用: 1-36.
- ^ Hotelling, Harold (1930). “Spaces of statistical parameters”. Bulletin of the American Mathematical Society 36: 191.
- ^ Stigler, Stephen M. (2007). “The Epic Story of Maximum Likelihood”. Statistical Science 22 (4). doi:10.1214/07-STS249. ISSN 0883-4237.
- ^ Nielsen, 2020, p. 26
- ^ 甘利, 俊一 (2020). “情報幾何: その歴史的発展と将来”. 数理科学 689: 5-6.
- ^ C. R. Rao (1945). “Information and the accuracy attainable in the estimation of statistical parameters”. Bulletin of the Calcutta Mathematical Society 37: 81-91.
- ^ Ченцов Н.Н. (1972). Статистические решающие правила и оптимальные выводы. Наука
- ^ Chent︠s︡ov, N. N. (1982). Statistical decision rules and optimal inference. L. I︠A︡. Leĭfman. Providence, R.I.: American Mathematical Society. ISBN 0-8218-4502-0. OCLC 7837189
- ^ 藤原, 彰夫 (2016). “Chentsov の定理とその周辺 (I)”. ミニワークショップ:統計多様体の幾何学とその周辺 8.
- ^ Efron, Bradley (1975). “Defining the Curvature of a Statistical Problem (with Applications to Second Order Efficiency)”. The Annals of Statistics 3 (6): 1189-1242. doi:10.1214/aos/1176343282. ISSN 0090-5364.
- ^ Dawid, A. P. (1975). “Discussion of Efron”. Annals of Statistics 3: 1231–1234.
- ^ Amari, Shun-Ichi (1982). “Differential Geometry of Curved Exponential Families-Curvatures and Information Loss”. The Annals of Statistics 10 (2). doi:10.1214/aos/1176345779. ISSN 0090-5364.
- ^ 現代的にはチェンツォフの定理によって 接続を定義する（藤原, 2015, p. 122）。
- ^ Nagaoka, Hiroshi; Amari, Shun-ichi (1982). “Differential Geometry of Smooth Families of Probability Distributions”. METR 82 (7).
- ^ Kumon, Masayuki; Amari, Shun-ichi (1983). “Estimation of structural parameter in the presence of a large number of nuisance parameters”. 数理解析研究所講究録 507: 75-96.
- ^ Amari, Shun-ichi; Kumon, Masayuki (1983). “Geometrical Theory on Estimation of Structural Parameter in the Presence of Infinitely Many Nuisance Parameters”. 数理解析研究所講究録 507: 97-116.
- ^ 甘利, 2020, p. 5
- ^ 甘利, 俊一 (2001). “応用数理の遊歩道(26): 情報幾何の生い立ち”. 応用数理 11 (3): 253–256. doi:10.11540/bjsiam.11.3_253.
- ^ Eguchi, Shinto (1985). “A differential geometric approach to statistical inference on the basis of contrast functionals”. Hiroshima Mathematical Journal 15 (2). doi:10.32917/hmj/1206130775. ISSN 0018-2079.
- ^ “EM アルゴリズムの幾何学的解釈”. 有限混合分布モデルの学習に関する研究 (Web 版). 赤穂昭太郎. 2021年6月15日閲覧。
- ^ 村田, 昇; 池田, 思朗 (2004). 神経回路網と EM アルゴリズム.
- ^ 甘利, 俊一 (2005). “情報幾何とその応用: Vボルツマン機械とemアルゴリズム”. システム／制御／情報 49 (2): 64–69. doi:10.11509/isciesci.49.2_64.
- ^ 長岡, 2015, pp. 141-154
- ^ 甘利, 俊一 (2005). “情報幾何とその応用: Viii神経多様体における学習と特異モデル”. システム／制御／情報 49 (8): 337–343. doi:10.11509/isciesci.49.8_337.
- ^ “情報による観測量の変化速度の熱力学的な限界を発見 - 東京大学 大学院理学系研究科・理学部”. 2021年6月15日閲覧。
- ^ 伊藤, 創祐 (2020). “物理学と情報幾何学: ゆらぐ系の熱力学の視点から”. 数理科学 689: 38-45.
- ^ 長岡, 浩司 (2002). “量子情報幾何学の世界”. 総合講演・企画特別講演アブストラクト 2002 (Spring-Meeting): 24–37. doi:10.11429/emath1996.2002.Spring-Meeting_24.
- ^ 渡辺, 優 (2013). “量子情報幾何における Heisenberg の不確定性関係の位置付け”. 数理解析研究所講究録 1852: 210-216.
- ^ 高津, 飛鳥 (2020). “Wasserstein幾何学と情報幾何学”. 数理科学 689: 67-73.
参考文献
- 甘利, 俊一; 長岡, 浩司 (1998).『情報幾何の方法』. 岩波書店.
- 甘利, 俊一 (2019).『新版 情報幾何学の新展開』. サイエンス社.
- 田中, 勝 (2019).『エントロピーの幾何学』. コロナ社.
- 藤岡, 敦 (2021).『入門 情報幾何: 統計的モデルをひもとく微分幾何学』. 共立出版.
- 藤原, 彰夫 (2021).『情報幾何学の基礎: 情報の内的構造を捉える新たな地平』. 共立出版.