レイリー商

数学における、与えられた複素エルミート行列 $M$ と零でないベクトル $x$ に対するレイリー商（れいりーしょう、英: Rayleigh quotient）またはレイリー・リッツ比（レイリー・リッツひ、英: Rayleigh–Ritz ratio）は次のように定義される^[1]^[2]：

R({\boldsymbol {M}},{\boldsymbol {x}}):={\frac {{\boldsymbol {x}}^{*}{\boldsymbol {M}}{\boldsymbol {x}}}{{\boldsymbol {x}}^{*}{\boldsymbol {x}}}}.

名称は物理学者のレイリー卿とヴァルター・リッツに因む。

実行列および実ベクトルについて、エルミート行列である条件は対称行列である条件に、共役転置 $x *$ は単なる転置 $x T$ に一致し、また任意の零でない実スカラー $c$ に対してレイリー商は $R (M, c x) = R (M, x)$ を満たす。エルミート（または実対称）行列の性質より、その固有値は実数であるから、レイリー商 $R (M, x)$ の最小値は行列 $M$ の最小の固有値 $λ min$ に等しく、このときベクトル $x$ は最小固有値に対応する固有ベクトル $v min$ に等しい。同様にレイリー商の最大値は行列 $M$ の最大固有値 $λ max$ に等しく、このときベクトル $x$ は最大固有値に対応する固有ベクトル $v max$ に等しい。

レイリー商はミニマックス定理（英語版）において行列のすべての固有値の厳密な値を求めることに利用される。また固有値計算アルゴリズムにおいて近似的な固有ベクトルから固有値の近似値を求めることにも利用される。具体的には、レイリー商反復法（英語版）に基づく。

エルミート行列に限らない一般のレイリー商の値域は数域（英語版）と呼ばれる（あるいは関数解析学においてはスペクトルという）。エルミート行列のレイリー商について、その数域はスペクトルノルムに等しい。関数解析学においては、 $λ max$ はスペクトル半径として知られる。 $C *$ 代数や代数的量子力学の文脈では、固定された $x$ と代数上で動く $M$ に対するレイリー商 $R (M, x)$ を、 $M$ の代数上のベクトル状態 (vector state) と見なすことがある。

エルミート行列の境界[編集]

エルミート行列 $M$ の固有値 $λ i$ と固有ベクトル $v i$ の間の関係は

{\boldsymbol {M}}{\boldsymbol {v}}_{i}=\lambda _{i}{\boldsymbol {v}}_{i}

である。上で述べたとおり $M$ に対するレイリー商 $R (M, x)$ は実数で、その範囲は $M$ の固有値の最小値 $λ min$ と最大値 $λ max$ の間となる：

R({\boldsymbol {M}},{\boldsymbol {x}})\in \left[\lambda _{\min },\lambda _{\max }\right]\,.

このことは、ベクトル $x$ が $M$ の固有ベクトル ${v i}$ によって展開できることから示すことができる。 $x$ を規格化された固有ベクトル（ $v i * v j = δ ij$ ：クロネッカーのデルタ）で以下のように展開する:

{\boldsymbol {x}}=\sum _{i}c_{i}{\boldsymbol {v}}_{i}.

展開係数は固有ベクトルとの内積

c_{i}={\boldsymbol {v}}_{i}^{*}{\boldsymbol {x}}

である。 $x$ の固有ベクトルによる展開をレイリー商に適用すれば、レイリー商が $M$ の固有値の重み付き平均に等しくなることが示される：

R({\boldsymbol {M}},{\boldsymbol {x}})={\frac {{\boldsymbol {x}}^{*}{\boldsymbol {M}}{\boldsymbol {x}}}{{\boldsymbol {x}}^{*}{\boldsymbol {x}}}}={\frac {\sum _{i}\lambda _{i}|c_{i}|^{2}}{\sum _{i}|c_{i}|^{2}}}.

重み付き平均の形から、レイリー商の値域とその境界が固有ベクトル $v min, v max$ によって定められることが確認できる。

レイリー商が固有値の重み付き平均に等しいという事実から、すべての固有値を特定することができる。それぞれの固有値が $λ max = λ 1 \geq λ 2 \geq ... \geq λ n = λ min$ と降順に並べてあるとすると、 $x$ が基底 $v 1$ に直交するという条件の下では、 $v 1 * x = a 1 = 0$ であり、レイリー商 $R (M, x)$ の最大値は $λ 2$ となる。またこのとき $x = v 2$ である。

ラグランジュの未定乗数法による導出[編集]

レイリー商に関する関係はラグランジュの未定乗数法を用いても導くことができる。問題は

R({\boldsymbol {M}},{\boldsymbol {x}})={\boldsymbol {x}}^{*}{\boldsymbol {M}}{\boldsymbol {x}},\quad {\text{subject to }}\|{\boldsymbol {x}}\|^{2}={\boldsymbol {x}}^{*}{\boldsymbol {x}}=1

の停留点を求めることである。拘束条件として $x$ のノルムを1にしているのは、0以外でスカラー倍してもレイリー商は変わらないためである。

ラグランジュ関数 $\textstyle {\mathcal {L}}$ と未定乗数 $λ$ で書き直すと、

{\mathcal {L}}({\boldsymbol {x}})={\boldsymbol {x}}^{*}{\boldsymbol {M}}{\boldsymbol {x}}-\lambda ({\boldsymbol {x}}^{*}{\boldsymbol {x}}-1).

の停留点 $\delta {\mathcal {L}}({\boldsymbol {x}})=0$ を求めることになる。変分を計算すると、

{\begin{aligned}\delta {\boldsymbol {x}}^{*}({\boldsymbol {M}}{\boldsymbol {x}}-\lambda {\boldsymbol {x}})+({\boldsymbol {x}}^{*}{\boldsymbol {M}}-\lambda {\boldsymbol {x}}^{*})\delta {\boldsymbol {x}}&=0\\\therefore {\boldsymbol {M}}{\boldsymbol {x}}&=\lambda {\boldsymbol {x}}.\end{aligned}}

なので、停留点において未定乗数 $λ$ は $M$ の固有値で、 $x$ は対応する固有ベクトルであり、レイリー商は

R({\boldsymbol {M}},{\boldsymbol {x}})={\frac {{\boldsymbol {x}}^{*}{\boldsymbol {M}}{\boldsymbol {x}}}{{\boldsymbol {x}}^{*}{\boldsymbol {x}}}}=\lambda ,

すなわち $\textstyle {\mathcal {L}}$ の停留値となる。この性質は主成分分析や正準相関分析（英語版）の基礎となっている。

一般化[編集]

レイリー商の一般化として以下のようなものがある。

与えられた行列の組 $(A, B)$ および零でないベクトル $x$ に対する一般化されたレイリー商 (generalized Rayleigh quotient) は以下のように定義される：

R({\boldsymbol {A}},{\boldsymbol {B}};{\boldsymbol {x}}):={\frac {{\boldsymbol {x}}^{*}{\boldsymbol {A}}{\boldsymbol {x}}}{{\boldsymbol {x}}^{*}{\boldsymbol {B}}{\boldsymbol {x}}}}.

一般化されたレイリー商は狭義のレイリー商 $R (D, C * x)$ へ簡約することができる。ここで

{\boldsymbol {D}}:={\boldsymbol {C}}^{-1}{\boldsymbol {A}}{{\boldsymbol {C}}^{*}}^{-1}

であり、 $CC *$ は正定値エルミート行列 $B$ のコレスキー分解である。

与えられた零でないベクトルの組 $(x, y)$ およびエルミート行列 $H$ に対する一般化されたレイリー商は次のように定義される：

R({\boldsymbol {H}};{\boldsymbol {x}},{\boldsymbol {y}}):={\frac {{\boldsymbol {y}}^{*}{\boldsymbol {H}}{\boldsymbol {x}}}{\sqrt {{\boldsymbol {y}}^{*}{\boldsymbol {y}}{\boldsymbol {x}}^{*}{\boldsymbol {x}}}}}.

これは $x = y$ の場合に狭義のレイリー商 $R (H, x)$ と一致する。

出典[編集]

^ Horn & Johnson 1985, pp. 176–180.
^ Parlet 1998, p. ^{[要ページ番号]}.

参考文献[編集]

Horn, R. A.; Johnson, C. A. (1985). Matrix Analysis. Cambridge University Press
Parlet, B. N. (1998). “The symmetric eigenvalue problem”. Classics in Applied Mathematics (SIAM).
Yu, Shi; Tranchevent, Léon-Charles; Moor, Bart; Moreau, Yves (2011-3-26). “Chapter 2 Rayleigh Quotient Type Problems in Machine Learning”. Kernel-based Data Fusion for Machine Learning: Methods and Applications in Bioinformatics and Text Mining. Springer. ISBN 9783642194054

[FOOTNOTEHornJohnson1985176–180-1] Horn & Johnson 1985, pp. 176–180.

[FOOTNOTEParlet1998&#91;要ページ番号&#93;Category:出典のページ番号が要望されている記事-2] Parlet 1998, p. ^{[要ページ番号]}.

[1]

[2]

エルミート行列の境界[編集]

ラグランジュの未定乗数法による導出[編集]

一般化[編集]

関連項目[編集]

出典[編集]

参考文献[編集]