关于机器学习:瑞利商Rayleigh-quotient与广义瑞利商genralized-Rayleigh-quotient

最近在学习LDA，公式推导中很重要的局部就是瑞利商和狭义瑞利商。

瑞利商定义

瑞利商函数是指这样的函数????(????,????)
$$R(A,x) = \cfrac{X^{H}Ax}{X^{H}x}$$
其中????为$????×????$的Hermitan矩阵。Hermitan矩阵，就是满足共轭转置矩阵和本人相等的矩阵，$A^{H}=????$。$X^{H}$是$X$的共轭转置矩阵。

共轭转置矩阵
矩阵有实数矩阵和复数矩阵。
转置矩阵仅仅是将矩阵的行与列对换
共轭转置矩阵在将行与列对换后还要讲每个元素共轭一下。
共轭就是将形如a+bi的数变成a-bi，实数的共轭是它自身。
所以，实数矩阵的共轭转置矩阵就是转置矩阵，复数矩阵的共轭转置矩阵就是下面所说的行列调换后每个元素取共轭

瑞利商的性质

瑞利商????(????,????)有一个十分重要的性质，即它的最大值等于矩阵????最大的特征值，而最小值等于矩阵????的最小的特征值，也就是满足
$$\lambda_{min} \leq \cfrac{X^{H}Ax}{X^{H}x} \leq \lambda_{max}$$
当向量????是规范正交基时，即满足$X^{H}x=1$时，瑞利商进化为：$????(????,????)=X^{H}Ax$，这个模式在谱聚类和PCA中都有呈现。

狭义瑞利商

狭义瑞利商是指这样的函数$????(????,????,????)$:
$$R(A,B,x) = \cfrac{X^{H}Ax}{X^{H}Bx}$$
其中????为非零向量，而????,????为$????×????$的Hermitan矩阵。????为正定矩阵。

正定矩阵
正定和半正定这两个词的英文别离是positive definite和positive semi-definite，其中，definite是一个形容词，示意“明确的、确定的”等意思。

【定义】（广义定义）给定一个大小为 $????×????$ 的实对称矩阵$A$，若对于任意长度为$n$的非零向量$x$，有 $X^{T}AX >= 0$ 恒成立，则矩阵$A$是一个正定矩阵。
单位矩阵是正定矩阵 (positive definite)。

半正定矩阵
【定义2】（广义定义）给定一个大小为 [公式] 的实对称矩阵 [公式] ，若对于任意长度为$n$的向量$x$，有 $X^{T}AX > 0$恒成立，则矩阵$A$是一个半正定矩阵。

它的最大值和最小值是什么呢？其实咱们只有通过将其通过标准化就能够转化为瑞利商的格局。咱们令$????=????^{−1/2}????^{′}$,（$????^{′}$是新定义的一个向量，待求值）则分母转化为：

$x^HBx$
$= x’^H(B^{-1/2})^HBB^{-1/2}x’ $
$= x’^HB^{-1/2}BB^{-1/2}x’ = x’^Hx’$
其中$(B^{-1/2})^H$，因为$(B^{-1/2})^H=(B^{H})^{-1/2}$且$B$是Hermitan矩阵，所以$(B^{-1/2})^H=B^{-1/2}$；$B^{-1/2}BB^{-1/2}=B^{-1/2}B^{-1/2}B=B^{-1}B=1$

而分子转化为：

$x^HAx =  x’^HB^{-1/2}AB^{-1/2}x’$

此时咱们的$????(????,????,????)$转化为$????(????,????,????^{′})$:

$R(A,B,x’) = \\frac{x’^HB^{-1/2}AB^{-1/2}x’}{x’^Hx’}$

利用后面的瑞利商的性质，咱们能够很快的晓得，$????(????,????,????^{′})$的最大值为矩阵$B^{-1/2}AB^{-1/2}$的最大特征值。
因为方阵的特征值等于方阵转置的特征值，所以$B^{-1/2}AB^{-1/2}$的特征值等于 $(B^{-1/2}AB^{-1/2})^{T}$的特征值。

$(B^{-1/2}AB^{-1/2})^{T}=(B^{-1/2})^{T}(AB^{-1/2})^{T}=B^{-1/2}(B^{-1/2})^{T}A^{T}=B^{-1/2}B^{-1/2}A=B^{-1}A$

所以$????(????,????,????^{′})的最大值威$矩阵$B^{-1}A$的最大特征值，而最小值为矩阵$B^{-1}A$的最小特征值。