一、接着上一节说正定矩阵

　所谓正定，就是$x^TAx > 0$（$except space for space x = 0$）成立，我们通常也可以通过特征值，主元，行列式来判断

　虽然我们知道了什么是正定矩阵，如何判断正定矩阵，那么正定矩阵是从何而来的呢？主要来自：最小二乘法

　实际上，大量的物理问题需要用长方形矩阵来描述，我们知道最小二乘法的关键是矩阵：$A^TA$，我们希望证明这是正定矩阵

　如果我们知道矩阵$A, B$都是正定的，那么矩阵$A+B$是否是正定的呢？我们只需要证明：$x^T(A+B)x > 0$，我们知道：

$x^TAx > 0$

$x^TBx > 0$

两式相加，即可证明$x^T(A+B)x > 0$，因此矩阵$A+B$正定

 

　下面我们来证明最小二乘法的关键矩阵是否正定：假设矩阵$A_{m*n}$（不是对称矩阵，所以不是正定的）但我们知道：$A^TA$是方阵，并且对称，我们只需要证明下面的式子恒大于0：

$x^T(A^TA)x > 0$

证明：$x^T(A^TA)x = (Ax)^T(Ax) = |Ax|^2 >= 0$，矩阵乘以向量得到向量，向量的平方相当于求向量的模长，只要$x$不等于0，那么上面的式子恒大于0

二、相似矩阵

　假设矩阵为：$A_{n*n}, B_{n*n}$，不要再把他当做对称矩阵，就是普通的方阵，$A, B$相似的意思是：存在某个可逆矩阵$M^{-1}$，使得下式成立

$B = M^{-1}AM$，可能你会觉得该式子来得比较突然，这样组合有什么意义

　其实上面的式子，你应该不陌生，还记得下面的公式吧，矩阵对角化：

$A = SLambda S^{-1}, Lambda = S^{-1}AS$

这说明$Lambda$和$A$相似，$S$就是上面的$M$，但是如果$M$不取$S$，用其他矩阵的话，$M^{-1}AM$的结果就不是对角化矩阵$Lambda$，而是新的相似于$A$的矩阵

其实改变$M$，只要可逆，就会得到很多与$A$相似的矩阵，他们和$Lambda$一样与$A$相似，这些与$A$相似的矩阵应该归为一类，只是$Lambda$是这些相似矩阵中最为简洁的一个：因为其为对角化矩阵

 

　我们为什么会对相似矩阵感兴趣呢？因为他们有共同的性质-他们的特征值都相同，我们来举例

$A = left[egin{array}{ll}{2} & {1} \ {1} & {2}end{array}ight]$，其特征值为$3, 1$

其对角化矩阵为：$Lambda = left[egin{array}{ll}{3} & {0} \ {0} & {1}end{array}ight]$，其特征值为$3, 1$

我们再随便取一个$M = left[egin{array}{ll}{1} & {4} \ {0} & {1}end{array}ight]$

$M$的逆矩阵为：$M^{-1} = left[egin{array}{ll}{1} & {-4} \ {0} & {1}end{array}ight]$

$B = M^{-1}AM = left[egin{array}{ll}{1} & {-4} \ {0} & {1}end{array}ight]left[egin{array}{ll}{2} & {1} \ {1} & {2}end{array}ight]left[egin{array}{ll}{1} & {4} \ {0} & {1}end{array}ight]=left[egin{array}{ll}{-2} & {-15} \ {1} & {6}end{array}ight]$，其特征值为$3, 1$

再取其他$M$，会得到新的矩阵，和$A$相似，这些相似矩阵都有相同的特征值$3, 1$

 

　那么为什么相似矩阵会有相同的特征值呢？我们来证明一下

　　首先，$Ax = lambda x$，我们知道：$B = M^{-1}AM$，我们把$MM^{-1}$添加到$Ax$中间：

$AMM^{-1}x = lambda x$

等式两侧同乘$M^{-1}$：$M^{-1}AMM^{-1}x = M^{-1} lambda x$，$B$出现啦

$BM^{-1}x = lambda M^{-1}x$，我们把$M^{-1}x$当作新的向量，并命名为$z$，则

$Bz = lambda z$，所以$lambda$也是$B$的特征值，同时我们知道：$M^{-1}$乘以$A$的特征向量是$B$的特征向量

注意：相似矩阵的特征值相同，但特征向量不同，比如一个是$x$，一个是$z$，即$M^{-1}x$，特征向量不会相同的，如果特征值和特征向量都相同，那么不叫相似矩阵了，他们就是相同的矩阵

 

三、特殊情况

　上面二中所讲的例子，正好是两个特征值不相等（一个是3，一个是1）的情况，也就是原矩阵$n$个特征向量线性无关，可以对角化。

　但是我们不能排除如果特征值相等（也就是特征向量存在相关性），特征值相等的矩阵求相似矩阵，还可以分为两种情况，我们还是以$2*2$矩阵为例：

　1）相似矩阵只有原矩阵一个（孤零零的一个人），也可以说不存在相似矩阵，因为只有自己一个，如：

$A = left[egin{array}{ll}{4} & {0} \ {0} & {4}end{array}ight]$，其特征值为$4, 4$

我们发现：$B = M^{-1}left[egin{array}{ll}{4} & {0} \ {0} & {4}end{array}ight]M=M^{-1}4IM=4I=A$

无论$M$取何矩阵，最后与$A$相似的矩阵只有原矩阵自己一个

 

　2）另外一种特征值相同，不可以对角化，如：

$left[egin{array}{ll}{4} & {1space or space something space other} \ {0} & {4}end{array}ight]$

　　我们发现上面的矩阵特征值相同，均为$4$，该家族中最好的矩阵是右上角那个值是1,，而这种形式被称为若尔当标准型(Jordan Form)，这是该家族中最简洁的，最接近对角阵的一个。也就是说虽然原矩阵不可以对角化，但是可以找到最接近对角化矩阵的一个

 

　　我们来看看这个家族（相似矩阵）的几个成员：

$left[egin{array}{ll}{4} & {1} \ {0} & {4}end{array}ight],left[egin{array}{ll}{5} & {1} \ {-1} & {3}end{array}ight],left[egin{array}{ll}{4} & {0} \ {17} & {4}end{array}ight],……$

是不是第一个最接近对角化矩阵呢

这些矩阵都是相似的，只要找到合适的$M$，都可以证明一个矩阵相似于另一个

但要注意：一般矩阵很难化成若尔当标准型，因为若尔当标准型依赖于特征值严格相等

 

　3）下面还有一点没看懂，有空再补充

　　请参考