@[TOC]
大写字母表示矩阵（如$A$），小写粗斜体表示向量（如$\boldsymbol{x}$），正常字体表示标量或坐标点等（如$x_1$）。

向量

$\begin{aligned} & a\times(b\times c)=a^\times b^\times c=(a^\times b^\times)c =a^\times(b^\times c) \\ \neq& (a\times b)\times c= a\times b\times c=(a^\times b)^\times c \\ \end{aligned}$ $a\times b\times c\neq a^\times b^\times c \\ (Ra)\times b\neq R(a\times b) \\ (a\times R)b= a\times (Rb) \\$

方阵的迹

定义

$\text{tr}(A)=\sum_{i=1}^n(a_{ii})$

性质

$\begin{aligned} & \text{tr}(A)=\text{tr}(A^{\text{T}}) \\ & \text{tr}(A+B)=\text{tr}(A)+\text{tr}(B) \\ & \text{tr}(\alpha A)=\alpha\text{tr}(A) \\ & \text{tr}(A)=\sum_{i=1}^n\lambda_i \\ & \text{tr}(AB)=\text{tr}(BA) \\ & \text{tr}(A^{\text{T}} A)=\sum_{i=1}^n\sum_{j=1}^n a_{ij}^2 \end{aligned}$

三个三维矢量叉乘公式（拉格朗日矢量公式）推导 -CSDN博客

矩阵的秩

A和B等价或相似或合同$\Rightarrow r(A)=r(B)$
$r(A)=r(A^{\text{T}})=r(A^{\text{T}}A)=r(AA^{\text{T}})=r(kA)$
若$A$列满秩则$r(AB)=r(B)$，若$A$行满秩则$r(BA)=r(B)$
$r(A\pm B)\le r(A)+r(B)$
$r(A)+r(B)-n\le r(AB)\le\min\{r(A), r(B)\}\le\max\{r(A), r(B)\}\le r(A\vdots B)\le r(A)+r(B)$
$AB=O\Rightarrow r(A)+r(B)\le n$
幂零阵：$A^k=O\Rightarrow r(A)<n$
幂等阵：$A^2=A\Rightarrow r(A)+r(I-A)=n$
幂幺阵：$A^k=I\Rightarrow r(A)=n$
$r\left(\begin{array}{ll}
A & O \\ O & B
\end{array}\right)=r(A)+r(B) \leq r\left(\begin{array}{ll}
A & 0 \\ C & B
\end{array}\right) \leq r(A)+r(B)+r(C)$
$r(A*)=\begin{cases}
n \Leftrightarrow r(A)=n \\
1 \Leftrightarrow r(A)=n -1 \\
0 \Leftrightarrow r(A)<n -1 \\
\end{cases}$
若A可逆，则$r(AB)=r(BA)=r(B)$
若$A$是n阶方阵则$r(A)\ge\mu(A)$，$\mu(A)$表示矩阵$A$的非零特征值的个数；若$A$可相似对角化则$r(A)=\mu(A)$
若$A$是正定或正交矩阵则$r(A)=n$
m×n 矩阵 A 的秩为 r 的充分与必要条件为：存在 m 阶满秩矩阵 P 与 n 阶满秩矩阵 Q 使得 $PAQ=\Lambda=\left(\begin{matrix} I_r & O \\ O & O \end{matrix}\right)$

若$r(A)=1$，则

$|\lambda I-A|=\lambda^n-\text{tr}(A)\lambda^{n-1}$
$\lambda_1=\text{tr}(A)$，$\lambda_2=\cdots=\lambda_n=0$
$A^2=\text{tr}(A)A$，$A^n=(\text{tr}(A))^{n-1}A$
（充要条件）存在非零向量$\alpha$、$\beta$使得$A=\alpha\beta$
特征值与特征向量
特征值都是单值的矩阵一定可以对角化。
n阶矩阵有n个线性无关的特征向量是可以相似对角化的充分必要条件。
实对称矩阵的不同特征值对应的特征向量两两正交。
实对称矩阵可对角化，即必有n个线性无关的特征向量。
不同特征值对应的特征向量线性无关。
特征值相同的两个矩阵不一定相似。
$\lambda_1+\lambda_2+\cdots+\lambda_n=\text{tr}(A)$
$\lambda_1\lambda_2\cdots\lambda_n=|A|$

设$A$是 n 阶矩阵，$\lambda_0$是$A$的$k$阶特征值，则

若$k=1$，则属于特征值$\lambda_0$的线性无关的特征向量只有一个；
若$k>1$，则属于特征值$\lambda_0$的线性无关的特征向量不超过$k$个。
分块矩阵
设矩阵$A$是一个$n+m$阶方阵，它具有分块三角阵的结构，即 $A=\left[\begin{array}{cc} A_{11} & A_{12} \\ 0 & A_{22} \end{array}\right]\text{或} A=\left[\begin{array}{cc} A_{11} & 0 \\ A_{21} & A_{22} \end{array}\right]$ 其中$A_{11}$和$A_{22}$分别是n阶和m阶可逆方阵，这意味着 A 是可逆阵。利用 $A^{-1}A=AA^{-1}=I_{n+m}$ 可以推得 $A^{-1}=\left[\begin{array}{cc} A_{11}^{-1} & -A_{11}^{-1}A_{12}A_{22}^{-1} \\ 0 & A_{22}^{-1} \end{array}\right] \\ A^{-1}=\left[\begin{array}{cc} A_{11}^{-1} & 0 \\ -A_{22}^{-1}A_{21}A_{11}^{-1} & A_{22}^{-1} \end{array}\right]$ 一般地，若n+m阶方阵A可以写成分块形式 $A=\left[\begin{array}{cc} A_{11} & A_{12} \\ A_{21}A_{11}^{-1} & A_{22} \end{array}\right]$ 其中$A_{11}$和$A_{22}$具有与前相同的性质，那么利用矩阵分解关系式 $A=\left[\begin{array}{cc} I_n & 0 \\ A_{21}A_{11}^{-1} & I_m \end{array}\right]\left[\begin{array}{cc} A_{11} & A_{12} \\ 0 & A_{22}-A_{21}A_{11}^{-1}A_{12} \end{array}\right]$ $A=\left[\begin{array}{cc} I_n & A_{12}A_{22}^{-1} \\ 0 & I_m \end{array}\right]\left[\begin{array}{cc} A_{11}-A_{12}A_{22}^{-1}A_{21} & 0 \\ A_{21} & A_{22} \end{array}\right]$ 和前面关于三角阵的求逆结果，可以推得矩阵 A 的分块求逆公式如下： $A^{-1}=\left[\begin{array}{cc} A_{11}^{-1}+A_{11}^{-1}A_{12}\tilde{A}_{22}^{-1}A_{21}A_{11}^{-1} & -A_{11}^{-1}A_{12}\tilde{A}_{22}^{-1} \\ -\tilde{A}_{22}^{-1}A_{21}A_{11}^{-1} & \tilde{A}_{22}^{-1} \end{array}\right]$ $A^{-1}=\left[\begin{array}{cc} \tilde{A}_{11}^{-1} & -\tilde{A}_{11}^{-1}A_{12}A_{22}^{-1} \\ -A_{22}^{-1}A_{21}\tilde{A}_{11}^{-1} & A_{22}^{-1}+A_{22}^{-1}A_{21}\tilde{A}_{11}^{-1}A_{12}A_{22}^{-1} \end{array}\right]$ 其中 $\tilde{A}_{11}=A_{11}-A_{12}A_{22}^{-1}A_{21} \\ \tilde{A}_{22}=A_{22}-A_{21}A_{11}^{-1}A_{12}$ 假定矩阵A是可逆矩阵，因而$\tilde{A}_{11}^{-1}$和$\tilde{A}_{22}^{-1}$总是存在的。根据逆矩阵的唯一性，对比两式立即得到（这附近的推导可能有问题） $(A_{11}-A_{12}A_{22}^{-1}A_{21})^{-1}=A_{11}^{-1}+A_{11}^{-1}A_{12}\tilde{A}_{22}^{-1}A_{21}A_{11}^{-1}$ $A_{22}-A_{21}A_{11}^{-1}A_{12}=A_{22}^{-1}+A_{22}^{-1}A_{21}\tilde{A}_{11}^{-1}A_{12}A_{22}^{-1}$ 这是两个非常重要的矩阵恒等式，在矩阵变换中经常用到。其中第一式习惯上称为矩阵反馈公式。
若A和B是方阵，则 $|AB|=|A|\cdot|B|$ 上式可用初等变换方法证明。
若A和D是方阵，则 $\left|\begin{matrix}A & B \\ 0 & D\end{matrix}\right|=|A|\cdot|D|$ QR分解法证明： $\begin{aligned} &\left|\begin{matrix}A & 0 \\ 0 & D\end{matrix}\right| =\left|\begin{matrix}A & 0 \\ 0 & I\end{matrix}\right| \left|\begin{matrix}I & 0 \\ 0 & D\end{matrix}\right| =|A|\cdot|D| \\ &\left|\begin{matrix}A & B \\ 0 & D\end{matrix}\right| =\left|\begin{matrix}Q_A & 0 \\ 0 & Q_D\end{matrix}\right| \cdot\left|\begin{matrix}R_A & Q_A^{\text{T}}B \\ 0 & R_D\end{matrix}\right| =|Q_A|\cdot|Q_D|\cdot|R_A|\cdot|R_D| \end{aligned}$
若A和D是方阵且A可逆，则 $\left|\begin{matrix}A & B \\ C & D\end{matrix}\right| =|A|\cdot|D-CA^{-1}B|$ 若D可逆则 $\left|\begin{matrix}A & B \\ C & D\end{matrix}\right| =|D|\cdot|A-BD^{-1}C|$ 证明 $\begin{aligned} \left|\begin{matrix}A & B \\ C & D\end{matrix}\right| =& \left|\begin{matrix}I & 0 \\ CA^{-1} & I\end{matrix}\right| \left|\begin{matrix}A & B \\ 0 & D-CA^{-1}B\end{matrix}\right|\\ =& \left|\begin{matrix}I & BD^{-1} \\ 0 & I\end{matrix}\right| \left|\begin{matrix}A-BD^{-1}C & 0 \\ C & D\end{matrix}\right| \end{aligned}$
矩阵的正定与负定
设矩阵$A$为n阶对称阵，如果对于所有n维列向量$\boldsymbol{x}$，二次型$\boldsymbol{x}^{\text{T}} A\boldsymbol{x}$均为非负，则称矩阵$A$为非负定矩阵，并用$A\ge 0$来表示。进一步，如果矩阵$A$为非负定矩阵，且对所有非零向量$\boldsymbol{x}$，二次型$\boldsymbol{x}^{\text{T}}A\boldsymbol{x}$总大于零，则称矩阵$A$为正定阵，并且用$A>0$来表示。对称矩阵$A$当且仅当其所有特征值非负时才是非负定阵；当且仅当特征值均为正时才是正定阵。显然，若矩阵$A$为正定阵，则其逆矩阵存在且也为正定阵。
如果$D$是任意$n\times m$阶矩阵，则$A=DD’$是非负定阵；当且仅当$D$行满秩时，$A=DD’$才是正定阵。
如果$A$和$B$是同阶非负定阵，$\alpha$和$\beta$为非负常数，则$\alpha A+\beta B$为非负定阵；若$A$、$B$两者之一是正定阵而另一个为非负定阵且$\alpha$和$\beta$均大于零，则$\alpha A+\beta B$是正定阵。设$A$和$B$分别为非负定阵和正定阵，称-A和-$B$分别是非正定阵和负定阵。非正定阵和负定阵分别与非负定阵和正定阵具有相反而类似的性质。
几个名词：
标准形
规范形
矩阵等价
矩阵相似
矩阵合同

二次型的标准形的系数中正负系数的个数保持不变，分别称为二次型的正负惯性指数。$n$阶实对称矩阵$A$和$B$的正负惯性指数相同是$A$和$B$合同的充分必要条件。
记二次型$f(\boldsymbol{x})=\boldsymbol{x}^{\text{T}} A\boldsymbol{x}$，$A$为$n$阶实对称矩阵，下列命题相互等价：

$f$是正定（负定）二次型
$f$的正（负）惯性指数为$n$
$A$的特征值全为正（负）
$A$合同于$+I$（$-I$）
$A$的顺序主子式都大于0（$A$的奇数阶顺序主子式为负，偶数阶顺序主子式为正）
存在可逆矩阵$B$使得$A=B^TB$
$a_{ii}>0$，$i=1,2,\cdots,n$
内积与范数
向量范数：
非负性：对所有$\vec{x}$均有 $||\vec{x}||\ge 0$；当且仅当 $\vec{x}=0$ 时，才有$||\vec{x}||=0$；
齐次性：$||k\vec{x}||=|k| \ ||\vec{x}||$；
三角不等式 $||A+B||\le||A|| + ||B||$。

矩阵范数除此以外还有次乘性：

次乘性：$||AB||\le||A||\ ||B||$。

如果向量范数$||x||$和矩阵范数$||A||$满足$||Ax||\le||A||\ ||x||$，则称相容。

矩阵的微分运算

矩阵微分运算有几种不同的情况。

矩阵函数对标量的导数

设n×m阶矩阵$A$、$B$和m×1阶矩阵$C$的元素都是实变数t的函数，$\lambda=\lambda(t)$是$t$的标量实值函数。定义矩阵$A$对$t$的导数等于$A$的每个元素$a_{ij}(t)$对$t$分别求导所构成的n×m阶矩阵，即

$\frac{\text{d}A}{\text{d}t}=\left[\frac{\text{d}a_{ij}(t)}{\text{d}t}\right]$

比如，对于n维列向量$\boldsymbol{x}＝[x_1(t)\ x_2(t)\cdots x_n(t)]^{\text{T}}$，按定义就有

$\frac{\text{d}\boldsymbol{x}}{\text{d}t}=\left[\frac{\text{d}x_1(t)}{\text{d}t}\frac{\text{d}x_2(t)}{\text{d}t}\cdots\frac{\text{d}x_n(t)}{\text{d}t}\right]^{\text{T}}$

关于矩阵函数对标量的导数，根据上述定义容易验证如下运算规则；

$\begin{aligned} &\frac{\text{d}(A+B)}{\text{d}t}=\frac{\text{d}A}{\text{d}t}+\frac{\text{d}B}{\text{d}t} \\ &\frac{\text{d}(\lambda A)}{\text{d}t}=\frac{\text{d}\lambda}{\text{d}t}A+\lambda\frac{\text{d}A}{\text{d}t} \\ &\frac{\text{d}(AC)}{\text{d}t}=\frac{\text{d}A}{\text{d}t}C+A\frac{\text{d}C}{\text{d}t} \end{aligned}$

标量函数对矩阵的导数

设$f=f(A)$、$g=g(A)$是以矩阵$A$的n×m个元素为自变量的标量定值函数。定义$f$对$A$的导数为如下$n\times m$阶矩阵

$\frac{\text{d}f}{\text{d}A}\triangleq\left[\frac{\partial f}{\partial a_{ij}}\right]$

对于上述这类微分运算，显然有

$\begin{aligned} &\frac{\text{d}(f+g)}{\text{d}A}=\frac{\text{d}f}{\text{d}A}+\frac{\text{d}g}{\text{d}A} \\ &\frac{\text{d}(fg)}{\text{d}A}=\frac{\text{d}f}{\text{d}A}g+f\frac{\text{d}g}{\text{d}A} \end{aligned}$

矩阵函数对向量的导数

设$F(\boldsymbol{x})$是n维列向量$\boldsymbol{x}$的$m\times l$阶矩阵函数，即$F(\boldsymbol{x})=(f_{ij}(\boldsymbol{x}))_{m×l}$，而$\boldsymbol{x}=[x_1\ x_2\cdots x_n]^{\text{T}}$。定义$F(\boldsymbol{x})$对$\boldsymbol{x}$的导数为如下nm×l阶矩阵：

$\frac{\text{d}F}{\text{d}\boldsymbol{x}}\triangleq[\frac{\partial F(\boldsymbol{x})}{\partial x_1}\vdots\frac{\partial F(\boldsymbol{x})}{\partial x_2}\cdots\vdots\frac{\partial F(\boldsymbol{x})}{\partial x_n}]^{\text{T}}$

其中

$\frac{\partial F(\boldsymbol{x})}{\partial x_k}\triangleq\frac{\partial f_ij(\boldsymbol{x})}{\partial x_k}$

对于这类运算，我们有

$\begin{aligned} &\frac{\text{d}F(\boldsymbol{x})+G(\boldsymbol{x})}{\text{d}\boldsymbol{x}} =\frac{\text{d}F(\boldsymbol{x})}{\text{d}\boldsymbol{x}}+\frac{\text{d}G(\boldsymbol{x})}{\text{d}\boldsymbol{x}} \\ &\frac{\text{d}(F^{\text{T}}(\boldsymbol{x})G(\boldsymbol{x}))}{\text{d}\boldsymbol{x}} =\frac{\text{d}F^{\text{T}}(\boldsymbol{x})}{\text{d}\boldsymbol{x}}G(\boldsymbol{x})+\frac{\text{d}G^{\text{T}}(\boldsymbol{x})}{\text{d}\boldsymbol{x}}F(\boldsymbol{x}) \end{aligned}$

几个常用的矩阵微分公式

根据前面的定义，不难验证以下矩阵微分公式：

设$f=f(\boldsymbol{x})$是n维列向量$\boldsymbol{x}$的标量定值函数，则有 $\frac{\text{d}f}{\text{d}t}=\left[\frac{\text{d}f}{\text{d}\boldsymbol{x}}\right]^{\text{T}} \frac{\text{d}\boldsymbol{x}}{\text{d}t}$ 式中t为实变数。
设$\boldsymbol{x}$为n维列向量，$\boldsymbol{a}$和$B$分别为与$\boldsymbol{x}$无关的m维列向量和m×n阶矩阵，f为$\boldsymbol{x}$的一个二次型，且 $f=(\boldsymbol{a}+B\boldsymbol{x})^{\text{T}}(\boldsymbol{a}+B\boldsymbol{x})$ 则有 $\begin{aligned} &\frac{\text{d}(\boldsymbol{a}+B\boldsymbol{x})}{\text{d}\boldsymbol{x}}=B^{\text{T}} \\ &\frac{\text{d}f}{\text{d}\boldsymbol{x}}=2B^{\text{T}}(\boldsymbol{a}-B\boldsymbol{x}) \end{aligned}$
设$A$为n阶方阵，其元素是实变数t的函数，且对所有的t，$A^{-1}$存在，则有 $\frac{\text{d}A^{-1}}{\text{d}t}=-A^{-1}\frac{\text{d}A}{\text{d}t}A^{-1}$ 此式可通过恒等式 $\frac{\text{d}I_n}{\text{d}t}=\frac{\text{d}AA^{-1}}{\text{d}t}=0$ 导出。
设，则有的解为矩阵$A$的伪迹。式中星号*表示转置兼取复数共轭。
其它常用公式

$\begin{aligned} &\frac{\text{d}\boldsymbol{x}^{\text{T}}}{\text{d}\boldsymbol{x}} =\frac{\text{d}\boldsymbol{x}}{\text{d}\boldsymbol{x}^{\text{T}}}=I_n \\ & \frac{\text{d}(\boldsymbol{x}^{\text{T}}\mathbf{A}\boldsymbol{x})}{\text{d}\boldsymbol{x}} =(\mathbf{A}+\mathbf{A}^{\text{T}})\boldsymbol{x} \\ &\frac{\text{d}(\boldsymbol{x}^{\text{T}}\mathbf{A}\boldsymbol{x})}{\text{d}\mathbf{A}} =\boldsymbol{x}\boldsymbol{x}^{\text{T}} \\ &\frac{\text{d}J}{\text{d}\mathbf{X}} =\frac{\text{d}(\boldsymbol{\alpha}^{\text{T}}\mathbf{X}\boldsymbol{\beta})}{\text{d}\mathbf{X}} =\boldsymbol{\alpha}\boldsymbol{\beta}^{\text{T}}exp \\ \end{aligned}$

矩阵函数及其导数的一些性质

定义

$\begin{aligned} & \text{e}^{A}=I+At+\frac{A^2}{2!}+\frac{A^3}{3!}+\cdots \\ & \sin A=A-\frac{A^3}{3!}+\frac{A^5}{5!}-\cdots \\ & \cos A=1-\frac{A^2}{2!}+\frac{A^4}{4!}+\cdots\\ & \ln(1+A)=A-\frac{A^2}{2}+\frac{A^3}{3}-\cdots\qquad(1)\\ \end{aligned}$

性质

$\begin{aligned} & A\text{e}^{A}=\text{e}^{A}A \\ & \text{e}^{A}\cdot\text{e}^{B}=\text{e}^{B}\cdot\text{e}^{A}=\text{e}^{A+B}\qquad(2) \\ & (\text{e}^{A})^{-1}=\text{e}^{-A} \\ & \text{e}^{jA}=\cos A+j\sin A \\ & \text{e}^{-At}=(\text{e}^{At})^{-1} \\ & \text{e}^{P^{-1}APt}=P^{-1}\text{e}^{At}P \\ & \ln(\text{e}^A)=A\qquad(3) \\ & \ln(AB)=\ln A+\ln B\qquad(4) \\ & \frac{\text{d}}{\text{d}t}\text{e}^{At}=A\text{e}^{At}=\text{e}^{At}A \\ & \frac{\text{d}}{\text{d}t}(A(t)B(t))=A'B+AB' \\ & \frac{\text{d}}{\text{d}t}(A^2(t))=A'A+AA'\neq2AA' \\ & \frac{\text{d}}{\text{d}t}(\text{e}^{A(t)})\neq A'(t)\text{e}^{A(t)}\neq\text{e}^{A(t)}A'(t)\qquad(5) \\ \end{aligned}$

注：
(1)需满足收敛域条件$|A|<1$
(2)需满足$AB=BA$。
(3)需满足$|\text{e}^A-I|<1$
(4)需满足$|AB-I|<1$和$AB=BA$。
(5)仅当$A’A=AA’$时才能为等号但一般不等。

常系数齐次/非齐次线性微分方程组

$\begin{aligned} & \boldsymbol{x}'(t)=A\boldsymbol{x}(t) \\ & \boldsymbol{x}(t)=\text{e}^{A(t-t_0)}\boldsymbol{x}(t_0) \\ & \boldsymbol{x}'(t)=A\boldsymbol{x}(t)+\boldsymbol{f}(t) \\ & \boldsymbol{x}(t)=\text{e}^{A(t-t_0)}\boldsymbol{x}(t_0) +\int_{t_0}^t\text{e}^{A(t-\tau)}\boldsymbol{f}(\tau)\text{d}\tau \\ \end{aligned}$

证明

$\begin{aligned} & x'-Ax=f \\ & \text{e}^{-At}(x'-Ax)=(\text{e}^{-At}x)'=\text{e}^{-At}f \\ & \text{e}^{-At}x(t)=\int_{t_0}^t\text{e}^{-A\tau}f(\tau)\text{d}\tau+C \\ & C=\text{e}^{-At_0}x(t_0) \\ & x(t)=\text{e}^{A(t-t_0)}x(t_0)+\int_{t_0}^t\text{e}^{A(t-\tau)}f(\tau)\text{d}\tau \\ \end{aligned}$

矩阵的伪逆

设A为n×m阶矩阵，其元素可以是复数。我们称基于A形成的矩阵代数方程组

Jordan标准型

$A=\left[\begin{matrix} 3 & 1 & -1 \\ 1 & 2 & -1 \\ 2 & 1 & 0 \end{matrix}\right]$

方法一：
求矩阵的特征值和特征向量 $f_A(\lambda)=\lambda I-A=(\lambda-1)(\lambda-2)^2$，
对于矩阵$A$的特征值$\lambda_0$，
$\lambda_0$的代数重数指$\lambda_0$作为特征多项式$f_A(\lambda)$的根的重数。
$\lambda_0$的几何重数指$\lambda_0$对应的特征向量的个数。
任一特征值的代数重数不小于它的几何重数。
$\lambda=1$对应的特征向量为$[0,1,1]^\text{T}$，代数重数1，几何重数1。
$\lambda=2$对应的特征向量为$[1,0,1]^\text{T}$，代数重数2，几何重数1。
将Jordan标准型写成$AP=PJ$的形式

$\begin{aligned} J=&\left[\begin{matrix} 1 & 0 & 0 \\ 0 & 2 & 1 \\ 0 & 0 & 2 \end{matrix}\right] \\ \left[\begin{matrix} 3 & 1 & -1 \\ 1 & 2 & -1 \\ 2 & 1 & 0 \end{matrix}\right] \left[\begin{matrix} 0 & 1 & 1 \\ 1 & 0 & 1 \\ 1 & 1 & 1 \end{matrix}\right] =&\left[\begin{matrix} 0 & 1 & 1 \\ 1 & 0 & 1 \\ 1 & 1 & 1 \end{matrix}\right] \left[\begin{matrix} 1 & 0 & 0 \\ 0 & 2 & 1 \\ 0 & 0 & 2 \end{matrix}\right] \end{aligned}$

其中$P$由$A$的特征向量和广义特征向量组成。
方法二：
行列式因子 $D_k(\lambda)$：所有子式的最大公约数（3阶矩阵有4+4+1个2阶子式）。
不变因子 $d_k(\lambda)$：n阶与n-1阶行列式因子的商。
初等因子：所有 $(\lambda-a)^b$ 形式的项。
几个例子
行列式 $D_1=1,D_2=\lambda-1,D_3=(\lambda-1)^3$
不变 $d_1=1,d_2=\lambda-1,d_3=(\lambda-1)^2$
初等 $\lambda-1,(\lambda-1)^2$
行列式 $D_1=1,D_2=1,D_3=(\lambda-1)(\lambda-2)^2$
不变 $d_1=1,d_2=1,d_3=(\lambda-1)(\lambda-2)^2$
初等 $\lambda-1,(\lambda-2)^2$
$\lambda$ 矩阵的初等变换之间等价，Smith标准型中的各个非零元素为不变因子。

矩阵分解

LU分解

$\begin{aligned} &\left[\begin{matrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & c & 1 \\ \end{matrix}\right] \left[\begin{matrix} 1 & 0 & 0 \\ a & 1 & 0 \\ b & 0 & 1 \\ \end{matrix}\right]A=U \\ A=&\left[\begin{matrix} 1 & 0 & 0 \\ a & 1 & 0 \\ b & 0 & 1 \\ \end{matrix}\right]^{-1} \left[\begin{matrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & c & 1 \\ \end{matrix}\right]^{-1}U \\ =&\left[\begin{matrix} 1 & 0 & 0 \\ -a & 1 & 0 \\ -b & 0 & 1 \\ \end{matrix}\right] \left[\begin{matrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & -c & 1 \\ \end{matrix}\right]U =\left[\begin{matrix} 1 & 0 & 0 \\ -a & 1 & 0 \\ -b & -c & 1 \\ \end{matrix}\right]U \end{aligned}$

QR分解

$\begin{aligned} A=&\left[\begin{matrix} 2 & -3 & 1 \\ 1 & 1 & -6 \\ 2 & 4 & 2 \\ \end{matrix}\right] \\ H=&I-2\omega\omega^\text{T} \end{aligned}$

将第一列向量$[2,1,2]^\text{T}$变换到x轴上并保持长度不变，即$[3,0,0]^\text{T}$，$\omega^\text{T}=[2,1,2]-[3,0,0]=[-1,1,2]$后再取单位向量，代入$H$，则。

$H=\left[\begin{matrix} \displaystyle\frac{2}{3} & \displaystyle\frac{1}{3} & \displaystyle\frac{2}{3} \\ \displaystyle\frac{1}{3} & \displaystyle\frac{2}{3} & -\displaystyle\frac{2}{3} \\ \displaystyle\frac{2}{3} & -\displaystyle\frac{2}{3} & -\displaystyle\frac{1}{3} \\ \end{matrix}\right] \left[\begin{matrix} 2 \\ 1 \\ 2 \\ \end{matrix}\right] =\left[\begin{matrix} 3 \\ 0 \\ 0 \\ \end{matrix}\right]$

满秩分解

$A=[F\vdots G], LF=I \\ LA=C=[I\vdots LG], B=F \\ BC=F[I\vdots LG]=[F\vdots FLG]=[F\vdots LFG]=A$

奇异值分解

$A=UDV^\text{T} \\ V_1=A^\text{T}U_1D^{-1} \\ U_1=AV_1D^{-1} \\$

广义逆矩阵

方程组有解称作相容，否则称为不相容或矛盾方程组。相容方程组的通解为

$x=A^-b+(I-A^-A)z$

其中$z$是与$x$同维的任意向量，$A^-$是$A$的任一减号逆，满足

$AA^-A=A$

如果还另外满足$A^-AA^-=A^-$，则称$A^-$是$A$的自反减号逆，记作$A_r^-$。证明：

$Ax = AA^-b+A(I-A^-A)z = AA^-b$

矩阵$A$的左逆和右逆分别满足 $ A_L^{-1}A=I$和$AA_R^{-1}=I $，当$A$分别列满秩和行满秩时，分别存在左逆和右逆

$A_L^{-1} = (A^{\text{T}}A)^{-1}A^\text{T} \\ A_R^{-1} = A^\text{T}(AA^{\text{T}})^{-1}$

且分别是列满秩和行满秩矩阵$A$的自反减号逆$A_r^-$，同时也是最小范数广义逆$A_m^-$、最小二乘广义逆$A_l^-$、加号逆$A^+$。
举例，方程组

$\begin{cases} x_1+2x_2+x_3 &= 1 \\ -x_2+2x_3 &= 2 \end{cases}, Ax=b$

行满秩，可求其右逆$A_R^{-1}$为减号逆$A^-$，并求出通解。
$A$的加号逆为同时满足下面4个式子的矩阵，且唯一。

$\begin{aligned} &AGA=A \\ &GAG=G \\ &(AG)^\text{T}=AG \\ &(GA)^\text{T}=GA \\ \end{aligned}$

当

其他

列满秩矩阵的列向量线性无关，一般为竖形状。列范数$||A||_1$指对每一列元素(每个列向量)的绝对值求和的最大值。
$||A||_{m_1}$范数是所有元素绝对值的和；$||A||_{m_2}/||A||_F$范数是所有元素平方和开根号；$||A||_{m_\infty}$范数是所有元素绝对值最大值×阶数。

$\begin{aligned} (A+BCD)^{-1} =& A^{-1}-A^{-1} B (DA^{-1}B+C^{-1})^{-1}DA^{-1} \\ (A+\vec{u}\vec{u}^\text{T})^{-1} =& A^{-1} -\frac{A^{-1}\vec{u}\vec{u}^\text{T} A^{-1}} {1+\vec{u}^\text{T}A^{-1}\vec{u}} \end{aligned}$ $\vec a\times(\vec b\times\vec c) =(\vec a\cdot\vec c)\vec b -(\vec a\cdot\vec b)\vec c$ $(\vec a\times\vec b)\times\vec c =(\vec a\cdot\vec c)\vec b -\vec a(\vec b\cdot\vec c)$

参考

【Math for ML】矩阵分解(Matrix Decompositions)
分块矩阵的行列式

向量