线性代数：从方程组到谱分解

线性代数研究的并不只是矩阵计算，而是向量空间的结构，以及空间之间的线性变换。

本文依据课程的 29 次讲授内容重新组织而成。它不按“公式清单”的方式罗列知识，而是沿着三条彼此交织的主线展开：

方程主线：怎样求解 $Ax=b$ ？何时有解？解有多少个？
空间主线：列空间、零空间、行空间和左零空间之间有什么关系？
变换主线：矩阵怎样表示线性映射？换一组基以后，哪些性质保持不变？

学习时建议反复在以下三种语言之间切换：

代数语言：方程、矩阵乘法、消元；
几何语言：方向、子空间、投影、长度与角度；
结构语言：基、维数、核、像、特征空间与分解。

本文默认标量域为实数域 $\mathbb R$ ；讨论复向量空间时会明确写出 $\mathbb C$ 。矩阵 $A$ 的列空间、零空间和秩分别记为 $C(A)$ 、 $N(A)$ 与 $\operatorname{rank}(A)$ 。

目录与知识地图#

向量、内积与矩阵
线性方程组与高斯消元
逆矩阵、转置与特殊矩阵
向量空间与子空间
线性无关、基与维数
秩、零空间与四个基本子空间
正交、投影与最小二乘
标准正交基、Gram-Schmidt 与 QR 分解
行列式
特征值、特征向量与对角化
实对称矩阵与谱定理
正定矩阵与二次型
线性变换、坐标与换基
对偶空间与转置映射
奇异值分解
低秩逼近、数据拟合与广义逆
一般内积空间与复矩阵
Fourier 矩阵、FFT 与多项式乘法
核心结论总表
综合练习

1. 向量、内积与矩阵#

1.1 向量与线性组合#

$\mathbb R^n$ 中的向量写作

x=\begin{bmatrix}x_1\\x_2\\\vdots\\x_n\end{bmatrix}.

向量相加与数乘逐分量进行。给定 $v_1,\dots,v_k\in\mathbb R^n$ ，形如

c_1v_1+\cdots+c_kv_k

的向量称为它们的一个线性组合。线性代数中的“线性”正体现在：我们只允许相加和数乘，不引入向量分量之间的乘积、平方或其他非线性运算。

从几何上看，一个非零向量 $v$ 的所有倍数 $cv$ 构成一条过原点的直线；两个不共线向量 $u,v$ 的全部线性组合通常构成一个过原点的平面。

1.2 内积、长度与角度#

欧氏内积定义为

x\cdot y=x^Ty=\sum_{i=1}^n x_i y_i.

由此定义范数

\|x\|=\sqrt{x^Tx}.

若 $x^Ty=0$ ，称 $x$ 与 $y$ 正交。当 $x,y\ne 0$ 时，夹角满足

\cos\theta=\frac{x^Ty}{\|x\|\|y\|}.

Cauchy-Schwarz 不等式

|x^Ty|\le \|x\|\|y\|.

一种很有用的证明从“长度平方非负”出发。若 $y\ne0$ ，对任意 $t\in\mathbb R$ ，

0\le\|x-ty\|^2=\|x\|^2-2t(x^Ty)+t^2\|y\|^2.

取 $t=(x^Ty)/\|y\|^2$ ，得到

0\le\|x\|^2-\frac{(x^Ty)^2}{\|y\|^2},

整理即得结论。等号成立当且仅当 $x,y$ 线性相关。

由 Cauchy-Schwarz 不等式可推出三角不等式

\|x+y\|\le\|x\|+\|y\|.

1.3 矩阵是怎样出现的#

一个 $m\times n$ 矩阵写作

A=\begin{bmatrix} a_{11}&\cdots&a_{1n}\\ \vdots&\d\dots&\vdots\\ a_{m1}&\cdots&a_{mn} \end{bmatrix}.

矩阵乘向量有三种同等重要的理解。设

A=[a_1\ \cdots\ a_n],\qquad A=\begin{bmatrix}r_1^T\\\vdots\\r_m^T\end{bmatrix}.

则

Ax=x_1a_1+\cdots+x_na_n

说明 $Ax$ 是 $A$ 的列向量的线性组合；另一方面，

Ax=\begin{bmatrix}r_1^Tx\\\vdots\\r_m^Tx\end{bmatrix}

说明每一个输出分量都是某个行向量与 $x$ 的内积。第三种理解是： $A$ 表示一个从 $\mathbb R^n$ 到 $\mathbb R^m$ 的线性变换。

1.4 矩阵乘法#

若 $A\in\mathbb R^{m\times n}$ 、 $B\in\mathbb R^{n\times p}$ ，则 $AB\in\mathbb R^{m\times p}$ ，并且

(AB)_{ij}=\sum_{k=1}^n a_{ik}b_{kj}.

也可以逐列理解：

AB=[Ab_1\ \cdots\ Ab_p].

矩阵乘法满足结合律与分配律，但一般不满足交换律： $AB$ 可能与 $BA$ 尺寸不同，即使尺寸相同也通常有 $AB\ne BA$ 。

2. 线性方程组与高斯消元#

2.1 三种观察 $Ax=b$ 的方式#

线性方程组可以压缩为

Ax=b.

它同时表达三件事：

逐行看： $x$ 同时满足 $m$ 个线性约束；
逐列看： $b$ 是否能由 $A$ 的列向量线性表示；
变换看：在线性映射 $x\mapsto Ax$ 下，谁被映到 $b$ ？

因此， $Ax=b$ 有解当且仅当

b\in C(A).

2.2 初等行变换#

高斯消元使用三类初等行变换：

某行加上另一行的若干倍；
交换两行；
某行乘以一个非零常数。

每一步都相当于在左侧乘一个可逆的初等矩阵。若消元过程为

E_k\cdots E_2E_1A=U,

则

Ax=b\iff Ux=E_k\cdots E_1b.

行变换改变方程的写法，但不改变解集。

2.3 阶梯形与主元#

行阶梯形矩阵满足：

所有非零行位于零行上方；
每个非零行的首个非零元位于上一行首个非零元的右侧。

这些首个非零元称为主元。继续使每个主元为 $1$ ，并将主元所在列的其他元素消为 $0$ ，便得到简化行阶梯形（RREF）。每个矩阵的 RREF 唯一。

主元列对应主变量，非主元列对应自由变量。例如

\begin{bmatrix} 1&0&2&-1\\ 0&1&3& 2\\ 0&0&0& 0 \end{bmatrix}x=0

中 $x_3,x_4$ 自由，

x=x_3\begin{bmatrix}-2\\-3\\1\\0\end{bmatrix} +x_4\begin{bmatrix}1\\-2\\0\\1\end{bmatrix}.

这两个特殊解构成零空间的一组基。

2.4 解的存在性与个数#

消元后若出现

[0\ \cdots\ 0\mid c],\qquad c\ne0,

则方程组无解。若没有矛盾行，则有解；有解时：

没有自由变量：唯一解；
至少一个自由变量：无穷多解。

对齐次方程 $Ax=0$ ，零解总存在。若 $A$ 有 $n$ 列而主元数小于 $n$ ，必有非零解。

2.5 LU 分解的思想#

若消元时不需要换行，可将消元乘子记录在下三角矩阵 $L$ 中，得到

A=LU,

其中 $L$ 为单位下三角矩阵， $U$ 为上三角矩阵。若需要换行，则通常写成

PA=LU,

其中 $P$ 是置换矩阵。求解 $Ax=b$ 时先解 $Ly=Pb$ ，再解 $Ux=y$ 。当同一个 $A$ 对应多个不同的 $b$ 时，分解只需计算一次。

3. 逆矩阵、转置与特殊矩阵#

3.1 逆矩阵#

方阵 $A$ 可逆，是指存在 $A^{-1}$ 使

A^{-1}A=AA^{-1}=I.

逆矩阵若存在则唯一。方程 $Ax=b$ 的解为

x=A^{-1}b.

但在数值计算中通常不显式计算 $A^{-1}$ ，而是用消元或矩阵分解直接解方程。

利用 Gauss-Jordan 消元：

[A\mid I]\longrightarrow[I\mid A^{-1}].

常用恒等式包括

(AB)^{-1}=B^{-1}A^{-1},\qquad (A^T)^{-1}=(A^{-1})^T.

3.2 可逆矩阵定理#

对 $n\times n$ 方阵 $A$ ，下列命题等价：

$A$ 可逆；
$A$ 有 $n$ 个主元；
$\operatorname{rank}(A)=n$ ；
$N(A)=\{0\}$ ；
$A$ 的列向量线性无关；
$A$ 的列向量张成 $\mathbb R^n$ ；
对任意 $b\in\mathbb R^n$ ， $Ax=b$ 有唯一解；
$0$ 不是 $A$ 的特征值；
$\det(A)\ne0$ ；
$A^TA$ 正定。

这不是十个孤立结论，而是“这个线性变换既不压扁方向，也不遗漏输出方向”的十种说法。

3.3 转置与对称矩阵#

转置矩阵由行列互换得到：

(A^T)_{ij}=A_{ji}.

基本性质为

(A+B)^T=A^T+B^T,\qquad (AB)^T=B^TA^T.

若 $A^T=A$ ，称 $A$ 为实对称矩阵。无向图的邻接矩阵就是重要例子：顶点 $i,j$ 相邻当且仅当 $A_{ij}=A_{ji}=1$ 。

3.4 分块矩阵#

将大矩阵按兼容尺寸分块后，可以像普通矩阵一样相乘。例如

\begin{bmatrix}A&B\\C&D\end{bmatrix} \begin{bmatrix}X\\Y\end{bmatrix} = \begin{bmatrix}AX+BY\\CX+DY\end{bmatrix}.

分块的价值不是创造新规则，而是暴露结构。投影、SVD、图矩阵和数值算法中都常用分块表示。

4. 向量空间与子空间#

4.1 向量空间#

向量空间 $V$ 是一个带有向量加法和标量乘法的集合，这两种运算满足交换律、结合律、分配律，并存在零向量与加法逆元。

“向量”不一定是数字列。以下都是向量空间：

$\mathbb R^n$ ；
所有 $m\times n$ 实矩阵组成的 $M_{m\times n}(\mathbb R)$ ；
次数不超过 $d$ 的多项式空间 $P_d$ ；
从某个集合到 $\mathbb R$ 的实值函数空间。

抽象定义的意义在于：只要证明对象满足相同公理，关于线性组合、基、维数和线性变换的所有结论便可统一使用。

4.2 子空间判定#

非空集合 $W\subseteq V$ 是子空间，当且仅当它对线性组合封闭：

u,v\in W, c,d\in\mathbb R \quad\Longrightarrow\quad cu+dv\in W.

这个判据同时包含对加法与数乘封闭。任何子空间都必须包含零向量，因此不过原点的直线或平面不是 $\mathbb R^n$ 的子空间。

4.3 张成空间#

给定集合 $S\subseteq V$ ，其张成空间为

\operatorname{span}(S) =\left\{c_1v_1+\cdots+c_kv_k: k\ge0, v_i\in S, c_i\in\mathbb R\right\}.

$\operatorname{span}(S)$ 是包含 $S$ 的最小子空间：任何包含 $S$ 的子空间都必须包含 $S$ 的所有线性组合。

矩阵 $A=[a_1\ \cdots\ a_n]$ 的列空间是

C(A)=\operatorname{span}\{a_1,\dots,a_n\}\subseteq\mathbb R^m.

零空间是

N(A)=\{x\in\mathbb R^n:Ax=0\}.

列空间描述“能到达哪些输出”，零空间描述“哪些输入被压到零”。

5. 线性无关、基与维数#

5.1 线性无关#

向量 $v_1,\dots,v_k$ 线性无关，是指

c_1v_1+c\dots+c_kv_k=0 \quad\Longrightarrow\quad c_1=c\dots=c_k=0.

否则称线性相关。线性相关等价于至少有一个向量可由其他向量线性表示。

对矩阵 $A=[a_1\ \cdots\ a_n]$ ，列向量线性无关当且仅当

Ax=0

只有零解。

5.2 基与坐标#

若 $v_1,\dots,v_n$ 既线性无关又张成 $V$ ，则称它们构成 $V$ 的一组基。每个 $v\in V$ 都能唯一写成

v=c_1v_1+c\dots+c_nv_n.

向量 $[v]_{\mathcal B}=(c_1,\dots,c_n)^T$ 称为 $v$ 在基 $\mathcal B=(v_1,\dots,v_n)$ 下的坐标。

“基”是一套坐标轴；“坐标”依赖于基，而向量本身不依赖于基。

5.3 Steinitz 交换引理#

定理（交换引理） 设 $e_1,\dots,e_n$ 是 $V$ 的一组基， $v_1,\dots,v_m$ 线性无关。则 $m\le n$ ，并可用 $v_1,\dots,v_m$ 替换基中的 $m$ 个向量，仍得到一组基。

证明思路。 因为 $e_1,\dots,e_n$ 张成 $V$ ，可将 $v_1$ 写成它们的线性组合。至少有一个系数非零，故可反解出对应的 $e_i$ ，用 $v_1$ 替换它而不改变张成空间。依次处理 $v_2,\dots,v_m$ ；线性无关性保证每一步总能找到尚未替换且系数非零的基向量。

交换引理推出：有限维向量空间的任意两组基含有相同数目的向量。这个数称为 $V$ 的维数，记作 $\dim V$ 。

5.4 基的两个补全原则#

若 $\dim V=n$ ，则：

任意 $n$ 个线性无关向量自动构成基；
任意 $n$ 个张成 $V$ 的向量自动构成基；
少于 $n$ 个向量不能张成 $V$ ；
多于 $n$ 个向量必线性相关；
任意线性无关组都可扩充成基；
任意有限生成集都可删减成基。

零空间 $\{0\}$ 的基是空序列，因此维数为 $0$ 。

6. 秩、零空间与四个基本子空间#

6.1 秩与零度#

矩阵的秩定义为列空间的维数：

\operatorname{rank}(A)=\dim C(A).

消元后主元数等于秩。若 $A$ 为 $m\times n$ ，秩为 $r$ ，则有 $r$ 个主变量和 $n-r$ 个自由变量。因此

\dim N(A)=n-r.

这就是矩阵形式的秩-零度定理：

\boxed{\operatorname{rank}(A)+\operatorname{nullity}(A)=n.}

6.2 如何计算列空间与零空间的基#

设 $R$ 是 $A$ 的 RREF。

$N(A)=N(R)$ ，可直接从 $Rx=0$ 的特殊解得到零空间的基；
列空间的基必须选取 原矩阵 $A$ 中与 $R$ 的主元列位置对应的列；
不能直接把 $R$ 的主元列当作 $C(A)$ 的基，因为行变换一般会改变列空间。

6.3 四个基本子空间#

对 $A\in\mathbb R^{m\times n}$ ，有：

子空间	所在环境空间	维数	含义
列空间 $C(A)$	$\mathbb R^m$	$r$	所有可能的输出 $Ax$
零空间 $N(A)$	$\mathbb R^n$	$n-r$	被 $A$ 映为零的输入
行空间 $C(A^T)$	$\mathbb R^n$	$r$	所有行向量的线性组合
左零空间 $N(A^T)$	$\mathbb R^m$	$m-r$	与所有列向量正交的向量

核心正交关系是

N(A)=C(A^T)^\perp,\qquad N(A^T)=C(A)^\perp.

例如，若 $x\in N(A)$ ，则 $Ax=0$ 。把 $A$ 的行记为 $r_i^T$ ，便有 $r_i^Tx=0$ ，所以 $x$ 与每一行正交，也与整个行空间正交。反向推理同样成立。

因此得到正交直和分解

\mathbb R^n=C(A^T)\oplus N(A),

\mathbb R^m=C(A)\oplus N(A^T).

6.4 $Ax=b$ 的完整解#

若 $x_p$ 是 $Ax=b$ 的一个特解，则所有解为

x=x_p+x_n,\qquad x_n\in N(A).

证明很直接： $A(x-x_p)=b-b=0$ ，所以任意解与特解之差属于零空间；反之 $A(x_p+x_n)=b$ 。

方程可解当且仅当 $b\in C(A)$ ，也等价于

y^Tb=0\quad\text{对所有 }y\in N(A^T).

这说明左零空间中的向量给出了方程可解性的全部相容条件。

7. 正交、投影与最小二乘#

7.1 投影到一条直线#

设直线 $L=\operatorname{span}\{a\}$ ， $a\ne0$ 。希望在 $L$ 上找到离 $b$ 最近的点 $p=\hat xa$ 。最短距离要求误差 $e=b-p$ 与直线正交：

a^T(b-\hat xa)=0.

所以

\hat x=\frac{a^Tb}{a^Ta},\qquad p=\frac{aa^T}{a^Ta}b.

投影矩阵为

P=\frac{aa^T}{a^Ta}.

它满足

P^T=P,\qquad P^2=P.

对称性表示正交投影，幂等性表示“投影一次以后再投影不会改变结果”。

7.2 投影到列空间#

设 $A\in\mathbb R^{m\times n}$ 的列线性无关。希望将 $b$ 投影到 $C(A)$ ，写成 $p=A\hat x$ 。误差 $e=b-A\hat x$ 必须与 $C(A)$ 中每一列正交，因此

A^T(b-A\hat x)=0.

得到正规方程

A^TA\hat x=A^Tb.

由于 $A$ 列满秩， $A^TA$ 可逆：若 $A^TAx=0$ ，则

0=x^TA^TAx=\|Ax\|^2,

从而 $Ax=0$ ，再由列无关得 $x=0$ 。于是

\hat x=(A^TA)^{-1}A^Tb,

投影矩阵为

\boxed{P=A(A^TA)^{-1}A^T.}

7.3 为什么正交意味着最近#

对任意 $q\in C(A)$ ，因为 $b-p\perp C(A)$ ，而 $p-q\in C(A)$ ，所以

\|b-q\|^2 =\|(b-p)+(p-q)\|^2 =\|b-p\|^2+\|p-q\|^2 \ge\|b-p\|^2.

因此 $p$ 是唯一最近点。这一证明只使用毕达哥拉斯定理，揭示了投影与最优化之间的本质联系。

7.4 最小二乘#

当 $Ax=b$ 无解时，转而求

\min_x\|Ax-b\|^2.

其最优解就是使 $Ax$ 等于 $b$ 在 $C(A)$ 上的投影的 $x$ ，故满足正规方程

A^TA\hat x=A^Tb.

例如用直线 $y=c+dt$ 拟合数据 $(t_i,y_i)$ 时，令

A=\begin{bmatrix} 1&t_1\\ \vdots&\vdots\\ 1&t_m \end{bmatrix},\qquad x=\begin{bmatrix}c\\d\end{bmatrix},\qquad b=\begin{bmatrix}y_1\\\vdots\\y_m\end{bmatrix}.

求解 $A^TAx=A^Tb$ 即得最小二乘直线。

数值提醒：直接形成 $A^TA$ 会平方条件数。实际计算中，QR 分解或 SVD 通常比正规方程更稳定。

8. 标准正交基、Gram-Schmidt 与 QR 分解#

8.1 标准正交向量与正交矩阵#

向量 $q_1,\dots,q_k$ 标准正交，是指

q_i^Tq_j=\delta_{ij}.

令 $Q=[q_1\ \cdots\ q_k]$ ，则

Q^TQ=I_k.

若 $Q$ 是方阵，则还满足 $QQ^T=I$ ，此时 $Q^{-1}=Q^T$ ，称 $Q$ 为正交矩阵。

正交矩阵保持内积和长度：

(Qx)^T(Qy)=x^Ty,\qquad \|Qx\|=\|x\|.

旋转、镜像和坐标轴置换都由正交矩阵表示。

若 $Q$ 的列是某个子空间 $W$ 的标准正交基，则投影矩阵简化为

P=QQ^T.

8.2 Gram-Schmidt 正交化#

给定线性无关向量 $a_1,\dots,a_n$ ，定义

u_1=a_1,\qquad q_1=\frac{u_1}{\|u_1\|},

并递推

u_k=a_k-\sum_{j=1}^{k-1}(q_j^Ta_k)q_j,\qquad q_k=\frac{u_k}{\|u_k\|}.

$u_k$ 是从 $a_k$ 中减去其在已有方向上的所有投影后剩余的分量。因此 $q_1,\dots,q_n$ 标准正交，并且对每个 $k$ ，

\operatorname{span}\{q_1,\dots,q_k\} =\operatorname{span}\{a_1,\dots,a_k\}.

8.3 QR 分解#

把上述关系按列组合。若 $A=[a_1\ \cdots\ a_n]$ 列满秩，则

A=QR,

其中 $Q$ 的列标准正交， $R$ 为可逆上三角矩阵。于是最小二乘问题

\min_x\|Ax-b\|

可化为

Rx=Q^Tb.

在数值算法中常使用改进 Gram-Schmidt 或 Householder 变换，以减小舍入误差。

9. 行列式#

9.1 几何意义与公理#

对 $n\times n$ 方阵 $A=[a_1\ \cdots\ a_n]$ ， $\det(A)$ 是由列向量张成的平行多面体的有向体积缩放因子。

行列式由三条性质唯一确定：

对每一列分别线性；
交换两列，行列式变号；
$\det(I)=1$ 。

由此立即得到：

两列相同则行列式为 $0$ ；
某列加上另一列的倍数，行列式不变；
某列乘 $c$ ，行列式乘 $c$ ；
某列为零或列向量线性相关，则行列式为 $0$ 。

9.2 Leibniz 公式#

对排列 $\sigma\in S_n$ ，记其逆序数为 $\tau(\sigma)$ 。则

\det(A)=\sum_{\sigma\in S_n} (-1)^{\tau(\sigma)} a_{\sigma(1),1}a_{\sigma(2),2}\cdots a_{\sigma(n),n}.

公式解释了为什么每一项恰好从每行、每列各取一个元素，也说明行列式对行和列具有对称地位。但直接计算有 $n!$ 项，实际计算应使用消元。

9.3 消元计算#

把 $A$ 消成上三角矩阵 $U$ ：

行加倍数不改变行列式；
交换行使行列式乘 $-1$ ；
某行乘 $c$ 使行列式乘 $c$ 。

上三角矩阵的行列式是对角线元素之积：

\det(U)=u_{11}\cdots u_{nn}.

这也说明 $A$ 可逆当且仅当 $\det(A)\ne0$ 。

9.4 乘法公式与转置#

重要恒等式为

\det(AB)=\det(A)\det(B),

\det(A^T)=\det(A),

以及可逆时

\det(A^{-1})=\frac1{\det(A)}.

乘法公式的几何解释是： $B$ 先改变体积 $\det(B)$ 倍， $A$ 再改变 $\det(A)$ 倍。

9.5 余子式展开#

删去第 $i$ 行与第 $j$ 列得到子矩阵 $A_{ij}$ ，余子式定义为

C_{ij}=(-1)^{i+j}\det(A_{ij}).

沿第 $j$ 列展开：

\det(A)=\sum_{i=1}^n a_{ij}C_{ij}.

沿任意行也可作同样展开。余子式矩阵的转置称为伴随矩阵 $\operatorname{adj}(A)$ ，满足

A\operatorname{adj}(A)=\det(A)I.

故 $\det(A)\ne0$ 时

A^{-1}=\frac{1}{\det(A)}\operatorname{adj}(A).

9.6 Cramer 法则#

对可逆方阵 $A$ ，令 $A_i(b)$ 表示用 $b$ 替换 $A$ 的第 $i$ 列所得矩阵，则 $Ax=b$ 的解满足

x_i=\frac{\det(A_i(b))}{\det(A)}.

Cramer 法则适合理论推导，却不适合大型数值计算。

10. 特征值、特征向量与对角化#

10.1 不改变方向的向量#

对方阵 $A$ ，若存在非零向量 $v$ 和标量 $\lambda$ 使

Av=\lambda v,

则称 $v$ 是 $A$ 的特征向量， $\lambda$ 是对应的特征值。线性变换作用在特征向量方向上，只会将其伸缩或反向，不会把它转向其他方向。

方程等价于

(A-\lambda I)v=0.

要有非零解， $A-\lambda I$ 必须不可逆，因此

\boxed{\det(A-\lambda I)=0.}

$p_A(\lambda)=\det(A-\lambda I)$ 称为特征多项式。它在复数域中有 $n$ 个根，按重数计数。

10.2 特征空间#

给定特征值 $\lambda$ ，相应特征空间为

V_\lambda=N(A-\lambda I).

它确实是子空间，并且至少一维。注意 $0$ 向量属于特征空间，但它本身不称为特征向量。

一些直接结论：

$A$ 的特征值之积是 $\det(A)$ ；
特征值之和是 $\operatorname{tr}(A)$ ；
$A$ 可逆当且仅当 $0$ 不是特征值；
三角矩阵的特征值就是其对角线元素；
若 $Av=\lambda v$ ，则 $A^kv=\lambda^kv$ ；
若 $A$ 可逆，则 $A^{-1}v=\lambda^{-1}v$ 。

10.3 对角化#

若 $A$ 有一组由特征向量组成的基 $v_1,\dots,v_n$ ，令

S=[v_1\ \cdots\ v_n],\qquad \Lambda=\operatorname{diag}(\lambda_1,\dots,\lambda_n),

则

AS=S\Lambda,\qquad A=S\Lambda S^{-1}.

这称为对角化。其价值在于

A^k=S\Lambda^kS^{-1},

而对角矩阵的幂只需逐个对角元素取幂。

10.4 不同特征值对应的特征向量线性无关#

定理对应于两两不同特征值 $\lambda_1,\dots,\lambda_k$ 的特征向量 $v_1,\dots,v_k$ 线性无关。

证明。 对 $k$ 归纳。设

c_1v_1+\cdots+c_kv_k=0.

左乘 $A$ ，再减去原式的 $\lambda_k$ 倍，得到

c_1(\lambda_1-\lambda_k)v_1+c\dots+ c_{k-1}(\lambda_{k-1}-\lambda_k)v_{k-1}=0.

由归纳假设及特征值互异， $c_1=c\dots=c_{k-1}=0$ ，再代回得 $c_k=0$ 。

所以有 $n$ 个互异特征值的 $n\times n$ 矩阵一定可对角化。但反向不成立：单位矩阵只有一个不同的特征值，却已经是对角矩阵。

10.5 代数重数与几何重数#

特征值 $\lambda_0$ 在特征多项式中作为根出现的次数称为代数重数；

\dim V_{\lambda_0}=\dim N(A-\lambda_0I)

称为几何重数。

总有

1\le \text{几何重数}\le \text{代数重数}.

矩阵可对角化，当且仅当每个特征值的几何重数等于代数重数；等价地，所有特征空间的维数之和为 $n$ 。

例如

A=\begin{bmatrix}1&1\\0&1\end{bmatrix}

中特征值 $1$ 的代数重数为 $2$ ，但 $N(A-I)$ 只有一维，所以 $A$ 不可对角化。

10.6 Fibonacci 数列示例#

递推式 $F_{k+2}=F_{k+1}+F_k$ 可写为

\begin{bmatrix}F_{k+2}\\F_{k+1}\end{bmatrix} = \begin{bmatrix}1&1\\1&0\end{bmatrix} \begin{bmatrix}F_{k+1}\\F_k\end{bmatrix}.

于是

\begin{bmatrix}F_{k+1}\\F_k\end{bmatrix} =A^k\begin{bmatrix}1\\0\end{bmatrix}.

对角化 $A$ 后即可得到 Binet 公式。这说明对角化本质上是把耦合递推拆成若干个互不干扰的一维伸缩。

11. 实对称矩阵与谱定理#

11.1 对称矩阵的特征值为实数#

设 $S=S^T$ 为实对称矩阵。允许特征向量暂时取复数，若 $Sx=\lambda x$ ，则

x^*Sx=\lambda x^*x.

另一方面，由 $S^*=S$ ，

\overline{x^*Sx}=x^*Sx,

故 $x^*Sx$ 是实数，而 $x^*x>0$ ，所以

\lambda=\frac{x^*Sx}{x^*x}\in\mathbb R.

而且可以选取相应的实特征向量。

11.2 不同特征值的特征向量正交#

若

Sx_1=\lambda_1x_1,\qquad Sx_2=\lambda_2x_2,\qquad \lambda_1\ne\lambda_2,

则

\lambda_1x_1^Tx_2=(Sx_1)^Tx_2=x_1^TSx_2 =\lambda_2x_1^Tx_2.

故 $(\lambda_1-\lambda_2)x_1^Tx_2=0$ ，从而 $x_1\perp x_2$ 。

11.3 谱定理#

实谱定理 每个实对称矩阵 $S$ 都能被正交对角化：存在正交矩阵 $Q$ 与实对角矩阵 $\Lambda$ ，使

\boxed{S=Q\Lambda Q^T.}

$Q$ 的列构成 $\mathbb R^n$ 的一组标准正交特征向量基。

证明思路。 特征多项式在复数域有根，而上一节说明至少有一个实特征值及实单位特征向量 $q_1$ 。其正交补 $q_1^\perp$ 在 $S$ 下不变：若 $x\perp q_1$ ，则

q_1^TSx=(Sq_1)^Tx=\lambda_1q_1^Tx=0.

把 $S$ 限制到这个 $n-1$ 维子空间并使用归纳法，即得到完整的标准正交特征基。

11.4 谱分解#

若 $Q=[q_1\ \cdots\ q_n]$ ，则

S=Q\Lambda Q^T =\sum_{i=1}^n\lambda_iq_iq_i^T.

每个 $q_iq_i^T$ 是投影到特征方向 $q_i$ 的秩一投影矩阵。谱分解说明：对称线性变换就是沿一组相互正交的轴分别伸缩。

11.5 图的谱#

无向图的邻接矩阵 $A$ 为实对称矩阵，因而有实特征值与标准正交特征基。对 $d$ -正则图，

A\mathbf1=d\mathbf1,

所以 $d$ 是特征值。

若图连通，则 $d$ 的特征空间通常由 $\mathbf1$ 张成；若图不连通，每个连通分量的指示向量都会产生特征值 $d$ 。对连通的 $d$ -正则图，图为二分图当且仅当 $-d$ 也是特征值。图谱因此能够编码连通性、二分性与扩张性质。

12. 正定矩阵与二次型#

12.1 二次型#

对实对称矩阵 $S$ ，表达式

x^TSx

称为二次型。若 $S=Q\Lambda Q^T$ ，令 $y=Q^Tx$ ，则

x^TSx=y^T\Lambda y=\sum_{i=1}^n\lambda_i y_i^2.

谱分解把带交叉项的二次型旋转到主轴坐标系中。

12.2 正定性的等价刻画#

实对称矩阵 $S$ 称为正定矩阵，若

x^TSx>0\qquad\text{对所有 }x\ne0.

对实对称矩阵，下列条件等价：

$S$ 正定；
$S$ 的所有特征值均为正；
$S$ 的所有顺序主子式均为正（Sylvester 判据）；
$S$ 有 Cholesky 分解 $S=LL^T$ ，其中 $L$ 可逆；
二次函数 $f(x)=\frac12x^TSx-b^Tx$ 严格凸。

从谱分解可立即证明前两项等价：

x^TSx=\sum_i\lambda_i(q_i^Tx)^2.

12.3 半正定矩阵与 $A^TA$ #

对任意矩阵 $A$ ，

x^TA^TAx=\|Ax\|^2\ge0,

所以 $A^TA$ 总是半正定。并且

N(A^TA)=N(A).

若 $A$ 列满秩，则 $N(A)=\{0\}$ ，所以 $A^TA$ 正定。这也是正规方程在列满秩时具有唯一解的根本原因。

12.4 Rayleigh 商#

对实对称矩阵 $S$ ，定义

R_S(x)=\frac{x^TSx}{x^Tx},\qquad x\ne0.

若特征值按 $\lambda_1\ge\cdots\ge\lambda_n$ 排列，则

\lambda_n\le R_S(x)\le\lambda_1.

最大值和最小值分别在最大、最小特征值对应的特征向量上取得。这把特征值问题与最优化问题联系起来。

13. 线性变换、坐标与换基#

13.1 线性变换#

映射 $T:V\to W$ 称为线性变换，若

T(u+v)=T(u)+T(v),\qquad T(cv)=cT(v).

等价地，对任意有限线性组合，

T\left(\sum_i c_iv_i\right)=\sum_i c_iT(v_i).

因此线性变换完全由它在一组基上的取值决定。若 $\mathcal B=(v_1,\dots,v_n)$ 是 $V$ 的基，任意指定 $T(v_1),\dots,T(v_n)$ ，都唯一确定一个线性变换。

13.2 线性变换的矩阵#

设 $\mathcal B=(v_1,\dots,v_n)$ 是 $V$ 的基， $\mathcal C=(w_1,\dots,w_m)$ 是 $W$ 的基。把 $T(v_j)$ 在 $\mathcal C$ 下的坐标作为第 $j$ 列，得到

[T]_{\mathcal C\leftarrow\mathcal B} =\begin{bmatrix} [T(v_1)]_{\mathcal C}&\cdots&[T(v_n)]_{\mathcal C} \end{bmatrix}.

它满足

[T(v)]_{\mathcal C} =[T]_{\mathcal C\leftarrow\mathcal B}[v]_{\mathcal B}.

矩阵不是线性变换本身，而是线性变换在选定输入、输出基下的坐标表示。

13.3 复合与矩阵乘法#

若 $T:U\to V$ 、 $S:V\to W$ ，则

[S\circ T]=[S][T].

这解释了矩阵乘法的顺序：右侧映射先作用。矩阵乘法并不是人为规定的符号游戏，而是“复合线性变换”在坐标中的必然表达。

13.4 换基与相似#

设 $V$ 的两组基为 $\mathcal B$ 与 $\mathcal B'$ 。若换基矩阵 $P$ 满足

[v]_{\mathcal B}=P[v]_{\mathcal B'},

则同一线性算子 $T:V\to V$ 在两组基下的矩阵满足

[T]_{\mathcal B'}=P^{-1}[T]_{\mathcal B}P.

形如 $B=P^{-1}AP$ 的矩阵称为相似矩阵。它们只是同一线性算子在不同坐标系下的表示，因此拥有相同的：

特征多项式、特征值及代数重数；
行列式与迹；
秩；
可对角化性。

对角化 $A=S\Lambda S^{-1}$ 就是在寻找一组特征向量基，使算子的矩阵表示变为对角矩阵。

13.5 核、像与秩-零度定理#

线性变换 $T:V\to W$ 的核与像定义为

\ker T=\{v\in V:T(v)=0\},

\operatorname{Im}T=\{T(v):v\in V\}.

它们都是子空间。若 $V$ 有限维，则

\boxed{\dim V=\dim\ker T+\dim\operatorname{Im}T.}

证明。 取 $\ker T$ 的基 $v_1,\dots,v_k$ ，扩充为 $V$ 的基 $v_1,\dots,v_k,v_{k+1},\dots,v_n$ 。可以证明 $T(v_{k+1}),\dots,T(v_n)$ 构成 $\operatorname{Im}T$ 的基，因此

\dim\operatorname{Im}T=n-k.

由此还可看出：

$T$ 单射 $\iff\ker T=\{0\}$ ；
$T$ 满射 $\iff\operatorname{Im}T=W$ ；
当 $\dim V=\dim W<\infty$ 时，单射、满射和可逆彼此等价。

14. 对偶空间与转置映射#

14.1 线性泛函与对偶空间#

从 $V$ 到标量域的线性映射

f:V\to\mathbb R

称为线性泛函。所有线性泛函构成的向量空间称为 $V$ 的对偶空间，记作 $V^*$ 。

若 $V=\mathbb R^n$ ，每个线性泛函都可写成

f(x)=a^Tx

的形式。在几何上，非零泛函的核是一个过原点的超平面。

14.2 对偶基#

若 $\mathcal B=(v_1,\dots,v_n)$ 是 $V$ 的基，则存在唯一的一组泛函 $\mathcal B^*=(f^1,\dots,f^n)$ ，满足

f^i(v_j)=\delta_{ij}.

它称为对偶基。若

v=c_1v_1+c\dots+c_nv_n,

则

c_i=f^i(v).

所以对偶基的作用就是“读取坐标”。有限维时 $\dim V^*=\dim V$ ，但 $V$ 与 $V^*$ 之间一般没有不依赖额外结构的自然同构；内积可以提供一个这样的对应 $a\mapsto(x\mapsto\langle a,x\rangle)$ 。

14.3 对偶映射#

给定 $T:V\to W$ ，定义对偶映射

T^*:W^*\to V^*,\qquad T^*(f)=f\circ T.

在相应对偶基下，若 $T$ 的矩阵是 $A$ ，则 $T^*$ 的矩阵是

A^T.

这给出了转置的结构解释：转置描述的是线性泛函沿着 $T$ 的反向拉回。

14.4 消去子与基本子空间#

对子空间 $U\subseteq V$ ，定义其消去子

U^\circ=\{f\in V^*:f(u)=0\text{ 对所有 }u\in U\}.

有限维时

\dim U+\dim U^\circ=\dim V.

对线性变换 $T:V\to W$ ，有

\ker T^*=(\operatorname{Im}T)^\circ,

\operatorname{Im}T^*=(\ker T)^\circ.

在欧氏空间中用内积识别空间与对偶空间，这两条关系正对应 $N(A^T)=C(A)^\perp$ 与 $C(A^T)=N(A)^\perp$ ，也由此得到行秩等于列秩。

15. 奇异值分解#

15.1 为什么需要 SVD#

特征分解只直接适用于方阵，并且一般矩阵未必可对角化。SVD 则适用于任意实 $m\times n$ 矩阵，并使用两个不同空间中的标准正交基：输入空间 $\mathbb R^n$ 的右奇异向量，以及输出空间 $\mathbb R^m$ 的左奇异向量。

15.2 奇异值与奇异向量#

$A^TA$ 是实对称半正定矩阵，所以存在标准正交特征向量 $v_1,\dots,v_n$ ，相应特征值非负。按降序写为

\lambda_1\ge\cdots\ge\lambda_n\ge0.

定义奇异值

\sigma_i=\sqrt{\lambda_i}.

对 $\sigma_i>0$ ，定义

u_i=\frac{Av_i}{\sigma_i}.

则

Av_i=\sigma_i u_i,\qquad A^Tu_i=\sigma_i v_i.

并且这些 $u_i$ 标准正交。证明为

u_i^Tu_j =\frac{v_i^TA^TAv_j}{\sigma_i\sigma_j} =\frac{\sigma_j^2v_i^Tv_j}{\sigma_i\sigma_j} =\delta_{ij}.

15.3 SVD 定理#

定理对任意 $A\in\mathbb R^{m\times n}$ ，存在正交矩阵 $U\in\mathbb R^{m\times m}$ 、 $V\in\mathbb R^{n\times n}$ ，以及“对角形”矩阵 $\Sigma\in\mathbb R^{m\times n}$ ，使

\boxed{A=U\Sigma V^T.}

$\Sigma$ 的非零对角元素为

\sigma_1\ge\sigma_2\ge\cdots\ge\sigma_r>0,

其中 $r=\operatorname{rank}(A)$ 。紧致 SVD 写作

A=U_r\Sigma_rV_r^T =\sum_{i=1}^r\sigma_i u_iv_i^T.

每个 $\sigma_i u_iv_i^T$ 都是秩一矩阵。

15.4 几何解释#

SVD 将 $x\mapsto Ax$ 拆成三步：

$V^T$ ：在输入空间中旋转或反射；
$\Sigma$ ：沿互相正交的轴伸缩，部分方向可能被压为零；
$U$ ：在输出空间中再次旋转或反射。

因此单位球在 $A$ 下变成椭球，椭球半轴长度就是奇异值，方向是左奇异向量。

15.5 SVD 与四个基本子空间#

紧致 SVD 立即给出：

C(A)=\operatorname{span}\{u_1,\dots,u_r\},

C(A^T)=\operatorname{span}\{v_1,\dots,v_r\},

N(A)=\operatorname{span}\{v_{r+1},\dots,v_n\},

N(A^T)=\operatorname{span}\{u_{r+1},\dots,u_m\}.

所以 SVD 不只是一个分解公式，它同时为四个基本子空间提供了标准正交基。

15.6 范数与条件数#

矩阵的谱范数满足

\|A\|_2=\max_{x\ne0}\frac{\|Ax\|}{\|x\|}=\sigma_1.

Frobenius 范数满足

\|A\|_F^2=\sum_{i,j}a_{ij}^2=\sum_{i=1}^r\sigma_i^2.

若方阵 $A$ 可逆，其 $2$ -范数条件数为

\kappa_2(A)=\frac{\sigma_1}{\sigma_n}.

最小奇异值很小时，某些输入方向被严重压缩，逆问题就会对误差非常敏感。

16. 低秩逼近、数据拟合与广义逆#

16.1 最佳低秩逼近#

设

A=\sum_{i=1}^r\sigma_i u_iv_i^T,\qquad \sigma_1\ge\cdots\ge\sigma_r>0.

截断到前 $k$ 项：

A_k=\sum_{i=1}^k\sigma_i u_iv_i^T.

Eckart-Young 定理 $A_k$ 是所有秩不超过 $k$ 的矩阵中最接近 $A$ 的矩阵，并且

\min_{\operatorname{rank}(B)\le k}\|A-B\|_2=\sigma_{k+1},

\min_{\operatorname{rank}(B)\le k}\|A-B\|_F =\sqrt{\sum_{i=k+1}^r\sigma_i^2}.

奇异值因此衡量每个秩一成分的重要程度；快速衰减意味着数据具有良好的低维结构。

16.2 图像压缩#

灰度图像可视为矩阵 $A$ 。完整存储需要 $mn$ 个数，而秩 $k$ 近似

A_k=U_k\Sigma_kV_k^T

只需存储约

mk+k+nk=k(m+n+1)

个数。当 $k(m+n+1)\ll mn$ 时便实现压缩。选择 $k$ 是压缩率与重建误差之间的权衡。

16.3 用低维子空间拟合数据#

给定数据点 $a_1,\dots,a_m\in\mathbb R^n$ ，把它们作为行组成矩阵

A=\begin{bmatrix}a_1^T\\\vdots\\a_m^T\end{bmatrix}.

希望找一个 $k$ 维子空间 $W$ ，使所有点到 $W$ 的距离平方和最小。若数据已中心化，则最佳子空间是

W=\operatorname{span}\{v_1,\dots,v_k\},

其中 $v_i$ 是 $A$ 的前 $k$ 个右奇异向量。最小误差为

\sum_{i=k+1}^r\sigma_i^2.

这就是主成分分析（PCA）的线性代数核心：保留方差最大的正交方向。

若数据没有以原点为中心，应先减去均值

\bar a=\frac1m\sum_{i=1}^m a_i.

否则求得的是过原点的最佳子空间，而非最佳仿射子空间。

16.4 Moore-Penrose 广义逆#

对紧致 SVD

A=U_r\Sigma_rV_r^T,

定义

A^+=V_r\Sigma_r^{-1}U_r^T.

$A^+$ 称为 Moore-Penrose 广义逆。

对任意 $b$ ，

x^*=A^+b

具有两层最优性：

它最小化残差 $\|Ax-b\|$ ；
在所有最小二乘解中，它的范数最小。

若 $A$ 列满秩，则

A^+=(A^TA)^{-1}A^T;

若 $A$ 行满秩，则

A^+=A^T(AA^T)^{-1}.

SVD 的表达在任意秩下都成立，并能清楚区分可恢复方向和零空间方向。

17. 一般内积空间与复矩阵#

17.1 实内积空间#

实向量空间 $V$ 上的内积 $\langle\cdot,\cdot\rangle$ 满足：

对称性： $\langle u,v\rangle=\langle v,u\rangle$ ；
线性： $\langle au+bv,w\rangle=a\langle u,w\rangle+b\langle v,w\rangle$ ；
正定性： $\langle u,u\rangle\ge0$ ，且等号仅当 $u=0$ 。

范数定义为

\|u\|=\sqrt{\langle u,u\rangle}.

Cauchy-Schwarz、不等式、正交补、投影和 Gram-Schmidt 都能原样推广到有限维实内积空间。

内积未必是标准点积。例如在多项式空间中可定义

\langle f,g\rangle=\int_0^1f(t)g(t)\,dt.

“正交多项式”就是在这种内积下产生的。

17.2 复内积#

在 $\mathbb C^n$ 中，标准内积是

\langle x,y\rangle=x^*y =\overline{x_1}y_1+\cdots+\overline{x_n}y_n,

其中 $x^*=\overline{x}^{T}$ 为共轭转置。它满足共轭对称性

\langle x,y\rangle=\overline{\langle y,x\rangle}.

是否规定第一或第二个变量线性只是记号约定；使用时必须前后一致。本文采用第二个变量线性的约定。

17.3 Hermitian 与酉矩阵#

若

A^*=A,

称 $A$ 为 Hermitian 矩阵。它是实对称矩阵在复数域的推广。

Hermitian 矩阵具有完整的谱定理：

所有特征值均为实数；
不同特征值对应的特征向量正交；
存在酉矩阵 $U$ 与实对角矩阵 $\Lambda$ ，使

A=U\Lambda U^*.

若

U^*U=UU^*=I,

称 $U$ 为酉矩阵。酉矩阵满足 $U^{-1}=U^*$ ，保持复内积与范数。正交矩阵是实数域上的酉矩阵。

18. Fourier 矩阵、FFT 与多项式乘法#

18.1 单位根#

令

\omega_n=e^{2\pi i/n}.

则 $1,\omega_n,\omega_n^2,\dots,\omega_n^{n-1}$ 是方程 $z^n=1$ 的全部根，并满足

\sum_{k=0}^{n-1}\omega_n^{jk} =\begin{cases} n,&n\mid j,\\ 0,&n\nmid j. \end{cases}

这一正交关系是 Fourier 分析的代数核心。

18.2 离散 Fourier 变换#

定义 Fourier 矩阵

F_n=\frac1{\sqrt n} \begin{bmatrix} 1&1&1&\cdots&1\\ 1&\omega_n&\omega_n^2&\cdots&\omega_n^{n-1}\\ 1&\omega_n^2&\omega_n^4&\cdots&\omega_n^{2(n-1)}\\ \vdots&\vdots&\vdots&\d\dots&\vdots\\ 1&\omega_n^{n-1}&\omega_n^{2(n-1)}&\cdots&\omega_n^{(n-1)^2} \end{bmatrix}.

单位根正交关系说明

F_n^*F_n=I,

所以 $F_n$ 是酉矩阵，逆变换为 $F_n^*$ 。离散 Fourier 变换是在“时间/系数坐标”与“频率/取值坐标”之间进行换基。

18.3 FFT 的分治结构#

直接计算 $n$ 点 DFT 需要 $O(n^2)$ 次运算。当 $n$ 为偶数时，将多项式

p(x)=\sum_{j=0}^{n-1}a_jx^j

拆为

p(x)=p_{\mathrm{even}}(x^2)+xp_{\mathrm{odd}}(x^2).

在单位根处求值时， $x$ 与 $-x$ 具有相同的平方，因此一个 $n$ 点问题可化为两个 $n/2$ 点问题，再用 $O(n)$ 次运算合并：

p(\omega_n^k)=E_k+\omega_n^kO_k,

p(\omega_n^{k+n/2})=E_k-\omega_n^kO_k.

递推式

T(n)=2T(n/2)+O(n)

给出

T(n)=O(n\log n).

18.4 多项式乘法#

设 $a(x),b(x)$ 的系数向量已补零到足够长度。多项式乘法可分为：

用 FFT 在单位根处求值；
逐点相乘 $c(\omega^k)=a(\omega^k)b(\omega^k)$ ；
用逆 FFT 插值得到 $c(x)=a(x)b(x)$ 的系数。

于是朴素 $O(n^2)$ 的卷积可在 $O(n\log n)$ 时间完成。

从线性代数角度看，FFT 并没有改变 DFT 这一个线性变换，只是利用 Fourier 矩阵内部的递归结构，快速完成换基。

19. 核心结论总表#

19.1 对 $A\in\mathbb R^{m\times n}$ #

设 $r=\operatorname{rank}(A)$ ：

对象	维数	一组基如何获得
$C(A)$	$r$	原矩阵中对应主元位置的列
$N(A)$	$n-r$	RREF 中每个自由变量对应的特殊解
$C(A^T)$	$r$	RREF 的非零行
$N(A^T)$	$m-r$	解 $A^Ty=0$

并且

C(A^T)^\perp=N(A),\qquad C(A)^\perp=N(A^T).

19.2 常见分解各自回答什么问题#

分解	形式	主要用途
消元 / LU	$PA=LU$	解线性方程组
QR	$A=QR$	稳定地做最小二乘、构造标准正交基
特征分解	$A=S\Lambda S^{-1}$	研究方阵的迭代、递推与不变方向
实谱分解	$S=Q\Lambda Q^T$	研究实对称矩阵、二次型与正定性
SVD	$A=U\Sigma V^T$	任意矩阵的几何、秩、压缩与广义逆

19.3 易混概念#

概念 A	概念 B	区别
列空间的基	RREF 的主元列	应从原矩阵选列，不能从 RREF 直接选
特征值	奇异值	特征值可为负数或复数；奇异值总非负
相似 $P^{-1}AP$	合同 $P^TAP$	相似对应换基后的算子；合同常用于二次型
正交矩阵	对称矩阵	$Q^TQ=I$ 与 $S^T=S$ 是不同条件
可对角化	可正交对角化	一般矩阵即使可对角化，也未必能正交对角化
最小二乘解	方程的精确解	前者允许残差，但使残差范数最小
代数重数	几何重数	前者来自特征多项式，后者是特征空间维数

19.4 一条贯穿全课的关系链#

对于 $Ax=b$ ：

\text{消元} \longrightarrow\text{主元与自由变量} \longrightarrow\text{秩与零空间} \longrightarrow\text{四个基本子空间} \longrightarrow\text{正交投影} \longrightarrow\text{最小二乘} \longrightarrow\text{SVD 与广义逆}.

前面的内容并不会被后面的内容取代；后面的理论是在为前面的计算提供更统一、更稳定，也更有几何意义的解释。

20. 综合练习#

以下问题按“理解—证明—应用”组织。建议先独立完成，再回到相应章节查找工具。

20.1 基础理解#

分别用逐行、逐列和线性变换三种观点解释 $Ax=b$ 。
为什么行变换不改变 $N(A)$ ，却可能改变 $C(A)$ ？
为什么不过原点的平面不是子空间？
若 $A$ 有 $n$ 列和 $r$ 个主元，为什么 $N(A)$ 的维数为 $n-r$ ？
说明投影矩阵为什么必须满足 $P^2=P$ 。
给出一个对称但不正交的矩阵，以及一个正交但不对称的矩阵。
特征向量为什么不能是零向量，而特征空间为什么必须包含零向量？
为什么 $A^TA$ 不会有负特征值？
SVD 中为何需要两套标准正交基，而实对称矩阵的谱分解只需一套？
Fourier 变换为什么可以理解为换基？

20.2 证明题#

证明任意子空间的交仍为子空间，并说明子空间的并何时才是子空间。
证明 $N(A^TA)=N(A)$ 。
证明若 $A$ 的列线性无关，则 $A^TA$ 可逆。
证明 $C(A^T)^\perp=N(A)$ 。
证明正交矩阵保持内积、长度和夹角。
证明相似矩阵有相同的特征多项式。
证明幂等矩阵 $P^2=P$ 的特征值只能是 $0$ 或 $1$ 。
证明实对称幂等矩阵正是某个子空间上的正交投影矩阵。
证明 $A$ 与 $A^T$ 具有相同的非零奇异值。
利用 SVD 证明 $\|A\|_2=\sigma_1$ 。

20.3 计算与应用#

对 $A=\begin{bmatrix}1&2&3\\2&4&6\\1&1&0\end{bmatrix}$ 求 RREF、秩、列空间基、行空间基和零空间基。
求 $b=(1,2,3)^T$ 在 $a=(1,1,0)^T$ 所张直线上的投影。
用最小二乘直线拟合点 $(0,1),(1,2),(2,2),(3,4)$ 。
对一个 $2\times2$ 实对称矩阵完成正交对角化，并用谱分解写成两个秩一矩阵之和。
判断 $S=\begin{bmatrix}2&-1\\-1&2\end{bmatrix}$ 是否正定，并分别用特征值、主子式与二次型验证。
对 $A=\begin{bmatrix}1&1\\0&1\end{bmatrix}$ 比较其特征分解与 SVD：哪一个存在，哪一个使用正交基？
设图为 $d$ -正则图，证明全一向量是邻接矩阵的特征向量。
给定一组二维数据，先中心化，再说明怎样用 SVD 求最佳拟合直线。
使用 $A^+$ 描述欠定方程 $Ax=b$ 的最小范数解。
手工完成一次 $n=4$ 的 FFT 分治，并标出偶数项、奇数项与合并步骤。

结语#

线性代数的核心不是“会不会算一个行列式”，而是能否识别问题背后的线性结构：

方程的解集是一个仿射空间；
秩衡量真正独立的信息量；
核记录变换丢失的方向，像记录变换能够到达的方向；
正交将几何距离转化为可计算的代数条件；
特征分解寻找一个算子内部不变的方向；
SVD 为任意线性变换寻找最自然的输入轴与输出轴；
Fourier 变换则展示了：选择合适的基，不仅能解释结构，也能带来算法速度的数量级提升。

当这些观点连成一体时，矩阵不再是一张数字表，线性代数也不再是一套计算规则。它成为描述高维空间、数据与变换的共同语言。

参考与延伸阅读#

Gilbert Strang, Introduction to Linear Algebra, 5th Edition.
课程 29 次讲授材料，内容涵盖线性方程组、向量空间、谱理论、SVD、内积空间与 FFT。
进一步学习可沿三个方向展开：数值线性代数、泛函分析、矩阵分析与数据科学。