机器学习·张量的线性代数

阅读方式建议：第一、二、三部分是地基（向量空间、正交性、行列式），第四部分是线性代数的骨干（特征值与六大分解），第五部分是数值与优化的接口（范数、低秩、伪逆、条件数），第六、七部分是本文题眼「张量」——先立张量代数，再立张量分解，第八部分把全部工具放回机器学习现场（嵌入层、卷积、注意力、LoRA、初始化、K-FAC）。附录提供速查表与符号索引，文末给出数值复核记录。

第零章 记号与布局约定

基域。 全文默认在实数域 \mathbb R 上讨论，除非显式说明；凡用到复数域 \mathbb C 之处（Schur 分解、正规矩阵）会就地标注。约定 \mathbb N=\{1,2,3,\dots\}；\log 一律指自然对数 \ln；\mathbb E[\cdot] 表示期望。

分块矩阵记号。 设 A\in\mathbb R^{m\times n}，B\in\mathbb R^{m\times p}，则 [A\ B]\in\mathbb R^{m\times(n+p)} 表示横向拼接；设 C\in\mathbb R^{q\times n}，则 \begin{bmatrix}A\\C\end{bmatrix}\in\mathbb R^{(m+q)\times n} 表示纵向拼接。分块乘法在维度相容时与普通矩阵乘法完全一致：

验证方式：把每个分块当作一个「元素」，乘法规则的推导只依赖结合律与分配律（见 1.5 节末的推导），与元素是数还是矩阵无关。\blacksquare

Einstein 求和约定。 重复出现的上下指标自动求和：a_i b_i\equiv\sum_{i=1}^n a_i b_i；A_{ij}x_j\equiv\sum_j A_{ij}x_j=(Ax)_i；\mathrm{tr}(A)=A_{ii}\equiv\sum_i A_{ii}。被求和的指标称为哑指标（dummy index），可任意改名：A_{ij}x_j=A_{ik}x_k。未被求和的指标称为自由指标，必须在等式两边一致出现。张量分析中上标表示逆变分量、下标表示协变分量，提升指标用度规 g^{ij}；本文第六、七部分处理的是 \mathbb R^{d_1}\otimes\cdots\otimes\mathbb R^{d_N} 中的笛卡尔张量，度规即单位矩阵，上下指标位置只起区分「被收缩/自由」的作用，不再有几何含义。

矩阵与算子记号表。

形状约定（全文严格遵守）。 标量 s；列向量 x\in\mathbb R^{n}（视为 n\times1 矩阵，故 x^{\mathsf T} 为行向量）；矩阵 A\in\mathbb R^{m\times n}；三阶张量 \mathcal X\in\mathbb R^{d_1\times d_2\times d_3}。向量与矩阵的乘积默认按矩阵乘法，故 y=Ax 形状 m\times1。三条一致性检查规则与《微积分》篇一致：

1. f:\mathbb R^n\to\mathbb R 时 df=(\nabla f)^{\mathsf T}dx，行向量乘列向量得标量；
2. f:\mathbb R^n\to\mathbb R^m 时 df=J_f\,dx，形状 m\times n 乘 n\times1 得 m\times1；
3. 复合映射的 Jacobian 按矩阵乘法顺序复合：J_{g\circ f}=J_g(f(x))J_f(x)。

Kronecker 积与 vec 的提前约定。 设 A\in\mathbb R^{m\times n}，B\in\mathbb R^{p\times q}，则

下标编码规则：前一个下标编码为「块内行 k + 块号 i」，即 (i-1)p+k；后一个下标编码为 (j-1)q+l。这个编码方式使得 (A\otimes B)(x\otimes y)=Ax\otimes By 精确成立（逐分量验证：左边第 ((i-1)p+k) 分量为 \sum_{j,l}a_{ij}b_{kl}x_jy_l=(Ax)_i(By)_k，正是 Ax\otimes By 的第 (i,k) 分量）。\blacksquare

vec 算子把矩阵按列堆叠为长向量：\mathrm{vec}(X)_{(j-1)m+i}=X_{ij}，与 Kronecker 的下标编码一致，这保证了恒等式

的逐分量形式：左边第 (j-1)m+i 分量为 (AXB)_{ij}=\sum_{k,l}a_{ik}X_{kl}b_{lj}；右边为 \sum_{k,l}(B^{\mathsf T})_{jk}A_{il}X_{kl}=\sum_{k,l}b_{lj}a_{ik}X_{kl}，逐项相同。(0.1) 的完整分量验证在 6.7 节再次给出。

对偶性的记号约定。 有限维空间中每个线性泛函 \varphi:\mathbb R^n\to\mathbb R 都唯一对应一个向量 w 使 \varphi(x)=w^{\mathsf T}x（Riesz 表示定理的有限维特例，2.1 节给出构造）。因此「向量」与「线性泛函」在坐标基底确定后可以互相识别，但概念上必须区分：矩阵 A 作用在向量上给出 Ax，作用在泛函（左乘行向量 u^{\mathsf T}）上给出 u^{\mathsf T}A。前者是 \mathbb R^n\to\mathbb R^m 的映射，后者是 (\mathbb R^m)^*\to(\mathbb R^n)^* 的映射。梯度下降更新 \theta\leftarrow\theta-\eta\nabla f(\theta) 中，\nabla f 在分子布局下是列向量，本质是余向量（微分 \mathrm df），靠度规（单位内积）才被认同为向量——这一点在第五部分讨论对偶范数时还会回来。

第一部分 向量空间与线性映射

1.1 向量空间的公理化定义

定义 1.1（向量空间）。 设 V 是一个非空集合，\mathbb F 是一个域（本文取 \mathbb R）。V 上定义了两个运算——向量加法 +:V\times V\to V 与标量乘法 \cdot:\mathbb F\times V\to V——若以下八条公理对一切 u,v,w\in V 与 \alpha,\beta\in\mathbb F 成立，则称 (V,+,\cdot) 是 \mathbb F 上的向量空间：

注意公理并未规定「元素长什么样」。 满足这八条的集合都可以做线性代数：\mathbb R^n（机器学习中的默认空间）、次数 \le d 的多项式全体、区间 [a,b] 上的连续函数 C[a,b]、m\times n 矩阵全体 \mathbb R^{m\times n}（本身也是向量空间，其元素又可以当线性映射）、随机变量空间 L^2(\Omega,\mathcal F,P)（二阶矩有限的随机变量，内积 \mathbb E[XY]）。「同一套定理适用于函数空间」是泛函分析的入口，也是核方法（RKHS）合法性的前提。

零元素与负元素的唯一性（不可跳过的基本功）。 设 0_1,0_2 都是零元素，则 0_1=0_1+0_2=0_2+0_1=0_2（第一步用 0_2 是零元素，第二步用 A1，第三步用 0_1 是零元素）。设 -u_1,-u_2 都是 u 的负元素，则

其中第三步用 A2、第四步用 A1。所有「显然」其实都是公理的组合，后文凡用到「唯一」二字都按此标准给出推导。\blacksquare

例题 1.1。 验证 \mathbb R^{m\times n} 在逐元素加法与数乘下是向量空间，并指出它的一个基。

推导：八条公理逐条由实数的对应性质直接推出。基取 E^{(ij)}（第 i 行第 j 列为 1、其余为 0 的矩阵），共 mn 个。任一 A=\sum_{i,j}a_{ij}E^{(ij)}，且表示唯一（比较两边 (i,j) 元即得 a_{ij}=A_{ij}）。\blacksquare

1.2 线性组合、张成与基

定义 1.2（线性组合与张成）。 设 v_1,\dots,v_k\in V，\alpha_1,\dots,\alpha_k\in\mathbb F，称 \sum_{i=1}^k\alpha_i v_i 为 v_1,\dots,v_k 的线性组合。集合

称为 v_1,\dots,v_k 的张成空间。

命题 1.3。\mathrm{span}(v_1,\dots,v_k) 是 V 的子空间（对加法与数乘封闭）。

证明。 设 u=\sum_i\alpha_i v_i，w=\sum_i\beta_i v_i，则 u+w=\sum_i(\alpha_i+\beta_i)v_i\in\mathrm{span}（D1 之逆用），\gamma u=\sum_i(\gamma\alpha_i)v_i\in\mathrm{span}（M2）。\blacksquare

定义 1.4（线性无关）。v_1,\dots,v_k线性无关，若 \sum_i\alpha_i v_i=0 只在 \alpha_1=\cdots=\alpha_k=0 时成立；否则线性相关，即存在不全为零的 \alpha_i 使 \sum_i\alpha_i v_i=0。

定义 1.5（基与维数）。V 的一组基是线性无关的向量组 \mathcal B=(b_1,\dots,b_n) 且 \mathrm{span}(\mathcal B)=V。V 的维数\dim V 是基中向量的个数（见定理 1.9，该数目与基的选取无关）。

「相关」的一个等价刻画（常用于反证）。v_1,\dots,v_k 线性相关 \iff 存在某个 v_j 可被其余向量线性表出。

推导：若相关，取一组不全为零的 \alpha_i，设 \alpha_j\ne0（这样的 j 必存在），则 v_j=-\alpha_j^{-1}\sum_{i\ne j}\alpha_i v_i。反之若 v_j=\sum_{i\ne j}\beta_i v_i，则 (-1)v_j+\sum_{i\ne j}\beta_i v_i=0 是一组不全为零的组合。\blacksquare

推论：含零向量的向量组必相关。 取 \alpha_j=1 于对应位置即可。这解释了为什么基中不能有零向量，也解释了「正交基自动不含零向量」（正交向量组必无关，见命题 2.12）。

1.3 维数唯一性：替换引理

维数概念的全部合法性建立在下面这条定理上。

引理 1.6（Steinitz 替换引理）。 设 u_1,\dots,u_m 线性无关且每个 u_i\in\mathrm{span}(v_1,\dots,v_n)，则 m\le n。

证明（逐向量淘汰法）。 对 m 归纳。

奠基 m=0 平凡。设引理对 m-1 成立，证对 m 成立。

第一步（把 u_1 塞进 \{v_j\}）。由 u_1\in\mathrm{span}(v_1,\dots,v_n)，u_1=\sum_j c_jv_j，系数 c_j 不全为零（否则 u_1=0 与无关矛盾）。设 c_k\ne0，则 v_k=c_k^{-1}\left(u_1-\sum_{j\ne k}c_jv_j\right)，于是

其中 \widehat{v_k} 表示把 v_k 从数组中删去。反方向的包含关系也成立：v_k 已被 u_1 与其余 v_j 表出，而其余 v_j 本就在新集合中。故两边相等：用 u_1 换出了 v_k，张成空间不变。

第二步（递归）。对 i=2,\dots,m 重复：u_i\in\mathrm{span}(u_1,\dots,u_{i-1},\{v_j\}_{\text{剩余}})。把 u_i 表出后，其 v_j 系数不全为零（若全为零则 u_i 被 u_1,\dots,u_{i-1} 表出，与无关矛盾），故可再用一个剩余的 v 换出 u_i。

第三步（计数）。每次替换消耗一个 v。m 次替换需要 m 个不同的 v 可被替换，故 m\le n。\blacksquare

定理 1.9（基的元素个数唯一）。 若 \mathcal B=(b_1,\dots,b_n) 与 \mathcal C=(c_1,\dots,c_m) 都是 V 的基，则 n=m。

证明。\mathcal B 无关，且每个 c_i\in V=\mathrm{span}(\mathcal B)。对 \mathcal C 用引理 1.6：m\le n。交换角色：\mathcal C 无关且每个 b_j\in\mathrm{span}(\mathcal C)，得 n\le m。故 n=m。\blacksquare

定理 1.10（维数公式的弱形式）。 若 \dim V=n 且 v_1,\dots,v_m 张成 V，则 m\ge n，且可从 v_1,\dots,v_m 中选出 n 个构成基。

证明。 设 \dim V=n，取基 b_1,\dots,b_n。每个 b_i\in\mathrm{span}(v_1,\dots,v_m)，由引理 1.6 得 n\le m。选基：从 v_1 开始依次检查，保留能使保留集合保持无关的向量（保留集合始终 \le n 个且张成不减），由于全体 v_j 张成 V，最终保留集合张成 V 且无关，元素个数为 r\le n；它是基，故 r=n。\blacksquare

例题 1.2（多项式空间的基）。P_d = 次数 \le d 的实多项式全体。验证 \mathcal B=(1,t,\dots,t^d) 是基，从而 \dim P_d=d+1。

推导：无关性：\sum_{k=0}^d a_kt^k\equiv0 作为函数恒为零，则它是零多项式；d 次多项式最多 d 个根（对 d 归纳：若 p(a)=0 则 p(t)=(t-a)q(t)，\deg q=d-1，q 最多 d-1 个根，合计 \le d 个），除非 p\equiv0，故所有 a_k=0。张成性由定义直接成立。\blacksquare

机器学习落点（本部分）。 词向量空间是 \mathbb R^d 的一个 d 维线性结构：词表大小 |\mathcal V| 决定嵌入矩阵 W\in\mathbb R^{d\times|\mathcal V|} 的形状，而语义的线性结构（v_{\text{king}}-v_{\text{man}}+v_{\text{woman}}\approx v_{\text{queen}}）说的是：嵌入空间中的某种「关系方向」与词本身近似无关。这在几何上等价于——词对 (a,b) 的差分向量 w_b-w_a 在关系的不同实例上近似共线（8.11 节给出余弦相似度的定量检验与平移不变性的严格陈述）。one-hot 向量 e_i 是 \mathbb R^{|\mathcal V|} 的标准基，嵌入查表 We_i 是「基向量被线性映射搬到新空间」这一基本动作的最朴素形态；e_i 张成的空间是一维的，这正是 embedding 层参数量 d|\mathcal V| 与全连接层参数量 |\mathcal V|d 相同的记法来源。

1.4 子空间、交与和

定义 1.11（子空间）。W\subseteq V 若本身（在同一运算下）是向量空间，则称 W 是 V 的子空间。等价判据（可直接验证，避免逐条查八公理）：W 非空，且对任意 u,v\in W 与 \alpha,\beta\in\mathbb F 有 \alpha u+\beta v\in W。

推导：取 u=v\in W 与 \alpha=\beta=0 得 0\in W（非空保证存在 w，取 \alpha=\beta=0）；取 \beta=0 得数乘封闭；取 \alpha=\beta=1 得加法封闭。其余公理由 V 继承。\blacksquare

定义 1.12（交与和）。 子空间 U,W 的交U\cap W=\{v:v\in U\ \text{且}\ v\in W\}；和U+W=\{u+w:u\in U,w\in W\}。

命题 1.13。U\cap W 与 U+W 都是子空间。

证明。 交：v_1,v_2\in U\cap W 则 \alpha v_1+\beta v_2 既在 U（U 是子空间）又在 W。和：\alpha(v_1+w_1)+\beta(v_2+w_2)=(\alpha v_1+\beta v_2)+(\alpha w_1+\beta w_2)\in U+W。\blacksquare

定义 1.14（直和）。 若 U\cap W=\{0\}，则称 U+W 为直和，记作 U\oplus W。

定理 1.15（直和的分解唯一性）。V=U\oplus W\iff 每个 v\in V 存在唯一的 u\in U,w\in W 使 v=u+w。

证明。 (\Rightarrow) 存在性由和的定义。唯一性：设 v=u_1+w_1=u_2+w_2，则 u_1-u_2=w_2-w_1。左边 \in U，右边 \in W，故 u_1-u_2\in U\cap W=\{0\}，即 u_1=u_2，进而 w_1=w_2。

(\Leftarrow) 设每个 v 分解唯一。取 x\in U\cap W，则 x=x+0=0+x 是 x 的两种分解，唯一性迫使 x=0，故 U\cap W=\{0\}。\blacksquare

维数关系（容斥原理）。\dim(U+W)=\dim U+\dim W-\dim(U\cap W)。2.3 节将给出内积空间中的特殊情形 \dim(U+W)=\dim U+\dim W-\dim(U\cap W^\perp)，以及 V=U\oplus U^\perp 的正交分解定理。

1.5 线性映射：核、像与矩阵表示

定义 1.16（线性映射）。 映射 T:V\to W（V,W 是同一域 \mathbb F 上的向量空间）称为线性映射，若

两条可合并为一条：T(\alpha u+\beta v)=\alpha Tu+\beta Tv（分别取 (\alpha,\beta)=(1,1) 与 (1,0) 即可还原，T(0)=T(0+0)=T0+T0 两边减 T0 得 T0=0——注意这里的减法是 W 中的加法逆元，公理 A4 保证存在）。

定义 1.17（核与像）。T:V\to W 的核\ker T=\{v\in V:Tv=0\}；像\mathrm{im}\,T=\{Tv:v\in V\}。

命题 1.18。\ker T 是 V 的子空间，\mathrm{im}\,T 是 W 的子空间。

证明。 核：v_1,v_2\in\ker T 则 T(\alpha v_1+\beta v_2)=\alpha Tv_1+\beta Tv_2=0。像：\alpha Tv_1+\beta Tv_2=T(\alpha v_1+\beta v_2)\in\mathrm{im}\,T。\blacksquare

定义 1.19（同构）。 线性双射 T:V\to W 称为同构，记作 V\cong W。此时 T^{-1}:W\to V 自动线性：T^{-1}(\alpha w_1+\beta w_2)=T^{-1}(w'_1) 其中 w'_i=T^{-1}(w_i)，由 T 线性反推 T^{-1}(\alpha w_1+\beta w_2)=\alpha T^{-1}w_1+\beta T^{-1}w_2。同构保持一切线性性质（无关性、张成、维数）。

定理 1.20（坐标同构）。 若 \dim V=n 且 \mathcal B=(b_1,\dots,b_n) 是一组基，则映射

是同构。特别地，\dim V=n 的实向量空间都同构于 \mathbb R^n——这正是「所有 n 维实向量空间在代数上不可区分」的严格含义。

证明。 线性性：v=\sum x_ib_i、w=\sum y_ib_i 则 \alpha v+\beta w=\sum_i(\alpha x_i+\beta y_i)b_i，故坐标是 \alpha x+\beta y。单射：[v]_{\mathcal B}=0 则 v=\sum 0\cdot b_i=0。满射：任给 x\in\mathbb R^n，v=\sum x_ib_i\in V 满足 \Phi(v)=x。\blacksquare

矩阵表示的推导（本文最常用的对应关系）。 设 T:\mathbb R^n\to\mathbb R^m 线性，e_1,\dots,e_n 与 f_1,\dots,f_m 分别是标准基。定义

则对任意 x=(x_1,\dots,x_n)^{\mathsf T}，

即 (Tx)_i=\sum_jA_{ij}x_j，矩阵形式 Tx=Ax。第 j 列就是 T 在第 j 个基向量上的像——这是「线性映射完全由基向量上的像决定」的矩阵版本。\blacksquare

矩阵表示的唯一性。 若 Bx=Ax 对所有 x 成立，取 x=e_j 得两矩阵第 j 列相同，故 A=B。

复合与基变换。 设还有 S:\mathbb R^m\to\mathbb R^p，矩阵为 B，则 (S\circ T)x=S(Tx)=B(Ax)=(BA)x（结合律），故复合的矩阵是矩阵乘积BA——矩阵乘法定义的「自然性」正来源于此。设 \mathcal C,\mathcal D 是另一组基，P 是从 \mathcal B 坐标到 \mathcal D 坐标的过渡矩阵（P_{ij}= 新基向量 d_i 的旧坐标），则 T 在新基下的矩阵为

推导：设 v 的新坐标为 y，旧坐标为 x=Py（过渡矩阵列是新基向量的旧坐标）。Tv 的新坐标为 P^{-1}(Ax)=P^{-1}A\mathcal P\,y。\blacksquare (1.1) 定义了相似矩阵，第四部分将证明相似矩阵共享全部特征值。

分块乘法的合法性（第零章断言的证明）。 设 A\in\mathbb R^{m\times n}，B\in\mathbb R^{n\times p} 都按行/列分块为 A=[A_{ik}]、B=[B_{kj}]（k 遍历公共分割）。则

（元素级定义）=\sum_k\sum_{a,b}A_{ik}[a,b]\,B_{kj}[b,a]……更直接地：把 A_{ik} 的每行与 B_{kj} 的对应列做点积再对 k 求和，正是分块矩阵乘法的定义。合法性来自结合律与分配律对「块元素」同样成立（块元素是矩阵，矩阵加法和乘法满足这两条）。\blacksquare

1.6 秩-零度定理

定义 1.21（秩）。\mathrm{rank}(A)=\dim\mathrm{im}\,A=\dim\mathrm{span}(A\text{ 的列})=\dim\mathrm{span}(A\text{ 的行})。列秩与行秩相等见定理 1.24。

定理 1.22（秩-零度定理）。A\in\mathbb R^{m\times n}（或 T:V\to W，\dim V<\infty）满足

证明（基扩张法）。 设 \dim\ker A=r，取核的基 u_1,\dots,u_r。由定理 1.10，可把它扩张为 V=\mathbb R^n 的基 u_1,\dots,u_r,w_1,\dots,w_{n-r}。

断言：Aw_1,\dots,Aw_{n-r} 是 \mathrm{im}\,A 的基。

• 张成：任取 x\in V，x=\sum_i\alpha_iu_i+\sum_j\beta_jw_j，则 Ax=\sum_i\alpha_iAu_i+\sum_j\beta_jAw_j=0+\sum_j\beta_jAw_j（Au_i=0），故 Ax\in\mathrm{span}(Aw_j)。
• 无关：设 \sum_j\beta_jAw_j=0，即 A(\sum_j\beta_jw_j)=0，故 \sum_j\beta_jw_j\in\ker A，可写成 \sum_i\alpha_iu_i。于是 \sum_i\alpha_iu_i-\sum_j\beta_jw_j=0，而 \{u_i,w_j\} 是基故全部系数为零，特别地 \beta_j=0。

故 \mathrm{rank}(A)=\dim\mathrm{im}\,A=n-r，即 (1.2)。\blacksquare

例题 1.3。 设 A\in\mathbb R^{m\times n}，证明 \mathrm{rank}(A)\le\min(m,n)。

推导：\mathrm{rank}(A)=\dim\mathrm{im}\,A\le\dim W=m（像空间是 W 的子空间）；由 (1.2)，\mathrm{rank}(A)=n-\dim\ker A\le n。\blacksquare

定理 1.23（矩阵乘法的秩不等式）。 对相容的 A,B：

证明。\mathrm{im}(AB)=\{ABx:x\}=\{Ay:y\in\mathrm{im}\,B\}\subseteq\mathrm{im}\,A，故 \mathrm{rank}(AB)\le\mathrm{rank}(A)。另一方面 \ker(B)\subseteq\ker(AB)（Bx=0\Rightarrow ABx=0），由 (1.2) 对 B 与 AB 分别写出：

两方向合并即 (1.3)。\blacksquare 这条不等式是「矩阵乘积只丢信息不添信息」的定量形式，第五部分的 Eckart–Young 定理与第七部分的 CP 分解唯一性讨论都会用到它。

定理 1.24（行秩 = 列秩）。 设 A\in\mathbb R^{m\times n} 秩为 r。则 A 的 r 个线性无关的行与 r 个线性无关的列同时存在，且行秩 = 列秩 =r。

证明。 列秩 =r 是定义。设 x\in\ker A 的行空间……用对偶论证更干净：行空间是 \mathbb R^n 的子空间，维数记为 s。由定义 1.21 中行秩 =s。注意 Ax 只依赖 x 与 A 的行的内积：(Ax)_i=\langle A_{\text{第 }i\text{ 行}},x\rangle。于是 Ax=0 等价于 x 与所有行正交。设行空间的一组基为 r_1,\dots,r_s，则

把 \{r_k\} 扩张为 \mathbb R^n 的基 r_1,\dots,r_s,z_1,\dots,z_{n-s}。定义线性映射 T:\mathbb R^n\to\mathbb R^s，Tx=(\langle r_k,x\rangle)_k。则 \ker T=\ker A，由 (1.2)，\dim\ker A=n-s。对 A 用 (1.2)：\dim\ker A=n-r。故 s=r。\blacksquare

满秩方阵的刻画。A\in\mathbb R^{n\times n} 满秩（\mathrm{rank}(A)=n）\iff\ker A=\{0\}\iffA 可逆 \iff\det A\ne0（第三部分证明）\iffA 的列构成基 \iffAx=b 对任意 b 有唯一解。这些等价链的每一环都在后文给出，此处先建立「满秩 = 双射」的直观。

1.7 四个基本子空间

定义 1.25（四个基本子空间）。 对 A\in\mathbb R^{m\times n}：

四个维数满足「行空间 + 零空间 =n，列空间 + 左零空间 =m」，正是秩-零度定理对 A 与 A^{\mathsf T} 各用一次。正交补的结构（\mathcal N(A)=\mathcal C(A^{\mathsf T})^\perp 等）需要内积，2.3 节给出；SVD（4.8 节）则给出这四个空间的标准正交基，把「抽象存在」变成「可计算的具体向量」。

机器学习落点（本部分收尾）。 线性回归 Xw=y 中，X\in\mathbb R^{n\times d}：若 \mathrm{rank}(X)=d<n（特征多于样本，d>n 时必然发生），则 Xw=y 为欠定方程组，解空间维数 d-\mathrm{rank}(X)——这就是过参数化模型的「插值解不唯一」现象的线性代数本质；权重衰减（岭回归）正是通过给解空间加范数偏好从无限解中挑出唯一的一个，5.7 节给出完整推导。卷积网络的感受野展开、注意力的键值投影，都是同一动作的不同包装：线性映射 + 基变换 + 张成空间的维数控制。

第二部分 内积空间与正交性

2.1 内积公理与 Cauchy–Schwarz

定义 2.1（内积）。 实向量空间 V 上的内积是映射 \langle\cdot,\cdot\rangle:V\times V\to\mathbb R，满足：

由 (I1)(I2) 立得第二变元也线性（双线性）。带内积的向量空间称为内积空间；有限维实内积空间即欧几里得空间。

诱导范数。\|v\|=\sqrt{\langle v,v\rangle}。验证它满足范数三公理（5.1 节将对照一般范数公理）：\|v\|\ge0 且 =0\iff v=0 由 (I3)；\|\alpha v\|=|\alpha|\|v\| 由线性与 (I3)；三角不等式 \|u+v\|\le\|u\|+\|v\| 是 Cauchy–Schwarz 的推论（见下）。因此内积比范数更强：内积给出范数，范数不给回内积（\ell_1 范数不来自任何内积，5.2 节用平行四边形定律判别）。

定理 2.2（Cauchy–Schwarz 不等式）。 对一切 u,v\in V，

等号成立 \iffu,v 线性相关。

证明（配方法，vanilla 版）。 若 v=0 则 (2.1) 两边为 0，成立。设 v\ne0，考虑 u 在 v 方向上的「去掉分量」：任取 t\in\mathbb R，由 (I3)，

这是关于 t 的二次函数，t^2 系数 \|v\|^2>0，故最小值在 t^*=\dfrac{\langle u,v\rangle}{\|v\|^2} 处取得（对 q 求导：q'(t)=-2\langle u,v\rangle+2t\|v\|^2=0）。代入：

移项得 \langle u,v\rangle^2\le\|u\|^2\|v\|^2，开方即 (2.1)。

等号条件。 等号成立 \iffq(t^*)=0\iff\|u-t^*v\|=0\iffu=t^*v，即 u,v 相关。\blacksquare

三角不等式的推导（顺带完成范数公理验证）。

第一步展开用双线性，第二步用 (2.1) 于 \langle u,v\rangle\le|\langle u,v\rangle|。两边开方。\blacksquare

推论 2.3（Pythagoras）。 若 \langle u,v\rangle=0（称 u\perp v），则 \|u+v\|^2=\|u\|^2+\|v\|^2。这是直角三角形勾股定理在任意内积空间中的形式，是 Fourier 展开（2.5 节）与投影分解（2.4 节）的几何内核。

复内积情形（提前说明）。\mathbb C 上内积满足 \langle u,v\rangle=\overline{\langle v,u\rangle}（共轭对称）与第一变元线性、第二变元共轭线性，\|v\|^2=\langle v,v\rangle\ge0。Cauchy–Schwarz 证明只需把 q(t) 改为 q(t)=\|u-te^{i\theta}v\|^2 并取 \theta=\arg\langle u,v\rangle，其余相同。本文主体在实空间，复数仅出现于 Schur 分解。

2.2 正交基与 Gram–Schmidt

定义 2.4（正交与标准正交）。 向量组 q_1,\dots,q_k正交指 i\ne j 时 \langle q_i,q_j\rangle=0；进一步 \|q_i\|=1 时称标准正交（orthonormal），此时 \langle q_i,q_j\rangle=\delta_{ij}（Kronecker 符号）。

命题 2.5。 正交向量组中无零向量时必线性无关。

证明。 设 \sum_i\alpha_iq_i=0。与 q_j 做内积：\langle\sum_i\alpha_iq_i,q_j\rangle=\sum_i\alpha_i\langle q_i,q_j\rangle=\alpha_j\|q_j\|^2=0，由 \|q_j\|^2>0 得 \alpha_j=0。对每个 j 成立。\blacksquare

推论 2.6。n 维内积空间中 n 个非零正交向量构成基（无关 + 个数 = 维数 + 张成由命题 1.10）。

Gram–Schmidt 正交化（完整推导）。 给定无关组 a_1,\dots,a_k，构造正交组 q_1,\dots,q_k 使 \mathrm{span}(q_1,\dots,q_j)=\mathrm{span}(a_1,\dots,a_j) 对每个 j 成立：

第一步：q_1=a_1。

第二步（归纳步）：设 q_1,\dots,q_j 已得。a_{j+1} 中属于 \mathrm{span}(q_1,\dots,q_j) 的分量是 \sum_{i\le j}\dfrac{\langle a_{j+1},q_i\rangle}{\|q_i\|^2}q_i（这是 a_{j+1} 在该正交基下的 Fourier 系数，2.5 节将证明这是最优系数）。减去它：

验证正交：\langle q_{j+1},q_i\rangle=\langle a_{j+1},q_i\rangle-\sum_{k}\frac{\langle a_{j+1},q_k\rangle}{\|q_k\|^2}\langle q_k,q_i\rangle=\langle a_{j+1},q_i\rangle-\frac{\langle a_{j+1},q_i\rangle}{\|q_i\|^2}\|q_i\|^2=0（i\le j）。

验证张成不变：q_{j+1}=a_{j+1}-(\text{前 }j\text{ 个 }q\text{ 的组合})，故 a_{j+1}\in\mathrm{span}(q_1,\dots,q_{j+1}) 且 q_{j+1}\in\mathrm{span}(a_1,\dots,a_{j+1})，结合归纳假设两边张成相等。

验证非零：若 q_{j+1}=0 则 a_{j+1}=\sum_{i\le j}c_iq_i 与前 j 个 q 相关，而 q_i 是 a_1,\dots,a_j 的线性组合（归纳假设），故 a_{j+1}\in\mathrm{span}(a_1,\dots,a_j)，与 \{a_i\} 无关矛盾。

最后归一化：\hat q_i=q_i/\|q_i\| 得标准正交组。\blacksquare

Gram 矩阵视角。 设 A=[a_1\ \cdots\ a_k]（列向量），G=A^{\mathsf T}A 称为 Gram 矩阵，G_{ij}=\langle a_i,a_j\rangle。Gram–Schmidt 本质是把 G 分解为 R^{\mathsf T}R（上 Cholesky 型）：正交化后 Q=[\hat q_1\ \cdots\ \hat q_k] 满足 A=QR，其中 R 是上三角矩阵，R_{ij}=\langle a_j,\hat q_i\rangle（i\le j）。4.7 节将由此发展出 QR 分解的三种构造。

定理 2.7（内积空间中的标准正交基存在性）。 任意有限维内积空间都有标准正交基。

证明。 任取一组基（存在性由定义 1.5），用 Gram–Schmidt 正交化再归一化。\blacksquare

例 2.1（在 P_2 上对 (1,t,t^2) 做 Gram–Schmidt，内积 \langle p,q\rangle=\int_0^1pq\,\mathrm dt）。

q_1=1，\|q_1\|^2=1。

q_2=t-\langle t,1\rangle\cdot 1=t-\frac12（\int_0^1t\,\mathrm dt=\frac12）。\|q_2\|^2=\int_0^1(t-\frac12)^2\mathrm dt=\frac1{12}。

q_3=t^2-\langle t^2,1\rangle-\frac{\langle t^2,t-\frac12\rangle}{\|q_2\|^2}(t-\frac12)。计算：\langle t^2,1\rangle=\frac13，\langle t^2,t-\frac12\rangle=\int_0^1(t^3-\frac{t^2}{2})\mathrm dt=\frac14-\frac16=\frac1{12}。故 q_3=t^2-\frac13-\frac{1/12}{1/12}(t-\frac12)=t^2-t+\frac16。

这正是第一类 shifted Legendre 多项式（相差缩放）：\tilde P_0=1,\tilde P_1=2t-1,\tilde P_2=6t^2-6t+1，它们是 [0,1] 上带权 1 的正交多项式族的前三个。正交多项式族（Legendre/Hermite/Laguerre/Chebyshev）构成 L^2 空间的三角基，是高斯求积（《微积分》篇 3.10 节）与 Gaussian 过程（核方法）的共同基础。\blacksquare

2.3 正交补与正交分解

定义 2.8（正交补）。 子空间 W\subseteq V 的正交补

命题 2.9。W^\perp 是子空间；W\cap W^\perp=\{0\}；(W^\perp)^\perp=W（有限维）。

证明。 子空间性：\alpha v_1+\beta v_2 与任何 w 的内积为 \alpha\cdot0+\beta\cdot0=0。交：x\in W\cap W^\perp 则 \langle x,x\rangle=0，由 (I3) x=0。第三部分的证明留到正交分解定理之后。\blacksquare

定理 2.10（正交分解定理）。 有限维内积空间 V 中，对任意子空间 W：

证明。 取 W 的标准正交基 q_1,\dots,q_r（定理 2.7）。由命题 2.5 可把它扩张为 V 的标准正交基 q_1,\dots,q_r,q_{r+1},\dots,q_n（取 W^\perp 的基与 W 的基合并，合并后仍正交：w\in W 与 z\in W^\perp 内积为 0）。任取 v=\sum_{i=1}^n c_iq_i，分解 v=\underbrace{\sum_{i\le r}c_iq_i}_{\in W}+\underbrace{\sum_{i>r}c_iq_i}_{\in W^\perp}，存在性得证。唯一性由直和判定（定理 1.15）与 W\cap W^\perp=\{0\}。维数公式：扩张后的基中后 n-r 个张成 W^\perp 且无关（标准正交组无关），故 \dim W^\perp=n-r。\blacksquare

推论 2.11（(W^\perp)^\perp=W）。

证明。 (\subseteq) 设 x\in(W^\perp)^\perp。由 (2.3) 写 x=w+z，w\in W,z\in W^\perp。对任何 u\in W^\perp：\langle x,u\rangle=\langle w,u\rangle+\langle z,u\rangle=0+0=0。特别取 u=z：\langle z,z\rangle=0，故 z=0，x=w\in W。

(\supseteq) w\in W 与任何 z\in W^\perp 内积为 0，故 w\in(W^\perp)^\perp。\blacksquare

四个基本子空间的正交结构（1.7 节的补全）。 对 A\in\mathbb R^{m\times n}：

证明（以第一式为例，其余相同）。 (\subseteq) x\in\mathcal N(A) 则 Ax=0，即 (Ax)_i=\langle A_{\text{第 }i\text{ 行}},x\rangle=0 对所有 i 成立，故 x 与所有行正交，即 x\perp\mathcal C(A^{\mathsf T})。

(\supseteq) x\perp 所有行，则每个 (Ax)_i=0，故 x\in\mathcal N(A)。

维数核对：\dim\mathcal C(A^{\mathsf T})=r（定理 1.24），\dim\mathcal N(A)=n-r（秩-零度），r+(n-r)=n=\dim\mathbb R^n，与 (2.3) 一致。\blacksquare

这套分解是「最小二乘为什么有解、解为什么不唯一、如何选唯一解」的全部答案：y 向 \mathcal C(A) 的投影是唯一可达的「最优近似」，而 y 在 \mathcal N(A^{\mathsf T}) 中的分量是「不可约残差」（5.6、5.7 节）。

2.4 正交投影

定义 2.12（投影算子）。 线性映射 P:V\to V 若满足 P^2=P（幂等），称为投影；若进一步 P=P^{\mathsf T}（在标准正交基下矩阵对称），称为正交投影。

定理 2.13（正交投影的刻画）。 设 W 是子空间，q_1,\dots,q_r 是 W 的标准正交基。定义

则 (i) P_W 是到 W 上的正交投影；(ii) v-P_Wv\perp W；(iii) \|v-P_Wv\|=\min_{w\in W}\|v-w\|；(iv) I-P_W 是到 W^\perp 上的正交投影；(v) V=\mathrm{im}\,P_W\oplus\ker P_W，且 \mathrm{im}\,P_W=W、\ker P_W=W^\perp。

证明。 (i) 矩阵形式 P_W=QQ^{\mathsf T}（Q=[q_1\ \cdots\ q_r]）。幂等：P_W^2=QQ^{\mathsf T}QQ^{\mathsf T}=Q(Q^{\mathsf T}Q)Q^{\mathsf T}=QIQ^{\mathsf T}=QQ^{\mathsf T}=P_W（用了 Q^{\mathsf T}Q=I_r）。对称：(QQ^{\mathsf T})^{\mathsf T}=QQ^{\mathsf T}。像包含于 W：P_Wv 是 q_i 的组合。任取 w\in W，w=\sum_i\alpha_iq_i，则 P_Ww=\sum_i\langle w,q_i\rangle q_i=\sum_i\alpha_iq_i=w（标准正交基 \langle w,q_i\rangle=\alpha_i），故 P_W|_W=\mathrm{id}，像 =W。

(ii) \langle v-P_Wv,q_j\rangle=\langle v,q_j\rangle-\sum_i\langle v,q_i\rangle\langle q_i,q_j\rangle=\langle v,q_j\rangle-\langle v,q_j\rangle=0 对每个 j，故 v-P_Wv\in W^\perp。

(iii) 任取 w\in W，\|v-w\|^2=\|(v-P_Wv)+(P_Ww-w)\|^2。由 Pythagoras（推论 2.3，两项分属 W^\perp 与 W）：=\|v-P_Wv\|^2+\|P_Ww-w\|^2\ge\|v-P_Wv\|^2，等号当且仅当 w=P_Ww，即 w=P_Wv。

(iv) (I-P_W)^2=I-2P_W+P_W^2=I-P_W，对称显然，像 =\{v-P_Wv\}=W^\perp（由 (ii) 与定理 2.10）。

(v) \ker P_W=\{v:P_Wv=0\}，由 (ii) v=P_Wv+(v-P_Wv)=0+(v-P_Wv)\in W^\perp；反之 z\in W^\perp 时 P_Wz=\sum_i\langle z,q_i\rangle q_i=0。\blacksquare

投影的显式公式（非正交基）。 若 A=[a_1\ \cdots\ a_k] 列无关（不必正交），则到 \mathcal C(A) 的正交投影为

其中 A^\dagger 是伪逆（5.6 节给出四种等价刻画）。

证明。Pv 应满足两个条件：Pv\in\mathcal C(A) 且 v-Pv\perp\mathcal C(A)。设 Pv=Aw（w\in\mathbb R^k）。正交条件：A^{\mathsf T}(v-Aw)=0，即 A^{\mathsf T}Aw=A^{\mathsf T}v。因 A 列无关，A^{\mathsf T}A 正定（\|Ax\|^2=x^{\mathsf T}A^{\mathsf T}Ax>0 对 x\ne0），故 w=(A^{\mathsf T}A)^{-1}A^{\mathsf T}v，代回得 (2.4)。验证幂等对称：P^2=A(A^{\mathsf T}A)^{-1}A^{\mathsf T}A(A^{\mathsf T}A)^{-1}A^{\mathsf T}=P；P^{\mathsf T}=((A^{\mathsf T}A)^{-1})^{\mathsf T}A^{\mathsf T}A^{\mathsf T}=A(A^{\mathsf T}A)^{-1}A^{\mathsf T}=P（对称矩阵的逆对称）。\blacksquare

投影矩阵的「压缩」性质（多次使用的恒等式）。 对 (2.4) 的 P 与任意 b：

这三个恒等式是帽子矩阵 H=X(X^{\mathsf T}X)^{-1}X^{\mathsf T} 在回归诊断中的全部代数：杠杆值 h_{ii} 来自 H 的对角元（0\le h_{ii}\le1，因 H 是对称幂等矩阵的特征值只能取 0 或 1——定理 4.13 将证明幂等对称矩阵可正交对角化到 \{0,1\} 投影阵）。

例题 2.2（一维投影与相关系数）。W=\mathrm{span}(a)，a\ne0。则 P_Wv=\dfrac{\langle v,a\rangle}{\|a\|^2}a。

代入 (2.4)：A=a，P=aa^{\mathsf T}/(a^{\mathsf T}a)，作用在 v 上即上式。取 v=x,y 为两组中心化数据（均值已减），则 y 在 x 方向上的投影长度 \|Px\text{ 方向上的分量}\| 满足

即Pearson 相关系数就是两向量夹角余弦。回归系数 \hat\beta=\dfrac{\langle x,y\rangle}{\|x\|^2}=\dfrac{\mathrm{Cov}(x,y)}{\mathrm{Var}(x)} 是投影的坐标。残差 y-P_Wx\perp x 即「残差与自变量正交」，这正是最小二乘的法方程 X^{\mathsf T}(y-X\hat w)=0 的几何陈述。\blacksquare

2.5 Fourier 展开与最优逼近

定理 2.14（Fourier 系数的最优性）。 设 q_1,\dots,q_r 是 W 的标准正交基。则对任意 v，

唯一最小点 w^*=\sum_i\langle v,q_i\rangle q_i。

证明。 任取 w=\sum_i\alpha_iq_i\in W，

最后一步配方：\sum_i\alpha_i^2-2\sum_i\alpha_ic_i+\sum_ic_i^2=\sum_i(\alpha_i-c_i)^2，其中 c_i=\langle v,q_i\rangle。故最小在 \alpha_i=c_i 时唯一取得，最小值平方为 \|v\|^2-\sum_ic_i^2。\blacksquare

Bessel 不等式与 Parseval 等式。 由上式 \sum_i c_i^2\le\|v\|^2（Bessel）。若 \{q_i\}_{i=1}^n 是 V 的标准正交基，则

证明（Fourier 展开公式）。 设 u=v-\sum_ic_iq_i。对每个 j：\langle u,q_j\rangle=c_j-c_j=0，故 u 与所有 q_j 正交。若 u\ne0，把 u/\|u\| 加入基仍标准正交，得 n+1 个标准正交向量，与 \dim V=n 矛盾（命题 2.5 + 命题 1.10）。故 u=0。范数等式由 Pythagoras 对展开式直接得到。\blacksquare

(2.5) 是标准正交基下的坐标就是内积这一事实的范数版本；它的矩阵版本 A^{-1}=A^{\mathsf T}（正交矩阵）与 A^{\mathsf T}A=AA^{\mathsf T}=I 是 4.8 节 SVD 中「正交基不改变长度」的代数核心。

机器学习落点。 (1) softmax 与投影无关，与基展开有关：注意力权重 \alpha_i=\dfrac{e^{\langle q,k_i\rangle}}{\sum_je^{\langle q,k_j\rangle}} 是查询 q 与各键的内积经 softmax 归一——内积度量「在同一基底下的坐标重合度」，这正是 Fourier 系数思想的统计版。(2) BatchNorm 的 whitening 动机：把激活按通道中心化并除以标准差，是沿特征方向的「正交化预处理」的粗略版；完整版（ZCA/PCA whitening）正是定理 2.14 的协方差版本，8.2 节给出。(3) 残差连接与正交补：y=x+f(x) 若 f(x)\perp x 则 \|y\|^2=\|x\|^2+\|f(x)\^2（Pythagoras），深层网络训练稳定性的「梯度范数不爆炸」直觉与此同构——谱范数控制（8.8 节）给出可证明的版本。

第三部分 行列式

3.1 行列式的公理化定义

行列式有两条入口：公理化定义（干净、性质好推）与 Leibniz 公式（显式、可计算）。本文先走公理路线，再证明两者相等。

定义 3.1（行列式函数）。\mathbb R^{n\times n} 上的函数 d 若满足以下三条，称为（未规格化的）行列式函数：

约定。 定义 3.1 中 d 作用于列向量组；行情形完全平行（转置后成立）。

由 (D1)(D2) 直接推出的五条初等性质（后文反复使用）：

性质 (a)：交换两列变号。 设 u,v 是任意两列，则

推导：由多线性，

（用了交错性消去 d(u,u)=d(v,v)=0）。另一方面由 (D2) 左边 =d(u+v,u+v)……正确的经典推导是：

改用标准技巧：对 d(u+v,u+v) 用多线性展开得 d(u,v)+d(v,u)（交错项为 0）。但 d(u+v,u+v) 不是「两列相同」……标准证法如下。考虑函数族：固定其他列，设涉及列 i,j。定义 \tilde d(x,y)=d(\dots,x,\dots,y,\dots)（只留这两列）。由 (D2)，\tilde d(x,x)=0。由 (D1)，\tilde d 双线性。于是

即 \tilde d(y,x)=-\tilde d(x,y)。这里关键观察是 \tilde d(x+y,x+y)=0因为两列输入都是 x+y（交错性），展开后交错项 \tilde d(x,x)=\tilde d(y,y)=0 由 (D2)。\blacksquare

性质 (b)：倍加一列到另一列值不变。d(\dots,u,\dots,v+\alpha u,\dots)=d(\dots,u,\dots,v,\dots)。

推导：多线性拆开 =d(\dots,u,\dots,v,\dots)+\alpha d(\dots,u,\dots,u,\dots)，第二项由 (D2) 为 0。\blacksquare

性质 (c)：某列乘 \alpha 则值乘 \alpha（(D1) 取其余列为 0 之外的一次项，即 d(\dots,\alpha u,\dots)=\alpha d(\dots,u,\dots)）。

性质 (d)：两列成比例则值为 0。v=\alpha u 时 d(\dots,u,\dots,\alpha u,\dots)=\alpha d(\dots,u,\dots,u,\dots)=0。

性质 (e)：一列为 0 则值为 0（(c) 取 \alpha=0）。

这五条性质与《微积分》篇处理极限时一样：全部可独立验证，不依赖任何几何直觉。

3.2 存在唯一性

定理 3.2（行列式函数存在且唯一）。 满足定义 3.1 的 d 存在，且唯一；其值为 \det A。

证明（唯一性部分——用 Gauss 消元归约）。 设 d 满足 (D1)–(D3)。对 A=[a_1\ \cdots\ a_n]：

• 若 a_1=0：由 (e)，d(A)=0。而 \det A 也应为 0（见下方 Leibniz 公式验证或直接用性质 (d) 论证：A 有一列是其他列的 0 倍……更稳妥：$0$ 列使 A 奇异，Leibniz 公式中每个排列项都含一个 0 因子）。一致。

• 若 a_1\ne0：把第一行之外……更准确的经典路线：对第一列作消元。设 a_1\ne0。用行变换（列版本）把第一列下方……本文用列消元归约到低阶：对 j\ge2，由性质 (b)，把第 j 列减去 \dfrac{a_{j1}}{a_{11}} 倍第 1 列，值不变。此时第 j 列的第一个分量变为 a_{j1}-\dfrac{a_{j1}}{a_{11}}a_{11}=0，第一列只有首元 a_{11}\ne0。由多线性提取首列因子 a_{11}（性质 (c)），并沿第一列展开——展开本身需要证明，此处用 Leibniz 公式反推更直接：

由 Leibniz 公式（定理 3.4）\det A=\sum_{\pi}\mathrm{sgn}(\pi)\prod_iA_{i,\pi(i)}。消元后的矩阵 A' 与 A 满足：对每个 \pi，\prod_iA'_{i,\pi(i)} 中，若 \pi(1)=1，第一行取 A'_{11}=a_{11}，其余行取原值（第一列已被消为零，不影响 \pi(1)\ne1 的项——\pi(1)=j\ne1 的项含因子 A'_{1j}……第一行元素没变！）。

更清晰的路线：对第一行归纳展开。设 A 的第一行 (a_{11},\dots,a_{1n})。由多线性（对第一行），

把每一项的第 j 列……这一步的严格化需要 Laplace 展开定理，标准教科书做法是：证明 d 满足沿任一列/行的展开式，展开式的系数记为「余子式」，再用归纳假设低阶 d 已被 Leibniz 公式确定。为避免循环，本文采用反向路线：

存在性与显式公式一起给：定义

其中 S_n 是 \{1,\dots,n\} 的全部排列，\mathrm{sgn}(\pi)=(-1)^{\text{inv}(\pi)}，\mathrm{inv}(\pi)=\#\{(i,j):i<j,\ \pi(i)>\pi(j)\} 为逆序数。

验证 (D1)：固定除第 k 列外的所有列。\det 作为第 k 列的函数：\prod_iA_{i,\pi(i)} 中恰有一个因子 A_{k,\pi(k)} 含第 k 列的元素，故每一项对第 k 列线性；求和保持线性。

验证 (D2)：设第 k,l 列相同（k<l）。构造对合 \tau=\pi\circ(k\,l)（先交换 k,l 再作用 \pi）。则 \mathrm{sgn}(\tau)=-\mathrm{sgn}(\pi)，且 \prod_iA_{i,\tau(i)}=\prod_iA_{i,\pi(i)}（交换两个相同列不改变乘积）。于是全部项可按 (\pi,\tau) 配对，每对和为 0，故 \det A=0。

验证 (D3)：A=I 时只有恒等排列 \pi=\mathrm{id} 的项非零（任何非恒等排列必有某个 \pi(i)\ne i，此时 A_{i,\pi(i)}=0），值为 \mathrm{sgn}(\mathrm{id})\prod_i1=1。

唯一性：设 d 与 \det 都满足三条公理。令 g=d-\det，则 g 满足 (D1)(D2) 且 g(I)=0。由消元论证：任一 A 可经初等列变换（交换两列、倍加、倍乘——前两种保 g 值，倍乘情形 g(\dots,\alpha u,\dots)=\alpha g(\dots,u,\dots)）化为 [I_r\ 0;\ 0\ 0] 型（列梯形）。若 A 满秩，化为 I，g(A)=\pm g(I)=0；若降秩，某列为 0，g(A)=0。故 g\equiv0，d=\det。\blacksquare

3.3 Leibniz 公式与 Laplace 展开

(3.2) 即 Leibniz 公式。n=1,2,3 的显式形式（全部从 (3.2) 读出）：

(3.3) 的六项对应六个排列：\mathrm{id},(1\,2\,3),(1\,3\,2) 及其三个对换。验证 (D2) 于两列相同，如 b=d：代入 aei+b f g+c d h-ceg-bdi-afh 中 b=d，得 aei+bfg+cbh-ceg-b^2i-afh——直接验证不直观，用排列配对手法（已在存在性证明中给出）即可，这也是「不要用显式公式验证公理、要用公理验证显式公式」的原因。

定理 3.3（Laplace 展开，沿第 i 行）。

其中 A^{(i,j)} 是划去第 i 行第 j 列后的 (n-1)\times(n-1) 矩阵，M_{ij}=\det A^{(i,j)} 称为余子式，(-1)^{i+j}M_{ij} 称为代数余子式。

证明。 把 (3.2) 按 \pi(i)=j 分组：

固定 i,j，令 \sigma:\{1,\dots,\widehat i,\dots,n\}\to\{1,\dots,\widehat j,\dots,n\} 是 \pi 去掉第 i 行后的限制，即 \sigma(k)=\pi(k)（k\ne i）。\sigma 是 (n-1) 元排列。关键恒等式：

推导：把 \pi 通过对换写成对换之积，其个数奇偶性为 \mathrm{inv}(\pi)。把 \pi(i)=j 通过 j-i 次相邻对换移到位置 i……更标准的论证：\pi 通过相邻对换把 j 从位置 i 逐位交换到第 i 位需 |j-i| 次……为免循环，用矩阵构造：设 E_{ij} 是第 i 行第 j 列为 1 的矩阵。由 (D1) 对第 i 行，A=\sum_jA_{ij}B^{(j)}，其中 B^{(j)} 是第 i 行换成 e_j^{\mathsf T} 的矩阵。故

现在 B^{(j)} 的第 i 行只有第 j 列为 1。沿第 i 行用「倍加」性质 (b)：把第 i 行的 1 倍加到其他行不改变 \det……应改用列操作：把第 j 列通过相邻列交换移到第 i 列（|j-i| 次交换，每次变号，累计 (-1)^{j-i}），此时矩阵呈分块形式 \begin{bmatrix}C&0\\ \ast&\ast\end{bmatrix}（前 i-1 行第 j 列为 0 等）。对分块三角矩阵用 Leibniz 公式直接验证：

推导：\pi 若要贡献非零项，必须把前 k 行映到前 k 列（否则某行只能取 0）。故 \pi 是前 k 排列与后 n-k 排列的「和」：\mathrm{sgn}(\pi)=\mathrm{sgn}(\pi_1)\mathrm{sgn}(\pi_2)（跨块无逆序），乘积因式分解，求和因式分解。

移列后 D=A^{(i,j)}，符号 (-1)^{j-i}=(-1)^{i+j}（差一个 2i）。故 \det B^{(j)}=(-1)^{i+j}\det A^{(ij)}，(3.4) 得证。\blacksquare

推论 3.3'（沿列展开） 完全平行：\det A=\sum_i(-1)^{i+j}A_{ij}\det A^{(ij)} 对每个固定 j。

符号矩阵 C_{ij}=(-1)^{i+j} 是棋盘格的 +-+-，这是 Laplace 展开的记忆法；其本质来自 (3.5)——把行/列移回原位所需的交换次数。

推论 3.4（三角矩阵的行列式）。 上三角或下三角矩阵的行列式 = 对角线乘积。

推导：Leibniz 公式中非零项必须取 A_{i,\pi(i)}\ne0；上三角时 A_{i,\pi(i)}=0 若 \pi(i)<i，逐行看唯一可行的是 \pi=\mathrm{id}（归纳：第一行只能取 \pi(1)=1，否则 A_{1,\pi(1)}=0；递推下去）。\blacksquare

3.4 乘法公式

定理 3.5（\det(AB)=\det A\cdot\det B）。

证明（约化到初等矩阵）。 任取 A\in\mathbb R^{n\times n}。

情形 1：A 可逆。则 A 可写成初等矩阵之积 A=E_1\cdots E_k（Gauss–Jordan 消元的矩阵版本，1.5 节的复合对应矩阵乘法）。初等矩阵有三类，逐一验证：

• 倍乘 E=\mathrm{diag}(1,\dots,\alpha,\dots,1)：\det E=\alpha（三角）。EA 是 A 的第 i 行乘 \alpha，由性质 (c) \det(EA)=\alpha\det A=\det E\cdot\det A。
• 交换 E=I 交换两行：\det E=-1（由 (3.1)）。EA 交换两行，\det(EA)=-\det A=\det E\det A。
• 倍加 E=I+\alpha e_{ij}e_{ij}^{\mathsf T}（i\ne j，第 j 行乘 \alpha 加到第 i 行）：\det E=1（三角，对角全 1）。\det(EA)=\det A（性质 (b) 的行版本）。故 \det E\det A=\det A。

于是对 E_k\cdots E_1 逐个用 \det(EA)=\det E\det A：\det A=\det E_1\cdots\det E_k。进而

情形 2：A 奇异。则 Ax=0 对某 x\ne0（满秩 \iff 可逆 \iff\ker=\{0\}）。补全 x 为基得可逆 P，设 P 的前列之一是 x……直接法：取可逆 Q 使 QA 的最后一行……用秩分解：A=U\Sigma V^{\mathsf T}（SVD，4.8 节）或秩分解 A=CR（C\in\mathbb R^{n\times r},R\in\mathbb R^{r\times n}，r<n）。由秩分解：\det(AB)=\det(CRB)，而 CRB 可写为 C\cdot(RB)，C 有零列（列数 r<n）……更简单：\det(CRB) 中 CRB 的列是 A 的列的线性组合（\mathrm{im}(AB)\subseteq\mathrm{im}(A)，秩 <n），故 AB 奇异，\det(AB)=0（奇异 \iff 有零特征值 \iff 行列式为 0，见 4.1 节；或直接用 Gauss 消元：奇异矩阵消元必出现零行，倍加减不改变零行，故 \det=0）。同时 \det A=0。两边为 0，公式成立。\blacksquare

推论 3.6。\det(A^{\mathsf T})=\det A；\det(A^{-1})=1/\det A；A 可逆 \iff\det A\ne0。

证明。\det(A^{\mathsf T})=\det A：Leibniz 公式中 \pi\leftrightarrow\pi^{-1} 是双射且 \mathrm{sgn}(\pi^{-1})=\mathrm{sgn}(\pi)，\prod_iA_{i,\pi(i)}=\prod_iA_{\pi^{-1}(i),i}=\prod_i(A^{\mathsf T})_{i,\pi^{-1}(i)}，故两公式逐项相同。可逆性：A 可逆 \iffA=E_1\cdots E_k\iff\det A=\prod\det E_i，每个 \det E_i\ne0。\blacksquare

3.5 Cramer 法则与逆矩阵公式

定理 3.7（Cramer 法则）。 设 A\in\mathbb R^{n\times n} 可逆，Ax=b。则唯一解为

证明。 由 2.4 节投影理论或直接构造：设解为 x。考虑 A^{(j)}=A+\sum_{k\ne j}(x_k-x_j)e_{jk}……标准证明用列线性组合：x_j\det A=x_j\det[a_1\ \cdots\ a_n]=\det[a_1\ \cdots\ x_ja_j\ \cdots\ a_n]（性质 (c) 提出 x_j）。把第 j 列拆成 \sum_kx_ka_k（因为 b=Ax=\sum_kx_ka_k）：

由交错性 (D2)，只有 k=j 的项非零（k\ne j 时第 k 列与第 j 列都是 a_k，两列相同）。故 \det A^{(j)}=x_j\det A，即 (3.7)。\blacksquare

定理 3.8（逆矩阵的伴随公式）。

其中 \mathrm{adj}(A)_{ij}=(-1)^{i+j}\det A^{(ji)} 是伴随矩阵（注意下标转置）。

证明。 只需验证 A\cdot\mathrm{adj}(A)=\det A\cdot I。第 (i,k) 元：\sum_jA_{ij}(-1)^{k+j}\det A^{(kj)}。当 i=k 时这是沿第 k 行展开 \det A=\sum_j(-1)^{k+j}A_{kj}\det A^{(kj)}，得 \det A。当 i\ne k 时，构造矩阵 \tilde A = 把 A 的第 k 行换成第 i 行（则 \tilde A 有两行相同，\det\tilde A=0）。沿第 k 行展开 \tilde A：0=\det\tilde A=\sum_j(-1)^{k+j}\tilde A_{kj}\det\tilde A^{(kj)}=\sum_j(-1)^{k+j}A_{ij}\det A^{(kj)}（余子式与第 k 行内容无关，故 \tilde A^{(kj)}=A^{(kj)}）。\blacksquare

注：伴随公式在数值上不可用（n\times n 需要 n^2 个 (n-1) 阶行列式，复杂度 O(n!\cdot n)），实际求逆走 LU 或 QR；但它是理论基石——第四部分谱分解、第五部分伪逆的唯一性证明都要引用「行列式为 0 \iff 奇异」这一链条。

3.6 几何意义：有向体积

定义 3.9（平行多面体）。 列向量 a_1,\dots,a_n\in\mathbb R^n 张成的平行多面体

定理 3.10。|\det[a_1\ \cdots\ a_n]|=\Pi(a_1,\dots,a_n) 的 n 维体积；符号表示定向。

证明（对 n 用 Gram–Schmidt + 归纳）。 对 a_1,\dots,a_n 做 Gram–Schmidt（2.2 节 (2.2) 式）：q_1=a_1，q_k=a_k-\sum_{i<k}\dfrac{\langle a_k,q_i\rangle}{\|q_i\|^2}q_i。设 Q=[q_1\ \cdots\ q_n]，则 A=QR，R 上三角且 R_{kk}=\dfrac{\|q_k\|}{\|q_{k-1}\|}\cdots——精确地，q_k=a_k-\mathrm{span}(q_1,\dots,q_{k-1}) 中的分量，故 a_k=q_k+r_k（r_k\in\mathrm{span}(q_1,\dots,q_{k-1})），即 R_{kk}=1，R_{ik}=\langle a_k,q_i\rangle/\|q_i\|^2（i<k），R_{ik}=0（i>k）。于是

另一方面，\Pi(a_1,\dots,a_n) 可沿 q_k 方向切成薄片，第 k 层的高度为 \|q_k\|（q_k\perp\mathrm{span}(q_1,\dots,q_{k-1})），底面是 \Pi(q_1,\dots,q_{k-1})。由 Fubini（体积 = 底面积 \times 高）：

与 |\det A| 相等。符号：交换两列同时翻转体积定向与行列式符号（(3.1)），连续变形不越过奇异（行列式为 0）时符号不变，故 \det A 是有向体积。\blacksquare

推论 3.11（n 维平行四边形的面积公式）。n=2 时 |\det| 即平行四边形面积 \|a_1\|\|a_2\||\sin\theta|；由 \|a_1\times a_2\|=\|a_1\|\|a_2\||\sin\theta|（\mathbb R^3 中叉积模长），有

推论 3.12（线性变换的体积缩放）。 设 T:x\mapsto Ax 可逆，则 \mathrm{vol}(T(\Omega))=|\det A|\cdot\mathrm{vol}(\Omega) 对任意可测集 \Omega。这正是概率密度变换公式中 Jacobi 因子 |\det J| 的几何来源：密度是「单位体积的概率质量」，变换把体积缩放 |\det J| 倍，密度就除以它。

3.7 机器学习落点

（1）概率密度变换与归一化流。 设 x=g(z)，g 可微双射，z\sim q(z)，则

推导：\mathrm{vol} 缩放 |\det J_g| 倍，密度反向缩放；取对数并用链式法则 \det J_{g^{-1}}(x)=1/\det J_g(z)（推论 3.6）。归一化流（normalizing flows）的全部训练目标就是最大化 (3.9)，其计算瓶颈正是 \log|\det J|——Real NVP 用三角 Jacobian 把 \log|\det J|=\sum_i\log s_i（对角和，O(d) 而非 O(d^3)）；连续流（Neural ODE）用瞬时变换 \dfrac{\mathrm d}{\mathrm dt}\log\det\varphi_t=\mathrm{tr}(J\varphi_t)（《微积分》篇 4.9 的 Jacobi 公式）把行列式化成迹，再用伴随法积分。

（2）采样与接受率。 Metropolis–Hastings 中从 x 提议 x' 的接受率含 \dfrac{q(x'\mid x)}{q(x\mid x')}，建议分布的 Jacobian 修正与 (3.9) 同构；HMC 的相空间体积守恒（Liouville 定理）即 |\det J|=1——辛积分器保相空间体积是 HMC 高接受率的根本原因。

（3）白化与协方差行列式。 多元高斯的归一化常数 |\Sigma|^{-1/2}=(2\pi)^{-d/2}：从 \Sigma=LL^{\mathsf T}（Cholesky，4.6 节）看，\det\Sigma=(\det L)^2=\prod_iL_{ii}^2，即「方差连乘」——独立标准正态经下三角变换后，体积缩放是各步缩放之积，行列式的乘法公式 (3.5) 就是「变换复合 = 体积缩放相乘」的代数形态。

（4）注意力中的 softmax 与行列式无关但与投影有关。 澄清一个常见混淆：softmax 不涉及行列式；但 \mathrm{softmax}(z) 的 Jacobian 是 \mathrm{diag}(p)-pp^{\mathsf T}（《微积分》篇 4.12 已证），该矩阵半正定、秩 K-1（行和为零），其「体积缩放」为零——反映 softmax 把 \mathbb R^K 压到 (K-1) 维单纯形上，信息损失一维。这个秩亏现象在分析 softmax 注意力奇异值谱时还会出现（8.4 节）。

第四部分 特征值与矩阵分解

4.1 特征值与特征向量

定义 4.1（特征值、特征向量）。 设 A\in\mathbb C^{n\times n}。若存在 x\ne0 与 \lambda\in\mathbb C 使

则称 \lambda 为特征值（eigenvalue），x 为对应的特征向量。等价刻画：\ker(\lambda I-A)\ne\{0\}，即 \lambda I-A 奇异。

定义 4.2（特征多项式）。p_A(\lambda)=\det(\lambda I-A)。由 Leibniz 公式，它是 \lambda 的 n 次首一多项式。特征值恰为 p_A 的根：

证明。Ax=\lambda x（x\ne0）\iff(\lambda I-A)x=0 有非零解 \iff\lambda I-A 奇异 \iff\det(\lambda I-A)=0（3.4 节可逆性判据）。\blacksquare

定理 4.3（特征多项式的系数与迹、行列式）。 设 A 的特征值（含代数重数）为 \lambda_1,\dots,\lambda_n，则

证明。 两式的证明分两路。

路线一（迹与特征值）。 对 \det(\lambda I-A) 用 Leibniz 公式 (3.2)：

排列 \pi 的贡献项中，\lambda 的幂次恰等于 \pi 的不动点个数：不动点因子是 (\lambda-A_{ii})（含 \lambda），非不动点因子是 0-A_{i,\pi(i)}=-A_{i,\pi(i)}（纯常数）——这是关键观察。非恒等排列至少移动两个元素（一个长度 \ge2 的循环必有两个位置被移动），不动点数目 \le n-2，其贡献的 \lambda 幂次 \le n-2。因此 \lambda^{n-1} 的系数只由恒等排列贡献：

另一方面 \prod_i(\lambda-\lambda_i) 的 \lambda^{n-1} 系数为 -\sum_i\lambda_i。比较系数得 \mathrm{tr}(A)=\sum_i\lambda_i。\blacksquare

路线二（行列式）。 令 \lambda=0：p_A(0)=\det(-A)=(-1)^n\det A。同时 p_A(0)=\prod_i(0-\lambda_i)=(-1)^n\prod_i\lambda_i。故 \det A=\prod\lambda_i。\blacksquare

定义 4.4（代数重数与几何重数）。 特征值 \lambda 的代数重数m_a(\lambda) 是它作为 p_A 根的阶数；几何重数m_g(\lambda)=\dim\ker(\lambda I-A)。

定理 4.5。1\le m_g(\lambda)\le m_a(\lambda)。特征值至多 n 个（计代数重数恰 n 个）。

证明（前向不等号的推导）。m_g\ge1 由特征值定义（\ker\ne\{0\}）。m_g\le m_a：取 \ker(\lambda I-A) 的一组基 q_1,\dots,q_r（r=m_g），扩张为 \mathbb C^n 的基，令 Q=[q_1\ \cdots\ q_r\ \cdots\ q_n]。则

推导：Aq_i=\lambda q_i（i\le r），故 AQ 的前 r 列 =[\lambda q_1\ \cdots\ \lambda q_r]，左乘 Q^{-1} 后前 r 列为 \lambda e_i，即左上块 \lambda I_r，左下块为 0。分块三角行列式（3.3 节 (3.6)）：

即 (\mu-\lambda)^r 整除 p_A，故 m_a\ge r=m_g。\blacksquare

推论 4.6（不同特征值的特征向量无关）。 属于两两不同特征值的特征向量 x_1,\dots,x_k 线性无关。

证明（对 k 归纳）。 设 \sum_i\alpha_ix_i=0。左乘 A：\sum_i\alpha_i\lambda_ix_i=0。第一式乘 \lambda_k 相减：\sum_{i<k}\alpha_i(\lambda_i-\lambda_k)x_i=0。由归纳假设（前 k-1 个无关）得 \alpha_i(\lambda_i-\lambda_k)=0（i<k），因 \lambda_i\ne\lambda_k 得 \alpha_i=0。代回得 \alpha_kx_k=0，x_k\ne0 故 \alpha_k=0。\blacksquare

推论 4.7。 若 A 有 n 个互异特征值，则它有 n 个无关特征向量，从而可对角化（4.2 节）。

4.2 对角化

定义 4.8（相似与对角化）。A,B 相似若存在可逆 P 使 B=P^{-1}AP（回顾 (1.1)：同一线性映射在不同基下的矩阵）。A 可对角化若相似于对角阵，即存在 P 使

定理 4.9（相似不变量）。 相似矩阵有相同特征多项式、迹、行列式、秩、特征值集合（含重数）。

证明。 特征多项式：\det(\lambda I-P^{-1}AP)=\det(P^{-1}(\lambda I-A)P)=\det(P^{-1})\det(\lambda I-A)\det P=\det(\lambda I-A)（乘法公式 3.5）。其余由 (4.2) 与「相似保持秩」（P^{-1}AP 与 A 同秩，定理 1.23 双向夹逼：\mathrm{rank}(P^{-1}AP)\le\mathrm{rank}(A) 且反向同法）推出。\blacksquare

定理 4.10（可对角化的完整刻画）。 下列条件等价：

(i) A 可对角化；

(ii) 对每个特征值 \lambda，m_g(\lambda)=m_a(\lambda)；

(iii) A 有 n 个（按代数重数计）线性无关的特征向量；

(iv) \mathbb C^n=\bigoplus_\lambda\ker(\lambda I-A)（特征子空间直和分解整个空间）。

证明。 (i)\Rightarrow(iii)：A=P\Lambda P^{-1} 取 P 的列为 p_i，AP=P\Lambda 意味着 Ap_i=\lambda_ip_i，P 可逆故 p_i 无关。(iii)\Rightarrow(i)：以 n 个无关特征向量为列组装 P 即得 AP=P\Lambda。(iii)\Leftrightarrow(iv)：\sum_\lambda\dim E_\lambda=n 且不同 E_\lambda 之和为直和（推论 4.6 的推广：E_{\lambda_i} 之间无关），直和维数 =\sum m_g(\lambda_i)；n 个无关特征向量 \iff\sum m_g=n\iff 直和 =\mathbb C^n。(ii)\Leftrightarrow(iii)：\sum_\lambda m_g(\lambda)\le\sum_\lambda m_a(\lambda)=n（定理 4.5），等号成立 \iff 每个 m_g=m_a，而 \sum m_g=n 正是 (iii)。\blacksquare

Jordan 块的不可省略性（反例）。A=\begin{bmatrix}1&1\\0&1\end{bmatrix}：p_A=(\lambda-1)^2，m_a(1)=2；\ker(I-A)=\mathrm{span}(e_1)，m_g=1。不可对角化。取 P=[x\ \ y] 使 AP=P\Lambda 需 Ay=y 且 Ax=x，即两个无关特征向量，m_g=1 排除了这种可能——「缺点阵」的严格含义是几何重数 < 代数重数。

幂的计算（对角化的典型用途）。 若 A=P\Lambda P^{-1}，则

推导：归纳。k=1 显然；A^{k+1}=A^kA=P\Lambda^kP^{-1}P\Lambda P^{-1}=P\Lambda^{k+1}P^{-1}。更一般地，对多项式 q：q(A)=Pq(\Lambda)P^{-1}。谱半径决定迭代收敛：A^k\to0\iff 所有 |\lambda_i|<1（与传递函数、Z 变换联系的完整链条见《微积分》篇 6.9 节；对不可对角化情形要用 Jordan 形，但结论 A^k\to0\iff\rho(A)<1 不变）。这是循环神经网络梯度爆炸/消失与线性动力系统稳定性的代数核心（5.9 节量化）。

4.3 对称矩阵的谱定理

定理 4.11（实对称矩阵的谱定理，三种证明路线之一：最优化法）。 设 A=A^{\mathsf T}\in\mathbb R^{n\times n}。则存在正交矩阵 Q（Q^{\mathsf T}Q=QQ^{\mathsf T}=I）与实对角阵 \Lambda 使

其中 q_i 是 Q 的列（标准正交特征向量），\lambda_i\in\mathbb R。

证明分四步。

步骤 1：实特征值。 设 Az=\lambda z，z\in\mathbb C^n，z\ne0。取共轭转置：z^*A^{\mathsf T}=\bar\lambda z^*，即 z^*A=\bar\lambda z^*（A 实对称）。左乘 z：z^*Az=\bar\lambda\|z\|^2。另一方面由 Az=\lambda z 左乘 z^*：z^*Az=\lambda\|z\|^2。两者相减：(\lambda-\bar\lambda)\|z\|^2=0，\|z\|^2>0，故 \lambda=\bar\lambda，\lambda\in\mathbb R。

步骤 2：实特征向量。 由于 \lambda 实，\ker(\lambda I-A) 是实方程组的解空间，含实非零解（复解空间有实基）。

步骤 3：最优化取第一特征对。 考虑单位球面 S=\{x\in\mathbb R^n:\|x\|=1\} 上的连续函数 f(x)=x^{\mathsf T}Ax。S 紧致（有界闭集），f 连续，故由 Weierstrass 定理取到最大值：q_1=\arg\max_Sf。用 Lagrange 乘子（约束 \|x\|^2=1）：

故 q_1 是特征向量，\lambda_1=q_1^{\mathsf T}Aq_1=f(q_1) 是最大值。

步骤 4：归纳（降维）。 设 q_1 已得。取标准正交基 q_1,\dots,q_n，令 Q_1=[q_1\ \cdots\ q_n]。则

推导：(Q_1^{\mathsf T}AQ_1)_{11}=q_1^{\mathsf T}Aq_1=\lambda_1；(Q_1^{\mathsf T}AQ_1)_{1j}=q_1^{\mathsf T}Aq_j=\lambda_1q_1^{\mathsf T}q_j=0（j>1），对称性给出第 j1 元也为 0；右下块 B 满足 B_{ij}=q_i^{\mathsf T}Aq_j=q_j^{\mathsf T}Aq_i（A 对称）对称。对 B 递归应用步骤 3，得到正交 Q_2\in\mathbb R^{(n-1)\times(n-1)} 对角化 B。于是 Q=Q_1\mathrm{diag}(1,Q_2) 正交且 Q^{\mathsf T}AQ=\mathrm{diag}(\lambda_1,\dots,\lambda_n)。\blacksquare

推论 4.12（谱的变分刻画，Rayleigh 商）。 特征值排序 \lambda_1\ge\cdots\ge\lambda_n 满足

（Courant–Fischer 第三式，5.4 节给出完整证明）。

正定性的谱判据。A\succ0\iff 所有 \lambda_i>0；A\succeq0\iff 所有 \lambda_i\ge0。证明：x^{\mathsf T}Ax=\sum_i\lambda_i\langle x,q_i\rangle^2（由 (4.5)）。\blacksquare

定理 4.13（幂等对称矩阵 = 正交投影）。P=P^{\mathsf T}=P^2\iff 存在标准正交列 Q 使 P=QQ^{\mathsf T}，且 P 的特征值只能是 $0$ 或 $1$。

证明。 (\Rightarrow) 谱定理：P=Q\Lambda Q^{\mathsf T}，则 P^2=Q\Lambda^2Q^{\mathsf T}，P^2=P 给出 \Lambda^2=\Lambda，故对角元 \in\{0,1\}。重排后 P=Q_rQ_r^{\mathsf T}（r=\mathrm{rank}=\mathrm{tr}）。(\Leftarrow) Q_rQ_r^{\mathsf T} 的幂等与对称已在 2.4 节 (i) 证明。\blacksquare 这补全了 2.4 节的伏笔：投影矩阵的一切代数性质都是 \{0,1\} 谱的直接推论。

4.4 Schur 分解、正规矩阵与实 Schur 形

定理 4.14（Schur 分解）。 任意 A\in\mathbb C^{n\times n} 可分解为

证明（归纳 + 特征向量扩张）。n=1 平凡。设对 n-1 成立。取特征对 Ax_1=\lambda_1x_1，\|x_1\|=1，扩张为酉矩阵 Q_1=[x_1\ \ \tilde Q]。则

推导：Q_1^*AQ_1 的第 1 列 =Q_1^*Ax_1=\lambda_1Q_1^*x_1=\lambda_1e_1（Q_1^*x_1=e_1 因 x_1 是首列）。右下块记为 A_1\in\mathbb C^{(n-1)^2}，由归纳假设 A_1=Q_2T_2Q_2^*。令 Q=Q_1\mathrm{diag}(1,Q_2)，T=\begin{bmatrix}\lambda_1&b^*\\0&T_2\end{bmatrix}（其中 b^*=x_1^*A\tilde QQ_2），即 (4.6)。T 的对角元：\lambda_1 与 T_2 的对角元，归纳地包含全部特征值（相似不变，定理 4.9）。\blacksquare

定义 4.15（正规矩阵）。A 正规若 A^*A=AA^*。（实对称、实反对称、正交、酉、Hermite 矩阵都正规。）

定理 4.16（正规 \iff 酉可对角化）。A 正规 \iff 存在酉 Q 使 A=Q\Lambda Q^*（\Lambda 对角）。

证明。 (\Leftarrow) (Q\Lambda Q^*)^*(Q\Lambda Q^*)=Q\bar\Lambda\Lambda Q^*=Q\Lambda\bar\Lambda Q^*=(Q\Lambda Q^*)(Q\Lambda Q^*)^*，用对角阵可交换。( \Rightarrow) 对上三角 T（Schur）用正规性：\|T\|_F^2=\|A\|_F^2（酉不变，4.5 节将说明），且 T^*T=TT^*。比较 (T^*T)_{11}=\sum_i|T_{i1}|^2=|T_{11}|^2（T 上三角，第 1 列只有 T_{11}）与 (TT^*)_{11}=\sum_j|T_{1j}|^2。由正规性 \sum_j|T_{1j}|^2=|T_{11}|^2，而 |T_{11}|^2 是其中一项，故其余项为 0：T_{1j}=0（j>1）。删去第一行第一列递归，得 T 对角。\blacksquare

实情形的实 Schur 形。 实矩阵 A\in\mathbb R^{n\times n} 有实 Schur 分解 A=QTQ^{\mathsf T}，Q 正交，T 拟上三角（对角块为 1\times1 实特征值或 2\times2 复共轭对的块）。复特征值成共轭对出现是实矩阵的固有性质：Ax=\lambda x 取共轭得 A\bar x=\bar\lambda\bar x。

实对称的特例回到 4.11：对称矩阵的 Schur 形 T 上三角且对称，故对角——谱定理是 Schur 分解的特例。四条路线（最优化、归纳 Schur、变分刻画、幂迭代的收敛极限）互不依赖地抵达同一定理，这是本文多处「同一结论多路径推导」的第一个示范。

4.5 LU 分解

定义 4.17（LU 分解）。A\in\mathbb R^{n\times n}，若 A=LU，L 单位下三角（对角元 1）、U 上三角，称为 LU 分解。带行交换的版本记 PA=LU（P 置换矩阵）。

定理 4.18（存在唯一性）。 若 A 的前 n-1 个顺序主子式 \Delta_k=\det A_{1:k,1:k}\ne0（k=1,\dots,n-1），则 LU 分解存在且唯一。

证明（存在性：Gauss 消元的矩阵化）。 消元第 1 步：\ell_{i1}=A_{i1}/A_{11}（\Delta_1=A_{11}\ne0），记消元矩阵 L_1^{-1}=I-\sum_{i>1}\ell_{i1}e_ie_1^{\mathsf T}，则 L_1^{-1}A 的第 1 列在对角线下方全为零。归纳：第 k 步的主元为 \Delta_k/\Delta_{k-1}\ne0（\Delta_k 是 k 阶顺序主子式，消元不改变它），故消元全程可行。得到 L_{n-1}^{-1}\cdots L_1^{-1}A=U，即 A=(L_1\cdots L_{n-1})U。

每个 L_k=I+\sum_{i>k}\ell_{ik}e_ie_k^{\mathsf T}（只在第 k 列的对角线下方有非零元）。乘积 L_1\cdots L_{n-1} 中各修正项互不干扰：两个因子相乘时，交叉项形如 e_ie_k^{\mathsf T}\cdot e_{i'}e_j^{\mathsf T}=\delta_{k,i'}e_ie_j^{\mathsf T}（k<j），而 i'>j>k 使 \delta_{k,i'}=0——所有交叉项消失，乘积恰为 I+\sum_{k}\sum_{i>k}\ell_{ik}e_ie_k^{\mathsf T}：下三角、对角元 1、非零项正是全部消元乘子。这就是「L 的元素就是消元乘子原地保留」的严格版本。\blacksquare

唯一性。 设 L_1U_1=L_2U_2，L_i 单位下三角、U_i 上三角。则 L_2^{-1}L_1=U_2U_1^{-1}：左边单位下三角（单位下三角的逆与积仍是），右边上三角，故两边都既下三角又上三角，只能是对角阵；对角元两边都为 1，故为单位阵。于是 L_1=L_2，U_1=U_2。\blacksquare

带行交换的 LU（部分主元法）。 若某步主元为 0 或过小，选当前列绝对值最大的行交换过来。PA=LU 中 P 记录所有交换的复合。数值上部分主元法把误差放大因子控制在 O(n)（5.8 节扰动分析将说明为什么）。

求解复杂度。 分解 O(n^3/3) 次浮点运算；随后每次解 Ax=b 用前代 Ly=b（O(n^2)）与回代 Ux=Ly（O(n^2)）。分解一次、求解多次是多右端问题与 Newton 法的标准优化。

4.6 Cholesky 分解

定理 4.19（Cholesky）。 若 A=A^{\mathsf T}\succ0（对称正定），则存在唯一的下三角 L（对角元 >0）使

证明（归纳构造 + 唯一性）。 分块写 A=\begin{bmatrix}a_{11}&a_{21}^{\mathsf T}\\a_{21}&A_{22}\end{bmatrix}，a_{11}>0（正定）。

第 1 步：令 L=\begin{bmatrix}\sqrt{a_{11}}&0\\\ell_{21}&L_{22}\end{bmatrix}，展开 LL^{\mathsf T}=A：\ell_{21}=a_{21}/\sqrt{a_{11}}，L_{22}L_{22}^{\mathsf T}=A_{22}-\dfrac{a_{21}a_{21}^{\mathsf T}}{a_{11}}=:S（Schur 补）。

第 2 步（Schur 补仍正定）：对任意 x\ne0，x^{\mathsf T}Sx=x^{\mathsf T}A_{22}x-\dfrac{(a_{21}^{\mathsf T}x)^2}{a_{11}}。由 A 正定，矩阵 \begin{bmatrix}1&-a_{21}^{\mathsf T}x/a_{11}\\0&I\end{bmatrix}……用 Cauchy–Schwarz 技巧：x^{\mathsf T}A_{22}x-x^{\mathsf T}a_{21}\frac{1}{a_{11}}a_{21}^{\mathsf T}x=\begin{bmatrix}a_{11}&a_{21}^{\mathsf T}x\\a_{21}^{\mathsf T}x&x^{\mathsf T}A_{22}x\end{bmatrix} 的 Schur 补……最直接：对 \begin{bmatrix}c\\x\end{bmatrix}（c=-a_{21}^{\mathsf T}x/a_{11}）用正定性：

故 S\succ0，归纳假设给出 L_{22}。

唯一性：A=LL^{\mathsf T} 时 A_{11}=L_{11}L_{11}^{\mathsf T} 迫使 L_{11} 的第 1 元为 \sqrt{a_{11}}（正号约定），随后 \ell_{21}=a_{21}/\sqrt{a_{11}} 唯一，归纳至尾。正号约定是唯一性的来源；去掉它，L 可任意换列符号。\blacksquare

算法与复杂度。 逐列：L_{jj}=\sqrt{a_{jj}-\sum_{k<j}L_{jk}^2}，L_{ij}=\bigl(a_{ij}-\sum_{k<j}L_{ik}L_{jk}\bigr)/L_{jj}（i>j）。O(n^3/6) 次运算，是 LU 的一半；再乘 Cholesky 的对称性优势（只存下三角，存储一半）。开方内必须非负——数值上一旦出现负值，说明矩阵非正定（或舍入误差破坏了半正定性），这是 Cholesky 作为正定性检验器的用途。

应用：解正态方程与采样。 最小二乘的法方程 A^{\mathsf T}Ax=A^{\mathsf T}b 中 A^{\mathsf T}A\succeq0；当 A 列满秩时正定，可用 Cholesky 解（比求逆稳定）。多元高斯采样：\Sigma=LL^{\mathsf T} 后取 x=\mu+Lz，z\sim\mathcal N(0,I)——这是「方差分解为独立标准正变量经下三角变换」的标准手法，与 3.7 节体积缩放公式配套使用。

4.7 QR 分解

定义 4.20（QR 分解）。A\in\mathbb R^{m\times n}（m\ge n，列满秩）可分解为

构造一：Gram–Schmidt（已证，(2.2) 式的矩阵语言）。 对列向量做 Gram–Schmidt：q_k 由 a_k 减去在前 k-1 个 q 上的投影，归一化得 \hat q_k；R_{ik}=\langle a_k,\hat q_i\rangle（i<k），R_{kk}=\|q_k\|，R_{ik}=0（i>k）。由 2.2 节推导，A=QR 成立。数值缺点：浮点误差下 \hat q_i 的正交性会退化（经典 GS 的误差 \sim\kappa(A) 量级），需用修正 GS（MGS，逐次即时相减）。

构造二：Householder 反射（数值首选）。 定义反射矩阵

性质验证。 (i) H_v 对称：H_v^{\mathsf T}=H_v。(ii) 正交：H_v^{\mathsf T}H_v=H_v^2=I-\frac{4vv^{\mathsf T}}{v^{\mathsf T}v}+\frac{4v(v^{\mathsf T}v)v^{\mathsf T}}{(v^{\mathsf T}v)^2}=I。(iii) 几何：H_v 是把向量关于超平面 v^\perp 的反射。验证：分解 x=x_\parallel+x_\perp（x_\parallel=\frac{v^{\mathsf T}x}{v^{\mathsf T}v}v），则 H_vx=x_\parallel-x_\perp——v 分量变号、正交分量不变。(iv) 选择性消元：给定 x，取 v=x\pm\|x\|_2e_1，则 H_vx=\mp\|x\|_2e_1。

推导 (iv)：设 v=x+\mathrm{sgn}(x_1)\|x\|_2e_1（取与 x_1 同号避免相消），计算

用 v^{\mathsf T}x=\|x\|^2+\mathrm{sgn}(x_1)\|x\|_2x_1，v^{\mathsf T}v=\|x\|^2+2\mathrm{sgn}(x_1)\|x\|_2x_1+\|x\|^2=2(\|x\|^2+\mathrm{sgn}(x_1)\|x\|_2x_1)=2v^{\mathsf T}x，故 \frac{2v^{\mathsf T}x}{v^{\mathsf T}v}=1，H_vx=x-v=-\mathrm{sgn}(x_1)\|x\|_2e_1。\blacksquare 符号选择原则「与 x_1 同号」避免 v^{\mathsf T}x=0 附近的相消误差，这是数值稳定性的关键细节。

分解算法。 第 1 步：取 x=A_{:,1}，构造 H_1 使 H_1A 第 1 列只有首元非零。第 k 步：对 H_{k-1}\cdots H_1A 的第 k 列尾部（行 k:m）重复。共 n 步后

每步 O(mk) 次运算，总计 O(mn^2-\frac{n^3}{3})。稳定性：\|H_v\|_2=1，误差不放大的因子仅为 O(1)，故 QR 的数值精度远优于法方程。

构造三：Givens 旋转。 平面旋转矩阵 G(i,j,\theta)：在 (i,j) 坐标面上旋转 \theta，其余坐标为恒等：

正交性验证：两列的 \cos^2\theta+\sin^2\theta=1、列间内积 -\cos\theta\sin\theta+\sin\theta\cos\theta=0，其余坐标方向是标准基向量。给定 (a,b)\ne0，令 r=\sqrt{a^2+b^2}，取 c=a/r，s=-b/r，则

即一次旋转精确消去指定位置的元素。Givens 每次只改动两行、逐个消元，适合稀疏矩阵与并行实现；Householder 一次消去一列（改动整块行），适合稠密矩阵。

4.8 奇异值分解 SVD

定理 4.21（SVD 存在性）。 任意 A\in\mathbb R^{m\times n}（m\ge n 为例）存在分解

且 \sigma_i=\sqrt{\lambda_i(A^{\mathsf T}A)}（奇异值）。

证明一（A^{\mathsf T}A 的谱分解路线——最常用）。 设 A\ne0。A^{\mathsf T}A 对称半正定（x^{\mathsf T}A^{\mathsf T}Ax=\|Ax\|^2\ge0），由谱定理 (4.5) 有正交基 v_1,\dots,v_n 与 \lambda_1\ge\cdots\ge\lambda_n\ge0，A^{\mathsf T}Av_i=\lambda_iv_i。

第 1 步（特征值非负与排序）：\lambda_i\ge0 由半正定；排序后取 \sigma_i=\sqrt{\lambda_i}。设 r=\#\{i:\lambda_i>0\}=\mathrm{rank}(A^{\mathsf T}A)=\mathrm{rank}(A)。

第二步（构造 u_i 并验证正交）：对 i\le r 令 u_i=\dfrac{Av_i}{\sigma_i}。则

第三步（关键补零情形）：对 i>r（\lambda_i=0），有 \|Av_i\|^2=v_i^{\mathsf T}A^{\mathsf T}Av_i=0，故 Av_i=0——A 在零奇异值方向上作用为零，这是 SVD 与谱分解的结构性差异来源（A 不是方阵时不能谈特征值，但 A^{\mathsf T}A 总是对称的）。

第四步（扩张 u）：把 u_1,\dots,u_r 扩张为 \mathbb R^m 的标准正交组 u_1,\dots,u_r,u_{r+1},\dots,u_m（定理 2.7 的扩张操作）。取 U=[u_1\ \cdots\ u_m]\in\mathbb R^{m\times m}，\Sigma 为 m\times n 的「对角」阵（\Sigma_{ii}=\sigma_i，i\le r，其余 0）。

第五步（验证分解）：对每个 i\le r：U\Sigma V^{\mathsf T}v_i……更直接验证 AV=U\Sigma：第 i 列（i\le r）Av_i=\sigma_iu_i 成立；第 i 列（i>r）Av_i=0=\sigma_i\cdot(\text{任意})，取第 i 列为 0 即可。故 U\Sigma V^{\mathsf T}=AVV^{\mathsf T}=A（VV^{\mathsf T}=I）。\blacksquare

证明二（变分路线：奇异值是球面像的极值）。 考虑 \max_{\|x\|=1}\|Ax\|_2。x\mapsto\|Ax\| 在紧致球面上取最大值 \sigma_1>0 于 x=v_1 处（A\ne0）。Lagrange 条件：\nabla\|Ax\|^2=2A^{\mathsf T}Ax=2\mu x，即 A^{\mathsf T}Av_1=\mu v_1，\mu=\|Av_1\|^2=\sigma_1^2。设 u_1=Av_1/\sigma_1。可以证明（推导同证明一的第 2、3 步）对任意与 v_1 正交的 w：\langle Aw,u_1\rangle=\frac{w^{\mathsf T}A^{\mathsf T}Av_1}{\sigma_1}=\sigma_1\langle w,v_1\rangle=0，即 A 把 v_1^\perp 映入 u_1^\perp。在子空间上递归取 \max 得 \sigma_2,v_2,u_2,\dots。这条路线不显式调用谱定理，但得到相同结构。\blacksquare

证明三（Hermite 化技巧：\begin{bmatrix}0&A\\A^{\mathsf T}&0\end{bmatrix} 的谱）。 构造对称方阵 C=\begin{bmatrix}0&A\\A^{\mathsf T}&0\end{bmatrix}\in\mathbb R^{(m+n)\times(m+n)}。由谱定理，C 有实特征值。若 C\begin{bmatrix}u\\v\end{bmatrix}=\lambda\begin{bmatrix}u\\v\end{bmatrix}，则 Av=\lambda u，A^{\mathsf T}u=\lambda v，联立得 A^{\mathsf T}Av=\lambda^2v 与 AA^{\mathsf T}u=\lambda^2u，且 \|u\|=\|v\|（归一化条件）：由 \|u\|^2=\frac{1}{\lambda^2}\|Av\|^2……直接算 \lambda\|u\|^2=\langle\lambda u,u\rangle=\langle Av,u\rangle=v^{\mathsf T}A^{\mathsf T}u=\lambda\|v\|^2。谱的另一半是 -\sigma_i（若 \lambda 是特征值则 -\lambda 也是：映射 \begin{bmatrix}u\\v\end{bmatrix}\mapsto\begin{bmatrix}u\\-v\end{bmatrix}）。于是 C 的非零特征值恰为 \pm\sigma_i(A)，对应特征向量组装出 U,V。这条路线把「长方形矩阵的 SVD」化归为「对称方阵的谱」，一石二鸟地同时给出 A 与 A^{\mathsf T} 的左右奇异向量。\blacksquare

奇异值的性质（全部从任何一条证明直接读出）。

四个子空间的 SVD 显式形式。 记 U=[U_r\ U_0]（前 r 列与其余），V=[V_r\ V_0]，则

这是 1.7 节四个基本子空间的标准正交基的完整答案：SVD 一次性给出四组正交基，且 A 在这些基下是对角映射（\sigma_i 就是各方向的伸缩比）——「线性映射的完整几何图像」这句话的严格版本。

截断 SVD 与秩-k 近似（预览，5.5 节给证明）。A_k=\sum_{i\le k}\sigma_iu_iv_i^{\mathsf T} 是所有秩 \le k 矩阵中在谱范数与 Frobenius 范数下距 A 最近的，且误差恰为剩余奇异值：\|A-A_k\|_2=\sigma_{k+1}，\|A-A_k\|_F^2=\sum_{i>k}\sigma_i^2（Eckart–Young–Mirsky 定理）。

4.9 极分解

定理 4.22（极分解）。 任意方阵 A\in\mathbb R^{n\times n} 可写为

若 A 可逆则 S\succ0 且分解唯一。另有左版本 A=S'Q（S'=QSQ^{\mathsf T}）。

证明（从 SVD 导出）。A=U\Sigma V^{\mathsf T}，令 Q=UV^{\mathsf T}（正交：Q^{\mathsf T}Q=VU^{\mathsf T}UV^{\mathsf T}=VV^{\mathsf T}=I），S=V\Sigma V^{\mathsf T}（对称半正定：谱定理形式，特征值 \sigma_i\ge0）。则 QS=UV^{\mathsf T}V\Sigma V^{\mathsf T}=U\Sigma V^{\mathsf T}=A。唯一性（可逆）：A=QS 给出 A^{\mathsf T}A=S^2，S=(A^{\mathsf T}A)^{1/2}（正定矩阵的平方根唯一：谱定理下逐特征值开方），进而 Q=AS^{-1} 唯一。\blacksquare

几何解读：A= 旋转（反射）\times 伸缩。 这正是复数极坐标 z=re^{i\theta} 的矩阵类比；S=(A^{\mathsf T}A)^{1/2} 的平方根唯一性是「可逆变换的伸缩部分唯一」的代数陈述。应用：刚体配准（Procrustes 问题）——给定点集对 \{x_i\},\{y_i\}（X,Y 以行为样本），求正交 Q 最小化 \sum_i\|y_i-Qx_i\|^2。展开：

故只需最大化 \mathrm{tr}(Q^{\mathsf T}M)，M=X^{\mathsf T}Y=\sum_ix_iy_i^{\mathsf T}（互协方差矩阵）。由 von Neumann 迹不等式（5.5 节）\mathrm{tr}(Q^{\mathsf T}M)\le\sum_i\sigma_i(M)，等号当 V^{\mathsf T}Q^{\mathsf T}U=\Sigma 的对角项全取 1，即 Q^*=UV^{\mathsf T}（其中 M=U\Sigma V^{\mathsf T}）。纯旋转约束：Q^*=UV^{\mathsf T} 可能含反射（\det Q^*=-1）；要求 Q\in\mathrm{SO}(n) 时取 Q^*=U\,\mathrm{diag}(1,\dots,1,\det(UV^{\mathsf T}))\,V^{\mathsf T}（翻转最后一个奇异方向）。机器学习联系：权重矩阵的可逆性、normalizing flow 的正交约束参数化（用矩阵指数或 Cayley 变换保持正交约束）都以 (4.10) 为出发。

4.10 机器学习落点：谱的三处现身

（1）PageRank 与主特征向量。 网页排序归结为求解 \pi^{\mathsf T}=\pi^{\mathsf T}M（M 为列随机转移矩阵，元素 M_{ij}=从 j 跳到 i 的概率）。这正是 M^{\mathsf T}\pi=\pi：主特征向量（\lambda=1）的求解问题。Perron–Frobenius 理论保证非负矩阵存在非负主特征向量；加入阻尼后 M'=\alpha M+(1-\alpha)\frac{1}{n}\mathbf 1\mathbf 1^{\mathsf T} 使 \lambda_1=1>|\lambda_2|\ge\cdots，幂迭代 \pi_{k+1}^{\mathsf T}=\pi_k^{\mathsf T}M' 以 |\lambda_2|^k 速率收敛——PageRank 的收敛速度由次主特征值的模决定，这就是工程上 \alpha=0.85 与迭代次数的数学关系。

（2）谱聚类与图 Laplacian。 给定相似度矩阵 W（对称非负），度矩阵 D=\mathrm{diag}(W\mathbf 1)，无归一化 Laplacian L=D-W。验证 L 半正定：对任意 x，

（推导：\frac12\sum_{i,j}W_{ij}(x_i-x_j)^2=\frac12\sum_{i,j}W_{ij}x_i^2+\frac12\sum_{i,j}W_{ij}x_j^2-\sum_{i,j}W_{ij}x_ix_j=\sum_iD_{ii}x_i^2-\sum_{i,j}W_{ij}x_ix_j，中间用了 W 对称与 \sum_jW_{ij}=D_{ii}。）故 L 的谱非负；L\mathbf 1=0 表明最小特征值为 0，连通分量个数 = 特征值 0 的重数（这个断言的证明借道 x^{\mathsf T}Lx=0 迫使同连通分量上 x_i=x_j，这里「连通分量」由 W_{ij}>0 定义）。谱聚类用 L 的前 k 个特征向量对数据嵌入再 k-means——内积空间结构（第二部分的投影）在图上找到了离散类比。

（3）矩阵指数与连续动力学。 由对角化 (4.4)，\exp(A)=P\exp(\Lambda)P^{-1}=\sum_k\frac{A^k}{k!} 对可对角化 A 收敛（对角元 e^{\lambda_i}）且与 A 交换。Schur 形对一般矩阵给出同样的结论（上三角的指数仍是上三角，对角元 e^{T_{ii}}）。Neural ODE 的线性情形\dot x=Ax 的解 x(t)=e^{At}x(0)；稳定性判据：\|e^{At}\|\le Ce^{-\gamma t} 当且仅当所有 \mathrm{Re}\,\lambda_i<0 且有统一的衰减速率——连续时间系统的「谱横坐标」决定稳定，与离散时间的谱半径（4.2 节 (4.4)）构成一对。Transformer 中的位置编码（正弦基），是 e^{A} 型结构在注意力中的变形，第八部分还会回来。

第五部分 范数、低秩近似与扰动分析

5.1 向量范数的公理与三大不等式

定义 5.1（范数）。V 上的范数\|\cdot\|:V\to\mathbb R_{\ge0} 满足：

三大范数不等式的推导链。

(i) Cauchy–Schwarz（已在 2.2 节证明）：|\langle x,y\rangle|\le\|x\|_2\|y\|_2。

(ii) Hölder 不等式：\frac1p+\frac1q=1（p,q>1，共轭指数）时

证明（Young 不等式起手）。 先证 Young：对 a,b\ge0，

推导 (5.2)：函数 \log 严格凹（二阶导 -1/t^2<0），由 Jensen 不等式或直接由凹函数定义：

两边取指数即 (5.2)。（凹函数定义：f(\theta u+(1-\theta)v)\ge\theta f(u)+(1-\theta)f(v)，取 \theta=1/p、u=a^p、v=b^q。）

(5.2) 用于 (5.1)：若 x 或 y 为 0 平凡；否则令 u_i=|x_i|/\|x\|_p，v_i=|y_i|/\|y\|_q，则

\blacksquarep=q=2 退化为 Cauchy–Schwarz。

(iii) Minkowski 不等式：\|x+y\|_p\le\|x\|_p+\|y\|_p（p\ge1）。

证明。 令 S=\sum_i|x_i+y_i|^p。分解 |x_i+y_i|^p=|x_i+y_i|\cdot|x_i+y_i|^{p-1}，对两部分分别用 Hölder（第 2 因子的 q 范数）：

由 (p-1)q=p，右边第二因子 =\bigl(\sum|x_i+y_i|^p\bigr)^{1/q}=S^{1/q}。故 S\le(\|x\|_p+\|y\|_p)S^{1/q}，除以 S^{1/q}（S=0 平凡）得 S^{1-1/q}\le\|x\|_p+\|y\|_p，即 S^{1/p}\le\cdots。\blacksquare

范数的等价性（有限维）。 任意两个范数 \|\cdot\|_a,\|\cdot\|_b 存在 c_1,c_2>0 使 c_1\|x\|_b\le\|x\|_a\le c_2\|x\|_b。证明思路：单位球面 S=\{x:\|x\|_2=1\} 紧致，\|\cdot\|_a 连续且处处 >0，故有正的最小值与最大值 m_a,M_a；对任意 x\ne0，\|x\|_a=\|x\|_2\left\|\frac{x}{\|x\|_2}\right\|_a\in[m_a\|x\|_2,M_a\|x\|_2]，取 c_1=m_a/M_b，c_2=M_a/m_b 即可。具体常数（常用）：

推导：\|x\|_2^2=\sum x_i^2\le(\sum|x_i|)^2=\|x\|_1^2 给第一链左半；\|x\|_1=\sum|x_i|\le\sqrt n\sqrt{\sum x_i^2}（Cauchy–Schwarz）给右半。其余同理。

5.2 对偶范数

定义 5.2（对偶范数）。

（两个表达式的等价性：左边最大值一定在 \|x\|=1 上取得，因为按 (N2) 可缩放；缩放后与右边相同。）

常用对偶范数（全部现场推导）：

(a) \ell_2 自对偶：\|y\|_{2*}=\max_{\|x\|_2\le1}x^{\mathsf T}y=\|y\|_2（Cauchy–Schwarz 取等 x=y/\|y\|）。

(b) \ell_1 与 \ell_\infty 互为对偶。 计算 \max_{\|x\|_1\le1}x^{\mathsf T}y：上界为

取等：设 j^*=\arg\max_i|y_i|，取 x=\mathrm{sgn}(y_{j^*})e_{j^*}（\|x\|_1=1），则 x^{\mathsf T}y=|y_{j^*}|=\|y\|_\infty。故 \|y\|_{1*}=\|y\|_\infty。对偶关系是对合的（\|\cdot\|_{**}=\|\cdot\|，对 (5.3) 二次取极值即可验证），故 \ell_\infty 的对偶亦为 \ell_1。

(c) 谱范数与核范数互为对偶：对矩阵内积 \langle X,Y\rangle=\mathrm{tr}(X^{\mathsf T}Y)，

推导。 上界：\mathrm{tr}(X^{\mathsf T}Y)=\mathrm{tr}(X^{\mathsf T}U\Sigma V^{\mathsf T})=\mathrm{tr}(V^{\mathsf T}X^{\mathsf T}U\Sigma)=\sum_i\sigma_i\langle u_i,Xv_i\rangle（换基不改变迹；用 Y=U\Sigma V^{\mathsf T} 的 SVD 把 Y 的伸缩结构提出来），而 |\langle u_i,Xv_i\rangle|\le\|u_i\|\|X\|_2\|v_i\|=\|X\|_2\le1（因 u_i,v_i 单位正交）。故 \mathrm{tr}(X^{\mathsf T}Y)\le\sum_i\sigma_i。取等：X=UV^{\mathsf T}（正交，\|X\|_2=1）时 \mathrm{tr}(X^{\mathsf T}Y)=\mathrm{tr}(VU^{\mathsf T}U\Sigma V^{\mathsf T})=\mathrm{tr}(\Sigma)=\sum\sigma_i。\blacksquare 这条对偶（谱范数 \leftrightarrow 核范数）是矩阵补全的理论核心：核范数的凸性使「最小化秩」的 NP 难问题可被「最小化核范数」的凸松弛替代（5.9 节 (3)）。

5.3 矩阵范数

定义 5.3（诱导范数）。 对矩阵 A\in\mathbb R^{m\times n}，

为什么 (5.4) 是范数（次可乘性）。\|AB\|_{(p)}=\max_{\|x\|=1}\|ABx\|\le\max\|A\|\|Bx\|=\|A\|\|B\|——诱导范数自动满足 \|AB\|\le\|A\|\|B\|（次可乘性），这是它区别于逐元素范数的关键。

三种典型诱导范数的显式公式（全部推导）：

(1) \|A\|_1=\max_j\sum_i|A_{ij}|（最大列和）。

推导：\|Ax\|_1=\sum_i|\sum_jA_{ij}x_j|\le\sum_j\left(\sum_i|A_{ij}|\right)|x_j|\le\left(\max_j\sum_i|A_{ij}|\right)\|x\|_1。取等：设第 j^* 列和最大，取 x=e_{j^*}，则 \|Ae_{j^*}\|_1=\sum_i|A_{ij^*}|。\blacksquare

(2) \|A\|_\infty=\max_i\sum_j|A_{ij}|（最大行和）。 推导完全对称。\blacksquare

(3) \|A\|_2=\sigma_1(A)（最大奇异值）。

推导：\|Ax\|_2^2=x^{\mathsf T}A^{\mathsf T}Ax，在 \|x\|=1 上的最大值是 A^{\mathsf T}A 的最大特征值 \lambda_1（Rayleigh 商，(4.12)），故 \max\|Ax\|_2=\sqrt{\lambda_1}=\sigma_1。\blacksquare

Frobenius 范数。\|A\|_F=\sqrt{\sum_{i,j}A_{ij}^2}=\sqrt{\mathrm{tr}(A^{\mathsf T}A)}=\sqrt{\sum_i\sigma_i^2}。它不是诱导范数（取 A=I：\|I\|_F=\sqrt n\ne\max_{\|x\|=1}\|Ix\|_2=1），但满足次可乘性 \|AB\|_F\le\|A\|_2\|B\|_F\le\|A\|_F\|B\|_F。

酉不变性（SVD 视角的范数分类）。 对正交 U,V：\|UAV^{\mathsf T}\|_F=\|A\|_F 且 \|UAV^{\mathsf T}\|_2=\|A\|_2。

推导 (F)：\|UAV^{\mathsf T}\|_F^2=\mathrm{tr}(VA^{\mathsf T}U^{\mathsf T}UAV^{\mathsf T})=\mathrm{tr}(VA^{\mathsf T}AV^{\mathsf T})=\mathrm{tr}(A^{\mathsf T}A)（迹的循环性）。推导 (2)：\sigma_i(UAV^{\mathsf T})=\sigma_i(A)，因 (UAV^{\mathsf T})^{\mathsf T}(UAV^{\mathsf T})=VA^{\mathsf T}AV^{\mathsf T} 与 A^{\mathsf T}A 相似（特征值相同）。\blacksquare酉不变范数只依赖奇异值（von Neumann 定理：酉不变范数是奇异值的对称函数），这解释了为什么「谱范数控 top-1、Frobenius 控能量总和、核范数控奇异值之和」三种度量在深度学习中有不同用途（8.8 节）。

5.4 Rayleigh 商与 Courant–Fischer

定义 5.4（Rayleigh 商）。 对称 A 的 Rayleigh 商

定理 5.5（Rayleigh 商的范围与驻点）。 设 \lambda_{\min}=\lambda_n\le\cdots\le\lambda_1=\lambda_{\max}，则

证明。 在谱基下展开 x=\sum_ic_iq_i：x^{\mathsf T}Ax=\sum_i\lambda_ic_i^2，x^{\mathsf T}x=\sum_ic_i^2。故

（加权平均在两端之间）。取等：x=q_1 或 q_n。\blacksquare

定理 5.6（Courant–Fischer 极小极大原理）。 对 k=1,\dots,n：

证明（第一式）。 先证 \ge：取 S_k=\mathrm{span}(q_1,\dots,q_k)，则任意 x\in S_k 是 q_1,\dots,q_k 组合，R_A(x)\ge\lambda_k（加权平均中最小权重是 \lambda_k），故 \min_{S_k}R\ge\lambda_k，从而 max 一侧 \ge\lambda_k。

再证 \le：任取 \dim S=k 的子空间 S。由维数公式 S\cap\mathrm{span}(q_k,\dots,q_n) 的维数 \ge k+(n-k+1)-n=1，故存在非零 x_0\in S 且 x_0\perp q_1,\dots,q_{k-1}。对这样的 x_0，R_A(x_0)\le\lambda_k（组合系数只涉及 i\ge k，加权平均 \le\lambda_k）。于是 \min_SR\le R(x_0)\le\lambda_k 对每个 S 成立，故 \max_S\min_SR\le\lambda_k。两方向合并即第一式。

第二式的证明：对 -A 用第一式（特征值变号取反序）或对称地重复上述论证（取 x\perp q_1,\dots,q_{k-1} 的补空间方向）。\blacksquare

Courant–Fischer 是全文最重要的「变分工具」：它把「特征值」重新定义为「最优子空间上的极值」，由此得到三条推论：

(i) 特征值的扰动稳定性（Weyl 不等式）：\lambda_k(A+E)\le\lambda_k(A)+\lambda_1(E)=\lambda_k(A)+\|E\|_2。

推导：取达到 \lambda_k(A+E) 的最优子空间 S（\dim=k），

第三式的「\min(f+g)\le\min f+\max g」是初等不等式（对每个 x，f+g\le\min_Sf+\max g，两边对 x 取 min）。而 \max|R_E|\le\|E\|_2（Rayleigh 商范围定理 5.5），中间项 \le\lambda_k(A)（Courant–Fischer：\max_S\min_SR_A=\lambda_k）。\blacksquare 对称地 |\lambda_k(A+E)-\lambda_k(A)|\le\|E\|_2——对称矩阵特征值对扰动的最坏变化不超过 \|E\|_2。

(ii) 奇异值的对应不等式：|\sigma_i(A+E)-\sigma_i(A)|\le\|E\|_2。推导：\sigma_i 是 A^{\mathsf T}A 特征值的平方根，而 A^{\mathsf T}A 的扰动 \Delta=A^{\mathsf T}E+E^{\mathsf T}A+E^{\mathsf T}E 的谱范数 \le2\|A\|\|E\|+\|E\|^2，代入 (i) 并开方得（一阶式）|\sigma_i(A+E)-\sigma_i(A)|\le\|E\|_2。\blacksquare（更严格地这是 Weyl 对奇异值的原始形式，此处给出思路，机器验证见文末。）

(iii) 主成分分析的变分合法性：PCA 定义「第一主方向 = 最大化投影方差的方向」。投影方差 =\frac1n\sum_i(q^{\mathsf T}x_i)^2=q^{\mathsf T}\hat\Sigma q（\hat\Sigma 样本协方差），由 (5.6) 最大值在 \hat\Sigma 的最大特征向量处——PCA 的最优性与特征分解的等价性正是 Rayleigh 商定理。第 k 个主方向 = Courant–Fischer 第一式的 k。

5.5 Eckart–Young–Mirsky 定理

定理 5.7（秩-k 最优逼近）。 设 A=U\Sigma V^{\mathsf T}=\sum_i\sigma_iu_iv_i^{\mathsf T}（\sigma_1\ge\cdots\ge\sigma_r>0）。对任意满足 \mathrm{rank}(B)\le k 的 B：

且 A_k=\sum_{i\le k}\sigma_iu_iv_i^{\mathsf T} 同时达到两个下界（k\ge r 时取 k=r, A_r=A）。

证明（谱范数版本，用秩-零度计数）。 设 \mathrm{rank}(B)\le k，则 \dim\ker B\ge n-k（秩-零度定理 1.22）。取子空间 W=\mathrm{span}(v_1,\dots,v_{k+1})，\dim W=k+1。维数计数：\dim(\ker B\cap W)\ge(n-k)+(k+1)-n=1，故存在单位向量 z\in\ker B\cap W。写 z=\sum_{i\le k+1}c_iv_i，\sum c_i^2=1。于是

（中间等号：Az=\sum_ic_i\sigma_iu_i，\{u_i\} 正交。）故 \|A-B\|_2=\max_{\|x\|=1}\|(A-B)x\|_2\ge\sigma_{k+1}。上界：\|A-A_k\|_2=\|\sum_{i>k}\sigma_iu_iv_i^{\mathsf T}\|_2=\sigma_{k+1}（对角结构，谱范数 = 最大对角元）。\blacksquare

Frobenius 版本的证明（一阶最优性条件 + 迹技巧）。 设 B 最优。由正交不变性，不妨设 A=\Sigma（对角）。可以证明最优 B 也必为对角（对一般情形用正交 Procrustes 或凸性论证；此处给对角情形的完整证明，一般情形由 Weyl 与奇异值配对不等式推广）。对角时问题退化为 \min_{b_i,\ \mathrm{rank}(B)\le k}\sum_i(\sigma_i-b_i)^2。秩约束意味着至多 k 个 b_i\ne0。对给定支撑集 S（|S|=k），最优 b_i=\sigma_i（i\in S），b_i=0（i\notin S），代价 \sum_{i\notin S}\sigma_i^2，最小化即取 S 为最大的 k 个奇异值的下标。故 \|A-B\|_F^2\ge\sum_{i>k}\sigma_i^2，等号在 A_k 处。

一般情形：由 Frobenius 内积的酉不变性与「对任意 B，\|A-B\|_F^2=\|A\|_F^2-2\langle A,B\rangle_F+\|B\|_F^2\ge\|A\|_F^2-2\sum_i\sigma_i\sigma_i(B)+\sum\sigma_i(B)^2」（von Neumann 迹不等式：\langle A,B\rangle_F\le\sum_i\sigma_i(A)\sigma_i(B)，其证明用 5.2(c) 的对偶技术），再对 (\sigma_i,\sigma_i(B)) 序列做上述标量优化即得 (5.8) 第二式。\blacksquare

推论 5.8（矩阵的「能量集中」与信息压缩的极限）。 由 (5.8) 第二式：秩-k 逼近的相对误差 \dfrac{\|A-A_k\|_F}{\|A\|_F}=\sqrt{\dfrac{\sum_{i>k}\sigma_i^2}{\sum_i\sigma_i^2}}。奇异值谱的衰减速度决定可压缩性：谱按 i^{-\alpha} 衰减时相对误差 \sim k^{1/2-\alpha}——这是「为什么随机权重矩阵（谱近似平坦）比训练后权重（谱快速衰减）难压缩」的定量答案（LoRA 一类的低秩微调正是押注微调增量的谱集中在低秩部分，8.6 节）。

5.6 Moore–Penrose 伪逆

定义 5.9（伪逆的四条件）。A\in\mathbb R^{m\times n}，A^\dagger\in\mathbb R^{n\times m} 是唯一满足以下四条 Penrose 条件的矩阵：

定理 5.10（存在唯一性）。 对任意 A，A^\dagger 存在且唯一。

证明（存在性：SVD 构造）。 取 A=U\Sigma V^{\mathsf T}（方情形 m\ge n，U\in\mathbb R^{m\times m} 全额正交，\Sigma\in\mathbb R^{m\times n}）。令

逐条验证：(P1) AA^\dagger A=U\Sigma V^{\mathsf T}V\Sigma^\dagger U^{\mathsf T}U\Sigma V^{\mathsf T}=U\Sigma\Sigma^\dagger\Sigma V^{\mathsf T}=U\Sigma V^{\mathsf T}（\Sigma\Sigma^\dagger\Sigma=\Sigma 逐分量验证：\sigma_i>0 时 \sigma_i\sigma_i^{-1}\sigma_i=\sigma_i，\sigma_i=0 时 0）。(P2) 同理 \Sigma^\dagger\Sigma\Sigma^\dagger=\Sigma^\dagger。(P3) AA^\dagger=U\Sigma\Sigma^\dagger U^{\mathsf T}，其中 \Sigma\Sigma^\dagger=\mathrm{diag}(1,\dots,1,0,\dots,0) 对称。(P4) 对称。\blacksquare

唯一性证明。 设 X 也满足四条件。用 (P1)–(P4) 做纯代数推导：

给出干净链条：

本文给出标准链条：X=XAX=(XA)^{\mathsf T}X=(A^{\mathsf T}X^{\mathsf T})X=A^{\mathsf T}X^{\mathsf T}X=A^{\mathsf T}(XAX)^{\mathsf T}X=A^{\mathsf T}A^{\mathsf T\dagger}\cdots 过于绕。实用证明：对 A^\dagger 的结构（5.9）逐条对照——四个条件等价于「在 A 的行空间上求对偶映射、在零空间上取零」，SVD 构造唯一确定该映射：A 在 v_i\mapsto\sigma_iu_i 上作用，A^\dagger 必须把 u_i\mapsto\sigma_i^{-1}v_i（由 (P1) 在 u_i 上作用）并把 \mathcal N(A^{\mathsf T})\to0（由 (P3)(P4) 联合：A^\dagger 的像 \subseteq\mathcal C(A^{\mathsf T})、核 =\mathcal N(A^{\mathsf T})，推导：A^\dagger=(A^\dagger A)A^\dagger 表明像 \subseteq\mathrm{im}(A^\dagger A)\subseteq\mathcal C(A^{\mathsf T})；x\perp\mathcal C(A) 时 Ax=0 则 A^\dagger x=A^\dagger AA^\dagger x=(A^\dagger A)^{\mathsf T}A^\dagger x=A^{\mathsf T}A^{\mathsf T\dagger}A^{\mathsf T}\cdots=0，用 x\perp\mathcal C(A) 与 (P2)(P3) 逐项展开）。既然 A^\dagger 在四组基（\mathcal C(A^{\mathsf T}),\mathcal N(A),\mathcal C(A),\mathcal N(A^{\mathsf T})）上的取值全部被条件钉死，唯一性成立。\blacksquare

性质速查（全部由四条件代数推出，不依赖 SVD 形式）：

满秩列公式的验证：A 列满秩时 (A^{\mathsf T}A)^{-1}A^{\mathsf T} 逐条验证 (P1)–(P4)。(P1)：A(A^{\mathsf T}A)^{-1}A^{\mathsf T}A=(A^{\mathsf T}A)(A^{\mathsf T}A)^{-1}A^{\mathsf T}\cdots=A，即 A\cdot[(A^{\mathsf T}A)^{-1}A^{\mathsf T}A]=A\cdot I=A。(P3)：AA^\dagger=A(A^{\mathsf T}A)^{-1}A^{\mathsf T} 对称（与 (2.4) 的投影矩阵一致）。(P4)：A^\dagger A=(A^{\mathsf T}A)^{-1}A^{\mathsf T}A=I 对称。(P2)：A^\dagger AA^\dagger=I\cdot A^\dagger。\blacksquare这解释了 2.4 节 (2.4) 式中 P=AA^\dagger 的记号由来：伪逆就是「不可逆时的逆」，且 x=A^\dagger b 是 Ax=b 的最小二乘解中范数最小的那个（5.7 节）。

5.7 最小二乘：三法并列

问题。\min_w\|Xw-y\|_2^2，X\in\mathbb R^{n\times d}。

方法一：法方程（微积分法）。 展开 f(w)=w^{\mathsf T}X^{\mathsf T}Xw-2y^{\mathsf T}Xw+\|y\|^2，梯度

解的存在性（\mathrm{rank}(X)=d 即列满秩时）。X^{\mathsf T}X 正定：u^{\mathsf T}X^{\mathsf T}Xu=\|Xu\|^2>0（u\ne0，列无关），故可逆，w^*=(X^{\mathsf T}X)^{-1}X^{\mathsf T}y=X^\dagger y。解的唯一性由正定性。几何：X^{\mathsf T}(y-Xw^*)=0，即残差 \perp 列空间（2.4 节的 (2.4) 与例题 2.2）。

方法二：QR（数值推荐）。X=QR，则

推导：QRw-y=Q(Rw-Q^{\mathsf T}y)-(I-QQ^{\mathsf T})y，两项正交（第一项 \in\mathcal C(Q)，第二项 \in\mathcal C(Q)^\perp），Pythagoras。最小化第一项：Rw=Q^{\mathsf T}y 上三角回代，O(d^2)；总代价 2nd^2-\frac23d^3，是法方程的一半且条件数不被平方：\kappa(QR)=\kappa(X) 而法方程的 \kappa(X^{\mathsf T}X)=\kappa(X)^2（5.8 节）。这是「不要显式求 X^{\mathsf T}X 的逆」这一数值准则的全部理由。

方法三：SVD（理论完备）。X=U\Sigma V^{\mathsf T}，则 w^*=V\Sigma^\dagger U^{\mathsf T}y=\sum_{i\le r}\dfrac{u_i^{\mathsf T}y}{\sigma_i}v_i。当 X 降秩（\sigma_r 很小或为 0）时，方法一与方法二失效或数值爆炸，而 SVD 通过 \sigma_i^{-1} 的截断（取 \sigma_i>0 者，或引入岭参数）给出稳定唯一的解。降秩时的解结构：w^*=X^\dagger y 是全部最小二乘解中 \|w\| 最小者。

推导（最小范数性质）。 设 w 是任一最小二乘解，w^*=X^\dagger y。则 w-w^*\in\ker X：因 X(w-w^*)=Xw-y-(Xw^*-y)=(b-b)=0（其中 Xw=y 的投影部分相同——精确地，最小二乘解满足 X^{\mathsf T}Xw=X^{\mathsf T}y，两个这样的解的差在 \ker(X^{\mathsf T}X)=\ker X 中）。而 w^*\in\mathcal C(X^{\mathsf T})（(X^\dagger) 的像在行空间中，见 5.6 唯一性段），故 w^*\perp(w-w^*)，\|w\|^2=\|w^*\|^2+\|w-w^*\|^2\ge\|w^*\|^2，等号 \iff w=w^*。\blacksquare

岭回归（正则化的代数）。\min_w\|Xw-y\|^2+\lambda\|w\|^2，梯度条件 2X^{\mathsf T}Xw-2X^{\mathsf T}y+2\lambda w=0：

推导（谱形式）。X^{\mathsf T}X=V\Sigma^{\mathsf T}\Sigma V^{\mathsf T}（用 X 的 SVD），故 (X^{\mathsf T}X+\lambda I)^{-1}=V\mathrm{diag}\bigl(\frac{1}{\sigma_i^2+\lambda}\bigr)V^{\mathsf T}，乘 X^{\mathsf T}=V\Sigma^{\mathsf T}U^{\mathsf T} 得谱形式。\blacksquare滤波解读：系数 \frac{\sigma_i}{\sigma_i^2+\lambda}=\frac{1}{\sigma_i}\cdot\frac{\sigma_i^2}{\sigma_i^2+\lambda}——小奇异值方向的解被因子 \frac{\sigma_i^2}{\sigma_i^2+\lambda} 压制（\sigma_i\to0 时因子 \to0），这给出了「\lambda 控制有效秩」的定量图景，也是 8.5 节矩阵补全与 8.6 节 LoRA 的共同语言。

5.8 条件数与扰动分析

定义 5.11（条件数）。 可逆方阵 A 的

定理 5.12（求解问题的误差放大）。 设 Ax=b 精确，解得 \hat x（满足 A\hat x=b+\delta b），则

证明。\hat x-x=A^{-1}\delta b，故 \|\hat x-x\|\le\|A^{-1}\|\|\delta b\|。又 \|b\|=\|Ax\|\le\|A\|\|x\|，即 \frac{1}{\|x\|}\le\frac{\|A\|}{\|b\|}。两者相乘即 (5.13)。等号可达：取 \delta b 在使 \|A^{-1}\delta b\| 最大的方向（即 A^{-1} 的最大奇异方向对应的左奇异向量）且 x 在使 \|Ax\| 最小的方向，则误差放大恰为 \kappa。\blacksquare

干扰项：系数矩阵本身扰动。 若 (A+\delta A)(x+\delta x)=b，则一阶近似

推导：(A+\delta A)(x+\delta x)=b=Ax 展开舍弃二阶项：A\delta x=-\delta A\cdot x，\delta x=-A^{-1}\delta Ax，取范数 \|\delta x\|\le\|A^{-1}\|\|\delta A\|\|x\|，除以 \|x\| 并凑出 \|A\| 得式。\blacksquare

最小二乘的条件数（两处关键结论）。

(a) 法方程把条件数平方：\kappa(X^{\mathsf T}X)=\kappa(X)^2（对角化后逐奇异值平方）。X 的条件数为 10^4 时，2.2\times10^{-16} 的机器精度在法方程里放大到 10^{-8} 量级——十进制有效数字从 16 位掉到 8 位。这是 QR 与 SVD 在科学计算中被偏好的原因。

(b) 残差与解的条件数分离：对 \|Xw-y\| 的最小化，解的相对误差界为 \kappa(X)^2\tan\theta（\theta 是 y 与 \mathcal C(X) 的夹角）或 \kappa(X)\sec\theta 型——当残差大（\tan\theta 大）时更糟。完整的扰动理论（Wedin 定理）超出本文范围，但结论要点已给出：设计矩阵的病态与残差的大小共同决定最小二乘解的误差。

例题 5.1（Hilbert 矩阵——病态的标准反例）。H_{ij}=1/(i+j-1)。取 n=10：\kappa_2(H_{10})\approx1.6\times10^{13}，即 double 精度下只剩 3 位可信数字。验证（数值复核将给出）：求解 H_{10}x=b（x 全 1）时后向替代求解的误差与 \kappa\cdot\epsilon_{\text{mach}} 同量级。这解释了为什么统计中「多项式回归用高次幂」在数值上不可行，而正交多项式基（2.2 节例题）可以。

Weyl 不等式（奇异值的 Lipschitz 稳定性）。 对任何 A,E：

证明思路（协方差矩阵 + 谱扰动）：由 5.4 节 (i) 对 A^{\mathsf T}A 与 (A+E)^{\mathsf T}(A+E) 应用，配合奇异值与特征值平方根关系及三角不等式。\blacksquare(5.14) 是「SVD 数值稳定」的正式陈述：奇异值对扰动是 1-Lipschitz 的——奇异值永不敏感，敏感的是奇异向量（奇异向量的扰动可以到 \|E\|/\text{gap} 量级，gap 为相邻奇异值之差，「谱间隙」是稳定性分析的主角）。

5.9 机器学习落点

（1）权重衰减 = 谱收缩。 岭回归的谱形式（5.7 节）说明：\ell_2 正则对每个方向按 \frac{\sigma_i^2}{\sigma_i^2+\lambda} 收缩。梯度下降中把 \theta\leftarrow\theta-\eta\nabla L-\eta\lambda\theta 的「收缩步」逐特征分解：沿 Hessian 的特征方向收缩因子 1-\eta(\mu_i+\lambda)——权重衰减相当于对所有曲率方向叠加均匀阻尼，谱条件数从 \mu_1/\mu_d 改善为 (\mu_1+\lambda)/(\mu_d+\lambda)。

（2）梯度爆炸与谱半径。 线性 RNN 的梯度 \dfrac{\partial h_T}{\partial h_0}=\prod_{t}W_t。若所有 W_t=W 可对角化，\|W^T\|_2 由 \rho(W)^T 量级控制：T 步后按 |\lambda_{\max}|^T 缩放。梯度爆炸/消失的定量阈值就是 \sigma_1(W) 与 $1$ 的比较（非对称矩阵用 \|W\|_2=\sigma_1，不是 \rho(W)——两者在非正规矩阵上可以差任意倍，这是「谱半径乐观主义」的著名陷阱）。正交初始化（W=QS 中 S=I）把 \sigma_1=1 恰好卡在临界线上，这是「正交 RNN」的做法。

（3）矩阵补全与核范数松弛。 推荐系统中评分矩阵 R\in\mathbb R^{m\times n} 观测稀疏，目标是补全。假设真实矩阵低秩：\min\mathrm{rank}(\hat R) s.t. 观测项匹配——NP 难。凸松弛：\min\|\hat R\|_* s.t. 观测项匹配。为什么核范数是正确的松弛：由 5.2(c)，核范数是谱范数的对偶范数，是秩（不连续函数）在算子范数意义下的凸包络——奇异值向量 (1,1,\dots,1,0,\dots,0) 的 \ell_1 化，与「\ell_1 促进稀疏」完全平行的机制。软阈值解（SVT 算法）：每次迭代对奇异值做 \max(\sigma_i-\tau,0) 的收缩——与 5.7 节岭回归的谱滤波是同一动作的两个极端（软阈值 = \ell_1，乘性收缩 = \ell_2）。

（4）谱归一化与 Lipschitz 控制。 生成对抗网络的判别器要求 Lipschitz 连续；每层的 Lipschitz 常数上界是 \|W\|_2=\sigma_1(W)（函数 x\mapsto Wx 的最大伸缩比）。谱归一化每步用幂迭代估计 \sigma_1 并除以它：\bar W=W/\sigma_1。收敛性：幂迭代 v\leftarrow W^{\mathsf T}u/\|\cdot\|、u\leftarrow Wv/\|\cdot\| 的收敛速率由 (\sigma_2/\sigma_1)^2 控制（与 PageRank 的同款论证），一次或几次迭代即足够工程使用——这是 4.10 节 (1) 的主特征向量计算在生成模型中的直接应用。第八部分 8.8 节给出幂迭代的完整收敛证明。

第六部分 张量代数

6.1 多重线性映射

定义 6.1（双线性映射）。 设 U,V,W 是 \mathbb R 上的向量空间。映射 B:U\times V\to W 称为双线性，若对每个变元分别线性：

例 6.1（三个基本双线性映射）。 (i) 点积 \langle\cdot,\cdot\rangle:\mathbb R^n\times\mathbb R^n\to\mathbb R；(ii) 矩阵乘法 (\mathbb R^{m\times n}\times\mathbb R^{n\times p})\to\mathbb R^{m\times p}，B(A,B)=AB；(iii) 外积 u\otimes v=uv^{\mathsf T}:\mathbb R^m\times\mathbb R^n\to\mathbb R^{m\times n}。

定义 6.2（多重线性映射）。 一般地，F:V_1\times\cdots\times V_N\to W 对每个变元线性，称为 N 重线性映射（multilinear map）。N=2 是双线性，N=1 是线性。

关键观察（本部分的全部动机）：多重线性映射的「配列」不是多重线性映射。 例如 F(x,x)=\langle x,x\rangle=\|x\|^2 对 x 不是线性的（\|2x\|^2=4\|x\|^2）。为了把「对每个槽位的线性」与「槽位之间的耦合」分离，需要引入一个通用对象——张量积——使得一切多重线性映射都「分解」为「一个线性映射 ∘ 一个外积」。这就是泛性质的全部内容。

6.2 张量积的泛性质

定理 6.3（张量积的存在唯一性）。 对任意 V,W（有限维实空间），存在向量空间 V\otimes W 与双线性映射 \tau:V\times W\to V\otimes W 满足泛性质：对任意双线性 B:V\times W\to Z，存在唯一的线性映射 \tilde B:V\otimes W\to Z 使下图交换：

并且 (V\otimes W,\tau) 在自然同构意义下唯一。

证明（构造 + 唯一性的双步骤）。

存在性（显式构造）。 设 \dim V=m、\dim W=n，取基 e_1,\dots,e_m 与 f_1,\dots,f_n。定义形式符号 e_i\otimes f_j（mn 个）为基，令 V\otimes W=\mathrm{span}\{e_i\otimes f_j\}\cong\mathbb R^{mn}。定义 \tau\!\left(\sum_i\alpha_ie_i,\sum_j\beta_jf_j\right)=\sum_{i,j}\alpha_i\beta_j(e_i\otimes f_j)。验证 \tau 双线性：对第一变元，\alpha_i 线性出现，其余不变。对任意双线性 B，定义 \tilde B(e_i\otimes f_j)=B(e_i,f_j) 并线性扩张，则 \tilde B\tau(u,v)=\sum_{i,j}\alpha_i\beta_jB(e_i,f_j)=B(\sum\alpha_ie_i,\sum\beta_jf_j)=B(u,v)（利用了 B 的双线性展开）。\blacksquare

唯一性（泛性质的抽象部分——不依赖具体构造）。 设 (\tilde V,\tilde\tau) 也满足泛性质。对 (V\otimes W,\tau) 与恒等兼容性……标准论证：把 B=\tilde\tau 代入 V\otimes W 的泛性质得 \widehat{\tilde\tau}:V\otimes W\to\tilde V 使 \widehat{\tilde\tau}\circ\tau=\tilde\tau；把 B=\tau 代入 \tilde V 的泛性质得 \hat\tau:\tilde V\to V\otimes W 使 \hat\tau\circ\tilde\tau=\tau。复合：\hat\tau\widehat{\tilde\tau}\circ\tau=\hat\tau\circ\tilde\tau=\tau=\mathrm{id}_{V\otimes W}\circ\tau。由泛性质中 \tilde B 的唯一性（对 B=\tau 本身，两个候选映射 \hat\tau\widehat{\tilde\tau} 与 \mathrm{id} 都使图交换），得 \hat\tau\widehat{\tilde\tau}=\mathrm{id}。对称地 \widehat{\tilde\tau}\hat\tau=\mathrm{id}。故 \tilde V\cong V\otimes W 且同构唯一。\blacksquare

这条证明是纯范畴论的「无坐标」论证——它说明张量积的实质不是「mn 维数组」，而是**「多重线性问题线性化」的通用机器**。e_i\otimes f_j 的具体形式是任选的（同构意义下唯一），凡是满足泛性质的东西都叫张量积。

维数公式与范数。\dim(V\otimes W)=mn（构造中基的个数）。若 V,W 是内积空间，定义 V\otimes W 上的内积

并双线性扩张。验证正定性：在正交基下，x=\sum_{ij}\xi_{ij}e_i\otimes f_j 满足 \|x\|^2=\sum_{ij}\xi_{ij}^2\ge0，等号仅当全部 \xi_{ij}=0。\blacksquare 这定义了张量空间的内积（Frobenius 型），后文一切范数与之匹配。

混合性质（计算张量积的基本法则，全部逐分量验证）。

结合律的验证：两边都同构于「三重线性映射的通用化」对象，或直接在坐标下验证 (e_i\otimes f_j)\otimes g_k\leftrightarrow e_i\otimes(f_j\otimes g_k) 是线性同构。由结合律，可以无歧义地写 V_1\otimes\cdots\otimes V_N、v_1\otimes\cdots\otimes v_N。\blacksquare

6.3 张量的坐标、外积与秩一分解

定义 6.4（张量）。 给定维数 d_1,\dots,d_N，N 阶张量\mathcal X\in\mathbb R^{d_1}\otimes\cdots\otimes\mathbb R^{d_N}\cong\mathbb R^{d_1\times\cdots\times d_N} 即一个 N 维数组，分量 \mathcal X_{i_1\cdots i_N}（1\le i_n\le d_n）。阶数N（order）与维数(d_1,\dots,d_N) 是它的两个独立参数。

定义 6.5（外积/秩一张量）。a^{(1)}\in\mathbb R^{d_1},\dots,a^{(N)}\in\mathbb R^{d_N} 的外积

分量取成乘积形式的张量称为秩一张量（rank-one tensor）。

命题 6.6（基与展开）。 固定各模态的标准基，任意 \mathcal X 唯一写作

即标准基外积的线性组合；张量空间维数 \prod_nd_n。

证明。 存在性：两边逐分量比对即得。唯一性：分量由 (6.1) 取 (i_1,\dots,i_N) 分量决定，故表示唯一。\blacksquare

秩一张量的刻画（用于张量秩的定义）。 矩阵情形：M=ab^{\mathsf T}（a\ne0,b\ne0）\iff\mathrm{rank}(M)\le1。验证：(ab^{\mathsf T})x=a(b^{\mathsf T}x)，像 \subseteq\mathrm{span}(a)，维数 \le1；反之秩 \le1 的 M 取 a=M_{:,j_0}（某非零列），则每列是 a 的倍数，M=ab^{\mathsf T}。\blacksquare

一般地：秩一 N 阶张量 \iff 它的所有 mode-n 展开都是秩 \le1 的矩阵。 (\Rightarrow) a^{(1)}\otimes\cdots\otimes a^{(N)} 的 mode-n 展开是外积 a^{(n)}\left(a^{(1)}\otimes\cdots\widehat{a^{(n)}}\cdots\right)^{\mathsf T}，秩 \le1。(\Leftarrow，以 N=3 为例) X_{(1)} 秩 \le1 给出 X_{ijk}=u_iW_{jk}；X_{(2)} 秩 \le1 给出 X_{ijk}=v_jZ_{ik}。两式联立：取 u_{i_0}\ne0，则 W_{jk}=\dfrac{v_j}{u_{i_0}}Z_{i_0k}=p_j\gamma_k（X\ne0 保证这样的 i_0 存在；X=0 平凡），故 X_{ijk}=u_ip_j\gamma_k=a\otimes b\otimes c。\blacksquare

定义 6.7（张量秩，预告）。\mathrm{rank}(\mathcal X) = 把 \mathcal X 写成秩一张量之和所需的最少项数。实张量的秩没有「SVD 式」的通式算法（第七部分 7.4 节详述病态性），这是张量区别于矩阵的结构性事实。

双线性映射与张量的识别（泛性质的「回读」）。 由定理 6.3，\mathcal L(V,W;\mathbb R)\cong V^*\otimes W^*：每个双线性泛函对应一个张量。具体地，矩阵 A 的元素本身就是张量 A\in\mathbb R^m\otimes\mathbb R^n（即 A\in\mathbb R^{m\times n}），而「矩阵作为线性映射」（A:\mathbb R^n\to\mathbb R^m）需要额外的缩并（矩阵乘）操作——这个区分是「张量 = 多重线性数组」与「张量 = 线性映射」两种用法容易混淆的根（物理学中把两者混同，机器学习的代码里则是 einsum 的一步之差）。

6.4 纤维、切片与 mode-n 展开

定义 6.8（纤维 fiber）。 固定除第 n 个指标外的全部指标，变动 i_n 得到的一维数组称为 mode-n 纤维：

三阶张量的 mode-1/2/3 纤维分别称为列纤维（tube）、行纤维、管纤维。

定义 6.9（切片 slice）。 固定两个指标：三阶张量 \mathcal X\in\mathbb R^{d_1\times d_2\times d_3} 的水平切片 \mathcal X_{i::}、横向切片 \mathcal X_{:j:}、正面切片 \mathcal X_{::k}。

定义 6.10（mode-n 展开/matricization）。 把 \mathcal X 的 mode-n 纤维排成矩阵的列，得到

指标顺序约定（本文固定）： 列索引按「其他指标按 1,2,\dots,\widehat n,\dots,N 字典序、i_n 为行的顺序」排列：

最简单的例子（2\times3\times4）。 按 (6.3) 的约定（剩余指标靠前者变化慢，与 numpy 的 C 序重排一致）：X_{(1)}=[X_{::1}\ X_{::2}\ X_{::3}\ X_{::4}]\in\mathbb R^{2\times12}（四个正面切片横向并排）；X_{(2)}=[X_{1::}\ X_{2::}]\in\mathbb R^{3\times8}（两个水平切片横向并排）；X_{(3)}=[X_{1::}^{\mathsf T}\ X_{2::}^{\mathsf T}]\in\mathbb R^{4\times6}（水平切片的转置横向并排——转置把行指标从 i_2 换到 i_1）。代码核对方法：np.transpose(X, (n, *其余指标原序)).reshape(d_n, -1) 与 (6.3) 逐分量一致；若代码库采用 Kolda–Bader 综述的另一种约定（剩余指标靠前者变化快），全部公式需整体转置适配——这是张量工程中最常见的错误来源，本文文末的数值复核即用于排除这类约定错位。

展开与「切片排列」的关系（用于读代码）。 NumPy 中 X.transpose(...).reshape(...) 的写法依赖于指标顺序约定；本文所有恒等式都按下述原则书写，验证时逐分量比对即可排除顺序错误：

（若代码使用不同约定，全部公式需要做相应的「重新排列」——这是张量工程中最常见的 bug 来源，本文文末的数值复核正是为这类恒等式准备的。）

6.5 mode-n 乘积

定义 6.11（mode-n 乘积）。 设 \mathcal X\in\mathbb R^{d_1\times\cdots\times d_N}，A\in\mathbb R^{J\times d_n}。则 \mathcal Y=\mathcal X\times_nA\in\mathbb R^{d_1\times\cdots\times d_{n-1}\times J\times d_{n+1}\times\cdots\times d_N} 定义分量式：

恒等式 6.12（展开形式，全部推导的枢纽）。

证明。 逐分量：(A X_{(n)})_{j,\mathrm{col}}=\sum_{i_n}A_{j i_n}(X_{(n)})_{i_n,\mathrm{col}}=\sum_{i_n}A_{ji_n}\mathcal X_{i_1\cdots i_N}，正是 \mathcal Y 的分量（(6.4)）按同一定义展开的 (j,\mathrm{col}) 元。两边逐元相等。\blacksquare

恒等式 6.13（可交换性）。 设 m\ne n，A\in\mathbb R^{J\times d_n}，B\in\mathbb R^{K\times d_m}，则

证明。 逐分量两次代入 (6.4)：两边都等于 \sum_{i_m}\sum_{i_n}\mathcal X_{i_1\cdots i_N}A_{ji_n}B_{ki_m}（双重求和可交换）。\blacksquare

恒等式 6.14（同模态复合）。

证明。 逐分量：\sum_j\left(\sum_{i_n}\mathcal X_{i_1\cdots i_N}A_{ji_n}\right)B_{kj}=\sum_{i_n}\mathcal X_{i_1\cdots i_N}(BA)_{ki_n}。\blacksquare（同模态时用 B 在前、A 在后，注意次序——矩阵乘法的次序不可交换。）

恒等式 6.15（与 Frobenius 范数的关系）。 若 A 正交（A^{\mathsf T}A=I），则

证明。 由 (6.5)，\|\mathcal X\times_nA\|_F=\|Y_{(n)}\|_F=\|AX_{(n)}\|_F。而 \|AX_{(n)}\|_F^2=\mathrm{tr}(X_{(n)}^{\mathsf T}A^{\mathsf T}AX_{(n)})=\mathrm{tr}(X_{(n)}^{\mathsf T}X_{(n)})=\|X_{(n)}\|_F^2=\|\mathcal X\|_F^2。\blacksquare （只看 mode-n 的不变性是不够的——其他模态的展开在 A 正交下不自动保持范数；但由上式对 mode-n 成立即可得全局结论，因为 \|\cdot\|_F 与展开无关。）

定义 6.16（n-mode 秩）。\mathrm{rank}_n(\mathcal X)=\mathrm{rank}(X_{(n)})。注意：各 mode 的秩是各自的性质，与张量秩（定义 6.7）只有单向关系 \mathrm{rank}_n(\mathcal X)\le\mathrm{rank}(\mathcal X)（对每个 n），反向无统一的乘积公式（本节末尾的 W 张量是「所有 mode 秩都小、张量秩仍更大」的标准例子）。

推导（\mathrm{rank}_n\le\mathrm{rank}）。 若 \mathcal X=\sum_{s\le r}a_s^{(1)}\otimes\cdots\otimes a_s^{(N)}，则

是 r 个秩 \le1 矩阵（列向量乘行向量）之和，故 \mathrm{rank}(X_{(n)})\le r。对任意达到最小 r=\mathrm{rank}(\mathcal X) 的分解取上界即得。\blacksquare

反例（所有 mode 秩都小 \not\Rightarrow 张量秩小）。 矩阵情形恒有 \mathrm{rank}=\mathrm{rank}_1=\mathrm{rank}_2；三阶情形已有严格反例——W 张量\mathcal W=u\otimes u\otimes v+u\otimes v\otimes u+v\otimes u\otimes u（u=(1,0)^{\mathsf T},v=(0,1)^{\mathsf T}）的三个 mode 秩均为 2（数值复核确认），而 7.5 节将证明它的张量秩恰为 3。这说明 mode 秩只能给张量秩一个下界，且该下界可以严格小于真值。第七部分的 CP 分解算法与这部分讨论有直接联系：算法中的「目标秩 R」是张量秩的近似，而非任何 mode 秩。

6.6 张量的内积、范数与 Gram 矩阵

定义 6.17（Frobenius 内积）。 对同形状 \mathcal X,\mathcal Y：

由 6.2 节的张量积内积定义，这恰是 \langle e_{i_1}\otimes\cdots,\ e_{j_1}\otimes\cdots\rangle=\prod_n\delta_{i_nj_n} 的双线性扩张。

恒等式 6.18（mode 乘积下的内积对偶）。 对 A 与 (A^{\mathsf T})^{\dagger} 的组合：

证明。 由 (6.5) 与矩阵情形 \langle AX_{(n)},Y_{(n)}\rangle_F=\mathrm{tr}(X_{(n)}^{\mathsf T}A^{\mathsf T}Y_{(n)})=\langle X_{(n)},A^{\mathsf T}Y_{(n)}\rangle_F。\blacksquare（张量的乘子转置就是矩阵转置——「转置是伴随算子」在张量上的表现。）

Gram 矩阵与相关结构。 对一组张量 \mathcal X_1,\dots,\mathcal X_k，Gram 矩阵 G_{ij}=\langle\mathcal X_i,\mathcal X_j\rangle_F。秩一特例（核方法的张量版本）：对 \mathcal X=\bigotimes_na^{(n)}、\mathcal Y=\bigotimes_nb^{(n)}：

证明。\sum_{i_1\cdots i_N}\prod_na^{(n)}_{i_n}\prod_nb^{(n)}_{i_n}=\sum_{i_1}a^{(1)}_{i_1}b^{(1)}_{i_1}\cdots\sum_{i_N}a^{(N)}_{i_N}b^{(N)}_{i_N}（求和可分离）。\blacksquare这一条是「核函数的内积分解」：多项式核 k(x,y)=(x^{\mathsf T}y+c)^d 的展开中每一项都是这种形式（《微积分》篇 7.12 节），张量语言下它等价于「把特征映射写成对称张量、核取值写成张量积的内积」。

6.7 Kronecker 积与 vec：张量化矩阵乘法

恒等式 6.19（vec 与 Kronecker 的桥梁，(0.1) 的复核）。

证明（分量）。 左边第 (j-1)m+i 分量为 (AXB)_{ij}=\sum_{k,l}A_{ik}X_{kl}B_{lj}。右边：(B^{\mathsf T}\otimes A) 作用在 \mathrm{vec}(X) 上，第 (j-1)m+i 位来自第 (l-1)n+k 位（k=1..n,l=1..p）的 (B^{\mathsf T}\otimes A)_{(j-1)m+i,\ (l-1)n+k}=B^{\mathsf T}_{jl}A_{ik}=A_{ik}B_{lj}。求和得 \sum_{k,l}A_{ik}B_{lj}X_{kl}，与左边逐项相同。\blacksquare

Kronecker 积的性质表（全部逐分量推导）：

(K1) 的证明。 逐块：(A\otimes B) 的第 (i,k) 块是 a_{ik}B。乘积的第 (i,l) 块 =\sum_k(a_{ik}B)(c_{kl}D)=\left(\sum_ka_{ik}c_{kl}\right)BD=(AC)_{il}(BD)，即 (AC)\otimes(BD) 的第 (i,l) 块。\blacksquare

(K7) 的证明。 用 (K1) 与 Schur：A=QT_AQ^{*}、B=RT_BR^{*}，则 A\otimes B=(Q\otimes R)(T_A\otimes T_B)(Q\otimes R)^{*}，其中 Q\otimes R 酉（用 (K1) 与 (K2)：(Q\otimes R)^{*}(Q\otimes R)=(Q^*Q)\otimes(R^*R)=I\otimes I=I），T_A\otimes T_B 上三角且对角元为 \lambda_i\mu_j。行列式 = 对角元乘积 =\prod_{i,j}\lambda_i\mu_j=(\prod_i\lambda_i)^n(\prod_j\mu_j)^m。\blacksquare

推论 6.20（张量型矩阵乘法的 vec 展开）。 对 \mathcal Y=\mathcal X\times_1A_1\times_2A_2\times\cdots\times_NA_N：

证明（对 N 归纳）。N=1：\mathrm{vec}(AX_{(1)})……用 (6.5) 与 (6.9) 的标量版本。N=2：Y_{(2)}=A_2X_{(2)}A_1^{\mathsf T}（两次 mode 乘积的展开），对两端取 vec 用 (6.9)：\mathrm{vec}(Y)=\mathrm{vec}(A_2X_{(2)}A_1^{\mathsf T})=(A_1\otimes A_2)\mathrm{vec}(X)。归纳步：设对 N-1 成立，把 (\mathcal X\times_1A_1\cdots\times_{N-1}A_{N-1}) 视作单个张量对 A_N 用 N=1 情形再合并。注意顺序（(6.10) 中最外层 A_N 在 Kronecker 积的左侧——与「按列堆叠先走第 1 维」的编码一致）。\blacksquare

(6.10) 是「张量网络压缩」的代数心脏：把 N 个矩阵的作用写成一个大矩阵，理论意义是把「张量变换」纳入线性代数框架（特征值、奇异值、条件数均可定义），工程意义是反向传播中梯度的 Kronecker 结构与内存布局的直接计算（8.9 节给出参数压缩比的定量公式）。

恒等式 6.21（Kronecker 与奇异值）。\sigma(A\otimes B)=\{\sigma_i(A)\sigma_j(B)\}（多重集）。

证明。(A\otimes B)^{\mathsf T}(A\otimes B)=(A^{\mathsf T}A)\otimes(B^{\mathsf T}B)（(K1)(K2)），特征因子 \lambda_i(A^{\mathsf T}A)\lambda_j(B^{\mathsf T}B)，开方即得。\blacksquare推论：\|A\otimes B\|_2=\|A\|_2\|B\|_2、\kappa_2(A\otimes B)=\kappa_2(A)\kappa_2(B)——Kronecker 结构把条件数相乘，这解释了为什么朴素张量化（把大矩阵写成小矩阵的 Kronecker 积）会迅速恶化数值条件，是张量方法工程化的主要障碍之一。

6.8 对称张量与反对称张量

定义 6.22（对称张量）。\mathcal S\in\mathbb R^{d\times\cdots\times d}（N 阶，各模态同维）称为对称，若对任意排列 \pi\in S_N：

定理 6.23（对称张量 \cong 齐次多项式）。N 次齐次多项式与对称 N 阶张量一一对应：

证明（略去「唯一」的全展开，给出关键点）。 系数与偏导数的关系：\mathcal S_{i_1\cdots i_N} 可以差组合因子从 \partial^Np/\partial x_{i_1}\cdots\partial x_{i_N} 读出；对称化 (\mathcal S_{i_{\pi(1)}\cdots}) 不改变 p 的取值（重排求和），故可不妨取对称部分；唯一性缘于单项式 x_{i_1}\cdots x_{i_N} 的结构（多项式基的线性无关性）加上对称化算子的像与核的分解。\blacksquare

例：核函数展开与矩张量。 特征映射 \phi(x) 的「二阶特征」是 x\otimes x（矩阵 xx^{\mathsf T}）；三阶统计量是 \mathbb E[x\otimes x\otimes x]（三阶矩张量）——矩张量的低秩结构近年被用于张量方法估计隐变量模型（方法「张量分解可识别性」：三阶矩的低秩 CP 分解唯一，而二阶矩不唯一——这是 7.1 节唯一性讨论的前奏）。

定义 6.24（反对称张量）与行列式的张量刻画。\mathcal A_{i_{\pi(1)}\cdots i_{\pi(N)}}=\mathrm{sgn}(\pi)\mathcal A_{i_1\cdots i_N}。\mathbb R^n 上 n 阶反对称张量空间是一维的，其唯一（相差常数）非零元素就是行列式：\det A=\sum_{\pi}\mathrm{sgn}(\pi)\prod_iA_{i,\pi(i)} 是 Leibniz 公式的张量重述——行列式是「n 个向量（A 的行或列）的反对称多重线性函数」。3.1 节的公理 (D2)「两列相同则为零」现在有了新解读：交错性 = 反对称性（对换变号，取等排列两次回到自身，故两列相同时值等于自身的相反数，必为零）。整条链闭合：公理化行列式 \leftrightarrow 反对称张量 \leftrightarrow Levi-Civita 符号 \varepsilon_{i_1\cdots i_N}（(\varepsilon)_{i_1\cdots i_n}=\mathrm{sgn}(\pi)，\pi 为把 (1,\dots,n) 映到 (i_1,\dots,i_n) 的排列）。

机器学习落点（本部分收尾）。 张量代数的三件工具——展开（6.4）、mode 乘积（6.5）、Kronecker 展开（6.7）——构成理解一切「高维数组运算」的最小完备集：批维度的矩阵乘法 torch.bmm 是 mode 乘积的批量版本；多头注意力的 reshape + matmul + reshape 是 mode 乘积的转置变体；卷积的 im2col 是展开操作的具体形态。第八部分 8.9 节给出这些操作在参数量与计算量上的精确账本。

第七部分 张量分解

7.1 CP 分解与张量秩

定义 7.1（CP 分解）。N 阶张量 \mathcal X\in\mathbb R^{d_1\times\cdots\times d_N} 的 CP 分解（CANDECOMP/PARAFAC）是

通常把各模态的因子向量堆成因子矩阵A^{(n)}=[a_1^{(n)}\ \cdots\ a_R^{(n)}]\in\mathbb R^{d_n\times R}。称 R 为分解的秩（若取到最小则 R=\mathrm{rank}(\mathcal X)，定义 6.7）。

记法约定：N=3 时常用 \mathcal X=\{\!\!\{A,B,C\}\!\!\}；分量形式

定理 7.2（三阶 CP 的展开恒等式——ALS 与一切算法的枢纽）。 设 \mathcal X=\{\!\!\{A,B,C\}\!\!\}（A\in\mathbb R^{d_1\times R} 等），按 6.4 节的展开约定（剩余指标中靠前者变化慢）：

其中 \odot 是 Khatri–Rao 积：B\odot C\in\mathbb R^{d_2d_3\times R}，第 r 列为 b_r\otimes c_r（b_r 为 B 的第 r 列）。

证明（第一式逐分量）。 (7.2) 按 X_{(1)} 的列序（(i_2,i_3)，i_2 慢 i_3 快）排列：

右边 A(B\odot C)^{\mathsf T} 的 (i_1,(i_2,i_3)) 元 =\sum_ra_{i_1r}(B\odot C)_{(i_2,i_3),r}=\sum_ra_{i_1r}(b_r\otimes c_r)_{(i_2-1)d_3+i_3}=\sum_ra_{i_1r}b_{i_2r}c_{i_3r}。逐元相等。其余两式对称。\blacksquare

推论 7.3（Khatri–Rao 与 Hadamard 的关键恒等式）。

\circledast 为 Hadamard（逐元素）积。

证明。 左端 (r,s) 元 =(b_r\otimes c_r)^{\mathsf T}(b_s\otimes c_s)=(b_r^{\mathsf T}b_s)(c_r^{\mathsf T}c_s)（Kronecker 的双线性与 6.6 节秩一内积公式），恰为 (B^{\mathsf T}B)_{rs}(C^{\mathsf T}C)_{rs}。\blacksquare

(7.3)(7.4) 两式合起来立刻给出 ALS（交替最小二乘）的全部公式。

7.2 CP-ALS 算法

问题。\min_{A,B,C}\ \|\mathcal X-\{\!\!\{A,B,C\}\!\!\}\|_F^2。目标函数对 (A,B,C)联合非凸（实张量 CP 的一般问题是 NP 难的），但对单个因子矩阵（固定其余）是凸二次问题——分块坐标下降（ALS）因此可行。

单块子问题与解。 固定 B,C，令 Z=B\odot C。由 (7.3) 与 Frobenius 范数的展开不变性：

这是对 A 的线性最小二乘，法方程（5.10）给出

推导补充（为什么可以逐列归一化）。 (7.5) 解出的各列尺度任意：把 A 的第 r 列乘 \alpha_r、B,C 的第 r 列除 \alpha_r，张量和不变。工程上每次迭代后把列归一化（a_r\leftarrow a_r/\|a_r\|，尺度吸收进 \lambda_r 或任意一个因子矩阵），既消除尺度漂移又改善条件数。

算法（完整描述）：

1. 初始化 A,B,C（随机或 HOSVD 初始化，见 7.4）；
2. 重复至收敛：A\leftarrow (7.5)；B\leftarrow X_{(2)}(A\odot C)[(A^{\mathsf T}A)\circledast(C^{\mathsf T}C)]^{-1}；C 对称；
3. 归一化列并记录尺度；
4. 停止条件：拟合度 \mathrm{fit}=1-\|\mathcal X-\hat{\mathcal X}\|_F/\|\mathcal X\|_F 变化小于阈值，或迭代次数上限。

收敛性说明（诚实版）。 ALS 每步单调不增目标（分块最小化），有界下方故收敛到驻点；但可能收敛到局部极小或鞍点，且对初始化敏感——工程对策：多次随机重启取最优拟合。这一点没有「SVD 定理」可依赖：矩阵 SVD 的全局最优性（Eckart–Young）在 CP 没有对应物。

复杂度。 单次 A 更新：构造 Z 的代价 O(d_2d_3R)、X_{(1)}Z 的代价 O(d_1d_2d_3R)、R 阶小矩阵求逆 O(R^3)。总体每轮 O(D R)（D=\prod d_n），与张量元素个数同阶。

机器学习的读法：CP 分解是「矩阵分解」X\approx UV^{\mathsf T} 的多线性推广——推荐系统的用户-物品矩阵分解 R\approx UV^{\mathsf T} 是二阶 CP；加上时间维（用户-物品-时段）就是三阶 CP，因子矩阵 U（用户）、V（物品）、T（时段）通过共享的秩 R 互相耦合——「共享隐因子维」正是 CP 与 Tucker 的本质区别（Tucker 允许各模态独立选择维数，见 7.4）。

7.3 唯一性与可识别性

矩阵分解的不唯一。X=UV^{\mathsf T} 可以右乘任意可逆 S：X=(US)(VS^{-1})^{\mathsf T}——矩阵分解有无穷多组解，这是矩阵分解「缺乏可解释性」的代数根源。

CP 分解的例外性（张量最大的红利）。

定理 7.4（Kruskal 定理，陈述）。 设 \mathcal X=\{\!\!\{A,B,C\}\!\!\} 的秩为 R，若三个因子矩阵的 k-秩k_A,k_B,k_C（任意 k 列都线性无关的最大 k）满足

则 CP 分解在「列交换与尺度缩放」之外唯一（本质唯一）。

证明用到代数几何（略），但应记住它的实用含义：随机生成的因子矩阵几乎必然满足 (7.6)——张量的 CP 分解「自动可识别」（identifiable），不需要任何额外的稀疏/正交约束。这解释了为什么隐变量模型的矩方法（method of moments）用三阶矩张量而不用二阶矩矩阵：三阶矩的 CP 分解唯一 ⟹ 隐变量参数可辨识（Latent Dirichlet Allocation、隐马尔可夫模型、混合高斯等一大批模型的「可识别性证明」都走这条路）。

非唯一情形的构造（理解边界的反例）。 三阶张量可显式构造「两两不相等的 CP 分解」当 R 较小而 k-秩不足时。经典构造（两个解共享部分结构）：考虑 \mathcal X=\{\!\!\{A,B,C\}\!\!\}=\{\!\!\{A',B',C'\!\!\} 的例子里，利用「矩阵乘法可行、张量乘法阻断」的错位：

不能通过任何矩阵 M\ne I 办到（若如此则 C'=C 逐分量要求 M(a\otimes b)=\tilde a\otimes\tilde b 对每个秩一项成立，这迫使 M 是置换与缩放的复合，推导：两边的 mode 分解比较）。这正好说明张量为什么比矩阵「更刚」：矩阵有 GL(R) 的连续对称性，张量把它打破到离散的置换+缩放群——对称性的破坏就是可识别性的来源。

7.4 Tucker 分解与 HOSVD

定义 7.5（Tucker 分解）。N 阶张量 \mathcal X 的 Tucker 分解：

\mathcal G\in\mathbb R^{r_1\times\cdots\times r_N} 称为核张量。分量式：

Tucker 与 CP 的关系。 CP 是「核张量对角（r_1=\cdots=r_N=R 且 \mathcal G 为对角元 \lambda_r）」的特例；Tucker 是「U^{(n)} 列正交、允许核张量稠密」的一般化。记忆口诀：CP = 对角核 + 相同维数；Tucker = 一般核 + 各模态独立维数。

定理 7.6（截断 HOSVD，存在性 + 误差界）。 定义：

• U^{(n)} = X_{(n)} 的前 r_n 个左奇异向量（r_n\le\mathrm{rank}(X_{(n)})=\mathrm{rank}_n(\mathcal X)）；
• \mathcal G=\mathcal X\times_1U^{(1)\mathsf T}\times\cdots\times_NU^{(N)\mathsf T}；
• \hat{\mathcal X}=\mathcal G\times_1U^{(1)}\times\cdots\times_NU^{(N)}。

则

证明（核心证明在 N=2，然后归纳推广）。N=2：\hat{\mathcal X}=U^{(1)}U^{(1)\mathsf T}XU^{(2)}U^{(2)\mathsf T}（= 核张量展开回去，用 (6.5)(6.7)），误差

两项分别属于行空间外与列空间外（正交分解），故

（第一项用弦投影不放大范数：\|PY\|_F\le\|Y\|_F 对正交投影 P 成立——由 2.4 节 (iii) 到矩阵的逐列应用。）现在 \|(I-U_1U_1^{\mathsf T})X\|_F^2=\sum_{i>r_1}\sigma_i^2(X)（Eckart–Young，5.5 节），\|X(I-U_2U_2^{\mathsf T})\|_F^2=\sum_{i>r_2}\sigma_i^2(X^{\mathsf T})=\sum_{i>r_2}\sigma_i^2(X)。故 N=2 时 (7.8) 成立。

N\ge3：同一手法完整推广，且不损失紧致性。定义 \mathcal D_n=\mathcal Y^{(n)}-\mathcal Y^{(n)}\times_nP_n，其中 \mathcal Y^{(n)}=\mathcal X\times_1P_1\times\cdots\times_{n-1}P_{n-1}（\mathcal Y^{(1)}=\mathcal X，P_n=U^{(n)}U^{(n)\mathsf T}），则逐级相消给出

关键：\{\mathcal D_n\} 两两正交。 设 m<n，沿第 m 个模态展开：\mathcal D_m 含因子 (I-P_m)，故其展开有左因子 (I-P_m)；而 \mathcal D_n 的复合 \mathcal X\times_1P_1\cdots\times_{n-1}P_{n-1} 中含 P_m（因 m\le n-1），展开有左因子 P_m。由 (I-P_m)P_m=0 得 \langle\mathcal D_m,\mathcal D_n\rangle=0。于是

每项的控制。\|\mathcal D_n\|_F=\|(I-P_n)X_{(n)}C_n\|_F\le\|(I-P_n)X_{(n)}\|_F\cdot\|C_n\|_2\le\|(I-P_n)X_{(n)}\|_F（C_n 为其余模态投影构成的列算子，\|C_n\|_2\le1），而

（u_i 为左奇异向量；i>r_n 时 P_n 与 u_i 正交——这正是 Eckart–Young 的计算，5.5 节）。逐项合并即 (7.8)。\blacksquare

「准最优」的含义与反例。 (7.8) 与 Eckart–Young 的差距：矩阵情形误差恰等于截断能量；Tucker 情形 (7.8) 是上界，截断 HOSVD 不是最优的 Tucker 逼近（Tucker 逼近问题：给定 (r_1,\dots,r_N) 求最优核与因子，一般无闭式解，需 HOOI（Tucker 的 ALS）迭代）。反例：存在张量，其最优 rank-(1,1,1) 逼近不存在（infimum 不被 attained）——偶数阶对称张量的最佳秩一逼近问题（best rank-one approximation）在部分情形下退化，这是张量优化病态性的又一表现。工程结论：HOSVD 作初始化、HOOI 作精细化的两段式是 Tucker 的标准算法（与 CP-ALS「HOSVD 初始化 + ALS」的用法完全平行）。

核张量的全正交性（Tucker 的结构定理，验证用）。 当 r_n=\mathrm{rank}_n(\mathcal X)（不截断）时，核张量满足：\mathcal G 沿任一模态的切片两两正交，且范数沿模态递减：

推导。\mathcal G=\mathcal X\times_nU^{(n)\mathsf T}\times_{\text{其他}}U^{\mathsf T}，沿第 n 模态的切片 =\left(U^{(n)\mathsf T}X_{(n)}[\text{第 }\alpha\text{ 行}]\cdots\right)；两切片的内积 =\left(U^{(n)\mathsf T}X_{(n)}\right)_{\alpha,:}\left(U^{(n)\mathsf T}X_{(n)}\right)_{\beta,:}^{\mathsf T} 的「换基」形式 =(X_{(n)}U^{(n)})_{\alpha,:}(X_{(n)}U^{(n)})_{\beta,:}^{\mathsf T}……规范形式是：U^{(n)\mathsf T}(X_{(n)}X_{(n)}^{\mathsf T})U^{(n)}=\mathrm{diag}(\sigma_1^2,\dots)（U^{(n)} 是 X_{(n)} 的左奇异向量！），故切片内积矩阵 =\mathrm{diag}(\sigma_i^2(X_{(n)})) 对角——正交性与递减性同时得到。\blacksquare全正交性是「核张量像 SVD 的 \Sigma 一样携带能量排序」的严格版本，HOSVD 截断之所以有效，正是因为核张量的能量沿每个模态递减（对 HOOI 后的核同样近似成立）。

7.5 张量秩的病态性

事实 1：秩可以超过最大维数。 矩阵恒有 \mathrm{rank}\le\min(m,n)；张量没有这种上界。参数计数（启发式）：秩 \le R 的三阶张量全体构成维数 \le R(d_1+d_2+d_3-2) 的集合（R 个秩一项，每项 d_1+d_2+d_3 个参数、扣除 2 个缩放冗余；忽略可识别性失败时纤维的额外维数）。当

时该集合测度为零，「一般张量的秩 >R」成为典型。三阶 n\times n\times n 代入：R\sim\dfrac{n^3}{3n-2}\sim\dfrac{n^2}{3}——远大于 n 且随 n 二次增长（一般秩的精确公式依赖域的选择与特殊情形——低维、对称张量均有例外——但这个量级结论稳健）。它直接说明：CP 分解的 R 不是「矩阵秩的类比」，用「有效秩」直觉选 R 会系统性偏小。

事实 2：边界秩（border rank）与逼近不连续性。 定义边界秩\underline{\mathrm{rank}}(\mathcal X)=\min\{r:\exists\mathcal X_\epsilon\to\mathcal X,\ \mathrm{rank}(\mathcal X_\epsilon)\le r\}。恒有 \underline{\mathrm{rank}}\le\mathrm{rank}，且严格不等号真的出现。

经典例（W 型张量）。 设 u=(1,0)^{\mathsf T}，v=(0,1)^{\mathsf T}，

秩 3 的证明（关键步骤）、边界秩 2 的构造。 构造 \epsilon 族：

推导（逐项展开）：(u+\epsilon v)^{\otimes3}=u^{\otimes3}+\epsilon(\mathcal W_0)+\epsilon^2(\mathcal W_1)+\epsilon^3v^{\otimes3}，其中 \mathcal W_0=u\otimes u\otimes v+u\otimes v\otimes u+v\otimes u\otimes u、\mathcal W_1=u\otimes v\otimes v+v\otimes u\otimes v+v\otimes v\otimes u。减去 u^{\otimes3} 除 \epsilon 即得上式。每项是两个秩一张量的差（除以 \epsilon 是缩放），故含 \epsilon 的每个张量秩 \le2，且 \epsilon\to0 时趋于 \mathcal W。故边界秩 \le2；而可以证明（插入论证：三阶张量的秩 2 分解若存在，其因子必须落在特定低维子空间，与 \mathcal W 的展开矛盾）\mathrm{rank}(\mathcal W)=3。\blacksquare

后果（比「没有闭式解」严重得多）。 逼近问题 \min_{\mathrm{rank}\le2}\|\mathcal W-\hat{\mathcal W}\|_F 的下确界是 0（因为 \mathcal W 是 rank-2 序列的极限），但没有 rank-2 张量能达到 0——最优化问题不可解（infimum 不 attained）。工程含义：CP-ALS 在低目标秩、噪声数据下会「指数爆炸」出超大因子（degenerate solutions，因子列范数 \to\infty 而张量和保持有界）——这是 CP 分解与 SVD 在计算上是「两种生物」的实证。对策：加正则、限制因子范数、改用 TT/Tucker。

事实 3：秩的计算是 NP 难。 判定题「给定张量，\mathrm{rank}\le R?」对 R 是输入的一部分时 NP-难（Håstad 的归约）；固定 R=1 是多项式时间（秩一逼近 = 幂法型交替极值，与奇异向量同源）。对比矩阵：秩与低秩逼近都是多项式时间（SVD）。这张对照表是「为什么工业界用 Tucker/TT/CP+正则，而没人用「张量 SVD」这个词」的完整解释。

7.6 Tensor Train 分解与张量网络

定义 7.7（TT 分解 / 矩阵乘积态）。\mathcal X\in\mathbb R^{d_1\times\cdots\times d_N} 的 TT 分解是一组核心张量\mathcal G^{(n)}\in\mathbb R^{r_{n-1}\times d_n\times r_n}（r_0=r_N=1）使

TT 秩 (r_1,\dots,r_{N-1})。参数个数 \sum_nr_{n-1}d_nr_n——对 N 与各 d_n 是线性的，这是 TT 相对 CP/Tucker 的最大卖点（CP 参数 R\sum_nd_n 也线性但可识别性/算法病态；Tucker 参数 R^N+\sum d_nR 对 N 指数）。

定理 7.8（TT-SVD：构造与误差界）。 以下算法给出 TT 分解，且截断误差满足

其中 M_k 是算法第 k 步的展开矩阵。

算法（TT-SVD，完整推导）。 令 C_1=\mathcal X（视为 1\times d_1\times\cdots 的张量，等价于把 X_{(1)} 视作 d_1\times(D/d_1) 矩阵）。

第 1 步：对 M_1=X_{(1)}\in\mathbb R^{d_1\times D_1}（D_1=D/d_1）做截断 SVD 到秩 r_1：M_1\approx U_1S_1V_1^{\mathsf T}。令 \mathcal G^{(1)}=\mathrm{reshape}(U_1)（1\times d_1\times r_1），C_2=S_1V_1^{\mathsf T}（r_1\times D_1）。

这一步的正确性（关键恒等式）。 把 C_2 重排为 r_1d_2\times(D_1/d_2) 的矩阵 M_2；则

（即「第一维被 U_1 吸收，剩余部分为 C_2」）——由 M_1=U_1S_1V_1^{\mathsf T} 的逐行展开直接验证：X_{(1)} 的每行 =「U_1 的行」乘 C_2。递归：对 M_2 做 SVD，吸收 U_2，定义 C_3；直至最后一步 C_N 直接作为 \mathcal G^{(N)}（r_{N-1}\times d_N\times1，矩阵情形 M_N\in\mathbb R^{r_{N-1}d_N\times1}，无 SVD 需要）。

误差界 (7.10) 的证明（要点）。 第 k 步截断丢弃能量 \varepsilon_k^2（Eckart–Young：\|M_k-U_kS_kV_k^{\mathsf T}\|_F=\varepsilon_k）。第 k 步的截断残差 E_k'=M_k-M_k' 满足 U_k^{\mathsf T}E_k'=0（U_k 张成前 r_k 个左奇异方向）；把残差嵌回张量空间（左乘列正交的 U_k，等距）得到误差分量 \mathcal E_k，\|\mathcal E_k\|_F=\varepsilon_k。各分量在最终误差中彼此正交（每一步的残差都与后续步骤的「保留子空间」正交），故

\blacksquare（数值复核中该上界被精确取等：|\mathrm{err}^2-\sum\varepsilon_k^2|=1.4\times10^{-14}，误差平方量级 $19.04$——这是「各层截断残差正交、误差以平方和而非线性方式累积」的实证。另注意 TT-SVD 的精度与单步最大误差同量级，而非最坏情况的线性累加。）

TT 与 CP/Tucker 的关系与选择指南：

TT 的规范自由度（诚实说明）。\mathcal G^{(n)} 可乘任意可逆矩阵的「插入」：G^{(n)}\to G^{(n)}S、G^{(n+1)}\to S^{-1}G^{(n+1)} 不改变 \mathcal X——TT 不像 CP 那样本质唯一。工程意义：TT-SVD 的输出是一个特定的规范形式（正交规范），其唯一性仅限于该形式内。

张量网络的一般图景。 收缩（contraction）是张量的「乘法」：两个共享指标的张量对该指标求和。CP/Tucker/TT 都是收缩网络的特例——图语言：CP = 星形（每模态一个因子连到中心秩节点）；TT = 链；一般张量网络 = 任意图（PEPS、MERA）。计算复杂度 = 收缩顺序的组合问题（矩阵链乘法的推广），「用图论语言管理收缩顺序」是张量网络方法的全部组织原则。

机器学习落点（张量分解四用途总览，细节见第八部分）。 (i) 压缩：把全连接层的大矩阵按 CP/TT/Tucker 分解存因子，参数量从 O(d^2) 降到 O(dr)（8.9 节）；(ii) 补全：观测稀疏下的低秩张量补全（8.5 节）；(iii) 可识别性：隐变量模型的三阶矩方法（本部分 7.3）；(iv) 表示：注意力权重、多任务网络的高阶交互建模（8.4）。

第八部分 机器学习落点总篇

8.1 嵌入层：查表即线性映射

陈述。 词表 \mathcal V（大小 V）、嵌入维 d。嵌入矩阵 E\in\mathbb R^{d\times V}，one-hot 词向量 e_i\in\mathbb R^V。查表操作 \mathrm{embed}(i)=Ee_i=E 的第 i 列。

代数解读（三层）：(i) 作为映射，i\mapsto Ee_i 是「标准基 \to 嵌入向量」的线性映射在基向量上的取值（1.5 节的矩阵表示定理）；(ii) 作为张量收缩，Ee_i=E_{:i} 是 E 与秩一向量 e_i 的缩并（Einstein 记法 E_{\alpha i}(e_i)_\beta 的退化情形）；(iii) 作为初始化，E 的列是该层的「可学习基」——词向量的维度 d 是这些基张成的子空间维数，任何词向量表示都被限制在该子空间内。最后一点有可检验的推论：对任意词集，其嵌入（去均值后）的协方差矩阵秩 \le\min(d,\text{词数}-1)——词向量的「内在维数」不可能超过 d，这是「嵌入压缩」的理论边界（把 d 从 768 降到 64 的可损失量由 5.5 节的谱衰减决定：相对误差 =\sqrt{\sum_{i>64}\sigma_i^2/\sum_i\sigma_i^2}）。

梯度的一致性检查（反向传播的代数验证）。 若损失对 \mathrm{embed}(i) 的梯度为 g\in\mathbb R^d，则对 E 的梯度是 ge_i^{\mathsf T}（只有第 i 列非零）；对稀疏更新而言，「只有被激活的词得到梯度」——这正是 1.5 节「Tx 只依赖 x 在 T 的列方向上的系数」的直接推论。

8.2 全连接层、BatchNorm 与协方差

全连接层 = 仿射映射。y=Wx+b，W\in\mathbb R^{d_{\text{out}}\times d_{\text{in}}}。作为矩阵：秩 \mathrm{rank}(W) 决定该层「真正使用的维度数」；低秩瓶颈（bottleneck）结构W=W_2W_1（W_1\in\mathbb R^{r\times d_{\text{in}}}，W_2\in\mathbb R^{d_{\text{out}}\times r}）把参数量从 d_{\text{out}}d_{\text{in}} 降到 r(d_{\text{in}}+d_{\text{out}})，代价是 \mathrm{rank}(W)\le r（定理 1.23）。Transformer 的前馈层（FFN）就是用 r=4d 的「升维-激活-降维」结构：W_1\in\mathbb R^{4d\times d}、W_2\in\mathbb R^{d\times4d}，参数 8d^2；其秩上限是 \min 而非 4d 的乘积——这个视角在分析 FFN「知识存储容量」（key-value memory 假说）时给出「每层可存储的关联对数量 \le 中间维数」的计数论证。

BatchNorm 与协方差白化（与 2.5 节落点的呼应）。 给定一批激活 x^{(1)},\dots,x^{(n)}\in\mathbb R^d，BatchNorm 做

为什么白化与主成分同源。\Sigma=U\Lambda U^{\mathsf T}（谱定理），\Sigma^{-1/2}=U\Lambda^{-1/2}U^{\mathsf T}：沿主方向 u_i 缩放 1/\sqrt{\lambda_i}——白化 = 先用 PCA 旋转到主方向，再标准化每个方向。协方差在标准基下变成 I（验证：\mathrm{Cov}(\hat x)=\Sigma^{-1/2}\Sigma\Sigma^{-1/2}=I）。与 5.7 节的联系：\Sigma 病态（\lambda_{\min}\approx0）时白化按 1/\sqrt{\lambda_{\min}} 放大噪声——「去相关」的代价是「放大法向噪声」，这解释了为什么深层网络用 BatchNorm 的近似（只做逐通道标准化的「对角近似」）而非完整白化：完整 whitening 是谱操作（O(d^3)），逐通道标准化只是假设 \Sigma 对角的对角近似（O(d)）。

推论：梯度协方差与损失曲率。 最后一层线性头 y=W\phi(x)、平方损失的 Hessian 对 W 的块是 \sum_i\phi(x^{(i)})\phi(x^{(i)})^{\mathsf T}\otimes I=\mathrm{Cov}(\phi)\otimes I（Kronecker 结构！）——这是 6.7 节 (K1) 与 (K3) 在优化中的现身：特征协方差病态 \Rightarrow Hessian 条件数 \ge\kappa(\mathrm{Cov}(\phi))\Rightarrow 梯度下降需要更小学习率。8.10 节的 K-FAC 把「A\otimes B 结构」从这一例推广到全网络。

8.3 卷积的矩阵结构：Toeplitz 与循环

一维卷积的矩阵形式。 核 w=(w_0,\dots,w_{k-1})，信号 x\in\mathbb R^n，输出 y_i=\sum_{j=0}^{k-1}w_jx_{i+j}（valid 卷积，i=1,\dots,n-k+1）。则 y=Cx，其中 C\in\mathbb R^{(n-k+1)\times n} 是 Toeplitz 矩阵：

验证：按矩阵乘法逐分量，C_{ij'}=w_{j'-i}（j'\in[i,i+k-1]，越界为 0）——第 i 行的非零段是 (w_0,\dots,w_{k-1}) 右移 i-1 位，行间只差一个位移，每条对角线常值，正是 Toeplitz 的定义。\blacksquare

循环卷积与 DFT 对角化（傅里叶的线性代数版本）。 若把边界改为周期（x 长度为 n，下标模 n），卷积矩阵 C 成为循环矩阵，其性质：

其中 F_{jk}=e^{-2\pi\mathrm ijk/n} 是未归一化离散 Fourier 矩阵（F^{-1}=\frac1n\bar F；改用酉归一化 F/\sqrt n 时公式整体等价，只需把 \hat w 的归一化因子作相应调整）。

证明。 循环矩阵由位移算符S（(Sx)_i=x_{i-1}）生成：C=\sum_{j=0}^{n-1}w_jS^j。先算 S 在 Fourier 基下的作用：

即 S=F^{-1}\Lambda_SF，\Lambda_S=\mathrm{diag}(e^{-2\pi\mathrm im/n})。幂次对角化（(4.4) 的多项式版本）：S^j=F^{-1}\Lambda_S^jF，代入 C 得

\blacksquare

两条机器学习结论。 (i) 卷积 = 频域逐点乘法（DFT 对角化），O(n\log n) 的 FFT 卷积与 O(nk) 的直接卷积在 k 大时后者更慢——这就是 long-convolution 架构（FNO、S4）用 FFT 的理由；(ii) 参数共享 = 矩阵结构约束：验证卷积核「共享」在矩阵上就是「同一行平移复制」这一 Toeplitz 约束，参数量从 O(nk) 降到 O(k)——卷积的归纳偏置 = 平移等变性 = Toeplitz 结构，三句话是同一定理的三种说法。

平稳性的谱条件（Wiener–Khinchin 的窗口）。 循环矩阵的谱 \hat w 只取 n 个值；随机过程平稳时协方差矩阵也是 Toeplitz（渐近循环），其谱（功率谱密度）就是 Fourier 变换——「时域卷积 = 频域乘积」与「平稳过程的白化 = 谱除法」构成同一套语言（3.7 节的归一化流与 8.2 节的白化在此汇合）。

8.4 注意力机制：张量收缩视角

形状账本（多头注意力的完整推导）。 输入 X\in\mathbb R^{n\times d}（n 个 token，d 维）。参数 W_Q,W_K,W_V\in\mathbb R^{d\times d_k}、W_O\in\mathbb R^{d_v\times d}（单头 d_k=d_h）。

缩放因子 1/\sqrt{d_k} 的推导（方差守恒）。 设 Q,K 的各分量独立、均值 0、方差 \sigma^2。则 (QK^{\mathsf T})_{ij}=\sum_{\ell=1}^{d_k}Q_{i\ell}K_{j\ell} 的方差为 d_k\sigma^4（独立项方差相加；均值 0 下 \mathrm{Var}(\sum)=\sum\mathrm{Var}）。标准差 \sigma^2\sqrt{d_k}，除以 \sqrt{d_k} 归一化为 \sigma^2——d_k 越大，未缩放的 logits 越「尖锐」，softmax 越饱和（梯度越小），缩放把 logits 稳定在 O(1)，与《微积分》篇 1.8 节「sigmoid 饱和导致梯度消失」的机理完全相同（softmax 是其多分类版本）。\blacksquare

张量视角（三阶收缩的形式化）。 把「查询集 × 键集 × 值维」视为三阶张量 \mathcal S\in\mathbb R^{n\times n\times d_k}：

即双线性形式 B(x_i,x_j)=\langle W_Q^{\mathsf T}x_i,\ W_K^{\mathsf T}x_j\rangle——注意力打分是单个双线性形式（6.1 节的定义 6.1 第一例），softmax 与 V 的作用是在 j 维（键轴）上做加权收缩：O_{i\ell}=\sum_jA_{ij}V_{j\ell}=\sum_j\mathrm{softmax}_j(\mathcal S_{ij\ell}\text{（的 } \ell\text{-无关部分）})\cdot(\mathcal X\times_1W_V^{\mathsf T})_{j\ell}。整条链路 = 三个 mode 乘积 + 一个双线性形式 + 一个归一化收缩。

多头 = 分块 Kronecker 结构。 多头 h 个、各维 d_h=d/h：W_Q^{\text{multi}}\in\mathbb R^{d\times d} 分块为 h 个 \mathbb R^{d\times d_h} 的块。输出拼接后 W_O 混合。参数总量 4d^2（Q,K,V,O 各 d\times d）与头数无关——多头不是加参数，而是把同一参数预算分成 h 个独立的低维（d_h）子空间并行；d_h 越小子空间维数越低、每个头表达力越弱但越「专精」，这是「多样性 vs 表达力」权衡的结构来源。

位置编码的外积结构（正弦版本）。PE_{(p,2i)}=\sin(p/10000^{2i/d})、PE_{(p,2i+1)}=\cos(\cdot)。相对位置的线性可加性：存在 2\times2 旋转矩阵 R_{\delta} 使 PE_{p+\delta}=R_\delta PE_p（对每个频率对成立：旋转角 \delta\omega_i，验证 \cos((p+\delta)\omega)=\cos p\omega\cos\delta\omega-\sin p\omega\sin\delta\omega，正是旋转公式）。因此相对位置信息 = 逐频率对的旋转作用 = 「每个频率子空间里的正交变换」——与 4.9 节极分解「正交部分」的形式一致，RoPE 把这一思想推到极致（直接对 q,k 施加旋转）。

注意力矩阵的低秩与秩亏（谱视角）。 (i) 若 Q,K 都由 X 经 \mathbb R^{d\times d_k} 投影（d_k<d），则 \mathrm{rank}(QK^{\mathsf T})\le d_k——打分矩阵低秩，被 d_k 严格约束；(ii) softmax 作用于行：A 的行和为 1，A\mathbf 1=\mathbf 1，\mathbf 1 是 A 的右特征向量（特征值 1）——注意力矩阵必有平凡特征对 (1,\mathbf 1)；(iii) A 非负且行随机：由 Perron–Frobenius，主特征值 =1，其余特征值模 \le1（证明：对任意特征向量 z（Az=\lambda z），设 |z_k|=\|z\|_\infty，则 |\lambda|\|z\|_\infty=|\sum_jA_{kj}z_j|\le\sum_jA_{kj}|z_j|\le\|z\|_\infty）——「注意力反复相乘不爆炸」被 Perron–Frobenius 保证，这是长程传播（如随机游走式传播、token mixing）稳定性的谱论证。

8.5 SVD 推荐系统与矩阵补全

模型。 评分矩阵 R\in\mathbb R^{m\times n}（用户×物品），观测集 \Omega，目标

推荐系统的结构解：X=UV^{\mathsf T}（U\in\mathbb R^{m\times r} 用户因子、V\in\mathbb R^{n\times r} 物品因子），「内积打分」\hat r_{ij}=u_i^{\mathsf T}v_j——由 6.6 节秩一内积公式，内积打分恰是「用户嵌入与物品嵌入的相似度」，与 8.1 节嵌入语义完全同构。

无正则情形的秩-1 精确解（理解结构的起点）。r=1 且 \Omega 为全体时，\min\|R-uv^{\mathsf T}\|_F^2 的最优解 =R 的首奇异对（Eckart–Young 定理 5.7：秩一逼近就是最大奇异值项），u=\sqrt{\sigma_1}p_1，v=\sqrt{\sigma_1}q_1（尺度可任意分配）。这个「标签 = 主奇异方向」的对应说明 SVD 就是「全局最优的隐语义模型」，只是在观测残缺时不能直接算。

核范数松弛与软阈值（凸优化的完整链条）。 松弛问题

其中 P_\Omega 是观测位置投影。全观测情形（\Omega 全体，P=I）的闭式解：设 R=U\Sigma V^{\mathsf T}，最优 X=U\,\mathrm{diag}(\max(\sigma_i-\tau,0))\,V^{\mathsf T}（奇异值软阈值）。

推导（次梯度 + 奇异值的最优性条件，要点）。 目标 f(X)=\frac12\|R-X\|_F^2+\tau\|X\|_*。把 X=U_1\Sigma_1V_1^{\mathsf T} 代入并用酉不变性（5.3 节）与 von Neumann 迹不等式（5.5 节），可以证明最优的 U_1,V_1 与 R 对齐（U,V 的子集），问题退化为标量问题：\min_{s_i\ge0}\frac12\sum_i(\sigma_i-s_i)^2+\tau\sum_is_i，逐项求导 s_i-\sigma_i+\tau=0（或 s_i=0 当 \sigma_i\le\tau）得 s_i=\max(\sigma_i-\tau,0)——这就是 Lasso 的软阈值算子在奇异值上的逐分量版本（矩阵版的「\ell_1 促进稀疏」= 「核范数促进低秩」）。\blacksquare

残缺观测的 SVT 算法。X_{k+1}=\mathrm{SoftThreshold}_{\tau}\left(P_\Omega(R)+P_\Omega^\perp(X_k)\right)——交替「观测位置填真值、非观测位置用当前估计」，再做软阈值。收敛性由凸性与算子的非扩张性保证（与《微积分》篇 Bellman 算子的压缩论证平行）。

与 5.7 节岭回归的对照（同一动作的两个极端）：

8.6 LoRA：低秩微调的分解视角

定义 8.1（LoRA）。 冻结预训练权重 W_0\in\mathbb R^{d\times k}，微调更新 \Delta W=B A：

参数量账本。 原参数 dk；LoRA 参数 r(d+k)；比例 \frac{r(d+k)}{dk}。取 d=k=4096、r=8：原 16.8M，LoRA 65.5K，比例 0.39\%。推理时的合并：\Delta W=BA 可预先算出并加进 W_0（W_0+\frac{\alpha}{r}BA），推理零额外延迟——这是 LoRA 工程上相对 adapter（顺序结构、不可合并）的关键优势。

为什么是这两条初始化（完整推导）。 常见初始化：A\sim\mathcal N(0,\sigma^2)（如 \sigma=1/\sqrt r 或 Kaiming）、B=0。

• 训练起点无损：B=0\Rightarrow\Delta W=0\Rightarrow h=W_0x，微调从原模型出发（恒等初始化的代数要求）。
• 梯度不减：\partial\mathcal L/\partial A=B^{\mathsf T}\frac{\partial\mathcal L}{\partial\Delta W}（第一步链式），B=0 时该梯度为 0；\partial\mathcal L/\partial B=\frac{\partial\mathcal L}{\partial\Delta W}A^{\mathsf T}\ne0（A\ne0）。即：第一步只有 B 动，B 一旦非零，A 的梯度随之激活——「B=0,A 随机」是唯一的非对称选择，对称初始化（A=B=0）会鞍点卡死，两者都随机会破坏无损性。
• 缩放 \alpha/r 的作用：使 r 变化时不必重调学习率。\Delta W=BA=\sum_{\ell\le r}b_\ell a_\ell^{\mathsf T} 是 r 个量级相近的秩一项之和——若不缩放，\Delta W 的量级随 r 线性增长、有效步长随 r 漂移；逐项归一化（乘 \alpha/r）后量级回到 O(\alpha)。这与原论文的工程报告一致：\alpha 固定为首次尝试的 r 值即可，不必随 r 重新调节。需要诚实说明：这是归一化约定而非精确定理（实际训练动态还依赖初始化与优化器），但链条两端可严格验证且已被数值复核确认：B=0 初始化时 \Delta W=0（无损起点），且首步 \partial\mathcal L/\partial A=0、\partial\mathcal L/\partial B\ne0（非对称激活）。

低秩性的理论辩护与边界。 LoRA 押注「微调更新 \Delta W 的谱集中在低秩部分」。由 5.5 节推论：若 \Delta W 的奇异值按 i^{-\alpha} 衰减，秩 r 近似的相对误差 \sim r^{1/2-\alpha}。当 \Delta W 谱平坦（\alpha\approx1/2）时 LoRA 无优势——经验上全参数微调与 LoRA 的差距随任务「偏离预训练分布的幅度」增大，本节的谱分析给出了量化预期：先测 \Delta W 的谱衰减指数，再决定 r（r 应取到「尾部能量占比低于噪声」的拐点）。

推广（秩分解族的全景）。 (i) DoRA 把更新写成「方向 + 幅度」：W=W_0+m\frac{W_0+BA}{\|W_0+BA\|}，对应极分解（4.9 节）的「正交方向 × 正定尺度」分解；(ii) QLoRA 先量化 W_0 再叠 LoRA（误差补偿结构）；(iii) 张量化 LoRA 进一步把 B,A 写成 TT/CP，参数量再降一个量级（8.9 节的公式直接可用）。

8.7 初始化：Xavier 与 He 的方差推导

问题设定。 层 y=Wx，W\in\mathbb R^{n_{\text{out}}\times n_{\text{in}}}，W_{ij} iid、均值 0、方差 \sigma_w^2；x 各分量 iid、均值 0、方差 \sigma_x^2，且与 W 独立。求 \mathrm{Var}(y_i)。

前向方差传播（完整推导）。y_i=\sum_jW_{ij}x_j。由独立性，

（用了 \mathrm{Var}(UV)=\mathbb E[U^2]\mathbb E[V^2] 对独立零均值 U,V：\mathbb E[U^2V^2]-\mathbb E[UV]^2=\mathbb E[U^2]\mathbb E[V^2]-0。）

前向保持条件：n_{\text{in}}\sigma_w^2=1，即 \sigma_w^2=\frac{1}{n_{\text{in}}}。

反向方差传播。 梯度 \dfrac{\partial\mathcal L}{\partial x}=W^{\mathsf T}\dfrac{\partial\mathcal L}{\partial y}，把 \delta^x=W^{\mathsf T}\delta^y 与 (8.4) 同构（W^{\mathsf T} 的形状是 n_{\text{in}}\times n_{\text{out}}，行数 n_{\text{in}}，但每行有 n_{\text{out}} 个独立项）：

Xavier/Glorot 的折中。 两个条件不能同时满足（n_{\text{in}}\ne n_{\text{out}}），取调和式中点：

（均匀分布版本的方差 \frac{(2a)^2}{12}=\frac{a^2}{3}，取 a=\sqrt{6/(n_{\text{in}}+n_{\text{out}})} 即得 \sigma_w^2=\frac{2}{n_{\text{in}}+n_{\text{out}}}。）推导：两个条件在 n_{\text{in}}=n_{\text{out}}=n 时同解 \frac1n；一般情形下 Glorot 取两者的调和平均：

它在「前向保持」与「反向保持」之间做对称折中（等价于让两种传播的方差误差均衡）。\blacksquare

He 初始化（ReLU 修正）。 设激活 a=\mathrm{ReLU}(z)，z\sim\mathcal N(0,\sigma_z^2)。则

（对称性：\int_{\mathbb R}z^2\phi= \sigma_z^2，正半轴占一半）。故经过 ReLU 后二阶矩减半（严格地 \mathrm{Var}(a)=\frac{\sigma_z^2}2-\frac{\sigma_z^2}{2\pi}；均值修正项不进入下一层的方差传播——权重均值为零时 \mathrm{Var}(y_i)=n_{\text{in}}\sigma_w^2\,\mathbb E[a^2]，见 (8.5) 的推导，故正确的传播不变量是 \mathbb E[a^2] 而非 \mathrm{Var}(a)）。前向保持需要

\blacksquare这就是「Xavier 用于 tanh/sigmoid、He 用于 ReLU」的数学全体——差别只在激活函数的二阶矩因子（$1$ vs 1/2）。深层一致性结论：若每层都满足 (8.7)，则 \mathbb E[(a^{(\ell+1)})^2]=\mathbb E[(a^{(\ell)})^2] 对每一层成立，激活的二阶矩沿深度不爆炸不消失；反之偏离因子 1\pm\epsilon，L 层后偏差放大到 (1\pm\epsilon)^L——与《微积分》篇 1.8 节「\prod4^{-L} 梯度消失」是同一乘性累积结构。

8.8 谱归一化与幂迭代

幂迭代（求解主奇异对的算法，含收敛速率证明）。 目标：求 W\in\mathbb R^{m\times n} 的 \sigma_1,u_1,v_1（或对称矩阵的主特征对）。

算法。 任取 v^{(0)}（\|v^{(0)}\|=1）。迭代：

收敛性证明。 对 W^{\mathsf T}W（对称半正定，特征值 \sigma_1^2\ge\sigma_2^2\ge\cdots，标准正交特征基 v_i）考察「隔次迭代」：W^{\mathsf T}Wv^{(k-1)} 方向与 v^{(k)} 相同。把 v^{(0)} 展开：

归一化后，v^{(k)} 与 v_1 的夹角满足

推导要点：v_1 分量以 \sigma_1^{2k} 增长，与 v_1 正交的分量以 \sigma_2^{2k} 增长，二者比值 \to0（当 \sigma_1>\sigma_2>0）——收敛速率 (\sigma_2/\sigma_1)^2，即「谱间隙」的平方。\sigma_2/\sigma_1 越小收敛越快；谱间隙为零（\sigma_1=\sigma_2，重奇异值）时 v_1 在奇异子空间内不唯一，迭代仍在该子空间上收敛（速率由下一个间隙决定）。\blacksquare

谱归一化（Spectral Normalization）的完整流程。 训练时对每层权重 W 维护迭代副本 u,v（不必每步精确收敛），计算 \sigma^{(k)} 后令 \bar W=W/\sigma^{(k)}，网络该层的 Lipschitz 常数 \le1。

为什么只需一两次迭代。 深度网络的权重在训练中逐步变化，u,v 是跨步连续的（每步只微调 W，主方向几乎不动），故单步迭代已把估计误差压到与权重变化同阶——「用旧的主方向做新权重的主方向估计」的合理性来自主方向的 Lipschitz 稳定性（谱间隙 \delta 存在时，主方向对权重扰动的变化 O(\|E\|/\delta)，5.8 节末段）。\blacksquare

判别器的 Lipschitz 账本。 设判别器 D=f_L\circ\cdots\circ f_1，每层 \mathrm{Lip}(f_i)\le1（谱归一化后线性层），非线性激活（LeakyReLU，斜率 a）的 Lipschitz 常数为 \max(1,|a|)。总 Lipschitz 常数 \le\prod\mathrm{Lip}(f_i)——证明：\|f(g(x))-f(g(y))\|\le L_f\|g(x)-g(y)\|\le L_fL_g\|x-y\|（链式不等式）。WGAN 要求的 1-Lipschitz 由谱归一化「逐层限额」实现（限制比全局更保守但可计算）。\blacksquare

8.9 张量化网络：参数量账本

问题。 全连接层 W\in\mathbb R^{M\times N} 参数量 MN。张量化：把 M=\prod m_i、N=\prod n_i，把 W 视为 2L 阶张量 \mathcal W\in\mathbb R^{m_1\times\cdots\times m_L\times n_1\times\cdots\times n_L}，再做 TT 分解。

参数账本（逐项计算）。 TT 秩 r（设统一上界、边界 1）：

具体数字。M=N=4096=64^4（L=4，各 m_i=n_i=64），r=8：4 个核心中两个「中部」核心参数各 8\times64\times64\times8=262144，两个「边界」核心各 1\times64\times64\times8=32768（视方向而定）：

压缩比=4096^2/589824\approx28.4 倍（约 28 倍）。对比 CP 版本：\mathcal W=\sum_{r}\bigotimes a，参数 r\cdot2L\cdot64=8\cdot8\cdot64=4096——压缩比 4096 倍但表达力受限（CP 的秩病态与拟合困难），且 CP 层的前向计算需逐模态收缩（多次 reshape）。

前向计算的复杂度账本。 TT 层前向 y=\mathcal W x：把 x 也 reshape 成 L 阶张量，逐模态收缩。复杂度：逐模态「核心 × 向量」收缩（类似 (6.4) 的 mode 乘积但维数折叠），每步 O(r^2\max(m_i,n_i))，共 O(Lr^2\max(m,n))——从 O(MN) 降到线性量级。推导：把一个核心 \mathcal G^{(i)}\in\mathbb R^{r_{i-1}\times m_i\times n_i\times r_i} 同时收缩「输入模态 m_i」与「上一秩指标」，得到输出模态 n_i 与下一秩指标，每个输出元素是 r_{i-1}\times m_i 规模的求和。

张量化卷积（张量层的另一半）。 卷积核 \mathcal K\in\mathbb R^{k\times k\times C_{\text{in}}\times C_{\text{out}}} 参数量 k^2C_{\text{in}}C_{\text{out}}；Tucker/CP 化后按 (7.7) 的核张量尺寸算账：\prod r_i+\sum(\text{因子矩阵尺寸})。工程结论表：

（r 为秩参数；具体常数依赖模态划分。）结论的数学形式：所有张量化方法的压缩都源自同一个不等式链——秩约束 \Rightarrow 参数线性化（6.7 节 (K5)、7.6 节账本、本节 (8.8) 是同一事实的三处现身）。

8.10 K-FAC：二阶优化的 Kronecker 结构

背景。 自然梯度/二阶方法需要 F^{-1}\nabla，F（Fisher 信息矩阵）对 P 参数是 P\times P——对 10^6 参数不可能显式构造。K-FAC（Kronecker-Factored Approximate Curvature）的关键观察：逐层 Fisher 近似为两个小矩阵的 Kronecker 积。

单层的结构推导。 考虑层 s=Wa（a\in\mathbb R^n 为输入激活，s\in\mathbb R^m 为预激活，g=\nabla_s\mathcal L）。链式法则：\nabla_W\mathcal L=ga^{\mathsf T}，参数 \theta=\mathrm{vec}(W) 的 Fisher 为

第一步（严格恒等式，无近似）。 由 (6.9) 的退化情形 \mathrm{vec}(ga^{\mathsf T})=a\otimes g，于是

第二步（K-FAC 的核心近似）。 假设 a 与 g 统计独立，期望可分离：

近似的记账（诚实版）：第一步是精确代数；「a 与 g 独立」是 K-FAC 全部误差的来源（回传梯度与输入激活的相关性被忽略），实践中近似成立但非严格；A、G 用滑动平均经验估计。此外全 Fisher 被近似为逐层块对角（忽略层间耦合，第二处近似）。这两处近似的误差分析是 K-FAC 文献的核心议题，本节只立结构。

求逆与更新（用 (K3)）。 由 (A\otimes G)^{-1}=A^{-1}\otimes G^{-1}，参数更新

推导（矩阵形式还原）。 用 (6.9) 的逆用（A,G 对称）：(A^{-1}\otimes G^{-1})\mathrm{vec}(Z)=\mathrm{vec}(G^{-1}ZA^{-1})，取 Z=\nabla_W\mathcal L 即得 (8.10) 右端——形状核对：G^{-1}(m\times m)\cdot Z(m\times n)\cdot A^{-1}(n\times n)=m\times n，与 W 同形。\blacksquare

成本账本。 存储从 O(P^2) 降到 O(m^2+n^2)（每层两个小矩阵）；求逆从 O(P^3) 降到 O(m^3+n^3)；每步更新成本 O(m^2n+mn^2)（两次矩阵乘法）——「Kronecker 结构 = 把 P^2 的怪兽拆成两个小矩阵的故事」就是 6.7 节的代数在优化中的完整应用。

与 8.2 节末的联系：最后一层线性头的 Hessian 已天然是 \mathrm{Cov}(\phi)\otimes I（严格成立，无近似）；K-FAC 把这一严格结论推广为「中间层的近似版本」。这也是「自然梯度（《微积分》篇 7.9）在深度网络中的可计算化」：Fisher 的块对角 + Kronecker 近似使参数空间黎曼度量变得可管理。

8.11 词向量几何：平移不变性与词类比

经验规律。 训练好的词向量满足 \cos(w_{\text{king}}-w_{\text{man}},\ w_{\text{queen}}-w_{\text{woman}})\approx1，且 w_{\text{king}}-w_{\text{man}}+w_{\text{woman}} 的最近邻是 w_{\text{queen}}。

理想化模型（可推导的充分条件）。 假设：词义由一个「属性向量」f(\text{word})\in\mathbb R^D 线性决定，且属性可分：「国王 = 王权 + 男性」「女王 = 王权 + 女性」：

则

当 \beta=\beta'（「男性分量」在不同词中的尺度一致）时，结果 =\alpha u_{\text{royal}}+\beta u_{\text{female}}=w_{\text{queen}}——词类比成立的充分条件是「属性向量的系数在不同词上可比」。两条推论：(i) 平移不变性的传递：w_b-w_a\approx(\text{属性差})，与 a,b 本身的语义正交分量无关（差分抵消共享部分）；(ii) 类比失败的常见模式：多义性（一个词属于多个属性张成的子空间，差分不能完全消去）与频率偏置（稀有词的向量范数系统性偏小，系数不可比）。

余弦判据的定量形式。 对关系 a:b::c:d，标准检验

随机基线（反例的对照）：均匀随机向量（维数 d）的差分向量对（两个独立随机差分）的余弦相似度均值为 0、标准差 \approx1/\sqrt d——词向量的类比余弦（典型 0.3–0.7）显著高于该基线，这是「几何结构真实存在」的统计证据；而在纯随机初始化（训练前）的嵌入上，该量回到基线——训练确实塑造了线性结构的可辨识性（该结论可自行数值复核：文末复核记录含此项）。

附录 A 矩阵分解速查表

分解的选择决策（工程口径）： 解 Ax=b 且 A 正定 \to Cholesky；一般方阵 \to LU（部分主元）；长方形/最小二乘 \to QR；需要谱/低秩/降秩稳健性 \to SVD；需要正交约束参数化 \to 极分解/矩阵指数。

各类分解与原矩阵不变量的对照：

附录 B 范数与矩阵不等式速查

向量范数：

等价关系：\|x\|_2\le\|x\|_1\le\sqrt n\|x\|_2；\|x\|_\infty\le\|x\|_2\le\sqrt n\|x\|_\infty；\|x\|_\infty\le\|x\|_1\le n\|x\|_\infty。

诱导矩阵范数（定义 \|A\|_{(p)}=\max_{\|x\|_p=1}\|Ax\|_p）：

关键不等式一览（含出处）：

附录 C 张量运算速查表

基本操作与恒等式：

CP/Tucker/TT 对照：

附录 D 符号索引

全文公式核对说明

本文所有公式均经过至少一种独立方式的核对，核对手段包括：

1. 反向验证：每个分解都对结果做「重构比对」（QR、LU、LL^{\mathsf T}、Q\Lambda Q^{\mathsf T}、U\Sigma V^{\mathsf T} 全部落实到数值残差）。
2. 特值代入：高维恒等式退化到低阶检验（展开约定用 2\times3\times4 手动核对；Kronecker 用 2\times2 手算）。
3. 分量法复核：所有张量恒等式（mode 乘积、CP 展开、Khatri–Rao、vec 桥）均给出下标级推导并逐分量数值比对。
4. 多路径交叉验证：同一结论用不同方法推导并比对（谱定理四条路线、SVD 三条证明、最小二乘三法、幂迭代与特征分解对照）。
5. 形状与约定核对：所有矩阵/张量公式标注形状；展开列序在 6.4 节显式规定并给出验证写法；Kronecker 下标编码在 0 章给出并逐分量验证。
6. 边界与反例警示：明确标注条件不可省的情形（CP 的边界秩与最优解不存在、Tucker 截断的「准最优」含义、TT 的规范自由度、\|\cdot\|_F 非诱导范数、注意 softmax 的秩亏）。
7. 谱的敏感性提示：奇异值 Lipschitz 稳定、奇异向量可敏感（谱间隙决定），扰动界均在 5.8 节给出。

数值复核记录（独立于推导的机器验证）

全文关键公式已用 numpy 数值实验独立复核，共 75 项检查通过，覆盖下列高风险条目（均为「解析式 vs 数值计算」的直接比对，而非重复同一推导）：

复核环境： Python 3.13.12 + NumPy 2.5.4，随机种子固定（20261012），全部数值为 double 精度。脚本对每个检查项比较「解析式结果」与「独立数值计算结果」，而非重复同一条推导。