机器学习·微积分

阅读方式建议：第一至第三部分是地基，第四、五部分是深度学习工程中最常用的部分（矩阵微积分、密度变换、score matching），第六部分为 Fourier/Laplace/稳定性分析的工具箱，第七部分是变分推断、Neural ODE、自然梯度与核方法的数学核心。

第零章 记号与布局约定

布局约定（分子布局，numerator layout）。 设 f:\mathbb{R}^n\to\mathbb{R}^m，x\in\mathbb{R}^n 视为列向量。

由此得到的三条一致性检查规则，全文严格遵守：

1. f:\mathbb{R}^n\to\mathbb{R} 时 df=(\nabla f)^{\mathsf T}dx，即行向量乘列向量得标量；
2. f:\mathbb{R}^n\to\mathbb{R}^m 时 df=J_f\,dx，形状 m\times n 乘 n\times 1 得 m\times 1；
3. 复合映射的 Jacobian 按矩阵乘法顺序复合：J_{g\circ f}(x)=J_g(f(x))\,J_f(x)。

Einstein 求和约定。 重复出现的上下指标自动求和：a_i b_i \equiv \sum_i a_i b_i，A_{ij}x_j \equiv (Ax)_i。

矩阵与算子记号。

约定：\mathbb{N} 含 $0；i^2=-1；\log$ 一律指自然对数 \ln；\mathrm{d} 与 \partial 在微分形式中区分使用。

第一部分 极限与连续

1.1 极限的 \varepsilon-N / \varepsilon-\delta 定义

定义 1.1（数列极限）。\displaystyle\lim_{n\to\infty}a_n=L 当且仅当

定义 1.2（函数极限）。\displaystyle\lim_{x\to x_0}f(x)=L 当且仅当

注意 0<|x-x_0| 排除了 x=x_0，因此极限与函数在该点是否有定义、取值为何无关。这一点对机器学习至关重要：数值梯度、softmax 在饱和区的比值、损失函数在 p=0 处的 \log p，都是「点本身无定义或不可算，但极限存在」的场合。

例题 1.1（用定义证明）。 证 \displaystyle\lim_{n\to\infty}\frac{n}{n+1}=1。

推导：给定 \varepsilon>0，需要找 N 使 n>N 时

于是取 N=\lceil 1/\varepsilon\rceil 即可：当 n>N\ge 1/\varepsilon 时 1/n<\varepsilon。\blacksquare

例题 1.2（用定义证明）。 证 \displaystyle\lim_{x\to 2}(3x-1)=5。

推导：|3x-1-5|=3|x-2|。要使它 <\varepsilon，只需 |x-2|<\varepsilon/3，故取 \delta=\varepsilon/3。\blacksquare

定理 1.3（极限的唯一性）。 若 \lim_{x\to x_0}f(x)=L_1 且 =L_2，则 L_1=L_2。

证明（反证 + 三角不等式）。 设 L_1\ne L_2，取 \varepsilon=\dfrac{|L_1-L_2|}{2}>0。由定义存在 \delta_1,\delta_2，令 \delta=\min(\delta_1,\delta_2)，则 0<|x-x_0|<\delta 时同时有 |f(x)-L_1|<\varepsilon 与 |f(x)-L_2|<\varepsilon。于是

矛盾。\blacksquare

定理 1.4（局部有界性）。 若 \lim_{x\to x_0}f(x)=L，则存在 \delta>0 与 M>0，使 0<|x-x_0|<\delta 时 |f(x)|\le M。

证明。 取 \varepsilon=1，得 |f(x)-L|<1，于是 |f(x)|\le |f(x)-L|+|L|<1+|L|，取 M=1+|L|。\blacksquare

1.2 极限的四则运算

定理 1.5。 设 \lim f=A，\lim g=B（同一极限过程），则

乘法部分的完整推导（最容易被跳步的地方）。 目标是把 |fg-AB| 拆成两项各自可控的量。加零技巧：

取绝对值并用三角不等式：

困难在于 |g| 不是常数。由定理 1.4，存在 \delta_1 使 |g|\le |B|+1\eqqcolon M_g。给定 \varepsilon>0，再取 \delta_2 使 |f-A|<\dfrac{\varepsilon}{2M_g}，取 \delta_3 使 |g-B|<\dfrac{\varepsilon}{2(|B|+1)}。令 \delta=\min(\delta_1,\delta_2,\delta_3)，则

除法部分的关键引理： 若 B\ne0，则存在 \delta_0 使 |g|\ge |B|/2。

推导：取 \varepsilon=|B|/2，由 |g-B|<|B|/2 得

于是 \left|\dfrac1g-\dfrac1B\right|=\dfrac{|g-B|}{|g||B|}\le\dfrac{2}{|B|^2}|g-B|，右边可任意小，故 \lim\dfrac1g=\dfrac1B，再用乘法法则。\blacksquare

1.3 夹逼准则、单调有界、Cauchy 准则

定理 1.6（夹逼准则）。 若在某去心邻域内 g(x)\le f(x)\le h(x) 且 \lim g=\lim h=L，则 \lim f=L。

证明。 给定 \varepsilon>0，取 \delta 使同时有 |g-L|<\varepsilon 与 |h-L|<\varepsilon，即 L-\varepsilon<g 且 h<L+\varepsilon。于是

例题 1.3。 求 \displaystyle\lim_{n\to\infty}\sqrt[n]{a_1^n+a_2^n+\cdots+a_k^n}，其中 a_i\ge0，M=\max_i a_i。

推导：设 M>0（若全为 $0$ 结论平凡）。一方面 \sqrt[n]{\sum a_i^n}\ge\sqrt[n]{M^n}=M；另一方面 \sum_{i}a_i^n\le kM^n，故

又 \sqrt[n]{k}=e^{\log k/n}\to e^0=1，夹逼得极限为 M。

这正是 \log-sum-exp 的「软最大值 → 硬最大值」极限：

推导：\frac1n\log\sum e^{nx_i} 令 a_i=e^{x_i} 即 \log\sqrt[n]{\sum a_i^n}\to\log M=\max_i x_i。这解释了为什么「温度为 1/n 的 softmax 在 n\to\infty 时退化为 argmax」，是强化学习中 hard-max 与 soft-max 策略之间桥梁的严格形式。\blacksquare

定理 1.7（单调有界）。 单调递增且有上界的数列必收敛，且极限等于其上确界。

证明。 令 S=\sup\{a_n\}（实数完备性保证存在）。给定 \varepsilon>0，由上确界定义存在 a_N>S-\varepsilon。对 n>N，单调性给 a_n\ge a_N>S-\varepsilon，有界性给 a_n\le S<S+\varepsilon，故 |a_n-S|<\varepsilon。\blacksquare

例题 1.4（用单调有界定理严格定义 e）。 证 a_n=\left(1+\frac1n\right)^n 收敛。

单调性推导：由 AM-GM（n+1 个数，其中 n 个相同）

两边取 (n+1) 次幂得 \left(1+\frac1n\right)^n\le\left(1+\frac1{n+1}\right)^{n+1}，即 a_n\le a_{n+1}。

有界性推导：二项式展开

其中用了 k!\ge 2^{k-1}（k\ge1，因为 k!=1\cdot2\cdot3\cdots k\ge \underbrace{1\cdot2\cdot2\cdots2}_{k-1\text{ 个因子}\ge2}）。由定理 1.7 收敛，定义其极限为 e，且 2<e\le3。\blacksquare

定理 1.8（Cauchy 收敛准则）。\{a_n\} 收敛 \iff\forall\varepsilon>0\ \exists N\ \forall m,n>N:\ |a_m-a_n|<\varepsilon。

必要性证明。 设 a_n\to L，取 N 使 n>N\Rightarrow|a_n-L|<\varepsilon/2，则

充分性证明。 (i) 先证有界：取 N 使 m,n>N 时 |a_m-a_n|<1，固定 m=N+1，则 n>N 时 |a_n|<|a_{N+1}|+1，令 M=\max\{|a_1|,\dots,|a_N|,|a_{N+1}|+1\} 即全数列有界。(ii) 用 Bolzano–Weierstrass 取收敛子列 a_{n_k}\to L。(iii) 在 Cauchy 条件中固定 n=n_k 并令 k\to\infty：|a_m-a_{n_k}|\le\varepsilon 对所有充分大 k 成立，取极限得 |a_m-L|\le\varepsilon，故 a_m\to L。\blacksquare

定理 1.9（Stolz）。 若 \{b_n\} 严格递增且 b_n\to+\infty，且 \displaystyle\lim_{n\to\infty}\frac{a_n-a_{n-1}}{b_n-b_{n-1}}=L，则 \displaystyle\lim_{n\to\infty}\frac{a_n}{b_n}=L。

证明。 给定 \varepsilon>0，存在 N 使 n>N 时 L-\varepsilon<\dfrac{a_n-a_{n-1}}{b_n-b_{n-1}}<L+\varepsilon。对 n>N 累加：

除以 b_n：

因 b_n\to\infty，b_N/b_n\to0，a_N/b_n\to0，故 n 充分大时 L-2\varepsilon<a_n/b_n<L+2\varepsilon。\blacksquare

推论 1.10（Cesàro 均值）。 取 b_n=n，Stolz 化为：若 a_n\to L，则 \dfrac1n\sum_{k=1}^n a_k\to L。

推导：\dfrac{a_n-a_{n-1}}{n-(n-1)} 换成 \dfrac{S_n-S_{n-1}}{n-(n-1)}=a_n\to L，其中 S_n=\sum_{k=1}^n a_k，故 S_n/n\to L。

反向不成立：a_n=(-1)^n 时 S_n/n\to0 但 a_n 发散。这提示用移动平均平滑梯度（如 Adam、EMA 权重）可以收敛，即使瞬时梯度本身振荡。

1.4 两个重要极限的严格推导

定理 1.11。\displaystyle\lim_{x\to0}\frac{\sin x}{x}=1。

第一步：几何面积夹逼。 对 0<x<\pi/2，在单位圆中比较三个面积（O 为圆心，A=(1,0)，P=(\cos x,\sin x)，T=(1,\tan x)）：

同乘 $2：\sin x<x<\tan x$。除以 \sin x>0：

第二步：证 \lim_{x\to0}\cos x=1。 由 \sin x<x（第一步已得，对 x>0）用半角公式

第三步：夹逼收尾。 由 \cos x<\dfrac{\sin x}{x}<1 与 \cos x\to1，夹逼得极限为 $1$。又 \sin x/x 为偶函数，x\to0^- 的情形由对称性得到。\blacksquare

定理 1.12。 对 u>-1 有 \dfrac{u}{1+u}\le\log(1+u)\le u；从而 \displaystyle\lim_{x\to\infty}\left(1+\frac1x\right)^x=e。

第一步：积分夹逼。 由 \log(1+u)=\displaystyle\int_0^u\frac{\mathrm dt}{1+t}（此式在 u>0 时，被积函数在 [0,u] 上满足 \dfrac1{1+u}\le\dfrac1{1+t}\le1），积分保序性给

对 -1<u<0，积分上下限反向但被积函数的不等号也反向，同一结论成立。

第二步：代入 u=1/x。x>0 时

乘 x：\dfrac{x}{x+1}\le x\log\left(1+\frac1x\right)\le1，两边趋于 $1$，夹逼得

第三步：由 \exp 的连续性收尾。

推论 1.13（两个高频极限）。

第二个直接由定理 1.12 第一步夹逼。第一个用换元 u=e^t-1\Rightarrow t=\log(1+u)，t\to0\iff u\to0：

1.5 等价无穷小全表与逐条推导

定义。 若 \lim\dfrac{\alpha(x)}{\beta(x)}=1，记 \alpha\sim\beta。等价关系可在乘除中自由替换，但加减中不可（会丢失主部之后的信息，这是最常见的错误来源）。

为什么加减不能替换： 反例 \lim_{x\to0}\dfrac{\tan x-\sin x}{x-x}=+\infty，若把 \tan x\sim x、\sin x\sim x 代入分子会得到 0/0 的错误结论。正确做法是保留到足够阶数。

主表（x\to0）：

(1+x)^\alpha-1\sim\alpha x 的推导： 写成复合形式并利用两次已知等价

三阶等价（Taylor 或 L'Hôpital 均可，此处给 L'Hôpital 全过程）：

（末步用了有理化 1-\sqrt{1-x^2}=\dfrac{x^2}{1+\sqrt{1-x^2}}。）

排序记忆（x\to0^+）：\arcsin x>\tan x>x>\sin x>\arctan x，且相邻差均为 O(x^3)，系数分别为 \frac16,\frac13,\frac16,\frac13。

1.6 连续性、间断点与闭区间上的性质

定义 1.14。f 在 x_0 连续 \iff \displaystyle\lim_{x\to x_0}f(x)=f(x_0)，展开为三条：(i) f(x_0) 有定义；(ii) 极限存在；(iii) 两者相等。\varepsilon-\delta 形式：\forall\varepsilon>0\ \exists\delta>0\ \forall x:\ |x-x_0|<\delta\Rightarrow|f(x)-f(x_0)|<\varepsilon。

间断点分类：

机器学习对照： ReLU =\max(0,x) 在 $0$ 处连续但不可导（左右导数 $0$ 与 $1$，属「角点」）；其导数 \mathbb 1[x>0] 在 $0$ 处是跳跃间断。框架实现中 0 处次梯度取 $0$ 或 $1$ 均可，因为单点不影响积分与几乎处处梯度。

定理 1.15（介值定理 IVT）。f\in C[a,b]，f(a)f(b)<0，则存在 c\in(a,b) 使 f(c)=0。

证明（二分构造 + 单调有界）。 递归构造区间套：[a_1,b_1]=[a,b]，取中点 m_k，若 f(a_k)f(m_k)\le0 令 [a_{k+1},b_{k+1}]=[a_k,m_k]，否则 [m_k,b_k]。则 \{a_k\} 递增有上界、\{b_k\} 递减有下界，且 b_k-a_k=(b-a)/2^{k-1}\to0，故两者收敛到同一点 c。由 f(a_k)f(b_k)\le0 取极限并利用连续性：f(c)^2\le0\Rightarrow f(c)=0。\blacksquare

定理 1.16（最值定理 EVT）。f\in C[a,b] 必在某点取到最大值与最小值。

定理 1.17（Cantor：闭区间上连续必一致连续）。f\in C[a,b]\Rightarrow\forall\varepsilon>0\ \exists\delta>0\ \forall x,y\in[a,b]:|x-y|<\delta\Rightarrow|f(x)-f(y)|<\varepsilon。

证明（反证 + Bolzano–Weierstrass）。 若不然，存在 \varepsilon_0>0 与两列 \{x_n\},\{y_n\}\subset[a,b]，|x_n-y_n|<1/n 但 |f(x_n)-f(y_n)|\ge\varepsilon_0。\{x_n\} 有界，取收敛子列 x_{n_k}\to c\in[a,b]，则 y_{n_k}\to c。由连续性 f(x_{n_k})\to f(c)，f(y_{n_k})\to f(c)，故 |f(x_{n_k})-f(y_{n_k})|\to0，与 \ge\varepsilon_0 矛盾。\blacksquare

定义 1.18（Lipschitz 连续）。|f(x)-f(y)|\le L\|x-y\|。Lipschitz \Rightarrow 一致连续（取 \delta=\varepsilon/L），反之不真（\sqrt x 在 [0,1] 上一致连续但非 Lipschitz，因为 \dfrac{|\sqrt x-0|}{x}=\dfrac1{\sqrt x}\to\infty）。

机器学习落点：Lipschitz 约束与谱归一化。 对线性层 h=Wx，

推导：设 W=U\Sigma V^{\mathsf T} 为 SVD，则 \|Wh\|=\|\Sigma V^{\mathsf T}h\|\le\sigma_{\max}\|V^{\mathsf T}h\|=\sigma_{\max}\|h\|（V 正交保范）。于是 L 层网络的 Lipschitz 常数满足

由复合的 Lipschitz 常数相乘（\|f(g(x))-f(g(y))\|\le L_f L_g\|x-y\|）。谱归一化即令 W\leftarrow W/\sigma_{\max}(W) 使每层常数恰为 $1$，从而 Wasserstein GAN 的判别器满足 $1-Lipschitz 要求。\sigma_{\max}$ 由幂迭代估计：v_{t+1}=Wu_t/\|Wu_t\|，u_{t+1}=W^{\mathsf T}v_{t+1}/\|W^{\mathsf T}v_{t+1}\|，其收敛性依据是 \sigma_1/\sigma_2 的谱间隙（与 6.9 节的谱半径分析同源）。

1.7 级数收敛性与幂级数

定义 1.19。\displaystyle\sum_{n=1}^\infty a_n=\lim_{N\to\infty}\sum_{n=1}^N a_n。收敛的必要条件：a_n\to0（由 a_n=S_n-S_{n-1}）。逆不成立：调和级数 \sum1/n=\infty。

证明 \sum\frac1n 发散（Oresme 分组）：

正项级数判别法（含推导）：

1. 比较判别法：0\le a_n\le b_n，\sum b_n<\infty\Rightarrow\sum a_n<\infty。证明：部分和单调递增有上界，用定理 1.7。
2. 极限比较：若 \lim a_n/b_n=c\in(0,\infty)，则两者同敛散。证明：n 充分大时 \frac c2 b_n\le a_n\le\frac{3c}2b_n，用比较判别法双向夹。
3. 比值判别法（d'Alembert）：\limsup a_{n+1}/a_n=r<1\Rightarrow 收敛。证明：取 \rho\in(r,1)，存在 N 使 n\ge N 时 a_{n+1}\le\rho a_n，迭代得 a_{N+k}\le\rho^k a_N，与几何级数 \sum\rho^k=\frac1{1-\rho} 比较。
4. 根值判别法（Cauchy）：\limsup\sqrt[n]{a_n}=r<1\Rightarrow 收敛。证明同上，a_n\le\rho^n。
5. 积分判别法：f 在 [1,\infty) 非负递减，则 \sum_{n=1}^\infty f(n) 与 \int_1^\infty f(x)\,\mathrm dx 同敛散。证明（夹逼）：由递减性，对 n\le x\le n+1 有 f(n+1)\le f(x)\le f(n)，积分得

累加 n=1 到 N-1：

两侧同时有界或同时无界。\blacksquare

由此得到 p-级数：\displaystyle\sum_{n=1}^\infty\frac1{n^p} 收敛 \iff p>1。

推导：\displaystyle\int_1^N x^{-p}\mathrm dx=\begin{cases}\dfrac{N^{1-p}-1}{1-p},&p\ne1\\[4pt]\log N,&p=1\end{cases}。p>1 时 N^{1-p}\to0，积分趋于 \dfrac1{p-1}；p\le1 时发散。

定理 1.20（Leibniz 交错级数）。 若 a_n\ge0 递减且 a_n\to0，则 \sum(-1)^{n-1}a_n 收敛，且余项 |R_N|\le a_{N+1}。

证明。 记 S_{2m}=\sum_{k=1}^{2m}(-1)^{k-1}a_k。则

即偶数项部分和递增；又 S_{2m}=a_1-(a_2-a_3)-\cdots-(a_{2m-2}-a_{2m-1})-a_{2m}\le a_1，有上界，故 S_{2m}\to S。奇数项 S_{2m+1}=S_{2m}+a_{2m+1}\to S+0=S。两者同极限故全列收敛。\blacksquare

定理 1.21（绝对收敛 \Rightarrow 收敛）。

证明（用 Cauchy 准则）。 设 \sum|a_n| 收敛，则 \forall\varepsilon>0\ \exists N 使 m>n>N 时 \sum_{k=n+1}^m|a_k|<\varepsilon。于是

由定理 1.8 得 \sum a_n 收敛。\blacksquare

Riemann 重排定理（陈述）： 条件收敛级数（如 \sum(-1)^{n-1}/n）可通过重排收敛到任意指定实数，甚至发散。这解释了为什么随机梯度下降中 mini-batch 的采样顺序会影响轨迹——只有绝对收敛（此处对应有限方差 + 有限和）才保证「顺序无关」。

定理 1.22（Cauchy–Hadamard）。 幂级数 \sum a_n(x-c)^n 的收敛半径

推导。 令 u_n=|a_n||x-c|^n，则 \sqrt[n]{u_n}=|x-c|\cdot\sqrt[n]{|a_n|}\to\dfrac{|x-c|}{R}。由根值判别法：|x-c|<R 时比值 <1 收敛，|x-c|>R 时 >1 发散（且 a_n(x-c)^n\not\to0）。端点需单独判定。\blacksquare

比值形式的实用推论： 若 \lim|a_{n+1}/a_n|=L 存在，则 R=1/L。

推导：\sqrt[n]{|a_n|}\to L 是比值→根值的经典结论（对 \log|a_n| 用 Cesàro 均值：\frac1n\log|a_n|=\frac1n\sum_{k=1}^{n-1}\log\frac{|a_{k+1}|}{|a_k|}+\frac{\log|a_1|}n\to\log L）。

定理 1.23（幂级数的逐项运算）。 在 |x-c|<R 内，\sum a_n(x-c)^n 可逐项求导与逐项积分，所得级数收敛半径仍为 R。

推导（半径不变）：\sqrt[n]{n|a_n|}=\sqrt[n]{n}\cdot\sqrt[n]{|a_n|}\to1\cdot\frac1R，因为 \sqrt[n]n\to1（证：令 n^{1/n}=1+d_n，d_n>0，由二项式 n\ge\binom{n}{2}d_n^2=\frac{n(n-1)}2d_n^2 得 d_n\le\sqrt{2/n}\to0）。积分同理，\sqrt[n]{|a_n|/(n+1)}\to1/R。\blacksquare

常用展开表（均由 1.8 节的 Taylor 定理导出，此处给收敛域与验证方式）：

例题 1.5（Leibniz 公式求 \pi）。 令 x=1 于 \arctan 展开：

收敛速度极慢：由定理 1.20，余项 \le\dfrac1{2N+3}，要 5 位小数需 N\sim10^4 项。这是「级数收敛半径与收敛速度是两件事」的典型例子，也是数值计算中要选快速收敛展开（如 Machin 公式 \frac\pi4=4\arctan\frac15-\arctan\frac1{239}）的原因。\blacksquare

例题 1.6（几何级数求期望，机器学习高频）。 对 |q|<1，

推导：第二式由第一式逐项求导乘 q：\sum n q^{n-1}=\frac{1}{(1-q)^2}，乘 q 得 \sum nq^n=\frac{q}{(1-q)^2}。第三式再作用一次 q\frac{\mathrm d}{\mathrm dq}：

应用：几何分布的均值与方差。P(N=n)=(1-q)q^n，n\ge0，则

这正是折扣回报的数学结构：奖励为常数的 MDP 中 \sum_{t}\gamma^t r=\frac{r}{1-\gamma}，\gamma\to1 时发散，对应无折扣问题需要额外条件。\blacksquare

1.8 机器学习落点：极限、无穷小与数值稳定性

（1）softmax 减最大值的精确恒等式。 设 c=\max_j x_j，则

推导只用了分子分母同乘正数 e^{-c}，是恒等变形而非近似。稳定性分析：x_i-c\le0 故 e^{x_i-c}\in(0,1] 无上溢；分母 \ge e^{c-c}=1 无下溢。而直接计算 e^{x_i} 在 x_i>709 时超出 double 上限 \approx1.8\times10^{308}（IEEE 754）。

（2）log-sum-exp 的稳定形式。

推导：\log\left(e^c\sum_j e^{x_j-c}\right)=c+\log\sum_j e^{x_j-c}。右侧 \sum_j e^{x_j-c}\in[1,K]，故 \log(\cdot)\in[0,\log K]，无溢出。

（3）相消误差与 log1p/expm1。 计算 \dfrac{e^x-1}{x} 当 x=10^{-16}：e^x-1 的真值约 10^{-16}，但 double 的机器精度 \epsilon_{\text{mach}}\approx2.2\times10^{-16}，减法把有效数字几乎全部抵消，相对误差可达 O(1)。

误差定量分析：设 \hat x=x(1+\delta)，|\delta|\le\epsilon_{\text{mach}}。计算 e^{\hat x}-1 的浮点结果误差约为 \epsilon_{\text{mach}}\cdot e^x，而真值约 x，故相对误差

解决方案：库函数 expm1(x) 用级数 x+x^2/2+x^3/6 在小 x 处直接求值，避开减法；log1p(x) 同理避开 \log(1+x) 中的 1+x。

（4）sigmoid 及其导数。\sigma(x)=\dfrac1{1+e^{-x}}。

推导第二式：\dfrac{e^{-x}}{(1+e^{-x})^2}=\dfrac1{1+e^{-x}}\cdot\dfrac{e^{-x}}{1+e^{-x}}=\sigma\cdot\dfrac{(1+e^{-x})-1}{1+e^{-x}}=\sigma(1-\sigma)。

数值稳定实现按符号分支：

推导：x<0 时分子分母同乘 e^x，\dfrac1{1+e^{-x}}=\dfrac{e^x}{e^x+1}，此时 e^x\le1 不溢出。

饱和分析：\sigma'(x)\le\sigma(0)(1-\sigma(0))=\frac14，且 x\to\pm\infty 时 \sigma'(x)\to0。深层网络中 \prod_\ell\sigma'\le4^{-L}，这是梯度消失的定量来源，也是 ReLU（正区导数恒为 $1$）取代 sigmoid 的数学理由。

（5）Robbins–Monro 学习率条件。 随机逼近要求

第一条件保证能走到任意远（否则被「困住」），第二条件保证噪声方差累加有限（\mathrm{Var}\left[\sum\eta_k\xi_k\right]=\sum\eta_k^2\mathrm{Var}[\xi_k]，需收敛才有 L^2 极限）。

例：\eta_k=1/k 满足（\sum1/k=\infty，\sum1/k^2=\pi^2/6<\infty）；\eta_k=1/\sqrt k 不满足第二条（\sum1/k=\infty）；\eta_k=1/k^2 不满足第一条。这解释了为什么实践中常用 \eta_k\propto1/k^{p}，p\in(1/2,1]。\blacksquare

第二部分 一元微分学

2.1 导数的定义与基本性质

定义 2.1。f 在 x_0 可导 \iff 下列极限存在：

等价的「线性主部」定义（后面推广到多元的关键形式）：f 在 x_0 可导 \iff 存在常数 A 使

此时 A=f'(x_0)。

推导等价性（\Rightarrow）：令 \varepsilon(h)=\dfrac{f(x_0+h)-f(x_0)}{h}-f'(x_0)\to0，则

（\Leftarrow）：两边除以 h 取极限即得 f'(x_0)=A。\blacksquare

定理 2.2（可导 \Rightarrow 连续，反之不真）。

证明：\lim_{h\to0}[f(x_0+h)-f(x_0)]=\lim_{h\to0}\dfrac{f(x_0+h)-f(x_0)}{h}\cdot h=f'(x_0)\cdot0=0。\blacksquare

反例：f(x)=|x| 在 $0$ 连续但不可导，因为

机器学习对照： ReLU、\max、\ell_1 正则项 |\theta|、hinge loss \max(0,1-y\hat y) 都在有限个点上不可导。此时用次梯度\partial f(x_0)=\{g:\ f(x)\ge f(x_0)+g(x-x_0)\ \forall x\}，对 |x| 有 \partial|0|=[-1,1]。次梯度存在 \iff 凸函数；可导点处次梯度退化为单点 \{f'(x_0)\}。

例题 2.1（用定义求导）。 求 f(x)=x|x| 在 $0$ 的导数。

左右极限都为 $0$，故可导。而 f'(x)=2|x|（x\ne0 处由乘积法则：x>0 时 f=x^2，x<0 时 f=-x^2），可见 f' 在 $0$ 处连续但不可导——可导性每求一次导就损失一阶光滑性，这是构造激活函数时要注意的（如 GELU 光滑，ReLU 一阶，|x| 零阶）。\blacksquare

2.2 求导法则的完整推导

定理 2.3（乘积法则）。(fg)'=f'g+fg'。

从定义推导： 加减 f(x+h)g(x) 这一项（关键的「加零」技巧）

其中第一项用了「可导 \Rightarrow 连续」保证 f(x+h)\to f(x)。\blacksquare

定理 2.4（商法则）。\left(\dfrac fg\right)'=\dfrac{f'g-fg'}{g^2}（g\ne0）。

推导：把 \dfrac fg=f\cdot\dfrac1g 用乘积法则，只需先求 \left(\dfrac1g\right)'：

于是 \left(\frac fg\right)'=f'\cdot\frac1g+f\cdot\left(-\frac{g'}{g^2}\right)=\frac{f'g-fg'}{g^2}。\blacksquare

定理 2.5（反函数求导）。 设 f 严格单调连续，y=f(x)，f'(x_0)\ne0，则

推导：f^{-1} 的连续性与严格单调性由 f 继承（连续单调函数的反函数连续单调）。于是

换元 y\to y_0\iff x\to x_0 由连续性保证。\blacksquare

定理 2.6（链式法则）。 若 u=g(x) 在 x_0 可导，f 在 u_0=g(x_0) 可导，则 (f\circ g)'(x_0)=f'(g(x_0))g'(x_0)。

证明（必须处理 g(x)=g(x_0) 的退化情形）。 定义辅助函数

则 \phi 在 u_0连续（这正是导数定义的改写），且对所有 u 恒有

（u\ne u_0 时按定义成立；u=u_0 时两边都是 $0$）。令 u=g(x) 代入 (\star)：

除以 x-x_0 并取极限，用 g 的连续性得 \phi(g(x))\to\phi(g(x_0))=f'(g(x_0))：

莱布尼茨记号的合理性：\dfrac{\mathrm df}{\mathrm dx}=\dfrac{\mathrm df}{\mathrm du}\cdot\dfrac{\mathrm du}{\mathrm dx}，形式上约分成立，这是链式法则在工程中最可靠的心智模型，也是反向传播「梯度沿计算图逐层相乘」的源头。

2.3 基本导数表的逐条推导

以下每条都从 1.4 节的两个重要极限与定义 2.1 出发，不引用未证明的结论。

(1) (x^n)'=nx^{n-1}（n\in\mathbb{N}^+）。 二项式展开

(2) (e^x)'=e^x。

（用推论 1.13）。指数函数是唯一（相差常数倍）导数等于自身的函数：若 f'=f，则 (f e^{-x})'=f'e^{-x}-fe^{-x}=0，故 fe^{-x}=C。

(3) (\log x)'=\dfrac1x（x>0）。

(4) (a^x)'=a^x\log a，(\log_a x)'=\dfrac1{x\log a}。 由 a^x=e^{x\log a} 与链式法则：e^{x\log a}\cdot\log a。

(5) (\sin x)'=\cos x。 和差化积 \sin A-\sin B=2\cos\dfrac{A+B}2\sin\dfrac{A-B}2：

(6) (\cos x)'=-\sin x。 用 \cos A-\cos B=-2\sin\dfrac{A+B}2\sin\dfrac{A-B}2，同样得 -\sin x。

(7) (\tan x)'=\sec^2x=1+\tan^2x。 商法则于 \sin/\cos：

(8) (\arctan x)'=\dfrac1{1+x^2}。 反函数法则：y=\arctan x\iff x=\tan y，y\in(-\pi/2,\pi/2)，

(9) (\arcsin x)'=\dfrac1{\sqrt{1-x^2}}。x=\sin y，y\in[-\pi/2,\pi/2]，此时 \cos y\ge0，

(10) (\sinh x)'=\cosh x，(\cosh x)'=\sinh x。 由定义 \sinh x=\frac{e^x-e^{-x}}2，\cosh x=\frac{e^x+e^{-x}}2，逐项求导。

恒等式核对：\cosh^2x-\sinh^2x=\frac{(e^x+e^{-x})^2-(e^x-e^{-x})^2}4=\frac{4}{4}=1。\checkmark

(11) (x^x)'=x^x(1+\log x)（x>0）。 对数求导法：令 y=x^x，\log y=x\log x，两侧求导

(12) 通用幂指函数 (u^v)'。y=u^v\Rightarrow\log y=v\log u\Rightarrow\dfrac{y'}y=v'\log u+\dfrac{v u'}{u}，故

验证： 取 v 常数得 vu^{v-1}u' ✓；取 u 常数得 u^v v'\log u ✓（即 (a^v)'=a^v v'\log a）。

2.4 隐函数、参数方程与高阶导数

隐函数求导。 设 F(x,y)=0 确定 y=y(x)。对 x 求全导（把 y 视为 x 的函数，用链式法则）：

例题 2.2。x^2+y^2=R^2 上求 \dfrac{\mathrm dy}{\mathrm dx}。F_x=2x，F_y=2y，故 y'=-x/y。

验证：y=\pm\sqrt{R^2-x^2}，y'=\mp\dfrac{x}{\sqrt{R^2-x^2}}=-\dfrac{x}{y}。\checkmark

二阶导（对 y'=-x/y 再求导，注意 y 仍是 x 的函数）：

参数方程求导。x=\varphi(t)，y=\psi(t)：

例题 2.3（摆线）。x=a(t-\sin t)，y=a(1-\cos t)。

摆线在 t=0,2\pi 处 y'=+\infty（尖点），这正是 7.5 节最速降线问题的解曲线。\blacksquare

高阶导数的莱布尼茨公式。

证明（数学归纳法）：n=1 即乘积法则。设 n 成立，则

对第二项换指标 j=k+1：\sum_{j=1}^{n+1}\binom n{j-1}f^{(n+1-j)}g^{(j)}。合并同次项系数

（Pascal 恒等式，由 \frac{n!}{k!(n-k)!}+\frac{n!}{(k-1)!(n-k+1)!}=\frac{n!(n-k+1+k)}{k!(n+1-k)!}=\frac{(n+1)!}{k!(n+1-k)!} 验证），边界项 k=0 与 k=n+1 分别只有单一项且 \binom n0=\binom{n+1}0=1。\blacksquare

常用 n 阶导数公式（可逐次求导验证）：

验证第一式：n=1 时 \sin(x+\pi/2)=\cos x ✓（用和角公式 \sin x\cos\frac\pi2+\cos x\sin\frac\pi2）。归纳：(\sin(x+n\pi/2))'=\cos(x+n\pi/2)=\sin(x+n\pi/2+\pi/2) ✓。

2.5 中值定理族与 Taylor 公式

引理 2.7（Fermat 引理）。 若 f 在 x_0 取局部极值且可导，则 f'(x_0)=0。

证明。 设 x_0 为局部极大点，存在 \delta 使 |x-x_0|<\delta 时 f(x)\le f(x_0)。则

可导要求左右导数相等，故只能 f'(x_0)=0。\blacksquare

定理 2.8（Rolle）。f\in C[a,b]，在 (a,b) 可导，f(a)=f(b)，则存在 \xi\in(a,b) 使 f'(\xi)=0。

证明。 由 EVT（定理 1.16）f 在 [a,b] 取到最大值 M 与最小值 m。若 M=m 则 f 恒常，处处 f'=0。否则 M>m，且因 f(a)=f(b)，M 与 m 中至少一个在内点 \xi\in(a,b) 取到（若最大值只在端点取，则最小值必在内点取）。在内部极值点用 Fermat 引理。\blacksquare

定理 2.9（Lagrange 中值定理）。f\in C[a,b] 且在 (a,b) 可导，则存在 \xi\in(a,b)：

证明（构造辅助函数把问题化为 Rolle）。 令

则 h(a)=0，且 h(b)=f(b)-f(a)-[f(b)-f(a)]=0。h 满足 Rolle 条件，故存在 \xi 使

几何解释：\xi 处切线平行于弦。

推论 2.10（有限增量形式）。f(b)-f(a)=f'(\xi)(b-a)，因此 |f(b)-f(a)|\le\sup_{(a,b)}|f'|\cdot|b-a|——这就是 Lipschitz 常数的来源：\mathrm{Lip}(f)=\sup|f'|。

推论 2.11（导数恒零则函数恒常）。f'\equiv0 on (a,b)\Rightarrow f 为常数。证明：任取 x_1<x_2，Lagrange 给 f(x_2)-f(x_1)=f'(\xi)(x_2-x_1)=0。

推论 2.12（导数符号决定单调性）。f'\ge0\iff f 递增；f'>0\Rightarrow 严格递增（逆不真：f=x^3 在 $0$ 处 f'=0 仍严格递增）。

定理 2.13（Cauchy 中值定理）。f,g\in C[a,b]，在 (a,b) 可导且 g'\ne0，则存在 \xi：

证明。 先说明 g(b)\ne g(a)：否则 Rolle 给出 g'(\eta)=0，矛盾。构造

则 \varphi(a)=\varphi(b)=0，Rolle 给 \varphi'(\xi)=0，即

定理 2.14（Taylor 公式，Lagrange 余项）。 若 f 在含 x_0 的区间上有直到 n+1 阶的导数，则对每个 x 存在介于 x_0,x 之间的 \xi：

证明（反复使用 Cauchy 中值定理）。 令

则 R_n(x_0)=R_n'(x_0)=\cdots=R_n^{(n)}(x_0)=0（逐阶验证：R_n^{(j)}(x_0)=f^{(j)}(x_0)-\frac{f^{(j)}(x_0)}{j!}\cdot j!=0，因为其余 k\ne j 的项在 t=x_0 处含因子 (t-x_0)）。g 同样满足 g^{(j)}(x_0)=0，j\le n。

对 \dfrac{R_n(x)}{g(x)}=\dfrac{R_n(x)-R_n(x_0)}{g(x)-g(x_0)} 用 Cauchy 中值定理得 \dfrac{R_n'(\xi_1)}{g'(\xi_1)}；再对 \xi_1 与 x_0 用一次得 \dfrac{R_n''(\xi_2)}{g''(\xi_2)}；共 n+1 次：

而 R_n^{(n+1)}(t)=f^{(n+1)}(t)（多项式部分求 n+1 次导后为零），g^{(n+1)}(t)=(n+1)!。故

Peano 余项形式： 若 f 在 x_0 有 n 阶导数，则

证明思路：对 \lim_{x\to x_0}\dfrac{R_n(x)}{(x-x_0)^n} 连续使用 n 次 L'Hôpital（分子分母各求 n 次导后为 \dfrac{f^{(n)}(x)-f^{(n)}(x_0)}{n!}\to0）。

积分型余项（最精确的形式，第三部分会用到）：

推导（归纳 + 分部积分）：n=0 时即 FTC：f(x)-f(x_0)=\int_{x_0}^xf'(t)\mathrm dt。设 n-1 成立，对 \int_{x_0}^x f^{(n+1)}(t)(x-t)^n\mathrm dt 分部积分，取 u=(x-t)^n，\mathrm dv=f^{(n+1)}(t)\mathrm dt：

配合归纳假设即得。\blacksquare

由积分余项导出 Lagrange 余项： 被积函数 (x-t)^n 在 [x_0,x] 上不变号，用积分中值定理提出 f^{(n+1)}(\xi)，再用 \int_{x_0}^x(x-t)^n\mathrm dt=\frac{(x-x_0)^{n+1}}{n+1}。

2.6 常用 Taylor 展开（x_0=0，即 Maclaurin）

核对方法（两种，均应养成习惯）：

1. 逐项求导核对：对 \log(1+x) 的展开求导得 1-x+x^2-x^3+\cdots=\frac1{1+x} ✓（几何级数）。
2. 系数公式核对：f^{(n)}(0)/n!。如 (1+x)^\alpha 的二阶系数应为 \frac{f''(0)}2=\frac{\alpha(\alpha-1)}2，而 f''(x)=\alpha(\alpha-1)(1+x)^{\alpha-2}，f''(0)=\alpha(\alpha-1) ✓。
3. 代数乘法核对：(1-x)(1+x+x^2+x^3)=1-x^4 ✓，故 \frac1{1-x} 展开正确到 O(x^4)。
4. 特值核对：\alpha=\frac12 代入 \sqrt{1+x} 得 1+\frac x2+\frac{\frac12(-\frac12)}2x^2=1+\frac x2-\frac{x^2}8 ✓。

例题 2.4（用展开求极限，等价无穷小的失效场景）。

若只用等价无穷小 e^x-1\sim x，会得到 \frac{x-x-\frac{x^2}2}{x^3}\to-\infty 的错误结论——这就是 1.5 节所说「加减中不能替换」的具体后果。规则：展开的阶数必须比分母的阶数至少低一阶，且要保留所有同阶项。

例题 2.5（重要极限的二阶精度）。 求 \displaystyle\lim_{x\to0}\left(\frac{\sin x}{x}\right)^{1/x^2}。

取对数并用 \log(1+u)=u-\frac{u^2}2+O(u^3)：

于是 \dfrac1{x^2}\log\left(\dfrac{\sin x}x\right)\to-\dfrac16，原极限 =e^{-1/6}。\blacksquare

机器学习落点：二阶展开是一切局部优化的基础。

• 一阶项给出梯度下降的方向选择：若 f'(x)\ne0，取 \Delta=-\eta\,\mathrm{sign}(f'(x)) 可使一阶项为 -\eta|f'(x)|<0，保证下降。
• 二阶项决定「步长能走多远」：要使二次近似下降，需 f'(x)\Delta+\frac12f''(x)\Delta^2<0，对 \Delta=-\eta f'(x) 得 -\eta f'^2+\frac\eta^2f''f'^2<0\iff \eta<\frac{2}{f''}。这就是学习率上界的局部来源，也是 2.10 节 \eta<2/L 的一维原型。
• 三阶以上在 \Delta 大时接管，解释大学习率下的振荡与「edge of stability」现象。

2.7 L'Hôpital 法则

定理 2.15（\frac00 型，x\to a）。 设 f,g 在 a 的去心邻域可导，g'\ne0，\lim_{x\to a}f(x)=\lim_{x\to a}g(x)=0，且 \lim_{x\to a}\dfrac{f'(x)}{g'(x)}=L（有限或 \pm\infty），则 \lim_{x\to a}\dfrac{f(x)}{g(x)}=L。

证明。 补充定义 f(a)=g(a)=0，则 f,g\in C[a,x]（或 [x,a]）。对区间 [a,x] 用 Cauchy 中值定理：存在 \xi 严格介于 a 与 x 之间，

当 x\to a 时 \xi\to a（夹逼：\xi 在 a,x 之间），故右端 \to L。\blacksquare

\frac\infty\infty 型、x\to\infty 型的证明思路类似（需额外的代数变形），此处从略但结论可用。

其他未定式的化归（标准手法表）：

例题 2.6。\displaystyle\lim_{x\to0^+}x^x=\lim_{x\to0^+}e^{x\log x}，需求 \lim_{x\to0^+}x\log x=\lim_{x\to0^+}\frac{\log x}{1/x}（\frac{-\infty}{\infty} 型）

故 \lim_{x\to0^+}x^x=e^0=1。

这直接给出熵的边界约定：\lim_{p\to0^+}p\log p=0，故定义 0\log0\equiv0，使熵 H(p)=-\sum p_i\log p_i 在概率取 $0$ 处连续。softmax 输出恒正，但稀疏标签（one-hot）含 $0$，交叉熵 -\sum y_i\log p_i 中该项须按 $0$ 处理——这是工程实现中 label_smoothing 与 0·log0 的数学依据。\blacksquare

例题 2.7。\displaystyle\lim_{x\to\infty}\frac{\log x}{x^\alpha}（\alpha>0）=\lim\dfrac{1/x}{\alpha x^{\alpha-1}}=\lim\dfrac1{\alpha x^\alpha}=0。

结论：对数增长慢于任何正幂次，\log x=o(x^\alpha)。同理 x^\alpha=o(e^{\beta x})（\beta>0），e^{\beta x}=o(x!)，x!=o(x^x)。这个「增长阶的层级」解释了为什么 Transformer 的 \log 类修正（如 \sqrt{\log} 归一化）几乎不改变渐近复杂度，也解释了为什么熵正则项 \log p 不会主导似然项。

L'Hôpital 失效的反例（重要警告）。\displaystyle\lim_{x\to\infty}\frac{x+\sin x}{x}=1（夹逼：1-\frac1x\le\frac{x+\sin x}x\le1+\frac1x），但

不存在（在 $0$ 与 $2$ 之间振荡）。原因：定理要求 \lim f'/g' 存在，此处不满足。教训：L'Hôpital 是充分条件工具，导数比值不存在时不能反推原极限不存在。

2.8 单调性、凹凸性、极值与曲率

极值判别（一元）：

二阶判别法的推导（由 Taylor）：f(x)=f(x_0)+\frac12f''(\xi)(x-x_0)^2（一阶项为零）。若 f''(x_0)>0，由连续性存在邻域使 f''(\xi)>0，故 f(x)>f(x_0)，x\ne x_0。\blacksquare

高阶失效例：f(x)=x^4 在 $0，f'=f''=f'''=0，f^{(4)}=24>0$，偶数阶且为正 \Rightarrow 极小 ✓。f(x)=x^3 在 $0，f'''=6\ne0$ 奇数阶 \Rightarrow 非极值（鞍点）✓。

凹凸性（一元）。f 在区间上凸（convex，开口向上）\iff 对任意 x,y 与 \theta\in[0,1]：

定理 2.16。f 二阶可导，则 f 凸 \iff f''\ge0。

证明（\Leftarrow）： 任取 x<y，z=\theta x+(1-\theta)y。对 [z,y] 与 [x,z] 分别用 Lagrange：存在 \xi_1\in(z,y)，\xi_2\in(x,z)，

不等号用 f''\ge0\Rightarrow f' 递增（推论 2.12）与 \xi_2<\xi_1。代入 z-x=(1-\theta)(y-x)，y-z=\theta(y-x)：

（\Rightarrow 用 Taylor 二阶展开在任意点：0\le f(x\pm h)-2f(x)+f(x\mp h) 除以 h^2 取极限得 f''(x)\ge0。）

拐点：f'' 变号的点，即曲线凹凸性切换处。f=x^3 在 $0$ 是拐点（f''=6x 变号）但不是极值点——机器学习中「鞍点」是多元概念，一元情形对应的是拐点或非极值驻点。

曲率公式的推导。 定义 \kappa=\left|\dfrac{\mathrm d\theta}{\mathrm ds}\right|，\theta 为切线倾角，s 为弧长。

由 \tan\theta=y' 两侧对 x 求导：\sec^2\theta\cdot\dfrac{\mathrm d\theta}{\mathrm dx}=y''，即 \dfrac{\mathrm d\theta}{\mathrm dx}=\dfrac{y''}{1+\tan^2\theta}=\dfrac{y''}{1+y'^2}。

弧长元：\mathrm ds=\sqrt{(\mathrm dx)^2+(\mathrm dy)^2}=\sqrt{1+y'^2}\,\mathrm dx。相除：

参数形式推导：\kappa=\dfrac{|x'y''-y'x''|}{(x'^2+y'^2)^{3/2}}。验证一致性：取 x=t，y=f(t)，则 x'=1，x''=0，y'=f'，y''=f''，代入得 \frac{|f''|}{(1+f'^2)^{3/2}} ✓。

曲率半径 \rho=1/\kappa。直线 \kappa=0；半径 R 的圆 \kappa=1/R（验证：y=\sqrt{R^2-x^2}，y'=-x/y，y''=-R^2/y^3，1+y'^2=R^2/y^2，故 \kappa=\frac{R^2/|y|^3}{(R^2/y^2)^{3/2}}=\frac{R^2/|y|^3}{R^3/|y|^3}=\frac1R ✓）。

机器学习落点： 曲率即损失曲面的局部「陡峭程度」。Hessian 的特征值 \lambda_{\max},\lambda_{\min} 分别给出最大/最小方向曲率，条件数 \kappa_{\text{cond}}=\lambda_{\max}/\lambda_{\min} 决定梯度下降的收敛速度（2.10 节），而曲率归一化（如 LayerNorm、weight decay、自适应学习率 Adam 的 \sqrt{v_t} 除法）本质都是在重塑曲率以改善条件数。注意「曲率 \kappa」与「条件数 \kappa」是两个不同概念，本文分别写作 \kappa_{\text{curv}} 与 \kappa_{\text{cond}} 以免混淆。

2.9 凸函数理论：一阶、二阶条件与 descent lemma

定理 2.17（一阶充要条件）。 可导函数 f 凸 \iff

证明（\Rightarrow）： 设 y>x。对 z\in(x,y)，写 z=\lambda x+(1-\lambda)y，\lambda=\dfrac{y-z}{y-x}。凸性给

移项：(y-x)f(z)\le(y-z)f(x)+(z-x)f(y)，整理为

即割线斜率关于右端点单调不减。令 z\to x^+ 得 f'(x)\le\dfrac{f(y)-f(x)}{y-x}，乘 (y-x)>0 即得结论。y<x 同理。

（\Leftarrow）： 设一阶条件成立，z=\theta x+(1-\theta)y。则

以 \theta 与 1-\theta 加权相加：

几何意义：凸函数的图像总在其任一切线上方，切线称为支撑线（supporting hyperplane 的一维版）。

定理 2.18（Jensen 不等式）。f 凸，\theta_i\ge0，\sum_i\theta_i=1，则

证明（不用归纳，直接用支撑线，最简洁）： 令 \bar x=\sum_i\theta_i x_i。若 f 在 \bar x 可导，由定理 2.17 对每个 x_i：

以 \theta_i 加权求和：

不可导情形用次梯度 g\in\partial f(\bar x) 替换 f'(\bar x)，同样的消去成立。

连续形式：f\left(\mathbb E[X]\right)\le\mathbb E\left[f(X)\right]。

三大直接应用（每个都是机器学习核心不等式）：

1. KL 散度非负性：取 f(u)=u\log u（f''=1/u>0 凸），u_i=p_i/q_i，\theta_i=q_i（\sum q_i=1）：

取等 \iff 所有 u_i 相等 \iff p=q。

1. AM-GM 不等式：取 f=-\log（凸），\theta_i=1/n：-\log\left(\frac1n\sum x_i\right)\le-\frac1n\sum\log x_i=-\log\left(\prod x_i\right)^{1/n}，故 \frac1n\sum x_i\ge\left(\prod x_i\right)^{1/n}。

2. \log-sum-exp 不等式：\max_i x_i\le\log\sum_i e^{x_i}\le\max_i x_i+\log K。

推导：左边由 \sum e^{x_i}\ge e^{\max x_i} 取 \log；右边由 \sum_i e^{x_i}\le K e^{\max x_i} 取 \log。这就是 1.8 节 softmax 稳定化的误差界：LSE 是 max 的 $1$-Lipschitz 光滑近似，近似误差不超过 \log K。温度 \tau 版本：\max_i x_i \le \tau\,\mathrm{LSE}(x/\tau)\le \max_i x_i + \tau\log K，\tau\to0 恢复 max，\tau 大则更平滑——这正是模拟退火与 soft/hard attention 的数学内核。

定义 2.19（强凸与 L-smooth）。

引理 2.20（descent lemma / 下降引理）。 若 f 为 L-光滑，则对任意 x,y：

证明（用积分形式的余项，最直接）：

（此式由 FTC：\int_x^y f'(t)\mathrm dt=f(y)-f(x)，减去 \int_x^y f'(x)\mathrm dt=f'(x)(y-x)。）

用 L-光滑性放缩 |f'(t)-f'(x)|\le L|t-x|：

引理 2.21（co-coercivity，共强制性）。 若 f 凸且 L-光滑，则

证明（两次使用 descent lemma，构造巧妙但每步可验）。 定义 \varphi(z)=f(z)-f(y)-f'(y)(z-y)。\varphi 仍为凸、L-光滑，且 \varphi'(y)=0，故 y 是 \varphi 的全局最小点，\varphi(y)=0=\min\varphi。

对 \varphi 用 descent lemma 并以 z=x-\frac{\varphi'(x)}L 代入（这是使右端最小的 z）：

于是 \varphi(x)\ge\dfrac{1}{2L}\varphi'(x)^2，即

交换 x,y 得对称式，两式相加，左端相加为

右端相加为 \dfrac1L\left(f'(x)-f'(y)\right)^2。\blacksquare

推论 2.22（凸 + L-光滑的 PL 型不等式）。 在引理 2.21 中取 y=x^*（f'(x^*)=0）：

又在 descent lemma 中取 y=x^*，x=x-\frac{f'(x)}L：

这两个不等式将在 2.10 节的收敛性证明中同时用到。

2.10 梯度下降的收敛性：完整推导

设 f 为 L-光滑凸函数，迭代 x_{k+1}=x_k-\eta f'(x_k)。

（A）任意步长的下降量。 由 descent lemma 取 y=x_{k+1}：

代入 x_{k+1}-x_k=-\eta f'(x_k)：

结论 A：\eta<\dfrac2L 时括号内为正，函数值严格下降（除非已在驻点）。\eta=\dfrac1L 时系数最大，f(x_{k+1})\le f(x_k)-\dfrac1{2L}f'(x_k)^2。这就是学习率上界 \eta<2/L 的严格推导。

（B）非凸情形的一阶收敛率。 累加 (A) 中 \eta=\frac1L 的式子，k=0 到 N-1：

于是 \min_{0\le k<N}f'(x_k)^2\le\dfrac1N\sum_{k=0}^{N-1}f'(x_k)^2\le\dfrac{2L\Delta_0}{N}，即

（C）凸情形的函数值收敛率 O(1/N)。 记 e_k=x_k-x^*。

取 \eta=\frac1L。第一步用凸性把内积换成函数值差：由定理 2.17，f(x^*)\ge f(x_k)+f'(x_k)(x^*-x_k)，移项得

第二步用 (A) 中 \eta=\frac1L 的下降量把 \frac1{L^2}f'(x_k)^2 换成相邻两步的函数值差：

两处代入 e_{k+1}^2=e_k^2-\frac2Lf'(x_k)e_k+\frac1{L^2}f'(x_k)^2：

即

对 k=0,\dots,N-1 求和（左端第二项非负，可丢）：

由 (A) 知 f(x_k) 单调不增，故 f(x_N)\le\frac1N\sum_{k=1}^Nf(x_k)；或由凸性对平均点 \bar x_N=\frac1N\sum x_k 有 f(\bar x_N)\le\frac1N\sum f(x_k)。总之

（D）强凸情形的线性收敛。 设 f 额外 \mu-强凸，\eta=\frac1L，\kappa_{\text{cond}}=L/\mu\ge1。由强凸性 f'(x_k)e_k\ge f(x_k)-f^*+\frac\mu2e_k^2，与推论 2.22 的 \frac1{L^2}f'(x_k)^2\le\frac2L(f(x_k)-f^*) 代入：

迭代得

达到 \varepsilon 精度需 k\ge\kappa_{\text{cond}}\log(\|x_0-x^*\|/\varepsilon) 步（用 (1-1/\kappa)^k\le e^{-k/\kappa}）。

推论（二次函数的精确谱刻画）。f(x)=\frac12x^{\mathsf T}Ax-b^{\mathsf T}x，A 对称正定，L=\lambda_{\max}(A)，\mu=\lambda_{\min}(A)。误差 e_k=x_k-x^* 满足 e_{k+1}=(I-\eta A)e_k，故

最优步长使 \max_i|1-\eta\lambda_i| 最小：\eta^*=\dfrac2{\lambda_{\max}+\lambda_{\min}}，此时收敛因子为 \dfrac{\lambda_{\max}-\lambda_{\min}}{\lambda_{\max}+\lambda_{\min}}=\dfrac{\kappa_{\text{cond}}-1}{\kappa_{\text{cond}}+1}。

推导：|1-\eta\lambda_{\max}| 随 \eta 递减、|1-\eta\lambda_{\min}| 随 \eta 递增，两者相等时最大者最小，解 1-\eta\lambda_{\min}=\eta\lambda_{\max}-1 得 \eta^*。\blacksquare

梯度下降是梯度流的显式 Euler 离散化。 连续时间系统

沿轨线 \frac{\mathrm d}{\mathrm dt}f(x(t))=\nabla f^{\mathsf T}\dot x=-\|\nabla f\|^2\le0，故 f 单调下降。取步长 h 的 Euler 格式 x_{k+1}=x_k+h(-\nabla f(x_k)) 即梯度下降，\eta=h。局部截断误差 O(h^2)，全局误差 O(h)（由 Taylor：x(t+h)=x(t)-h\nabla f+\frac{h^2}2\ddot x+\cdots）。\eta<2/L 的条件正是 Euler 格式对线性测试方程 \dot x=-\lambda x 的绝对稳定域 |1-h\lambda|<1 的要求，与上面的谱分析完全一致。这条对应关系是 Neural ODE、扩散模型的 ODE 求解器（Heun、DPM-Solver 等高阶格式即替换 Euler 以降低 O(h^2) 截断误差）与优化器设计之间的统一视角。

2.11 Newton 法与二次收敛

动机： 求 g(x)=0 的根，其中 g=f'（即求 f 的驻点）。对 g 在 x_k 处 Taylor 一阶展开：

几何意义：用切线与 x 轴的交点逼近根。

定理 2.23（二次收敛）。 设 g(x^*)=0，g'(x^*)\ne0，g'' 在 x^* 附近连续，则 e_k=x_k-x^* 满足

即 \lim_{k\to\infty}\dfrac{|e_{k+1}|}{|e_k|^2}=\left|\dfrac{g''(x^*)}{2g'(x^*)}\right|=C。

完整推导： 由迭代式

对 g 在 x_k 处 Taylor 展开到二阶（Lagrange 余项），代入 x=x^*：

故 g'(x_k)e_k-g(x_k)=\dfrac12g''(\xi_k)e_k^2，代入得

数值含义： 若 C\approx1，误差位数每步翻倍（10^{-2}\to10^{-4}\to10^{-8}\to10^{-16}），三四步即达机器精度。对比梯度下降的线性收敛（每步只减少固定比例）。

多元推广（第四部分详证）：x_{k+1}=x_k-H_f(x_k)^{-1}\nabla f(x_k)，收敛因子涉及 \nabla^3 f 与 H_f^{-1}。

缺点与工程处理：f''(x_k)\le0 时 Newton 步可能走向极大值点或发散（f''<0 时步长方向错误）。对策：

• 阻尼 Newton：x_{k+1}=x_k-\alpha_k\frac{f'}{f''}，\alpha_k 由 Armijo 回溯线搜索确定：取最大 \alpha\in\{\frac12^j\} 使 f(x_{k+1})\le f(x_k)+c\,\alpha\,f'(x_k)\left(-\frac{f'(x_k)}{f''(x_k)}\right)，c\in(0,1)。
• Levenberg–Marquardt / 信赖域：用 H+\lambda I 替换 H，\lambda 大时退化为小步长梯度下降，\lambda\to0 时退化为 Newton。这是「二阶方法的安全化」标准做法，也解释了 Adam 类优化器为何在深度学习中替代真正的二阶法（Hessian 维度 n^2，n\sim10^9 时不可存储）。

2.12 数值微分与自动微分

前向差分。 由 Taylor：f(x+h)=f(x)+hf'(x)+\frac{h^2}2f''(\xi)，故

中心差分。 两式相减消去偶数阶项：

精确形式（用 f''' 的介值性）：f'(x)=\dfrac{f(x+h)-f(x-h)}{2h}-\dfrac{h^2}6f'''(\xi)。

五点公式（O(h^4)）：

推导（待定系数法）：设

把四个 Taylor 展开代入（注意 f(x-2h)=f-2hf'+2h^2f''-\frac43h^3f'''+\frac23h^4f^{(4)}-\cdots），并要求 f、f''、f''' 的系数为零、f' 的系数为 $1$，得到四元线性方程组：

求解：第 1 式减第 3 式给 3a+3d=0，即 d=-a。第 2 式减第 4 式为 (2a-8a)+(-2d+8d)=1-0，即 -6a+6d=1；代入 d=-a 得 -12a=1，故 a=-\dfrac1{12}，d=\dfrac1{12}（最远采样点系数为负，符合中心差分的符号规律）。再由第 2 式加第 4 式：10a+2b-2c-10d=1；由被逼近算子关于 x 的反对称性取 c=-b，得 10(a-d)+4b=1，代入 a,d：-\dfrac{10}{12}-\dfrac{10}{12}+4b=1\Rightarrow4b=\dfrac83\Rightarrow b=\dfrac23，c=-\dfrac23。于是

验证（代入 f=x）：\frac{-(x+2h)+8(x+h)-8(x-h)+(x-2h)}{12h}=\frac{0\cdot x+(-2h+8h+8h-2h)}{12h}=\frac{12h}{12h}=1 ✓（f'=1）。 再验证（代入 f=x^2，f'=2x）：分子 =-(x+2h)^2+8(x+h)^2-8(x-h)^2+(x-2h)^2。x^2 项系数 -1+8-8+1=0 ✓；xh 项 -4+16+16-4=24，故为 24xh；h^2 项 -4+8-8+4=0 ✓。除以 12h 得 2x ✓。

舍入误差与最优步长。 设计算值 \tilde f(x)=f(x)+\delta(x)，|\delta|\le\varepsilon M（M\sim\max|f|，\varepsilon=\varepsilon_{\text{mach}}）。中心差分的总误差：

最小化：E'(h)=-\dfrac{\varepsilon M}{h^2}+\dfrac{h}3|f'''|=0\Rightarrow h_{\text{opt}}=\left(\dfrac{3\varepsilon M}{|f'''|}\right)^{1/3}，此时

对比前向差分：E(h)=\frac{\varepsilon M}h+\frac h2|f''|，h_{\text{opt}}=\sqrt{2\varepsilon M/|f''|}，E\sim\varepsilon^{1/2}。

数值结论（double，\varepsilon\approx2.2\times10^{-16}）： 中心差分最优 h\approx10^{-5}，可达精度 \sim10^{-11}；前向差分最优 h\approx10^{-8}，精度 \sim10^{-8}。h 取太小会因相消误差反而变差——这是「数值梯度检查」（torch.autograd.gradcheck）默认用 double 且 h 不取极小值的原因。

复变步长法（complex-step differentiation）。 若 f 可解析延拓到复邻域，则

取虚部：\mathrm{Im}\,f(x+ih)=hf'(x)-\dfrac{h^3}6f'''(x)+O(h^5)，故

关键优势：完全没有减法，因此没有相消误差。 舍入项仅为 \varepsilon|f|/h 而不含放大因子，可取 h=10^{-20} 得到接近机器精度的导数。限制：f 必须解析（无 \max、|\cdot|、比较分支等非解析算子），且需支持复数运算。

自动微分（AD）的复杂度分析——为什么反向传播是可行的。

设计算图有 n 个输入 x_1,\dots,x_n、m 个输出 f_1,\dots,f_m，前向求值代价为 T（浮点运算数）。

• 前向模式（forward mode）：一次前向传播计算 Jacobian-向量积 J_f v。由链式法则 \dot f_i=\sum_j\frac{\partial f_i}{\partial x_j}\dot x_j，取 v=e_k（第 k 个单位向量）可得 Jacobian 的第 k 列。要得到完整 J_f\in\mathbb R^{m\times n} 需 n 次，总代价 O(nT)。
• 反向模式（reverse mode）：一次反向传播计算向量-Jacobian 积 u^{\mathsf T}J_f。取 u=e_i 得 Jacobian 的第 i 行，需 m 次，总代价 O(mT)。

反向传播的逐节点公式。 设节点 v 的值被节点集合 \mathrm{out}(v) 使用，定义伴随变量（adjoint / cotangent）\bar v=\dfrac{\partial \mathcal L}{\partial v}（\mathcal L 为标量损失），则

推导：由多元链式法则 \frac{\partial\mathcal L}{\partial v}=\sum_w\frac{\partial\mathcal L}{\partial w}\frac{\partial w}{\partial v}。\blacksquare

结论：当 m=1（标量损失）时，反向模式只需一次反向遍历即得全部 n 个偏导，代价 O(T)——与前向求值同阶，而与参数个数 n 无关。 这解释了为什么十亿参数网络的梯度能在常数倍前向代价内算出。反之，若需要完整 Jacobian（m 很大，如 Jacobian 正则化、Neural ODE 的 \mathrm{tr}(\partial f/\partial x)），反向模式需 m 次遍历，代价 O(mT)，此时改用 Hutchinson 随机估计：

推导：\mathbb E[\varepsilon^{\mathsf T}J\varepsilon]=\mathbb E\left[\sum_{i,j}J_{ij}\varepsilon_i\varepsilon_j\right]=\sum_{i,j}J_{ij}\mathbb E[\varepsilon_i\varepsilon_j]=\sum_iJ_{ii}（用 \mathbb E[\varepsilon_i\varepsilon_j]=\delta_{ij}）。方差：\mathrm{Var}=\mathbb E[(\varepsilon^{\mathsf T}J\varepsilon)^2]-\mathrm{tr}(J)^2=2\|J_{\text{off-diag}}\|_F^2（高斯情形），故单次估计噪声为 O(\|J\|_F)，需多样本平均——这是 FFJORD/CNF 中用 1~10 个样本折中的原因。

AD 与符号微分、数值微分的对比：

梯度检查（gradient checking）的正确做法： 用中心差分与 AD 结果比较相对误差

期望 \mathrm{rel}<10^{-7}（double）；float32 下应放宽到 10^{-4}，且必须在 double 下检查、在目标精度下训练。\blacksquare

第三部分 一元积分学

3.1 Riemann 积分的定义与可积性

定义 3.1（Darboux 上下和）。 对 [a,b] 的分割 P:\ a=x_0<x_1<\cdots<x_n=b，记 \Delta x_i=x_i-x_{i-1}，

定义 \underline{\int_a^b}f=\sup_P L(f,P)（下积分），\overline{\int_a^b}f=\inf_P U(f,P)（上积分）。fRiemann 可积\iff 两者相等，公共值记 \int_a^bf。

引理 3.2。 对任意分割 P，L(f,P)\le U(f,P)；更一般地，对任意两分割 P_1,P_2，L(f,P_1)\le U(f,P_2)。

证明：先证同一分割下 m_i\le M_i 逐项成立。对任意分割，取公共加细 P^*=P_1\cup P_2，则加细使下和不减、上和不增（加入分点后 \inf 只在更小区间上取，故 m 不减）：

定理 3.3（可积的充要条件）。 有界函数 f 在 [a,b] 上 Riemann 可积 \iff

其中 \omega_i=M_i-m_i 为 f 在第 i 段上的振幅。

证明：(\Rightarrow) 由上确界/下确界的定义，取 P_1 使 \overline{\int}f-L(f,P_1)<\varepsilon/2，P_2 使 U(f,P_2)-\underline{\int}f<\varepsilon/2，令 P=P_1\cup P_2，则 U(f,P)-L(f,P)\le U(f,P_2)-L(f,P_1)<\varepsilon。(\Leftarrow) 由 L\le\underline{\int}\le\overline{\int}\le U 得 0\le\overline{\int}f-\underline{\int}f<\varepsilon 对任意 \varepsilon 成立，故为 $0。\blacksquare$

定理 3.4（可积 \Rightarrow 有界；连续 \Rightarrow 可积）。

• 有界性：若 f 无界，则某段上 \omega_i=\infty，U-L 无法任意小。
• 连续性：f\in C[a,b] 由 Cantor 定理一致连续，取 \delta 使 |x-y|<\delta\Rightarrow|f(x)-f(y)|<\frac{\varepsilon}{b-a}，取分割使 \max\Delta x_i<\delta，则 \omega_i\le\frac{\varepsilon}{b-a}，\sum\omega_i\Delta x_i\le\varepsilon。\blacksquare

注（Lebesgue 判据）： 有界函数 Riemann 可积 \iff 其不连续点集为零测集。这解释了为什么分段连续（含 ReLU 的导数 \mathbb 1[x>0]）仍可积，而 Dirichlet 函数（有理点取 $1$、无理点取 $0$）不可积（处处不连续）。

积分的基本性质（均可由上和/下和逐段验证）：

最后一个的推导：对分割用离散 Cauchy-Schwarz \left|\sum f(\xi_i)\Delta x_i\right|=\left|\sum f(\xi_i)\sqrt{\Delta x_i}\cdot\sqrt{\Delta x_i}\right|\le\sqrt{\sum f(\xi_i)^2\Delta x_i}\sqrt{\sum\Delta x_i}，取极限。

3.2 微积分基本定理

定理 3.5（FTC I：变上限积分可导）。 设 f\in C[a,b]，\Phi(x)=\displaystyle\int_a^x f(t)\,\mathrm dt，则 \Phi 在 [a,b] 可导且

完整证明。 对 x\in(a,b)，h 充分小：

由积分第一中值定理（f 连续 \Rightarrow 存在 \xi_h 介于 x 与 x+h：\int_x^{x+h}f=f(\xi_h)h；此定理来自估值 mh\le\int\le Mh 加 IVT），

h\to0 时 \xi_h\to x（夹逼），由 f 的连续性 f(\xi_h)\to f(x)。故 \Phi'(x)=f(x)。\blacksquare

推论 3.6（原函数存在性）。 任何连续函数都有原函数——这是「连续函数必有原函数」的构造性证明，不依赖任何猜测。

推论 3.7（不定积分与原函数的关系）。 若 F'=f，则 \int_a^bf=F(b)-F(a)+C 中常数被两端点吸收：任意两个原函数相差常数（由推论 2.11）。

定理 3.8（FTC II：Newton–Leibniz）。 设 f\in C[a,b]，F 是 f 的任一原函数，则

证明。 令 \Phi(x)=\int_a^xf，则 \Phi'=f=F'，故 (\Phi-F)'=0，由推论 2.11 得 \Phi-F\equiv C。代入 x=a：0-\!F(a)=C。于是

深刻含义： 微分与积分互为逆运算。这在机器学习中的直接体现是「反向传播 = 链式法则的逆序累加」与「累积折扣回报 = 未来奖励的积分」之间的对偶性，也是 3.8 节 Leibniz 法则与 7.10 节伴随法（adjoint method）的共同基础：伴随变量本质是变上限积分的导数。

3.3 两大积分技术的推导

定理 3.9（分部积分）。 若 u,v 在 [a,b] 上有连续导数，则

推导（完全来自乘积法则 + FTC）：(uv)'=u'v+uv'，两侧从 a 到 b 积分，用 FTC II：

移项即得。\blacksquare

选 u 的口诀 LIATE（Logarithm, Inverse trig, Algebraic, Trig, Exponential，优先取靠前者为 u），本质是让 \mathrm du 比 u 更简单。

例题 3.1（建立递推，机器学习矩计算的通用手法）。 求 I_n=\displaystyle\int_0^\infty x^ne^{-x}\mathrm dx（=\Gamma(n+1)）。

取 u=x^n，\mathrm dv=e^{-x}\mathrm dx，则 v=-e^{-x}：

边界项为零的验证：x\to\infty 时 x^ne^{-x}\to0（指数快于幂次，见例题 2.7）；x\to0 时 x^n\to0（n\ge1）。又 I_0=\int_0^\infty e^{-x}\mathrm dx=[-e^{-x}]_0^\infty=1。归纳得

应用： 指数分布 p(x)=\lambda e^{-\lambda x}（x\ge0）的 n 阶矩

故 \mathbb E[X]=1/\lambda，\mathbb E[X^2]=2/\lambda^2，\mathrm{Var}(X)=1/\lambda^2。\blacksquare

定理 3.10（换元积分）。 设 f 连续，\varphi\in C^1[\alpha,\beta] 且 \varphi([\alpha,\beta])\subset[a,b]，则

推导（链式法则 + FTC）： 设 F'=f。定义 G(t)=F(\varphi(t))，则链式法则给

对右端用 FTC II：\int_\alpha^\beta f(\varphi(t))\varphi'(t)\mathrm dt=G(\beta)-G(\alpha)=F(\varphi(\beta))-F(\varphi(\alpha))=\int_{\varphi(\alpha)}^{\varphi(\beta)}f(x)\mathrm dx。\blacksquare

要点： 换元后必须同时改变积分限（定积分）；不定积分换元后必须回代。\varphi 不必单调（上式对一般 C^1 成立），但反换元（x\to t）需要单调。

3.4 常用积分的推导（不查表，全部现场算出）

(1) \displaystyle\int\sec x\,\mathrm dx=\log|\sec x+\tan x|+C。

推导（「乘共轭」技巧）：

注意分子恰是分母的导数（(\sec x+\tan x)'=\sec x\tan x+\sec^2x ✓），故令 u=\sec x+\tan x：

验证：\dfrac{\mathrm d}{\mathrm dx}\log(\sec x+\tan x)=\dfrac{\sec x\tan x+\sec^2x}{\sec x+\tan x}=\dfrac{\sec x(\tan x+\sec x)}{\sec x+\tan x}=\sec x ✓。

(2) \displaystyle\int\tan x\,\mathrm dx=-\log|\cos x|+C=\log|\sec x|+C。 由 \tan x=\frac{\sin x}{\cos x}=-\frac{(\cos x)'}{\cos x}。

(3) \displaystyle\int\frac{\mathrm dx}{x^2+a^2}=\frac1a\arctan\frac xa+C（a>0）。

推导：令 x=a\tan t，\mathrm dx=a\sec^2t\,\mathrm dt，x^2+a^2=a^2\sec^2t：

验证：\dfrac{\mathrm d}{\mathrm dx}\left[\dfrac1a\arctan\dfrac xa\right]=\dfrac1a\cdot\dfrac{1/a}{1+x^2/a^2}=\dfrac1{a^2+x^2} ✓。

(4) \displaystyle\int\frac{\mathrm dx}{\sqrt{a^2-x^2}}=\arcsin\frac xa+C（|x|<a）。 令 x=a\sin t：

(5) \displaystyle\int\frac{\mathrm dx}{\sqrt{x^2+a^2}}=\log\left|x+\sqrt{x^2+a^2}\right|+C=\mathrm{arsinh}\frac xa+C。

推导（双曲代换）：令 x=a\sinh t，\mathrm dx=a\cosh t\,\mathrm dt，\sqrt{x^2+a^2}=a\sqrt{\sinh^2t+1}=a\cosh t：

而 \mathrm{arsinh}\,u=\log(u+\sqrt{u^2+1})（由 u=\sinh t=\frac{e^t-e^{-t}}2 解出 e^t=u+\sqrt{u^2+1}，取 e^t>0 的根），故 =\log\left(\frac xa+\sqrt{\frac{x^2}{a^2}+1}\right)+C=\log\left|x+\sqrt{x^2+a^2}\right|+C'（常数差 \log a 被吸收）。

验证：\dfrac{\mathrm d}{\mathrm dx}\log(x+\sqrt{x^2+a^2})=\dfrac{1+\frac{x}{\sqrt{x^2+a^2}}}{x+\sqrt{x^2+a^2}}=\dfrac{\frac{\sqrt{x^2+a^2}+x}{\sqrt{x^2+a^2}}}{x+\sqrt{x^2+a^2}}=\dfrac1{\sqrt{x^2+a^2}} ✓。

(6) \displaystyle\int\frac{\mathrm dx}{x^2-a^2}=\frac1{2a}\log\left|\frac{x-a}{x+a}\right|+C。 部分分式：

（A,B 由 Heaviside 覆盖法：两侧乘 (x-a) 再令 x=a。）故积分 =\frac1{2a}\log|x-a|-\frac1{2a}\log|x+a|+C。

(7) \displaystyle\int e^{ax}\sin bx\,\mathrm dx=\frac{e^{ax}}{a^2+b^2}(a\sin bx-b\cos bx)+C。

推导（两次分部积分后解方程）：记 I=\int e^{ax}\sin bx\,\mathrm dx，J=\int e^{ax}\cos bx\,\mathrm dx。第一次分部（u=\sin bx）：

同理 J=\dfrac{e^{ax}}a\cos bx+\dfrac ba I。代回：

验证（求导）：\dfrac{\mathrm d}{\mathrm dx}\left[e^{ax}(a\sin bx-b\cos bx)\right]=ae^{ax}(a\sin-b\cos)+e^{ax}(ab\cos+b^2\sin)=e^{ax}(a^2+b^2)\sin bx ✓。

复数捷径（同一结果的更快推导）：\int e^{(a+ib)x}\mathrm dx=\dfrac{e^{(a+ib)x}}{a+ib}，取虚部：

（分子虚部：e^{ax}[a\sin bx-b\cos bx] ✓。）这个技巧在 Fourier 分析、控制系统与状态空间模型中反复使用。

(8) 有理函数的部分分式一般方法。 对 \dfrac{P(x)}{Q(x)}（\deg P<\deg Q），分解 Q 为实系数一次与二次不可约因子的幂：

对应的基本积分只有四种：\int\frac{\mathrm dx}{x-r}=\log|x-r|，\int\frac{\mathrm dx}{(x-r)^k}=\frac{-1}{(k-1)(x-r)^{k-1}}（k\ge2），以及二次分母的 \log 项与 \arctan 项（配方后归约到 (3)(5)）。

例题 3.2。\displaystyle\int\frac{x+1}{x^2+2x+5}\mathrm dx。

配方 x^2+2x+5=(x+1)^2+4，令 u=x+1：

验证：\frac12\cdot\frac{2x+2}{x^2+2x+5}=\frac{x+1}{x^2+2x+5} ✓。分子恰为分母导数的一半，这是「凑微分」的典型识别。\blacksquare

3.5 Wallis 公式与 \Gamma、Beta 函数

定理 3.11（Wallis 递推）。 记 I_n=\displaystyle\int_0^{\pi/2}\sin^nx\,\mathrm dx，则

推导递推式。 写 \sin^nx=\sin^{n-1}x\cdot\sin x，分部积分（u=\sin^{n-1}x，\mathrm dv=\sin x\,\mathrm dx，v=-\cos x）：

边界项：x=\pi/2 时 \cos=0；x=0 时 \sin^{n-1}=0（n\ge2）。故

双阶乘记号：(2m)!!=2\cdot4\cdots(2m)=2^m m!，(2m-1)!!=1\cdot3\cdots(2m-1)=\dfrac{(2m)!}{2^m m!}。

验证 I_{2m}：\dfrac{(2m-1)!!}{(2m)!!}=\dfrac{(2m)!}{2^mm!\cdot2^mm!}=\dfrac{(2m)!}{4^m(m!)^2}=\dfrac{\binom{2m}m}{4^m} ✓。

推论 3.12（Wallis 乘积与 Stirling 的关联）。 由 I_{n+1}\le I_n（[0,1] 上 \sin^{n+1}\le\sin^n）与递推式：

故 \displaystyle\lim_{m\to\infty}\frac{I_{2m}}{I_{2m+1}}=1，即

（Wallis 乘积）。这一乘积是推导 Stirling 公式 n!\sim\sqrt{2\pi n}\left(\frac ne\right)^n 中 \sqrt{2\pi} 系数的关键，而 Stirling 公式又是变分推断中 \log 组合数、二项分布高斯近似的基础。

定义 3.13（\Gamma 函数）。

性质与推导：

1. 函数方程\Gamma(z+1)=z\Gamma(z)。分部积分（u=t^z，\mathrm dv=e^{-t}\mathrm dt）：

1. 解析延拓：由 \Gamma(z)=\dfrac{\Gamma(z+1)}z 可把定义域逐步扩展到 z\notin\{0,-1,-2,\dots\}，在这些非正整数处有单极点，留数 \mathrm{Res}(\Gamma,-n)=\dfrac{(-1)^n}{n!}。

2. \Gamma(1/2)=\sqrt\pi。令 t=u^2，\mathrm dt=2u\,\mathrm du：

（末步用 3.6 节的高斯积分 \int_0^\infty e^{-u^2}\mathrm du=\frac{\sqrt\pi}2）。

定义 3.14（Beta 函数）。

对称性 B(a,b)=B(b,a)（换元 t\to1-t）；三角形式 B(a,b)=2\displaystyle\int_0^{\pi/2}\sin^{2a-1}\theta\cos^{2b-1}\theta\,\mathrm d\theta（换元 t=\sin^2\theta，\mathrm dt=2\sin\theta\cos\theta\,\mathrm d\theta）。

验证三角形式：t^{a-1}=(\sin^2\theta)^{a-1}=\sin^{2a-2}\theta，(1-t)^{b-1}=\cos^{2b-2}\theta，乘上 \mathrm dt=2\sin\theta\cos\theta\mathrm d\theta 得 2\sin^{2a-1}\theta\cos^{2b-1}\theta\mathrm d\theta ✓。

定理 3.15（B 与 \Gamma 的关系）。

完整推导（二重积分 + 变量替换）。

作替换 x=ut，y=(1-u)t，其中 u\in(0,1)，t\in(0,\infty)。Jacobian：

被积函数变为

于是

机器学习直接应用：Beta 分布的归一化常数与矩。p(\theta)=\frac1{B(\alpha,\beta)}\theta^{\alpha-1}(1-\theta)^{\beta-1}（\theta\in[0,1]），则

同理 \mathbb E[\Theta^2]=\dfrac{\alpha(\alpha+1)}{(\alpha+\beta)(\alpha+\beta+1)}，故

这正是 Beta-Bernoulli 共轭：观测到 k 次成功、n-k 次失败后，后验为 \mathrm{Beta}(\alpha+k,\beta+n-k)，后验均值 \frac{\alpha+k}{\alpha+\beta+n}——它把「频率估计 k/n」与「先验 \alpha/(\alpha+\beta)」按样本量加权混合，是**贝叶斯平滑 / 拉普拉斯平滑（\alpha=\beta=1 时得 \frac{k+1}{n+2}）**的严格来源，广泛用于小样本 CTR 估计与语言模型平滑。

3.6 高斯积分：极坐标法完整推导

定理 3.16。\displaystyle\int_{-\infty}^{\infty}e^{-x^2}\mathrm dx=\sqrt\pi。

推导。 记 I=\int_{-\infty}^\infty e^{-x^2}\mathrm dx。因被积函数非负且积分收敛（比较 |x|>1 时 e^{-x^2}\le e^{-|x|}），可写

（Fubini，被积函数非负）。换极坐标 x=r\cos\theta，y=r\sin\theta，x^2+y^2=r^2，面积元 \mathrm dx\,\mathrm dy=r\,\mathrm dr\,\mathrm d\theta（此 Jacobian 的推导见 5.2 节，这里先用）：

内层用凑微分（r\,\mathrm dr=\frac12\mathrm d(r^2)，令 u=r^2）：

故 I^2=2\pi\cdot\frac12=\pi，I>0 得 I=\sqrt\pi。\blacksquare

推论 3.17（一般高斯积分，机器学习最高频公式）。

推导：令 u=\dfrac{x-\mu}{\sqrt2\sigma}，则 \mathrm dx=\sqrt2\sigma\,\mathrm du，-\frac{(x-\mu)^2}{2\sigma^2}=-u^2：

由此得正态分布密度（归一化常数的来源）：

推论 3.18（含线性项的高斯积分，「配方法」）。

完整配方推导：

提出常数因子后令 u=\sqrt{a/2}(x-b/a)：

乘上 e^{b^2/(2a)} 即得。\blacksquare

这条公式是「共轭完成」的引擎，三处高频使用：

1. 高斯 mgf（3.9 节）：b=t，a=1/\sigma^2 配合 \mu 平移。
2. 高斯后验（贝叶斯线性回归、卡尔曼滤波）：先验 \mathcal N(\mu_0,\Sigma_0) 与高斯似然相乘，指数部分是 w 的二次型加线性项，配方即得后验均值与协方差。
3. VAE 的重构项：\log\mathcal N(x;\mu,\sigma^2)=-\frac{(x-\mu)^2}{2\sigma^2}-\log(\sigma\sqrt{2\pi})，对 z 的 KL 项同样是二次型配方的结果（见 7.8 节）。

3.7 反常积分

定义 3.19。

极限存在称收敛，否则发散。瑕点在内部时必须拆分：\int_{-1}^1\frac{\mathrm dx}x 发散（不能写成 \lim_{\varepsilon\to0}[\int_{-1}^{-\varepsilon}+\int_\varepsilon^1]=0——那是 Cauchy 主值 PV，不是反常积分；PV 值为 $0$ 但积分发散，这是常见错误）。

定理 3.20（p-积分）。

推导：p\ne1 时 \int_1^b x^{-p}\mathrm dx=\frac{b^{1-p}-1}{1-p}，b\to\infty 收敛 \iff1-p<0；p=1 时得 \log b\to\infty。第二式：\int_\varepsilon^1x^{-p}\mathrm dx=\frac{1-\varepsilon^{1-p}}{1-p}，\varepsilon\to0 收敛 \iff1-p>0。\blacksquare

记忆：\infty 处「指数越大越好」（要 >1），$0$ 处「指数越小越好」（要 <1）。 两者在 p=1 同时发散。

比较判别法：0\le f\le g 且 \int g 收敛 \Rightarrow\int f 收敛（由部分积分单调有界）。极限形式：\lim f/g=c\in(0,\infty) 则同敛散。

例题 3.3（判定并求值）。

（凑微分：x\,\mathrm dx=\frac12\mathrm d(1+x^2)，\int u^{-2}\frac{\mathrm du}2=-\frac1{2u}。）收敛性：x\to\infty 时 \sim x^{-3}，p=3>1 ✓；x\to0 处被积函数连续 ✓。

（用 3.4(7) 取 a=-1，b=1：\frac{e^{-x}}{1+1}(-\sin x-\cos x)。验证求导：\frac{\mathrm d}{\mathrm dx}\left[-\frac{e^{-x}}2(\sin x+\cos x)\right]=\frac{e^{-x}}2(\sin+\cos)-\frac{e^{-x}}2(\cos-\sin)=e^{-x}\sin x ✓。）

这是 Laplace 变换 \mathcal L\{\sin t\}(s)=\frac1{s^2+1} 在 s=1 的值，与 6.9 节的留数计算结果一致（交叉验证）。\blacksquare

3.8 含参变量积分与 Leibniz 积分法则

定理 3.21（Leibniz 积分法则）。 设 f(x,t) 与 \partial f/\partial t 在 \{(x,t):a(t)\le x\le b(t),\ t\in[\alpha,\beta]\} 上连续，a,b 可导，则

完整推导。 定义三元函数

则所求为 \frac{\mathrm d}{\mathrm dt}F(a(t),b(t),t)，由多元链式法则（4.2 节，此处按一元情形直接算）：

三个偏导分别计算：

• \dfrac{\partial F}{\partial v}=f(v,t)，\dfrac{\partial F}{\partial u}=-f(u,t) —— 由 FTC I（上下限求导，注意下限带负号，因 \int_u^v=-\int_v^u）。
• \dfrac{\partial F}{\partial t}=\displaystyle\int_u^v\frac{\partial f}{\partial t}(x,t)\mathrm dx —— 需要「极限与积分交换次序」的合法性：

由一元 Lagrange 中值定理，括号内 =\frac{\partial f}{\partial t}(x,t+\theta_x h)，\theta_x\in(0,1)（依赖 x）。因 \partial f/\partial t 在紧集上一致连续，h\to0 时被积函数一致收敛到 \partial f/\partial t(x,t)，故可交换极限与积分（有界收敛）。

代入 u=a(t)，v=b(t) 即得。\blacksquare

特例记忆：

例题 3.4（用 Leibniz 法则求「无法用初等函数表示」的积分）。 求 I(\alpha)=\displaystyle\int_0^{\pi/2}\log(1+\alpha\tan^2x)\,\mathrm dx？改用更清晰的经典例：

注意 \partial_t\left[\dfrac{x^t-1}{\log x}\right]=\dfrac{x^t\log x}{\log x}=x^t，于是

又 I(0)=\int_0^1\frac{1-1}{\log x}\mathrm dx=0，故

验证：t=1 时 I(1)=\int_0^1\frac{x-1}{\log x}\mathrm dx=\log2\approx0.6931（此积分无初等原函数，但值可精确给出）。\blacksquare

「对参数求导」这一技巧（Feynman 技巧）是机器学习里许多恒等式的源头：

这就是 5.10 节 log-derivative trick（REINFORCE）的起点，也是 7.9 节重参数化技巧的对立面。Leibniz 法则保证这个交换在 \nabla_\theta p_\theta 被可积函数控制时合法（支配收敛定理），这在实践中对应「score 函数有界或次高斯增长」的条件。

定理 3.22（Reynolds 输运定理，多元推广，5.10 节将用到）。 对随时间运动的区域 \Omega(t)，其边界以速度场 v 运动：

由高斯散度定理可写成 \dfrac{\mathrm d}{\mathrm dt}\int_\Omega f=\int_\Omega\left[\partial_tf+\nabla\cdot(fv)\right]\mathrm dx。这正是连续 normalizing flow 的瞬时变量替换公式（5.10 节）与流体力学连续性方程的共同数学基础。

3.9 概率视角：期望、矩与矩生成函数

期望作为积分（LOTUS）。 对连续随机变量 X 有密度 p，任意可测 g：

关键性质：\mathbb E[g(X)]\ne g(\mathbb E[X])，除非 g 仿射或 X 退化。 差值由 Jensen 不等式（定理 2.18）控制：g 凸时 \mathbb E[g(X)]\ge g(\mathbb E[X])。

方差与协方差的积分推导：

推导（展开平方 + 线性性）：\mathbb E[X^2-2X\mathbb EX+(\mathbb EX)^2]=\mathbb E[X^2]-2(\mathbb EX)^2+(\mathbb EX)^2 ✓。

独立时 \mathrm{Cov}=0（推导：\mathbb E[XY]=\iint xy\,p_X(x)p_Y(y)\mathrm dxdy=\mathbb E X\cdot\mathbb E Y，用 Fubini 分离变量）。

定理 3.23（标准正态的矩）。Z\sim\mathcal N(0,1)，\varphi(z)=\frac1{\sqrt{2\pi}}e^{-z^2/2}，则

推导（分部积分递推，利用 \varphi'(z)=-z\varphi(z)）：

分部积分（u=z^{2n-1}，\mathrm dv=\varphi'(z)\mathrm dz）：

边界项为零因 \varphi 指数衰减。\mathbb E[Z^0]=1，归纳得 (2n-1)!!。奇数阶为零由被积函数奇对称。\blacksquare

核对：\mathbb E[Z^2]=1 ✓，\mathbb E[Z^4]=3 ✓，\mathbb E[Z^6]=15 ✓。

推论 3.24（一般正态的四阶矩与超额峰度）。X=\mu+\sigma Z，展开 (\mu+\sigma Z)^4：

\mu=0 时 \mathbb E[X^4]=3\sigma^4，故超额峰度 \dfrac{\mathbb E[X^4]}{\mathrm{Var}^2}-3=\dfrac{3\sigma^4}{\sigma^4}-3=0——正态分布的超额峰度为零，这是「重尾 vs 轻尾」的基准线（Cauchy 分布峰度不存在，Student-t 在 \nu>4 时为 \frac{6}{\nu-4}）。

定义 3.25（矩生成函数 MGF）。M_X(t)=\mathbb E[e^{tX}]（在包含 $0$ 的区间上有限时）。

推导：e^{tX}=\sum_{n\ge0}\frac{(tX)^n}{n!}，逐项积分（级数一致收敛时可交换）得 M_X(t)=\sum_n\frac{t^n}{n!}\mathbb E[X^n]，与 Taylor 系数比对即得。

独立随机变量和的 MGF 相乘：X\perp Y\Rightarrow M_{X+Y}(t)=M_X(t)M_Y(t)。推导：\mathbb E[e^{t(X+Y)}]=\mathbb E[e^{tX}]\mathbb E[e^{tY}]（独立性使联合期望分解）。这是中心极限定理证明的起点。

定理 3.26（高斯 MGF）。X\sim\mathcal N(\mu,\sigma^2)，则

完整配方推导：

合并指数并配方：

于是

交叉验证（用 MGF 反推矩）：M'(t)=(\mu+\sigma^2t)M(t)，M'(0)=\mu ✓；M''(t)=\sigma^2M(t)+(\mu+\sigma^2t)^2M(t)，M''(0)=\sigma^2+\mu^2 ✓，故 \mathrm{Var}=\sigma^2 ✓。三阶：M'''(0)=3\mu\sigma^2+\mu^3，中心三阶矩 \mathbb E[(X-\mu)^3]=M'''-3\mu M''+2\mu^3=3\mu\sigma^2+\mu^3-3\mu(\sigma^2+\mu^2)+2\mu^3=0 ✓（对称分布偏度为零）。

定义 3.27（特征函数）。\varphi_X(t)=\mathbb E[e^{itX}]。与 MGF 的关系：M_X(t)=\varphi_X(-it)（在两者都存在时）。

优势：|\varphi_X(t)|\le\mathbb E|e^{itX}|=1对一切 t 有限，故特征函数总存在，而 MGF 对 Cauchy、log-normal 等分布不存在。这是重尾分布在机器学习中（稳健回归、金融、异常检测）必须用特征函数而非 MGF 分析的原因。

高斯特征函数：\varphi_X(t)=e^{i\mu t-\sigma^2t^2/2}（把 3.26 的 t 换成 it，M(it)=e^{i\mu t+\sigma^2(it)^2/2}=e^{i\mu t-\sigma^2t^2/2} ✓）。

Cauchy 分布：p(x)=\frac1{\pi\gamma\left[1+\left(\frac{x-x_0}\gamma\right)^2\right]}，特征函数 \varphi(t)=e^{ix_0t-\gamma|t|}（6.6 节用留数证明）。|t| 在 $0$ 处不可导 \Rightarrow均值与方差都不存在。机器学习含义：以 Cauchy 为噪声模型的回归等价于对离群点极不敏感的目标函数；\log(1+r^2) 型损失（Robust/Geman-McClure）的梯度 \frac{2r}{1+r^2} 在 r\to\infty 时趋于 $0$，自动「忽略」离群点，而 MSE 梯度 2r 线性放大离群点影响。

3.10 数值积分：误差阶与蒙特卡洛

复合梯形公式。 将 [a,b] 等分为 n 段，h=(b-a)/n：

误差推导（先算单段，再累加）。 对单段 [x_i,x_{i+1}]，取中点 m，Taylor 展开到四阶：

两端点取平均（奇数阶相消）：\dfrac{f(x_i)+f(x_{i+1})}2=f(m)+\dfrac{h^2}8f''(m)+\dfrac{h^4}{384}f^{(4)}(m)+O(h^6)，故

真值（中点公式的 Taylor 展开，对 \int_{-h/2}^{h/2}f(m+s)\mathrm ds 逐项积分，奇次项为零）：

相减：

（\frac1{24}-\frac18=\frac{1-3}{24}=-\frac{2}{24}=-\frac1{12} ✓。）累加 n 段并用介值性：

即误差 O(h^2)=O(n^{-2})。

复合 Simpson 公式（n 为偶数，每两段一组用抛物线插值）：

误差 O(h^4)=O(n^{-4})。Simpson 对三次多项式精确（验证：对 f=x^3 在 [-h,h] 上，\int=0，S=\frac h3[(-h)^3+4\cdot0+h^3]=0 ✓），因为 f^{(4)}=0。

Richardson 外推： 若已知误差形式 E(h)=Ch^p+O(h^{p+2})，则

推导：T(h)=I+Ch^p，T(h/2)=I+C h^p/2^p，消去 C：2^pT(h/2)-T(h)=I(2^p-1)。这一「用两个粗网格结果构造高精度结果」的思想直接对应扩散模型采样器的构造：DPM-Solver++、Heun 法都是把低阶 ODE 解组合成高阶解，本质是 Richardson 外推在初值问题上的移植。

蒙特卡洛积分。 要算 \int_\Omega f(x)\mathrm dx，取 X_i\overset{iid}\sim q（支撑覆盖 \Omega）：

（无偏性验证：\mathbb E[f(X)/q(X)]=\int\frac{f}{q}q=\int f ✓。）误差：

关键优势：误差阶 N^{-1/2} 与维度 d 无关，而网格法的代价是 O(N^{1/d}) 误差（每维 \sqrt[d]N 个点）——维度灾难。这解释了为什么高维（d>4）积分一律用蒙特卡洛，也解释了深度学习中「用 mini-batch 期望近似全量期望」的合理性与其 O(1/\sqrt B) 的噪声水平。

重要性采样的最优提议分布。

对 q 在 \int q=1 约束下最小化第一项（用 4.8 节 Lagrange 乘子法，或直接由 Cauchy-Schwarz）：

取等 \iff\frac{|f|}{\sqrt q}\propto\sqrt q\iff q^*\propto|f|。结论：最优提议分布正比于被积函数的绝对值，此时方差为零（f\ge0 时）。实践中 q^* 不可采样（需知归一化常数 \int|f|，而那正是要求的量），故取近似形状（如高斯拟合、自适应重要性采样）。

控制变量法。 若有 g 的期望 \mathbb E[g]=\mu_g 已知，构造

无偏（\mathbb E[\hat I_\beta]=\mathbb E f-\beta\cdot0），方差

对 \beta 求导置零：-2\mathrm{Cov}+2\beta\mathrm{Var}(g)=0\Rightarrow\beta^*=\dfrac{\mathrm{Cov}(f,g)}{\mathrm{Var}(g)}，最小方差

（末步用 \rho=\frac{\mathrm{Cov}}{\sigma_f\sigma_g}。）方差缩减因子为 1-\rho^2，故控制变量只在 |\rho| 接近 $1$ 时有效。

机器学习中的控制变量：REINFORCE 的 baseline。 策略梯度估计 \nabla J=\mathbb E_{\tau\sim\pi_\theta}[\nabla\log\pi_\theta(\tau)R(\tau)]，减去 baseline b(s)：

中间项为零的推导（5.10 节将严格证明）：\mathbb E[\nabla_\theta\log\pi_\theta]=\int\pi\nabla\log\pi=\int\nabla\pi=\nabla\int\pi=\nabla1=0。故 baseline 不引入偏差、只降低方差，最优 baseline 为

实践中常用状态价值 V(s) 近似（即 actor-critic 的 advantage A=R-V），这与上面 \beta^* 的加权形式一致。\blacksquare

第四部分 多元微分学与矩阵微积分

4.1 偏导数、方向导数与全微分

定义 4.1（偏导数）。

其中 e_i 为第 i 个单位向量。偏导数就是「固定其余变量的一元导数」，因此第二部分全部法则逐坐标适用。

定义 4.2（方向导数）。 对单位向量 u（\|u\|=1）：

定义 4.3（全微分 / Fréchet 可导）。f 在 x_0 可微 \iff 存在线性映射 A:\mathbb R^n\to\mathbb R^m 使

即 \displaystyle\lim_{h\to0}\frac{\|f(x_0+h)-f(x_0)-Ah\|}{\|h\|}=0。此时 A=J_f(x_0)。

定理 4.4（可微 \Rightarrow 偏导存在且 A 由偏导唯一确定）。

推导：取 h=te_i，则

除以 t 取极限得 \dfrac{\partial f}{\partial x_i}(x_0)=(Ae_i)，即 A 的第 i 列。故 A 唯一。\blacksquare

定理 4.5（偏导连续 \Rightarrow 可微；可微 \Rightarrow 连续）。

可微 \Rightarrow 连续的证明：\lim_{h\to0}[f(x_0+h)-f(x_0)]=\lim_{h\to0}[Ah+o(\|h\|)]=0（A 线性故连续）。\blacksquare

偏导连续 \Rightarrow 可微的证明（n=2 情形，思路清晰且可推广）：

因 f_x 连续，f_x(x+\theta_1h,y+k)=f_x(x,y)+\varepsilon_1(h,k)，\varepsilon_1\to0。代入得

余项估计：|\varepsilon_1h+\varepsilon_2k|\le|\varepsilon_1|\,|h|+|\varepsilon_2|\,|k|\le(|\varepsilon_1|+|\varepsilon_2|)\|h\|_1，而 \|\cdot\|_1\le n\|\cdot\|_2，故为 o(\|(h,k)\|)。\blacksquare

逆命题全部不成立，三个标准反例：

反例 A（偏导存在但不连续，故不可微）：

偏导数：f_x(0,0)=\lim_{h\to0}\frac{f(h,0)-0}{h}=\lim\frac{0}{h}=0（因 f(h,0)=0），同理 f_y(0,0)=0。但沿 y=x：f(x,x)=\frac{x^2}{2x^2}=\frac12\not\to0=f(0,0)，故 f 在 (0,0)不连续，从而不可微。

反例 B（连续、偏导存在，但仍不可微）：

连续性：|f|\le\dfrac{x^2|y|}{x^2+y^2}\le|y|\to0 ✓。偏导：f_x(0,0)=0，f_y(0,0)=0。方向导数（u=(a,b)，a^2+b^2=1）：

若 f 可微，则必有 D_uf=\nabla f\cdot u=f_xa+f_yb=0 对所有 u 成立。但取 u=(\frac1{\sqrt2},\frac1{\sqrt2}) 得 D_uf=\frac12\cdot\frac1{\sqrt2}=\frac1{2\sqrt2}\ne0。方向导数关于 u 不是线性函数（D_{2u}\ne2D_u 的形式检验：a^2b 是 u 的三次齐次函数而非一次），故不可微。\blacksquare

核心判据（务必记住）：可微 \iff 方向导数存在且关于方向线性 \iff 增量可写成 Ah+o(\|h\|)。 检验不可微最快的方法就是算 D_uf 并检查它是否等于 \nabla f\cdot u。

定理 4.6（可微时方向导数公式）。 若 f 在 x_0 可微，则对任意 u：

推导：在定义 4.3 中取 h=tu，\|h\|=|t|：

4.2 多元链式法则、Jacobian 乘法与反向传播

定理 4.7（链式法则）。f:\mathbb R^n\to\mathbb R^m 在 x 可微，g:\mathbb R^m\to\mathbb R^p 在 f(x) 可微，则 g\circ f 在 x 可微且

完整证明（关键是控制余项阶）。 记 y=f(x)，h\in\mathbb R^n，k=f(x+h)-f(x)。由可微性：

复合：

需证后两项为 o(\|h\|)：

• \|J_gr_f\|\le\|J_g\|\,\|r_f\|=\|J_g\|\cdot o(\|h\|)=o(\|h\|)（J_g 是固定矩阵，其算子范数有限）。
• 由 k=J_fh+r_f 得 \|k\|\le(\|J_f\|+1)\|h\|（h 充分小时 \|r_f\|\le\|h\|），故 k\to0，且

其中 \varepsilon(s)\to0（s\to0）。

于是 g\circ f 的线性主部为 J_gJ_f\,h，即 J_{g\circ f}=J_gJ_f。\blacksquare

标量情形的常用形式（m 个中间变量 u_1,\dots,u_m 都依赖 x_1,\dots,x_n）：

例题 4.1（极坐标下的 Laplace 算子，链式法则的经典应用）。 设 u(x,y)，x=r\cos\theta，y=r\sin\theta，求 \dfrac{\partial^2u}{\partial x^2}+\dfrac{\partial^2u}{\partial y^2} 的极坐标形式。

反向 Jacobian：\dfrac{\partial r}{\partial x}=\dfrac{x}{r}=\cos\theta，\dfrac{\partial r}{\partial y}=\sin\theta，\dfrac{\partial\theta}{\partial x}=-\dfrac{y}{r^2}=-\dfrac{\sin\theta}r，\dfrac{\partial\theta}{\partial y}=\dfrac{x}{r^2}=\dfrac{\cos\theta}r。

（验证 \frac{\partial\theta}{\partial x}：\theta=\arctan(y/x)，\frac{\partial\theta}{\partial x}=\frac{1}{1+y^2/x^2}\cdot(-\frac y{x^2})=-\frac{y}{x^2+y^2}=-\frac{y}{r^2} ✓。）

一阶：u_x=u_r\cos\theta-u_\theta\frac{\sin\theta}r，u_y=u_r\sin\theta+u_\theta\frac{\cos\theta}r。

二阶（注意 \cos\theta,\sin\theta,r 都依赖 x，算子要作用两次）：

展开时交叉项 \mp2\frac{\cos\theta\sin\theta}r\partial_r\partial_\theta 相消；\partial_r^2 系数 \cos^2+\sin^2=1；\partial_\theta^2 系数 \frac{\sin^2+\cos^2}{r^2}=\frac1{r^2}；展开中还产生一阶项：第一项作用 \frac{\sin\theta}r 得 -\frac{\cos\theta\sin\theta}{r^2}\partial_\theta 等，与第二项产生的 -\frac{\sin\theta\cos\theta}{r^2}\partial_\theta 合并，同时 \frac{\sin^2\theta}r\partial_r+\frac{\cos^2\theta}r\partial_r=\frac1r\partial_r。最终

验证： 取 u=\log r（二维 Laplace 方程的基本解），u_r=1/r，\frac1r(r\cdot\frac1r)_r=\frac1r\cdot0=0，u_{\theta\theta}=0，故 \Delta\log r=0 ✓。取 u=r^2=x^2+y^2，\Delta u=4（直角坐标直接算 2+2=4 ✓）。

机器学习落点：反向传播就是 Jacobian 乘法的逆序展开。 设网络为 x\to h_1\to\cdots\to h_L\to\mathcal L，则

推导：\frac{\partial\mathcal L}{\partial x} 是行向量 =\frac{\partial\mathcal L}{\partial h_L}J_{h_L}\cdots J_{h_1}；转置即得列向量形式。

这解释了三个关键工程现象：

1. 梯度消失/爆炸 = Jacobian 乘积的谱行为。\|J_1^{\mathsf T}\cdots J_L^{\mathsf T}\|\le\prod\sigma_{\max}(J_\ell)，下界 \ge\prod\sigma_{\min}(J_\ell)。若每层 \sigma_{\max}<1 则指数衰减（消失），>1 则指数增长（爆炸）。残差连接 h_{\ell+1}=h_\ell+F(h_\ell) 使 J_{\ell+1}=I+J_F，谱集中在 $1$ 附近，故深层可训练。
2. 正交初始化使 \sigma_{\max}\approx\sigma_{\min}\approx1，把条件数控制在 O(1)。
3. 梯度裁剪（clip by norm）本质是对乘积范数上界的截断。

4.3 梯度是最速上升方向

定理 4.8。 设 \nabla f(x_0)\ne0。在 \|u\|=1 的约束下，

证明（Cauchy-Schwarz 取等条件）。 由定理 4.6，D_uf=\nabla f^{\mathsf T}u。Cauchy-Schwarz 不等式：

取等 \iff u 与 \nabla f 同向（Cauchy-Schwarz 取等的充要条件是两向量线性相关；证明：对 t 的二次函数 \|\nabla f-tu\|^2\ge0 判别式 \le0，等号成立时判别式为 $0$，即存在 t 使 \nabla f=tu）。取 u=\nabla f/\|\nabla f\| 即达上界。最小值同理由反向取等。\blacksquare

推论 4.9（梯度的三个几何性质）：

1. \nabla f(x_0)\perp 过 x_0 的等值面 \{f=f(x_0)\}。证明：等值面上任一曲线 \gamma(t)，\gamma(0)=x_0，f(\gamma(t))\equiv f(x_0)。求导：\nabla f^{\mathsf T}\gamma'(0)=0。\gamma'(0) 遍历所有切方向，故 \nabla f 垂直于切空间。\blacksquare
2. \|\nabla f(x_0)\| 是方向导数的最大值，即 f 在该点的最大变化率。
3. 沿 -\nabla f 走无穷小步长必使 f 下降（除非已在驻点）。

推论 4.10（一阶下降的定量形式）。 取 u=-\nabla f/\|\nabla f\|，步长 \eta：

推导：由多元 Taylor（4.5 节）f(x+h)=f(x)+\nabla f^{\mathsf T}h+\frac12h^{\mathsf T}Hh+O(\|h\|^3)，取 h=-\eta\nabla f：一阶项 =-\eta\|\nabla f\|^2，二阶项 =\frac{\eta^2}2\nabla f^{\mathsf T}H\nabla f=O(\eta^2)。

由此得局部最优步长（精确线搜索在二次近似下的解）： 最小化 \phi(\eta)=-\eta\|\nabla f\|^2+\frac{\eta^2}2\nabla f^{\mathsf T}H\nabla f，令 \phi'(\eta)=-\|\nabla f\|^2+\eta\,\nabla f^{\mathsf T}H\nabla f=0：

这就是自适应学习率方法的数学原型： 分子是梯度范数平方，分母是「沿梯度方向的曲率」。当该方向曲率大时分母大、步长自动变小。RMSProp/Adam 用 \sqrt{\hat v_t} 替代 \sqrt{\nabla f^{\mathsf T}H\nabla f}（对角近似），自然梯度用 Fisher 矩阵替代 Hessian（7.9 节），K-FAC 用 Kronecker 因子近似——都是这条公式的不同精度/代价折中。

4.4 Hessian 的对称性（Schwarz/Clairaut 定理）

定理 4.11。 若 f_{xy} 与 f_{yx} 都在 (x_0,y_0)连续，则 f_{xy}(x_0,y_0)=f_{yx}(x_0,y_0)。

完整证明。 构造二阶差分

定义 \varphi(s)=f(x_0+h,y_0+s)-f(x_0,y_0+s)，则 \Delta=\varphi(y_0+k)-\varphi(y_0)。对 \varphi 用 Lagrange 中值定理，存在 \eta 介于 y_0 与 y_0+k：

方括号内再对第一个变量用 Lagrange，存在 \theta 介于 x_0 与 x_0+h：

对称地，先定义 \psi(t)=f(x_0+t,y_0+k)-f(x_0+t,y_0)，同样两步得

故 f_{yx}(x_0+\theta,y_0+\eta)=f_{xy}(x_0+\theta',y_0+\eta')。令 (h,k)\to(0,0)，则 \theta,\eta,\theta',\eta'\to0，由两者在 (x_0,y_0) 的连续性取极限得 f_{yx}(x_0,y_0)=f_{xy}(x_0,y_0)。\blacksquare

注意条件不可去： 反例 f(x,y)=\begin{cases}xy\dfrac{x^2-y^2}{x^2+y^2},&(x,y)\ne0\\0,&(x,y)=0\end{cases} 满足 f_{xy}(0,0)=-1\ne1=f_{yx}(0,0)（可逐次用定义计算验证），因二阶混合偏导在 (0,0) 不连续。

意义： Hessian 对称 \Rightarrow 特征值全为实数、可正交对角化 H=Q\Lambda Q^{\mathsf T}。这使得「曲率分析」「主方向」「条件数」等概念在深度学习中可用（如 Hessian-free 优化中的共轭梯度只需 Hessian-向量积，不需显式 Hessian）。

4.5 多元 Taylor 公式

定理 4.12。 设 f:\mathbb R^n\to\mathbb R 在 x 的邻域内有 k+1 阶连续偏导，则对 h\in\mathbb R^n：

紧凑形式：f(x+h)=\displaystyle\sum_{m=0}^{k}\frac1{m!}(h\cdot\nabla)^mf(x)+\frac1{(k+1)!}(h\cdot\nabla)^{k+1}f(x+\theta h)，其中 (h\cdot\nabla)^m=\underbrace{\left(\sum_ih_i\partial_i\right)\cdots\left(\sum_ih_i\partial_i\right)}_{m}。

推导（化归一元，最标准也最不易错）。 定义 \varphi(t)=f(x+th)，t\in[0,1]。则 \varphi(1)=f(x+h)，\varphi(0)=f(x)，对 \varphi 用一元 Taylor 定理 2.14。

计算各阶导数（反复用链式法则）：

代入一元 Taylor（t=0 展开到 t=1）：

即得定理。\blacksquare

二阶展开的算子形式（优化中最常用）：

用它重新推导三种优化算法：

1. 梯度下降：忽略二阶项（或把 H 近似为 L I），最小化 f+\nabla f^{\mathsf T}h+\frac L2\|h\|^2 关于 h：\nabla f+Lh=0\Rightarrow h^*=-\frac1L\nabla f，即步长 \eta=1/L 的梯度下降。这把「学习率」解释为「Hessian 的标量近似 \frac1\eta I」。
2. Newton 法：完整二阶近似，\nabla f+Hh=0\Rightarrow h^*=-H^{-1}\nabla f。
3. 自然梯度（7.9 节）：把欧氏度量 \|h\|^2 换成 Fisher 度量 h^{\mathsf T}Fh，最小化 \nabla f^{\mathsf T}h+\frac12h^{\mathsf T}Fh 得 h^*=-F^{-1}\nabla f。

统一视角：三种方法都是「在某个度量下对局部二次模型求精确最小值」，区别只在度量矩阵的选择 L I / H / F。 而 Adam 类方法用的是 \mathrm{diag}(\hat v_t)，即对角度量。

4.6 隐函数定理、反函数定理与隐式微分

定理 4.13（反函数定理）。 设 f:\mathbb R^n\to\mathbb R^n 为 C^1，J_f(x_0) 可逆，则存在 x_0 的邻域 U 与 f(x_0) 的邻域 V，使 f:U\to V 为双射，f^{-1}\in C^1(V)，且

推导（公式部分，存在性部分需压缩映射论证）： 由恒等式 f^{-1}(f(x))=x 两侧求导，用链式法则：

定理 4.14（隐函数定理）。 设 F:\mathbb R^{n+m}\to\mathbb R^m 为 C^1，F(x_0,y_0)=0，且 F_y(x_0,y_0)\in\mathbb R^{m\times m} 可逆。则存在 x_0 的邻域与唯一的 C^1 函数 y=y(x) 满足 y(x_0)=y_0，F(x,y(x))=0，且

推导。 对恒等式 F(x,y(x))\equiv0 关于 x 求全导，用链式法则（y 是 x 的函数）：

形状核对（必须做，这是最容易错的地方）：F_x\in\mathbb R^{m\times n}，F_y\in\mathbb R^{m\times m}，F_y^{-1}F_x\in\mathbb R^{m\times n}，而 \frac{\partial y}{\partial x} 应为「m 个 y 分量对 n 个 x 分量」即 m\times n ✓。

标量情形（n=m=1）：\dfrac{\mathrm dy}{\mathrm dx}=-\dfrac{F_x}{F_y}，与 2.4 节一致 ✓。

例题 4.2（隐式微分求超梯度）。 设内层问题 z^*(\theta)=\arg\min_z g(z,\theta)，外层损失 \mathcal L=f(z^*(\theta),\theta)，求 \frac{\mathrm d\mathcal L}{\mathrm d\theta}。

步骤 1： 内层最优性条件 \nabla_zg(z^*(\theta),\theta)=0。定义 F(\theta,z)=\nabla_zg(z,\theta)，则 F(\theta,z^*(\theta))=0，可用隐函数定理：

步骤 2： 外层链式法则：

关键工程意义：不需要显式求 \frac{\partial z^*}{\partial\theta}（那是 n_z\times n_\theta 的大矩阵）。 只需解一个线性方程组

代价为一次共轭梯度求解（只需 Hessian-向量积）+ 一次反向传播。这就是 hyperparameter optimization、MAML 隐式版（FOMAML/ANIL）、最优层（OptNet）、Deep Equilibrium Models 的共同数学骨架。

例题 4.3（DEQ 的隐式梯度）。 设 z^*=f_\theta(z^*,x)（不动点定义，如无限深权重共享网络），损失 \mathcal L=\ell(z^*)。

定义 F(z,\theta)=f_\theta(z,x)-z=0。则 F_z=\frac{\partial f_\theta}{\partial z}-I，F_\theta=\frac{\partial f_\theta}{\partial\theta}，代入隐函数公式：

于是

收敛条件： 不动点迭代 z_{k+1}=f_\theta(z_k,x) 收敛要求 \left\|\frac{\partial f_\theta}{\partial z}\right\|<1（谱半径 <1，见 6.9 节），此时 (I-f_z)^{-1}=\sum_{k\ge0}f_z^k 为 Neumann 级数，可用截断近似——这就是「隐式深度」把无限层的显存开销压缩为常数的数学根据。\blacksquare

定理 4.15（条件极值中的隐函数视角）。 Lagrange 乘子 \lambda 的解释是影子价格：在约束 g(x)=c 下 \max f，记最优值 V(c)，则

推导（包络定理）。 设 x^*(c)，\lambda^*(c) 为 KKT 解，V(c)=f(x^*(c))。对 c 求导：

由平稳性 \nabla f=\lambda\nabla g：

对约束 g(x^*(c))\equiv c 求导：\nabla g^{\mathsf T}\frac{\mathrm dx^*}{\mathrm dc}=1。代入得 \frac{\mathrm dV}{\mathrm dc}=\lambda。\blacksquare

机器学习含义： weight decay 系数 \lambda 是「范数约束预算」的影子价格；SVM 中的 \alpha_i 是「第 i 个样本的分类间隔预算」的影子价格，\alpha_i=0 表示该约束不紧（非支持向量），这正是稀疏性来自互补松弛条件的经济学解释。

4.7 多元极值的判别

定理 4.16（必要条件）。f 在内部点 x^* 取局部极值且可微，则 \nabla f(x^*)=0。

证明：对每个 i，一元函数 \psi_i(t)=f(x^*+te_i) 在 t=0 取极值，由 Fermat 引理 \psi_i'(0)=\partial_if(x^*)=0。\blacksquare

定理 4.17（二阶充分条件）。 设 \nabla f(x^*)=0。

• 若 H_f(x^*)\succ0（正定），则 x^* 为严格局部极小点；
• 若 H_f(x^*)\prec0，则严格局部极大；
• 若 H_f(x^*) 不定（有正有负特征值），则 x^* 为鞍点；
• 若 H_f(x^*) 半定，判别失效。

证明（正定情形）。H\succ0\Rightarrow\lambda_{\min}(H)=\mu>0。由 Taylor 二阶展开与 H 的连续性，存在邻域使 \lambda_{\min}(H(x))\ge\mu/2，于是

（末步用 h^{\mathsf T}Hh\ge\lambda_{\min}\|h\|^2，这是 Rayleigh 商的界：\min_{\|v\|=1}v^{\mathsf T}Hv=\lambda_{\min}，由谱定理 H=Q\Lambda Q^{\mathsf T} 得 v^{\mathsf T}Hv=\sum\lambda_i(Q^{\mathsf T}v)_i^2\ge\lambda_{\min}\sum(Q^{\mathsf T}v)_i^2=\lambda_{\min} ✓。）\blacksquare

鞍点的存在性（深度学习的核心事实）。 对 n 维问题，驻点处 H 的 n 个特征值各以约 1/2 概率为正或负（随机矩阵模型），故

且鞍点处最小负特征值方向可下降，梯度下降（带噪声，如 SGD）会自动逃离。这解释了为什么十亿参数网络的训练能成功——高维损失曲面的「坏」驻点几乎都是鞍点而非局部极小。

二元函数的行列式判据（Sylvester 判据的特例）。H=\begin{pmatrix}A&B\\B&C\end{pmatrix}：

推导：特征值满足 \lambda^2-(A+C)\lambda+(AC-B^2)=0，判别式 (A+C)^2-4(AC-B^2)=(A-C)^2+4B^2\ge0（总有实根 ✓）。两根之积 =AC-B^2，两根之和 =A+C。故 AC-B^2>0 时两根同号，再由 A+C 定正负；AC-B^2<0 时异号（鞍点）✓。

Sylvester 判据（一般 n）： 对称矩阵 A\succ0\iff 所有顺序主子式\det A_k>0（k=1,\dots,n，A_k 为左上 k\times k 子块）。A\prec0\iff(-1)^k\det A_k>0。

4.8 Lagrange 乘子法与 KKT 条件

定理 4.18（等式约束的一阶必要条件）。 问题 \min f(x) s.t. g_j(x)=0，j=1,\dots,p。若 x^* 为局部最优且 \nabla g_1,\dots,\nabla g_p 在 x^* 处线性无关（LICQ），则存在 \lambda_1,\dots,\lambda_p：

完整推导（几何 + 线性代数，两步）。

步骤 1（切空间上的方向导数为零）。 设 v 满足 \nabla g_j(x^*)^{\mathsf T}v=0 对所有 j（即 v 在约束流形的切空间中）。若存在光滑曲线 \gamma(t)\subset\{g=0\}，\gamma(0)=x^*，\gamma'(0)=v（LICQ 保证隐函数定理可构造），则 \phi(t)=f(\gamma(t)) 在 t=0 取局部极小，故 \phi'(0)=\nabla f(x^*)^{\mathsf T}v=0。

步骤 2（正交补的刻画）。 结论：\nabla f 垂直于 N=\{v:\ \nabla g_j^{\mathsf T}v=0\ \forall j\} 中所有向量，即 \nabla f\in N^\perp。而

（有限维空间中 (W^\perp)^\perp=W）。故 \nabla f=\sum_j\mu_j\nabla g_j，取 \lambda_j=-\mu_j。\blacksquare

等价形式（Lagrangian 驻点）： 定义 \mathcal L(x,\lambda)=f(x)+\sum_j\lambda_jg_j(x)，则条件为

即把约束优化转化为无约束优化的驻点问题，多出的变量 \lambda 由 \nabla_\lambda\mathcal L=0 自动恢复约束。

定理 4.19（KKT 条件，含不等式约束）。 问题

若 x^* 为局部最优且满足某约束品性（如 LICQ），则存在 \mu_i\ge0，\lambda_j 使

推导（从等式情形的推广）。 记活跃集 A(x^*)=\{i:\ g_i(x^*)=0\}；对 i\notin A 有 g_i(x^*)<0，由连续性在邻域内仍 <0，故该约束局部不起作用，\mu_i=0（自动满足互补松弛）。对活跃约束，可行方向 v 需满足 \nabla g_i^{\mathsf T}v\le0（i\in A，不能使 g_i 增大到正）与 \nabla h_j^{\mathsf T}v=0。最优性要求 \nabla f^{\mathsf T}v\ge0 对所有这样的 v（否则可下降）。由 Farkas 引理（线性不等式的择一定理），这等价于存在 \mu_i\ge0、\lambda_j 使 \nabla f=-\sum_{i\in A}\mu_i\nabla g_i-\sum_j\lambda_j\nabla h_j。对 i\notin A 取 \mu_i=0 即得完整形式。\blacksquare

对偶函数与弱/强对偶。 定义

弱对偶的推导： 对任意可行 x（g_i(x)\le0，h_j(x)=0）与 \mu\ge0：

取下确界：\theta(\mu,\lambda)\le\mathcal L(x,\mu,\lambda)\le f(x)。对 x 取上确界（可行域内）得 \theta\le p^*，再对 (\mu,\lambda) 取上确界得 d^*\le p^*。\blacksquare

强对偶（d^*=p^*）的充分条件： 原问题凸（f,g_i 凸，h_j 仿射）且满足 Slater 条件（存在严格可行点 g_i(\tilde x)<0 对所有非仿射 i）。凸性 + Slater ⇒ KKT 是最优的充要条件，这是 SVM、逻辑回归等凸模型可用对偶求解的理论基础。

对偶间隙（duality gap）：p^*-d^*=\sum_i\mu_ig_i(x^*) 在强对偶时为零——即互补松弛条件的另一种表述。

实例 A：SVM 对偶问题的完整推导

原问题（硬间隔）：

（\frac12\|w\|^2 最小化 \iff 间隔 \frac2{\|w\|} 最大化；几何间隔推导：点到超平面 \{w^{\mathsf Tx}+b=0\} 的距离为 \frac{|w^{\mathsf Tx}+b|}{\|w\|}，由约束分子 \ge1，故最小距离 \ge\frac1{\|w\|}，两支持超平面间距 \frac2{\|w\|}。）

改写为标准形式：g_i(w,b)=1-y_i(w^{\mathsf T}x_i+b)\le0。

Lagrangian：

步骤 1（对 w 求偏导并置零）：

步骤 2（对 b 求偏导并置零）：

步骤 3（代回 Lagrangian 消去 w,b）。 逐项替换：

合并：

对偶问题：

这是关于 \alpha 的凹二次规划（Hessian 为 -Y K Y，其中 K_{ij}=x_i^{\mathsf Tx}_j 为 Gram 矩阵半正定，故 Hessian 半负定 ✓）。

核技巧： 对偶中 x 只以 x_i^{\mathsf T}x_j 内积形式出现，替换为核函数 K(x_i,x_j) 即得非线性 SVM。决策函数：

互补松弛的作用：\alpha_i[1-y_i(w^{\mathsf T}x_i+b)]=0，故

• \alpha_i=0：样本不贡献于 w^*（非支持向量）；
• \alpha_i>0：必有 y_i(w^{\mathsf T}x_i+b)=1（恰在间隔边界上，支持向量）。

这给出 SVM 的稀疏性：解只依赖支持向量。 又 0\le\alpha_i\le C（软间隔情形，因 \frac{\partial\mathcal L}{\partial\xi_i}=C-\alpha_i=0 给出 \alpha_i\le C），\alpha_i=C 的样本可在间隔内或被误分。b 由任一 0<\alpha_i<C 的支持向量解出：b=y_i-w^{\mathsf T}x_i。

实例 B：最大熵原理导出 softmax

问题： 在 K 个类别上求分布 p=(p_1,\dots,p_K)，最大化熵

Lagrangian：

对 p_i 求偏导：\frac{\partial}{\partial p_i}(-p_i\log p_i)=-(\log p_i+1)，故

取指数：

用归一化约束确定 e^{\lambda-1}：\sum_ip_i=1 给

于是

特例（M=K，特征为指示函数 f_k(i)=\mathbb 1[i=k]）：\sum_k\mu_kf_k(i)=\mu_i，令 z_i=\mu_i：

这是 softmax 的第一性原理推导：softmax 是「满足给定特征期望的分布中熵最大者」。 推论：

1. softmax 的 logits z 本质是约束对应的 Lagrange 乘子，即特征的「价格」；
2. 交叉熵损失 -\sum y_i\log p_i 是负对数似然 = 负熵 + KL 项（4.12 节展开）；
3. 温度 \tau：p_i\propto e^{z_i/\tau} 对应把特征约束 \hat f 按比例缩放的解；\tau\to0 时熵正则权重趋于 $0$，解退化为 argmax（与 1.3 节例题 1.3 的极限一致 ✓）。

实例 C：给定一、二阶矩的最大熵分布是高斯

问题：

变分求解（严格处理见 7.4 节 Euler-Lagrange；此处按泛函导数）：

可积性要求 \lambda_2<0。 配方：设 \lambda_2=-a（a>0），

与高斯标准形式 -\frac{(x-m)^2}{2s^2} 比较：a=\frac1{2s^2}，m=\frac{\lambda_1}{2a}=\lambda_1s^2。由约束 \int xp=\mu 得 m=\mu；由 \int x^2p=\mu^2+\sigma^2 得 \mathrm{Var}=\sigma^2，即 s^2=\sigma^2。故

验证 Z：p=\exp\left(-\frac{(x-\mu)^2}{2\sigma^2}+\frac{\mu^2}{2\sigma^2}-\log Z\right)，积分为 $1$ 要求 \frac{Z}{\sqrt{2\pi\sigma^2}}=\exp\left(\frac{\mu^2}{2\sigma^2}\right) ✓（与上面一致）。

最大熵值：

定理（最大熵上界）： 对任意均值为 \mu、方差为 \sigma^2 的分布 q，

取等 \iff q 为高斯。

证明（用 KL 非负性，一步到位）： 令 p=\mathcal N(\mu,\sigma^2)，则

故 H(q)\le\frac12+\frac12\log(2\pi\sigma^2)=\frac12\log(2\pi e\sigma^2)。\blacksquare

机器学习含义：

• 高斯是「给定二阶统计量下最不确定的分布」，故用高斯做先验/近似（如高斯过程、VAE 的后验近似、Laplace 近似）是「最少额外假设」的选择；
• 变分近似总是低估熵：用 q 近似 p 时 H(q)\le H(p)（当两者同方差），故 ELBO 的熵项是保守的；
• 多维推广：给定均值向量与协方差矩阵 \Sigma 的最大熵分布是 \mathcal N(\mu,\Sigma)，熵为 \frac12\log\det(2\pi e\Sigma)=\frac d2\log(2\pi e)+\frac12\log\det\Sigma——这就是高斯过程中「最大化 \log\det\Sigma」项的来源（5.10 节与 4.9 节的 \frac{\partial\log\det A}{\partial A}=A^{-{\mathsf T}} 在此发挥作用）。\blacksquare

4.9 矩阵微积分：全部公式的推导

统一方法论（微分形式法）。 所有矩阵导数都可用同一套流程推出，无需记忆：

1. 写出 f 的全微分 \mathrm df；
2. 把它整理成 \mathrm df=\mathrm{tr}(G^{\mathsf T}\mathrm dX) 或 \mathrm df=g^{\mathsf T}\mathrm dx 的形式；
3. 读出 \nabla_Xf=G 或 \nabla_xf=g。

这套方法之所以可靠，是因为它建立在两个恒等式上：

循环性的证明：\mathrm{tr}(AB)=\sum_i(AB)_{ii}=\sum_{i,j}A_{ij}B_{ji}=\sum_{j,i}B_{ji}A_{ij}=\sum_j(BA)_{jj}=\mathrm{tr}(BA)。\blacksquare

内积式的证明：\mathrm{tr}(A^{\mathsf T}B)=\sum_i(A^{\mathsf T}B)_{ii}=\sum_i\sum_j(A^{\mathsf T})_{ij}B_{ji}=\sum_{i,j}A_{ji}B_{ji}=\sum_{p,q}A_{pq}B_{pq}（换指标）✓。

(1) \nabla_x(a^{\mathsf T}x)=a，\nabla_x(x^{\mathsf Ta})=a。

推导：\mathrm d(a^{\mathsf Tx})=a^{\mathsf T}\mathrm dx，读出 g=a ✓。

(2) \nabla_x(x^{\mathsf T}Ax)=(A+A^{\mathsf T})x；A 对称时 =2Ax。

推导（乘积法则用于双线性型）：

第一项是标量，标量等于其转置：(\mathrm dx)^{\mathsf T}Ax=\left[x^{\mathsf TA^{\mathsf T}}\mathrm dx\right]^{\mathsf T}{}^{\mathsf T}，准确地说 (\mathrm dx)^{\mathsf T}Ax 是 1\times1 矩阵，其转置为 x^{\mathsf TA^{\mathsf T}}\mathrm dx，而标量的转置等于自身，故

与 g^{\mathsf T}\mathrm dx 比较得 g=(A+A^{\mathsf T})x ✓。若 A=A^{\mathsf T} 则 g=2Ax ✓。

分量验证：\frac{\partial}{\partial x_k}\sum_{i,j}A_{ij}x_ix_j=\sum_j A_{kj}x_j+\sum_iA_{ik}x_i=(Ax)_k+(A^{\mathsf Tx})_k ✓。

(3) \nabla_x\|x\|^2=2x，\nabla_x\|x\|=\dfrac{x}{\|x\|}（x\ne0）。

推导：\|x\|^2=x^{\mathsf T}Ix，用 (2) 取 A=I 得 2Ix=2x ✓。第二个用链式法则：\mathrm d\|x\|=\mathrm d(x^{\mathsf Tx})^{1/2}=\frac12(x^{\mathsf Tx})^{-1/2}\cdot2x^{\mathsf T}\mathrm dx=\frac{x^{\mathsf T}}{\|x\|}\mathrm dx，故 \nabla=\frac{x}{\|x\|} ✓。

(4) \nabla_A\mathrm{tr}(AB)=B^{\mathsf T}，\nabla_A\mathrm{tr}(A^{\mathsf TB})=B，\nabla_A\mathrm{tr}(A)=I。

推导：\mathrm d\,\mathrm{tr}(AB)=\mathrm{tr}(\mathrm dA\cdot B)=\mathrm{tr}(B\,\mathrm dA)（循环性）=\mathrm{tr}((B^{\mathsf T})^{\mathsf T}\mathrm dA)，故 G=B^{\mathsf T} ✓。

第二个：\mathrm d\,\mathrm{tr}(A^{\mathsf TB})=\mathrm{tr}((\mathrm dA)^{\mathsf TB})。注意 \mathrm{tr}((\mathrm dA)^{\mathsf TB})=\langle \mathrm dA,B\rangle_F=\mathrm{tr}(B^{\mathsf T}\mathrm dA)（由内积式：\mathrm{tr}(X^{\mathsf TY})=\langle X,Y\rangle，取 X=\mathrm dA，Y=B），故 G=B ✓。

分量验证：\mathrm{tr}(A^{\mathsf TB})=\sum_{i,j}A_{ij}B_{ij}，\frac{\partial}{\partial A_{kl}}=B_{kl} ✓。

识别规则（微分形式法的唯一难点：\mathrm dA 与 \mathrm dA^{\mathsf T} 必须分别处理）。 由两个基本等式

（第一式的验证：\mathrm{tr}(G^{\mathsf T}\mathrm dA)=\sum_{i,j}(G^{\mathsf T})_{ij}(\mathrm dA)_{ji}=\sum_{i,j}G_{ji}\mathrm dA_{ji}，换指标即得；第二式的验证：\mathrm{tr}(X\mathrm dA^{\mathsf T})=\sum_i(X\mathrm dA^{\mathsf T})_{ii}=\sum_{i,j}X_{ij}(\mathrm dA^{\mathsf T})_{ji}=\sum_{i,j}X_{ij}\mathrm dA_{ij}。）

比较 \mathrm dA_{ij} 的系数即得两条互逆规则：

等价地，\mathrm{tr}(X\mathrm dA)=\mathrm{tr}((X^{\mathsf T})^{\mathsf T}\mathrm dA)，\mathrm{tr}(X\mathrm dA^{\mathsf T})=\mathrm{tr}(X^{\mathsf T}\mathrm dA)。

回验前面的结果（规则自洽性检查）：

• \mathrm d\,\mathrm{tr}(AB)=\mathrm{tr}(\mathrm dA\cdot B)=\mathrm{tr}(B\,\mathrm dA)，形如 \mathrm{tr}(X\mathrm dA) 且 X=B，故 \nabla_A=B^{\mathsf T} ✓（与 (4) 一致）。
• \mathrm d\,\mathrm{tr}(A^{\mathsf TB})=\mathrm{tr}(\mathrm dA^{\mathsf T}B)=\mathrm{tr}(B\,\mathrm dA^{\mathsf T})，形如 \mathrm{tr}(X\mathrm dA^{\mathsf T}) 且 X=B，故 \nabla_A=B ✓。
• \mathrm d(x^{\mathsf T}Ax)=x^{\mathsf T}(A+A^{\mathsf T})\mathrm dx，形如 g^{\mathsf T}\mathrm dx，故 \nabla_x=(A+A^{\mathsf T})x ✓（与 (2) 一致）。

(5) \nabla_A\mathrm{tr}(ABA^{\mathsf TC})=C^{\mathsf T}AB^{\mathsf T}+CAB。

推导（用乘积法则分两项，再各用识别规则）：

• 第一项已是 \mathrm{tr}(X\mathrm dA) 形式（X=BA^{\mathsf TC}，用循环性 \mathrm{tr}(\mathrm dA\,BA^{\mathsf TC})=\mathrm{tr}(BA^{\mathsf TC}\mathrm dA)），故贡献 \nabla=(BA^{\mathsf TC})^{\mathsf T}=C^{\mathsf T}AB^{\mathsf T}。
• 第二项用循环性移成 \mathrm{tr}(CAB\,\mathrm dA^{\mathsf T})，是 \mathrm{tr}(X\mathrm dA^{\mathsf T}) 形式（X=CAB），故贡献 \nabla=CAB。

合并得 \nabla_A\mathrm{tr}(ABA^{\mathsf TC})=C^{\mathsf T}AB^{\mathsf T}+CAB。

三重验证：

1. B=I,\ C=I：\mathrm{tr}(AA^{\mathsf T})=\|A\|_F^2=\sum_{ij}A_{ij}^2，公式给 A\cdot I+I\cdot A=2A；直接算 \frac{\partial}{\partial A_{kl}}\sum_{ij}A_{ij}^2=2A_{kl} ✓。
2. C=I：\nabla_A\mathrm{tr}(ABA^{\mathsf T})=AB^{\mathsf T}+AB；B 对称时 =2AB ✓。
3. 分量法独立复核 (2)：\mathrm{tr}(ABA^{\mathsf T})=\sum_{i,j,k}A_{ij}B_{jk}A_{ik}（推导：\mathrm{tr}(ABA^{\mathsf T})=\sum_i(ABA^{\mathsf T})_{ii}=\sum_{i,k}(AB)_{ik}(A^{\mathsf T})_{ki}=\sum_{i,j,k}A_{ij}B_{jk}A_{ik} ✓）。对 A_{pq} 求偏导，两个含 A_{pq} 的位置分别给

与规则法完全一致。\blacksquare

(6) Jacobi 公式：\dfrac{\mathrm d}{\mathrm dt}\det A(t)=\det A(t)\cdot\mathrm{tr}\!\left(A(t)^{-1}\dfrac{\mathrm dA}{\mathrm dt}\right)，即 \mathrm d(\det A)=\det A\cdot\mathrm{tr}(A^{-1}\mathrm dA)。

引理：\det(I+\varepsilon B)=1+\varepsilon\,\mathrm{tr}(B)+O(\varepsilon^2)。

引理的证明（用行列式的排列展开）：

• \sigma=\mathrm{id}：\prod_i(1+\varepsilon B_{ii})=1+\varepsilon\sum_iB_{ii}+O(\varepsilon^2)=1+\varepsilon\,\mathrm{tr}(B)+O(\varepsilon^2)。
• \sigma 为对换 (i\ j)：\mathrm{sgn}=-1，乘积中 \varepsilon B_{ij}\cdot\varepsilon B_{ji}\cdot\prod_{k\ne i,j}1=O(\varepsilon^2)。
• 其他非恒等 \sigma：至少两个 i 使 \sigma(i)\ne i，对应因子取 \varepsilon B_{i\sigma(i)}，故为 O(\varepsilon^2)；若某个 i 有 \sigma(i)\ne i 却取 \delta_{i\sigma(i)}=0，整项为零。

合计 \det(I+\varepsilon B)=1+\varepsilon\,\mathrm{tr}(B)+O(\varepsilon^2)。\blacksquare

主证明： 设 A 可逆，

对 \varepsilon 在 $0$ 求导：

推论 4.20（\log\det 的导数）。

把它写成 \mathrm{tr}(G^{\mathsf T}\mathrm dA) 形式：\mathrm{tr}(A^{-1}\mathrm dA)=\sum_{i,j}(A^{-1})_{ij}(\mathrm dA)_{ji}；而 \mathrm{tr}(G^{\mathsf T}\mathrm dA)=\sum_{i,j}G_{ij}\mathrm dA_{ij}。令 i\leftrightarrow j 换指标：\sum_{i,j}(A^{-1})_{ji}\mathrm dA_{ij}，比较得 G_{ij}=(A^{-1})_{ji}=(A^{-{\mathsf T}})_{ij}，故

机器学习应用： 高斯过程与多元高斯的对数似然含 -\frac12\log\det\Sigma 项，其对超参数 \theta 的梯度为

配合 -\frac12(x-\mu)^{\mathsf T}\Sigma^{-1}(x-\mu) 的导数 \frac12(x-\mu)^{\mathsf T}\Sigma^{-1}\frac{\partial\Sigma}{\partial\theta}\Sigma^{-1}(x-\mu)（由 (8) 的 \mathrm d(A^{-1}) 规则），构成 GP 超参数学习的完整梯度。

(7) \mathrm d(A^{-1})=-A^{-1}(\mathrm dA)A^{-1}，\dfrac{\mathrm dA^{-1}}{\mathrm dt}=-A^{-1}\dot AA^{-1}。

推导（对 AA^{-1}=I 微分）：(\mathrm dA)A^{-1}+A\,\mathrm d(A^{-1})=0（乘积法则），左乘 A^{-1}：

形状核对：A^{-1}（n\times n）\mathrm dA（n\times n）A^{-1}（n\times n）=n\times n ✓。

例题 4.4（验证）。 标量情形 A=a：\mathrm d(a^{-1})=-a^{-1}(\mathrm da)a^{-1}=-\frac{\mathrm da}{a^2}，即 \frac{\mathrm d}{\mathrm da}(1/a)=-1/a^2 ✓。

(8) \mathrm{vec} 与 Kronecker 积：\mathrm{vec}(AXB)=(B^{\mathsf T}\otimes A)\,\mathrm{vec}(X)。

推导（分量核对）：\mathrm{vec} 按列堆叠，(\mathrm{vec}(Y))_{(j-1)m+i}=Y_{ij}。设 A\in\mathbb R^{m\times n}，X\in\mathbb R^{n\times p}，B\in\mathbb R^{p\times q}，则 AXB\in\mathbb R^{m\times q}：

而 (B^{\mathsf T}\otimes A) 是分块矩阵，其 (j,l) 块为 B^{\mathsf T}_{jl}A=B_{lj}A，故

用途： 把矩阵变量的线性映射变成向量形式的标准矩阵乘法，从而可用 4.9 节的向量微积分规则。相关恒等式：

(9) 二次型的最小化与正规方程。\min_x\ \frac12x^{\mathsf T}Ax-b^{\mathsf Tx}（A\succ0）：

这条公式是几乎所有「闭式解」的母公式：最小二乘、岭回归、高斯后验均值、GP 预测均值、卡尔曼滤波更新，都是它取不同 A,b 的实例。

(10) 常用梯度速查表（均可由上述规则推出，建议用微分法自行复现）：

逐条验证：

• \nabla_X\mathrm{tr}(X^{\mathsf T}AX)：\mathrm d\,\mathrm{tr}(X^{\mathsf T}AX)=\mathrm{tr}(\mathrm dX^{\mathsf T}AX)+\mathrm{tr}(X^{\mathsf TA}\,\mathrm dX)。第一项循环移位成 \mathrm{tr}(AX\,\mathrm dX^{\mathsf T})，按规则贡献 AX；第二项是 \mathrm{tr}(Y\mathrm dX) 且 Y=X^{\mathsf TA}，贡献 Y^{\mathsf T}=A^{\mathsf T}X。合计 (A+A^{\mathsf T})X ✓（与 (2) 的向量版本 A\to X 完全平行）。
• \nabla_X\mathrm{tr}(X^{-1}A)：\mathrm d\,\mathrm{tr}(X^{-1}A)=\mathrm{tr}(\mathrm d(X^{-1})A)=-\mathrm{tr}(X^{-1}\mathrm dX\,X^{-1}A)=-\mathrm{tr}(X^{-1}AX^{-1}\mathrm dX)（循环性把 \mathrm dX 移到末尾），形如 \mathrm{tr}(Y\mathrm dX) 且 Y=-X^{-1}AX^{-1}，故 \nabla=Y^{\mathsf T}=-X^{-{\mathsf T}}A^{\mathsf TX^{-{\mathsf T}}} ✓。
• 标量核对最后一行：取 1\times1，X=x，A=a，则 f=a/x，公式给 -a/x^2，与 \frac{\mathrm d}{\mathrm dx}(a/x)=-a/x^2 ✓。
• \nabla_x\|Ax-b\|^2：\mathrm d\,\|Ax-b\|^2=2(Ax-b)^{\mathsf TA}\,\mathrm dx，故 \nabla=2A^{\mathsf T}(Ax-b) ✓（取 A=X、b=y 即 4.10 的最小二乘梯度）。

4.10 最小二乘、岭回归与贝叶斯对应

定理 4.21（普通最小二乘 OLS）。 给定 X\in\mathbb R^{N\times d}，y\in\mathbb R^N，

一般情形用 Moore-Penrose 伪逆 w^*=X^+y。

完整推导。 展开目标：

（交叉项合并的验证：(Xw)^{\mathsf T}y+y^{\mathsf T}(Xw)=w^{\mathsf TX^{\mathsf T}}y+y^{\mathsf TX}w=2y^{\mathsf TX}w，因两者都是标量且互为转置 ✓。）

求梯度（用 4.9 的 (2) 与 (1)，取 A=X^{\mathsf TX} 对称、a=-2X^{\mathsf Ty}）：

置零得正规方程：

Hessian \nabla^2_w\mathcal L=2X^{\mathsf TX}\succeq0（因 v^{\mathsf TX^{\mathsf TX}}v=\|Xv\|^2\ge0 ✓），故 \mathcal L 凸，驻点即全局最小 ✓。

几何解释（正交投影）： 由 \nabla=0 得 X^{\mathsf T}(Xw^*-y)=0，即残差 r=Xw^*-y 与 X 的列空间正交。故 Xw^* 是 y 到 \mathrm{col}(X) 的正交投影，投影矩阵

（\mathrm{tr}(P)=d 由循环性：\mathrm{tr}(X(X^{\mathsf TX})^{-1}X^{\mathsf T})=\mathrm{tr}((X^{\mathsf TX})^{-1}X^{\mathsf TX})=\mathrm{tr}(I_d)=d。这就是「有效自由度 = 特征数」的严格来源，推广到岭回归得 \mathrm{tr}(X(X^{\mathsf TX}+\lambda I)^{-1}X^{\mathsf T})=\sum_i\frac{\sigma_i^2}{\sigma_i^2+\lambda}<d，即正则化降低有效自由度。）

定理 4.22（岭回归 Ridge）。

推导：\nabla=2X^{\mathsf T}(Xw-y)+2\lambda w=0\Rightarrow(X^{\mathsf TX}+\lambda I)w=X^{\mathsf Ty}。Hessian =2(X^{\mathsf TX}+\lambda I)\succ0（\lambda>0），故解唯一 ✓。

SVD 视角（偏差-方差分解的来源）。 设 X=U\Sigma V^{\mathsf T}，\Sigma=\mathrm{diag}(\sigma_1,\dots,\sigma_r)。则

推导：X^{\mathsf TX}+\lambda I=V\Sigma^2V^{\mathsf T}+\lambda VV^{\mathsf T}=V(\Sigma^2+\lambda I)V^{\mathsf T}，其逆为 V(\Sigma^2+\lambda I)^{-1}V^{\mathsf T}；X^{\mathsf Ty}=V\Sigma U^{\mathsf Ty}，相乘得 V(\Sigma^2+\lambda I)^{-1}\Sigma U^{\mathsf Ty} ✓。

收缩因子 \frac{\sigma_i^2}{\sigma_i^2+\lambda}\in(0,1)：小奇异值方向被强烈压缩（\sigma_i^2\ll\lambda 时趋于 $0$），大奇异值方向几乎不变。这就是岭回归稳定病态问题的机制，也是「主成分回归」「谱截断」的统一视角。

定理 4.23（贝叶斯对应：岭 = 高斯先验 MAP，LASSO = Laplace 先验 MAP）。

推导（岭）。 设 y\mid w\sim\mathcal N(Xw,\sigma^2I)，w\sim\mathcal N(0,\tau^2I)。则

（两项高斯密度的 -\log：-\log\mathcal N(y;Xw,\sigma^2I)=\frac{1}{2\sigma^2}\|y-Xw\|^2+\frac N2\log(2\pi\sigma^2) ✓；-\log\mathcal N(w;0,\tau^2I)=\frac{1}{2\tau^2}\|w\|^2+\frac d2\log(2\pi\tau^2) ✓。）

去掉与 w 无关的常数并乘 2\sigma^2：

结论：\lambda=\sigma^2/\tau^2——正则化强度等于噪声方差与先验方差之比。 先验越紧（\tau 小）或噪声越小（\sigma 大），收缩越强 ✓。

推导（LASSO）。 取 w\sim\prod_i\mathrm{Laplace}(0,b)，p(w)=\frac1{(2b)^d}\exp\left(-\frac{\|w\|_1}{b}\right)，则

Laplace 先验在原点有尖峰（不可导），故后验众数趋于精确为 $0$ ⇒ 稀疏解；高斯先验在原点光滑，故 ridge 只收缩不置零。这是「\ell_1 稀疏性」的贝叶斯解释。\blacksquare

后验协方差（拉普拉斯近似 / 贝叶斯线性回归）。-\log p(w|y) 是关于 w 的二次型：

对照高斯标准形式 \frac12(w-m)^{\mathsf T}\Sigma^{-1}(w-m)，读出

MAP 点 = 后验均值（高斯情形下二者重合，因高斯对称）。

4.11 逻辑回归：从似然到凸性的完整链条

模型：p(y=1\mid x;w)=\sigma(z)，z=w^{\mathsf Tx}，\sigma(z)=\frac1{1+e^{-z}}；p(y=0\mid x)=1-\sigma(z)=\sigma(-z)（验证：1-\frac1{1+e^{-z}}=\frac{e^{-z}}{1+e^{-z}}=\frac1{e^z+1}=\sigma(-z) ✓）。

统一写法：p(y\mid x)=\sigma(z)^y\left(1-\sigma(z)\right)^{1-y}。

对数似然：

化简（关键代数，逐步做）。 用 \log\sigma(z)=-\log(1+e^{-z}) 与 \log(1-\sigma(z))=\log\frac{e^{-z}}{1+e^{-z}}=-z-\log(1+e^{-z})：

再用恒等式 \log(1+e^{-z})=\log(e^{-z}(e^z+1))=-z+\log(1+e^z)：

故

负对数似然 = 二元交叉熵损失：

梯度推导。 需 \frac{\mathrm d}{\mathrm dz}\log(1+e^z)=\frac{e^z}{1+e^z}=\sigma(z)。于是

形式极其简洁：残差 × 特征，与线性回归 \nabla=X^{\mathsf T}(Xw-y) 完全平行——这不是巧合，而是指数族的通用性质：\nabla_\eta\left[-\log p\right]=T(y)-\mathbb E[T]（7.7 节证明）。

Hessian 与凸性证明。

（用 \sigma'=\sigma(1-\sigma)，见 1.8 节。）

证明半正定： 对任意 v\in\mathbb R^d，

故 \mathcal L 凸 ✓。当 X 列满秩时 S\succ0 使 X^{\mathsf T}SX\succ0（v\ne0\Rightarrow Xv\ne0\Rightarrow 至少一项为正），故严格凸，解唯一 ✓。

Newton 法即 IRLS（迭代重加权最小二乘）。 Newton 更新：

可改写为加权最小二乘：令 \tilde z=Xw^{(k)}+S^{-1}(y-\sigma)（工作响应），则 w^{(k+1)}=\arg\min_w(Xw-\tilde z)^{\mathsf TS}(Xw-\tilde z)。验证：该问题的梯度为 2X^{\mathsf TS}(Xw-\tilde z)=0\Rightarrow w=(X^{\mathsf T}SX)^{-1}X^{\mathsf TS}\tilde z=(X^{\mathsf T}SX)^{-1}X^{\mathsf T}(S Xw^{(k)}+y-\sigma)=(X^{\mathsf T}SX)^{-1}X^{\mathsf TS}Xw^{(k)}+(X^{\mathsf T}SX)^{-1}X^{\mathsf T}(y-\sigma)=w^{(k)}+ Newton 步 ✓。

4.12 log-sum-exp、softmax 与凸共轭

定理 4.24。L(x)=\log\sum_{i=1}^Ke^{x_i} 是凸函数，且

梯度推导。 记 S=\sum_je^{x_j}，p_i=e^{x_i}/S：

Hessian 推导（分两种情形）。i=j：

i\ne j：

合并为 \dfrac{\partial p_i}{\partial x_j}=p_i(\delta_{ij}-p_j)，即 H=\mathrm{diag}(p)-pp^{\mathsf T} ✓。

凸性证明（两种方法，都要掌握）。

方法一（Hessian 半正定）： 对任意 v，

其中随机变量 V 以概率 p_i 取值 v_i。取等 \iff V 在 p 支撑上几乎处处为常数 ✓。

方法二（凸性保持运算）：\log 凹且递增，\sum e^{x_i} 凸，但「凹 ∘ 凸」一般不凸——所以要用另一个论证：L(x)=\sup_{p\in\Delta}\left[p^{\mathsf Tx}+H(p)\right]（\Delta 为单纯形，H(p)=-\sum p_i\log p_i），即一族仿射函数的上确界，故凸（见下）。

这个上确界表示式的推导（凸共轭，定理 4.25）：

证明： 内层是无约束最大化（在 \Delta 内部）。对 p_i 求导并用 Lagrange 乘子 \lambda 处理 \sum p_i=1：

即最优 p^*=\mathrm{softmax}(x)。代回目标：

（用 \log p_i^*=x_i-L(x)。）\blacksquare

定理 4.25（凸共轭 / Legendre-Fenchel 变换）。

基本性质与推导：

1. f^* 总是凸的（即使 f 不凸）：f^* 是仿射函数 x\mapsto y^{\mathsf Tx}-f(x)（关于 y 仿射）族的上确界，而任意仿射函数族的上确界凸（证明：\sup_\alpha g_\alpha(\theta x_1+(1-\theta)x_2)\le\sup_\alpha[\theta g_\alpha(x_1)+(1-\theta)g_\alpha(x_2)]\le\theta\sup g_\alpha(x_1)+(1-\theta)\sup g_\alpha(x_2) ✓）。
2. Fenchel-Young 不等式：f(x)+f^*(y)\ge y^{\mathsf Tx}，取等 \iff y\in\partial f(x)。证明：由 f^*(y)=\sup_z[y^{\mathsf Tz}-f(z)]\ge y^{\mathsf Tx}-f(x) ✓。
3. (f^{**}=f 当 f 闭凸（biconjugate 定理）。
4. 导数互逆：若 f 严格凸可微，则 y=\nabla f(x)\iff x=\nabla f^*(y)，且 f(x)+f^*(y)=x^{\mathsf Ty}。

LSE 的共轭就是负熵：

推导： 若无约束地 \sup_x[\theta^{\mathsf Tx}-L(x)]，平稳性给 \theta=\nabla L(x)=\mathrm{softmax}(x)，这要求 \theta\in\Delta（softmax 的值域）；否则上确界为 +\infty（例如 \sum\theta_i>1 时令 x_i=t\to\infty 全部，\theta^{\mathsf Tx}-L(x)=t\sum\theta_i-(t+\log K)\to+\infty）。当 \theta\in\Delta 时按上面定理 4.24 的计算得 \sum\theta_i\log\theta_i ✓。

机器学习意义：

• KL 散度是 Bregman 散度：负熵 \Omega(\theta)=\sum\theta_i\log\theta_i 的 Bregman 散度

即：单纯形上以负熵为势函数的 Bregman 散度恰是 KL 散度——这解释了为什么镜像下降（mirror descent）在单纯形上用 KL 而非欧氏距离，也解释了 multiplicative weights / exponentiated gradient 更新 p_i\propto p_ie^{-\eta g_i} 的来源。

• 交叉熵分解：H(p,q)=-\sum p_i\log q_i=D_{\mathrm{KL}}(p\|q)+H(p)。推导：D_{\mathrm{KL}}(p\|q)=\sum p\log p-\sum p\log q=-H(p)+H(p,q)，移项 ✓。因 H(p) 与模型无关，最小化交叉熵 \iff 最小化 KL，这是分类任务用交叉熵损失的严格理由。

定理 4.26（softmax + 交叉熵的梯度：完美消去）。 设 p=\mathrm{softmax}(z)，\mathcal L=-\sum_ky_k\log p_k（y 为 one-hot 或任意满足 \sum y_k=1 的分布），则

完整推导（两条路径，结果必须一致）。

路径一（直接求导）：

（用 4.24 的 \frac{\partial p_k}{\partial z_j}=p_k(\delta_{kj}-p_j)）

路径二（用 LSE，更快）： 由 \log p_k=z_k-L(z)，

这条结果的美妙之处： softmax 的指数「饱和」与交叉熵的 \log 完全抵消，梯度是线性残差p-y，与线性回归 Xw-y 同构。工程后果：

1. 即使 p_j 极小（下溢到 $0），\log p_j$ 的梯度仍良态——必须用 log_softmax 而非 log(softmax(x))，后者在 p_j=0 时得 \log0=-\infty，梯度 NaN；前者用 \log p_j=z_j-L(z) 数值稳定（L 用 1.8 节的减最大值形式）。
2. 三层网络反向传播时输出层梯度就是 p-y，无需单独算 softmax 的 Jacobian（那是 \mathrm{diag}(p)-pp^{\mathsf T}，与 \log 的 \mathrm{diag}(1/p) 相乘后才消去：(\mathrm{diag}(1/p))(\mathrm{diag}(p)-pp^{\mathsf T})=I-\mathbb 1p^{\mathsf T}，再左乘 -y^{\mathsf T} 得 -y^{\mathsf T}+(y^{\mathsf T}\mathbb 1)p^{\mathsf T}=p^{\mathsf T}-y^{\mathsf T} ✓——两条路径在此汇合，交叉验证成功）。\blacksquare

4.13 多元凸性、保凸运算与矩阵指数

定义 4.27。f:C\to\mathbb R（C 凸集）凸 \iff\forall x,y\in C,\ \theta\in[0,1]：

定理 4.28（多元一阶、二阶条件）。

1. f 可微，则 f 凸 \iff f(y)\ge f(x)+\nabla f(x)^{\mathsf T}(y-x)\ \forall x,y。
2. f 二阶可微，则 f 凸 \iff\nabla^2f(x)\succeq0\ \forall x；\mu-强凸 \iff\nabla^2f\succeq\mu I。
3. 限制到直线判据：f 凸 \iff 对任意 x,v，一元函数 g(t)=f(x+tv) 在其定义域上凸。

判据 3 的证明（最有用，因为它把多元问题化为一元）：

(\Rightarrow) g(\theta t_1+(1-\theta)t_2)=f(x+[\theta t_1+(1-\theta)t_2]v)=f(\theta(x+t_1v)+(1-\theta)(x+t_2v))\le\theta f(x+t_1v)+(1-\theta)f(x+t_2v)=\theta g(t_1)+(1-\theta)g(t_2) ✓。

(\Leftarrow) 给定 x,y，取 v=y-x，t_1=1，t_2=0：f(\theta y+(1-\theta)x)=g(\theta\cdot1+(1-\theta)\cdot0)\le\theta g(1)+(1-\theta)g(0)=\theta f(y)+(1-\theta)f(x) ✓。\blacksquare

二阶条件的推导（由判据 3）：g''(t)=v^{\mathsf T}\nabla^2f(x+tv)v（链式法则两次：g'(t)=\nabla f^{\mathsf Tv}，g''(t)=v^{\mathsf T}\nabla^2f\,v ✓）。一元 g 凸 \iff g''\ge0，对所有 x,v 成立 \iff\nabla^2f\succeq0 ✓。

保凸运算（每条都可用定义直接验证）：

关键实例（都出现在深度学习中）：

• \log\sum e^{x_i} 凸（4.24）；\|Ax-b\| 凸（范数凸 + 仿射复合）；x^{\mathsf T}Ax 凸 \iff A\succeq0；
• -\log\det X 在 X\succ0 上凸（Hessian 对应 \mathrm{tr}(X^{-1}VX^{-1}V)\ge0，由 X^{-1/2}VX^{-1/2} 对称故其 Frobenius 范数平方 \ge0 ✓）；
• \|X\|_*（核范数）、\|X\|_F 凸（范数公理）；
• KL 散度 D_{\mathrm{KL}}(p\|q) 关于 (p,q) 联合凸（透视变换 q\cdot(p/q)\log(p/q) 的积分形式），这是变分推断中 ELBO 关于 q 为凹的理论基础；
• 交叉熵关于 logits 凸：\mathcal L(z)=-y^{\mathsf T}z+L(z) 是仿射 + 凸 ✓（4.26 路径二直接给出）。

定义 4.29（矩阵指数）。

（用 \|AB\|\le\|A\|\|B\|，级数绝对收敛故收敛）。

定理 4.30。\dfrac{\mathrm d}{\mathrm dt}e^{At}=Ae^{At}=e^{At}A，且 e^{A(t+s)}=e^{At}e^{As}。

推导（逐项求导，级数在紧区间上一致收敛故可交换）：

注意 e^{A+B}=e^Ae^B 仅当 AB=BA。 一般情形由 Baker-Campbell-Hausdorff 公式：

一阶验证（Trotter 乘积公式的基础）：e^{A/n}e^{B/n}=I+\frac{A+B}n+\frac{(A+B)^2+ [A,B]/1\cdot\frac12}{2n^2}+\cdots，故 \left(e^{A/n}e^{B/n}\right)^n\to e^{A+B}（n\to\infty，误差 O(1/n)）。这是算子分裂（splitting）方法的理论依据，也用于量子力学与 Neural ODE 的 Strang splitting 求解器。

解线性 ODE：\dot x=Ax，x(0)=x_0 的解为 x(t)=e^{At}x_0。验证：\dot x=Ae^{At}x_0=Ax ✓，x(0)=Ix_0=x_0 ✓。

非齐次情形（常数变易法）：\dot x=Ax+Bu(t)，

验证（用 Leibniz 法则 3.21）：

（因 \int_0^tAe^{A(t-\tau)}Bu\,\mathrm d\tau=A\int_0^te^{A(t-\tau)}Bu\,\mathrm d\tau，与第一项合并为 Ax ✓。）

对角化计算法： 若 A=V\Lambda V^{-1}，则 e^{At}=Ve^{\Lambda t}V^{-1}，e^{\Lambda t}=\mathrm{diag}(e^{\lambda_it})。证明：A^k=V\Lambda^kV^{-1}，代入级数 ✓。

机器学习应用：

1. Neural ODE：\dot h=f_\theta(h,t)，其解流 h(t)=\phi_t(h_0) 是「连续深度的残差网络」；线性化后 \dot h=Ah 的解 e^{At}h_0 给出稳定性判据（6.9 节）。
2. 状态空间模型（S4/S5/Mamba）：\dot x=Ax+Bu，y=Cx+Du，离散化用 z 变换与 \bar A=e^{\Delta A}，\bar B=(e^{\Delta A}-I)A^{-1}B（零阶保持 ZOH 的精确离散化）。

\bar B 公式的推导： 设 u(\tau)\equiv u 为常数，在 [0,\Delta] 上积分 x(\Delta)=e^{A\Delta}x_0+\int_0^\Delta e^{A(\Delta-\tau)}Bu\,\mathrm d\tau。对内层积分换元 s=\Delta-\tau：

（\int e^{As}\mathrm ds=A^{-1}e^{As} 的验证：求导得 A\cdot A^{-1}e^{As}=e^{As} ✓。）

1. HiPPO 框架：用 A 的特征结构把历史信号压缩为 Legendre 多项式系数，其 A 矩阵由正交多项式的导数递推关系给出——这是 S4 的数学起点。\blacksquare

第五部分 重积分与曲线曲面积分

5.1 二重积分与 Fubini 定理

定义 5.1。 对矩形 R=[a,b]\times[c,d] 的分割，Darboux 上和/下和的定义与一元完全平行，\iint_Rf 存在 \iff 上、下积分相等。对一般有界区域 D，取包含 D 的矩形 R 并令

定理 5.2（Fubini / 累次积分）。 若 f 在 R 上连续（或更一般地可积），则

对 x-型区域 D=\{(x,y):a\le x\le b,\ g_1(x)\le y\le g_2(x)\}：

几何意义：\iint_Df 是以 D 为底、z=f(x,y) 为顶的曲顶柱体体积；累次积分是「先切薄片算面积，再积分」。

例题 5.1（交换积分次序：把不可积变可积）。 求 \displaystyle\int_0^1\!\!\int_x^1e^{y^2}\,\mathrm dy\,\mathrm dx。

障碍：e^{y^2} 无初等原函数（\int e^{y^2}\mathrm dy 不可表为初等函数，证明需 Liouville 的微分域理论），故先对 y 积分这条路走不通。

换序： 原区域 D=\{0\le x\le1,\ x\le y\le1\}，即 y 从 $0$ 到 $1$，对每个 y 有 x 从 $0$ 到 y：

于是

（内层 x 积分给 y\cdot e^{y^2}，外层凑微分 y\,\mathrm dy=\frac12\mathrm d(y^2) ✓。）\blacksquare

换序的通用步骤： 画区域 → 确定新的外层变量范围 → 对每个外层值确定内层变量的上下界（由边界曲线解出）。

例题 5.2（高斯积分的二维化，回顾 3.6）。\displaystyle\iint_{\mathbb R^2}e^{-(x^2+y^2)}\mathrm dx\mathrm dy=\pi。用直角坐标不可分离（\int e^{-x^2}\mathrm dx 无初等形式），用极坐标立刻可算——这展示了「变量替换的价值在于让被积函数可分离」。

5.2 极坐标与一般变量替换：Jacobian 的推导

定理 5.3（二重积分换元公式）。 设 x=x(u,v)，y=y(u,v) 为 C^1 单射且 Jacobian 行列式在区域内不为零，则

几何推导（面积元的来源，最直观）。 在 (u,v) 平面取小矩形 [\!u,u+\Delta u]\times[v,v+\Delta v]，其像区域近似为由两向量张成的平行四边形：

推导：x(u+\Delta u,v)-x(u,v)\approx\frac{\partial x}{\partial u}\Delta u，y 同理 ✓。

二维平行四边形面积 =|a_1b_2-a_2b_1|（可由「外接矩形减去两个三角形与两个小矩形」验证，或等于 \|\vec a\|\|\vec b\|\sin\angle），故

取极限即得面积元 \mathrm dx\mathrm dy=\left|\dfrac{\partial(x,y)}{\partial(u,v)}\right|\mathrm du\mathrm dv。\blacksquare

极坐标特例：x=r\cos\theta，y=r\sin\theta。

故

直观核对： 极坐标网格单元是「扇环」，径向长 \mathrm dr，角向弧长 r\,\mathrm d\theta，面积 \approx r\,\mathrm dr\,\mathrm d\theta ✓（半径越大，同样角宽度对应更长弧长）。

三重积分的两个常用换元。

柱坐标x=r\cos\theta，y=r\sin\theta，z=z：Jacobian 为

球坐标x=\rho\sin\phi\cos\theta，y=\rho\sin\phi\sin\theta，z=\rho\cos\phi（\phi 为极角，从 z 轴量起）：

展开验证（按第三行 Laplace 展开）：

（第一行方括号：\rho^2\sin\phi\cos\phi(\cos^2\theta+\sin^2\theta)=\rho^2\sin\phi\cos\phi ✓；第二个方括号：\rho\sin^2\phi(\cos^2\theta+\sin^2\theta)=\rho\sin^2\phi ✓。）

故

几何核对：\rho^2\sin\phi\,\mathrm d\phi\,\mathrm d\theta 是球面上立体角元乘 \rho^2（纬度圈半径 \rho\sin\phi，故角向弧长 \rho\sin\phi\,\mathrm d\theta；经向弧长 \rho\,\mathrm d\phi；两者相乘得面积 \rho^2\sin\phi\mathrm d\phi\mathrm d\theta ✓），再乘径向厚度 \mathrm d\rho。

例题 5.3（单位球体积与高维推广）。

表面积 S_2=4\pi（\rho=1 时的球面积分 \int_0^{2\pi}\int_0^\pi\sin\phi\mathrm d\phi\mathrm d\theta=4\pi ✓），且 V_3=\frac13S_2\cdot R 的关系成立 ✓。

d 维球体积（机器学习高维几何的基础）：V_d(R)=\dfrac{\pi^{d/2}}{\Gamma(d/2+1)}R^d。

推导（用高斯积分双向计算）：一方面

另一方面用「球壳分层」：\|x\|=r 的球面面积为 S_{d-1}(r)=d\,V_d(1)r^{d-1}（由 V_d(r)=V_d(1)r^d 对 r 求导得 S=dV_d(1)r^{d-1} ✓），故

内层用 \Gamma：令 t=r^2，r^{d-1}\mathrm dr=\frac12t^{d/2-1}\mathrm dt，得 \frac12\Gamma(d/2)。于是

（用 \Gamma(z+1)=z\Gamma(z)），故 V_d(1)=\dfrac{\pi^{d/2}}{\Gamma(d/2+1)} ✓。

核对：d=1：\frac{\sqrt\pi}{\Gamma(3/2)}=\frac{\sqrt\pi}{\sqrt\pi/2}=2（长度 $2$ ✓）；d=2：\frac{\pi}{\Gamma(2)}=\pi ✓；d=3：\frac{\pi^{3/2}}{\Gamma(5/2)}=\frac{\pi^{3/2}}{\frac32\cdot\frac12\sqrt\pi}=\frac{4\pi}3 ✓。

高维几何的反直觉结论（用 Stirling \Gamma(d/2+1)\sim\sqrt{\pi d}(d/2e)^{d/2}）：V_d(1)\to0 极快（d=10 时 \approx2.55\times10^{-3}）。且半径 $1$ 的球中，厚度 \varepsilon 的外壳占比

即高维球的质量几乎全部集中在表面薄壳内——这是「维度灾难」的几何根源，解释了为什么高维采样困难、为什么高维正态分布的样本几乎都在半径 \sqrt d\sigma 的壳上（\|x\|^2\sim\sigma^2\chi^2_d，\mathrm{Var}/\mathbb E^2=2/d\to0，即测度集中）。

5.3 概率密度变换公式与多元高斯的推导

定理 5.4（变量替换下的密度变换）。 设 X 有密度 p_X，Y=g(X)，g 为 C^1 双射且 \det J_g\ne0，则

完整推导（从概率的定义出发，不是记公式）。 对任意可测集 B：

对右端作换元 x=g^{-1}(y)（即 y=g(x)），区域 g^{-1}(B)\to B，\mathrm dx=\left|\det J_{g^{-1}}(y)\right|\mathrm dy：

由「两个密度在所有可测集上积分相等 \Rightarrow 密度几乎处处相等」，即得结论。\blacksquare

定理 5.5（多元高斯密度的完整推导）。 设 z\sim\mathcal N(0,I_d)，x=\mu+Az，\Sigma=AA^{\mathsf T}\succ0，则

逐步推导。

步骤 1（写出 z 的密度）。 独立标准正态的联合密度由 Fubini 得乘积形式：

步骤 2（求逆变换与其 Jacobian）。g(z)=\mu+Az，g^{-1}(x)=A^{-1}(x-\mu)，

步骤 3（\det A 与 \det\Sigma 的关系）。

步骤 4（二次型的化简）。\|z\|^2=z^{\mathsf T}z，代入 z=A^{-1}(x-\mu)：

而 (A^{-1})^{\mathsf T}A^{-1}=(A^{\mathsf T})^{-1}A^{-1}=(AA^{\mathsf T})^{-1}=\Sigma^{-1}（验证：(AA^{\mathsf T})\left[(A^{-1})^{\mathsf T}A^{-1}\right]=A\left[A^{\mathsf T}(A^{\mathsf T})^{-1}\right]A^{-1}=AIA^{-1}=I ✓）。故

步骤 5（代入密度变换公式）。

核对（d=1）：\Sigma=\sigma^2，p(x)=\frac1{\sqrt{2\pi}\sigma}e^{-(x-\mu)^2/(2\sigma^2)} ✓（与 3.6 一致）。

协方差的验证：\mathrm{Cov}(X)=\mathbb E[(Az)(Az)^{\mathsf T}]=A\mathbb E[zz^{\mathsf T}]A^{\mathsf T}=AIA^{\mathsf T}=\Sigma ✓。

多元高斯的对数似然（机器学习中的显式表达）：

这就是 \log\det 与二次型两项的来源，也是高斯混合模型（GMM）、卡尔曼滤波、高斯过程、Laplace 近似的共同表达式。对 \Sigma 求梯度需用 4.9 的 (6)(7)：

（第二项来自 \mathrm d[(x-\mu)^{\mathsf T}\Sigma^{-1}(x-\mu)]=\mathrm{tr}((x-\mu)(x-\mu)^{\mathsf T}\mathrm d(\Sigma^{-1}))=-\mathrm{tr}((x-\mu)(x-\mu)^{\mathsf T}\Sigma^{-1}\mathrm d\Sigma\,\Sigma^{-1})=-\mathrm{tr}(\Sigma^{-1}(x-\mu)(x-\mu)^{\mathsf T}\Sigma^{-1}\mathrm d\Sigma)，按规则贡献 -\Sigma^{-1}(x-\mu)(x-\mu)^{\mathsf T}\Sigma^{-1}，对称情形下转置等于自身 ✓。）

置零得最大似然解：\Sigma_{\text{ML}}=\frac1N\sum_i(x_i-\mu)(x_i-\mu)^{\mathsf T}（样本协方差）✓。

Normalizing Flow 的对数似然

定理 5.6（flow 的似然计算）。 设 z\sim p_Z（简单先验，如 \mathcal N(0,I)），x=f_K\circ\cdots\circ f_1(z) 为可逆变换链，则

推导： 对每一层用定理 5.4，\log p_{Z_k}(z_k)=\log p_{Z_{k-1}}(z_{k-1})-\log|\det J_{f_k}|，逐层累加（telescoping）即得 ✓。

核心难点：\log|\det J| 的计算代价是 O(d^3)，且 Jacobian 稠密时无法用于高维。 三种解决方案：

(a) 仿射耦合层（Real NVP）：对数行列式降为 O(d)。 将 z 分为两半 z=(z_1,z_2)，定义

其中 s,t 为任意（不必可逆的）神经网络，\odot 为逐元素乘。

Jacobian 的分块结构与行列式：

（右上块为零因 y_1=z_1 不含 z_2；右下块为对角阵因 y_2 的第 i 个分量只依赖 z_2 的第 i 个分量，\partial y_{2,i}/\partial z_{2,i}=e^{s_i(z_1)} ✓。）

分块下三角矩阵的行列式 = 对角块行列式之积：

逆映射解析可得（flow 必须可逆以计算似然）：

验证：把 z_1=y_1 代入正向式 y_2=z_2e^{s(y_1)}+t(y_1)，解出 z_2 即得 ✓。逆向的对数行列式为 -\sum_i s_i(y_1)，与正向互为相反数（因 \det J_{f^{-1}}=(\det J_f)^{-1}）✓。

(b) Glow 的 1\times1 可逆卷积： 用正交矩阵 W（\det W=\pm1，\log|\det|=0 免费）与 LU 分解 W=P^{\mathsf T}LU 参数化，只学习 L（单位下三角）与 U（上三角），则 \log|\det|=\sum_i\log|U_{ii}|，代价 O(d)，且表达力接近任意可逆矩阵。

(c) 用迹替代行列式（连续 flow）： 见 5.10 节，\log|\det|\to-\int\mathrm{tr}(\partial f/\partial x)\mathrm dt，代价从 O(d^3) 降为 O(d^2)，再用 Hutchinson 估计降到 O(d)。

理论保证（flow 的表达力）： 对任意两个密度 p_Z,p_X，存在可逆映射 f=F_X^{-1}\circ F_Z（F 为累积分布函数）使 p_X(f(z))|f'(z)|=p_Z(z)——一元情形的严格存在性。多元情形需 $2$ 层以上耦合 + 排列层才能覆盖所有可逆映射（这是 Real NVP/Glow 必须交替切分维度并插入 permutation 的原因）。

5.4 第一类与第二类曲线积分

弧长元的推导。 曲线 C:\ x=x(t),\ y=y(t)，t\in[\alpha,\beta]。分割参数区间，折线长

对 \Delta x_i,\Delta y_i 分别用 Lagrange 中值定理：\Delta x_i=x'(\xi_i)\Delta t_i，\Delta y_i=y'(\eta_i)\Delta t_i（\xi_i,\eta_i 不同！），

因 x',y' 连续（一致连续），\xi_i 与 \eta_i 的差异在 \max\Delta t\to0 时可忽略，故极限为

直角坐标特例：y=f(x)，x=t，则 \mathrm ds=\sqrt{1+f'(x)^2}\,\mathrm dx ✓。

例题 5.4（摆线一拱的弧长）。x=a(t-\sin t)，y=a(1-\cos t)，t\in[0,2\pi]。

用半角公式 1-\cos t=2\sin^2\frac t2：=\;4a^2\sin^2\frac t2，故

（t\in[0,2\pi] 时 \sin(t/2)\ge0，绝对值可去 ✓。）摆线一拱长 8a，与圆周长 2\pi a\approx6.28a 不同，是有理数倍 a ——这是摆线的著名性质之一。\blacksquare

定义 5.7（第一类曲线积分，对弧长）。

与参数化方向无关（因 \mathrm ds>0）。物理意义：线密度为 f 的曲线的总质量。

定义 5.8（第二类曲线积分，对坐标）。

与方向有关： 反向遍历曲线，积分变号（因 \mathrm dx,\mathrm dy 变号）。

向量形式（统一两者的关键）： 记 \vec r(t)=(x(t),y(t))，\mathrm d\vec r=(\mathrm dx,\mathrm dy)，F=(P,Q)：

其中单位切向量 \hat T=\dfrac{(x',y')}{\sqrt{x'^2+y'^2}}=(\cos\alpha,\cos\beta)。

验证等价性：F\cdot\hat T\,\mathrm ds=(Px'+Qy')\frac{\mathrm dt}{\sqrt{x'^2+y'^2}}\cdot\sqrt{x'^2+y'^2}=(Px'+Qy')\mathrm dt ✓。

物理意义：变力沿曲线做的功W=\int_CF\cdot\mathrm d\vec r。

例题 5.5。 计算 F=(-y,x) 沿单位圆逆时针一周的功。

参数化 x=\cos t，y=\sin t，t\in[0,2\pi]，\mathrm dx=-\sin t\,\mathrm dt，\mathrm dy=\cos t\,\mathrm dt：

解读：F=(-y,x) 是切向场（F\cdot\hat r=-y\cdot x+x\cdot y？核对：位置向量 (x,y)，F\cdot(x,y)=-yx+xy=0，故 F\perp\vec r，纯切向 ✓），\|F\|=1，故功 = 周长 =2\pi ✓。这个场将在 5.6 节成为「旋度为零却不保守」的著名反例。\blacksquare

5.5 保守场、势函数与 Green 定理

定理 5.9（曲线积分路径无关的四个等价刻画）。 设 F=(P,Q) 在区域 D 上 C^1，则以下等价：

(i) \displaystyle\int_CF\cdot\mathrm d\vec r 只依赖起点终点，与路径无关； (ii) 对 D 内任意分段光滑闭曲线 C，\displaystyle\oint_CF\cdot\mathrm d\vec r=0； (iii) 存在势函数 \phi 使 F=\nabla\phi（F 保守）； (iv) 若 D单连通，则等价于 \dfrac{\partial P}{\partial y}=\dfrac{\partial Q}{\partial x}（二维旋度为零）。

证明 (ii)\iff(i)： 设两条路径 C_1,C_2 同端点，则 C_1\cup(-C_2) 为闭曲线，\int_{C_1}-\int_{C_2}=\oint=0 ✓（反向曲线积分变号）。

证明 (iii)\Rightarrow(ii)（曲线积分的基本定理）： 设 F=\nabla\phi，C:\vec r(t)，t\in[\alpha,\beta]：

（中间步是链式法则：\frac{\mathrm d}{\mathrm dt}\phi(\vec r(t))=\partial_x\phi\cdot x'+\partial_y\phi\cdot y'=\nabla\phi\cdot\vec r' ✓；末步是 FTC II。）闭曲线时两端点重合，积分为 $0$ ✓。

证明 (ii)\Rightarrow(iii)（构造势函数）： 固定 x_0\in D，定义

(ii) 保证定义良好（与路径无关）。求偏导：取路径先沿 x 方向到 (x,y)，再走 \Delta x 的水平线段到 (x+\Delta x,y)：

除以 \Delta x 取极限，由 FTC I 得 \partial_x\phi=P(x,y) ✓。同理（走竖直段）\partial_y\phi=Q ✓。

证明 (iv)\Rightarrow(ii)： 由 Green 定理（定理 5.10），\oint_CP\mathrm dx+Q\mathrm dy=\iint_D(Q_x-P_y)\mathrm dA=0 ✓。\blacksquare

单连通条件不可省：反例（接例题 5.5）。 取

验证旋度为零：P=\frac{-y}{x^2+y^2}，Q=\frac{x}{x^2+y^2}。

（分子核对：x^2+y^2-2x^2=y^2-x^2 ✓。）与 \partial P/\partial y 完全相等，故 Q_x-P_y=0 在 D 上处处成立 ✓。

但积分不为零： 沿单位圆（例题 5.5 的 F 是它的 r=1 特例，此处 x^2+y^2=1 使分母为 $1$）得 \oint=2\pi\ne0。

原因：D 不是单连通（原点被挖掉，围绕原点的闭曲线不能连续收缩为一点），Green 定理的条件不满足（D 内有「洞」）。

势函数的多值性： 尝试 \phi=\arctan\frac yx，验证 \partial_x\phi=\frac{-y}{x^2+y^2}=P ✓，\partial_y\phi=\frac{x}{x^2+y^2}=Q ✓。但 \arctan(y/x) 在绕原点一周后增加 2\pi——多值势函数，这正是复变函数中 \log z 的多值性与「分支切割」（6.6 节钥匙孔围道）的实数版本。绕原点 n 周的积分为 2\pi n，即卷绕数（winding number）。

定理 5.10（Green 定理）。 设 D 为由分段光滑简单闭曲线 \partial D 围成的区域（取正向：逆时针，使区域始终在左侧），P,Q 在含 D 的开集上有连续一阶偏导，则

证明（对 x-型与 y-型区域分别证，再叠加）。

第一步：设 D 为 x-型区域D=\{a\le x\le b,\ g_1(x)\le y\le g_2(x)\}，证明

左端分解：\partial D 由下边界 C_1（y=g_1(x)，x:a\to b）、上边界 C_2（y=g_2(x)，x:b\to a，反向）、左右竖直边（x 为常数，\mathrm dx=0，积分为 $0$）组成：

右端计算（先对 y 积分，用 FTC）：

两端相等 ✓。

第二步：对 y-型区域D=\{c\le y\le d,\ h_1(y)\le x\le h_2(y)\}（h_1<h_2）证明

先确定正向遍历时左右边界的方向。 逆时针（区域在左侧）绕行时：从最右点出发向上，故右边界 x=h_2(y) 沿 y 递增方向（c\to d），左边界 x=h_1(y) 沿 y 递减方向（d\to c），上下水平边界 \mathrm dy=0 贡献为零。

（用单位圆核对：(\cos t,\sin t)，t:0\to2\pi。t=0 在 (1,0) 即最右点，t 增大时 y=\sin t 先增大，故右边界确实沿 y 递增 ✓。）

于是

而由 FTC 对 x 积分：

两端相等 ✓。（符号核对：取 Q=x、D 为单位圆，\oint x\,\mathrm dy=\int_0^{2\pi}\cos t\cdot\cos t\,\mathrm dt=\pi，\iint_D Q_x\,\mathrm dA=\iint_D1=\pi ✓。）

第三步：叠加。 对既是 x-型又是 y-型的区域，两式相加即得 Green 定理。一般区域可分割为有限个这样的区域，内部分割线上的积分因方向相反而抵消（每条内部边界被相邻两块以相反方向各走一次）✓。\blacksquare

Green 定理的三种形式：

通量形式的推导：\hat n\,\mathrm ds=(\mathrm dy,-\mathrm dx)（验证：切向量 \hat T\mathrm ds=(\mathrm dx,\mathrm dy)，逆时针时外法向是把切向量顺时针转 90°，即 (a,b)\to(b,-a)，故 \hat n\mathrm ds=(\mathrm dy,-\mathrm dx) ✓）。于是

用 Green（P\to Q，Q\to-P）：=-\iint_D\left(\frac{\partial(-P)}{\partial x}-\frac{\partial Q}{\partial y}\right)\mathrm dA=\iint_D(P_x+Q_y)\mathrm dA=\iint_D\nabla\cdot F\,\mathrm dA ✓。

定理 5.11（面积的曲线积分公式）。

推导：在 Green 定理中取 P=-\frac y2，Q=\frac x2，则 Q_x-P_y=\frac12+\frac12=1，故 \oint=\iint_D1\,\mathrm dA=A ✓。后两式分别取 (P,Q)=(0,x) 与 (-y,0)，Q_x-P_y=1 ✓。

例题 5.6（椭圆面积）。x=a\cos t，y=b\sin t，t\in[0,2\pi]：

（a=b=R 时得 \pi R^2 ✓。）

例题 5.7（多边形面积的鞋带公式，由 Green 定理导出）。 对顶点 (x_1,y_1),\dots,(x_n,y_n)（逆时针）的多边形，每条边参数化为线性插值 x=x_i+(x_{i+1}-x_i)s，y=y_i+(y_{i+1}-y_i)s，s\in[0,1]：

八项分四组核对：

合计 2x_iy_{i+1}-2x_{i+1}y_i，乘 \frac12 得 x_iy_{i+1}-x_{i+1}y_i ✓。

对 i 求和并乘 \frac12：

这就是计算机图形学与地理信息系统（GIS）中计算多边形面积的标准「鞋带公式」，其数学根据是 Green 定理。 验证：单位正方形 (0,0),(1,0),(1,1),(0,1)：\frac12[(0\cdot0-1\cdot0)+(1\cdot1-1\cdot0)+(1\cdot1-0\cdot1)+(0\cdot0-0\cdot1)]=\frac12[0+1+1+0]=1 ✓。\blacksquare

5.6 散度、旋度与向量微积分恒等式

定义 5.12。 对 F=(P,Q,R)：

物理意义：\nabla\cdot F 为单位体积的净流出量（源强度）；\nabla\times F 的方向为旋转轴，大小为单位面积的环量（涡强度）。

推导散度的物理定义等价性： 取以 (x,y,z) 为中心、边长 \Delta x,\Delta y,\Delta z 的小盒子。x 方向两个面的净通量：

（用 Taylor 一阶展开相减 ✓。）三方向相加并除以体积 \Delta x\Delta y\Delta z，取极限得 \partial_xP+\partial_yQ+\partial_zR ✓。

定理 5.13（两个基本恒等式）。

证明（分量展开，用 Schwarz 定理 4.11）。

第一个：\left[\nabla\times(\nabla f)\right]_1=\partial_y(\partial_zf)-\partial_z(\partial_yf)=f_{zy}-f_{yz}=0 ✓（混合偏导相等）。第 2、3 分量同理 ✓。

第二个：

用对称性 R_{yx}=R_{xy}，Q_{zx}=Q_{xz}，P_{zy}=P_{yz}：

用 Levi-Civita 符号的紧凑证明：\left[\nabla\times(\nabla f)\right]_i=\varepsilon_{ijk}\partial_j\partial_kf。\varepsilon_{ijk} 关于 j,k 反对称，而 \partial_j\partial_kf 关于 j,k 对称，故求和为零（对称张量与反对称张量的完全缩并为零）✓。同理 \nabla\cdot(\nabla\times F)=\varepsilon_{ijk}\partial_i\partial_jF_k=0 ✓。

推论（场的分类）：

• F=\nabla f（无旋/保守场）\Rightarrow\nabla\times F=0；单连通区域上反之成立（定理 5.9）。
• F=\nabla\times A（无散场/螺线管场）\Rightarrow\nabla\cdot F=0；适当衰减条件下反之成立（Helmholtz 分解）。
• Helmholtz 分解： 任意足够好的向量场可分解为 F=-\nabla\phi+\nabla\times A（无旋部分 + 无散部分）。这是流体力学、电磁学与神经向量场建模的基础结构。

调和函数：\Delta f=0 的解。性质：均值性 f(x)=\frac1{|\partial B_r|}\oint_{\partial B_r}f\,\mathrm dS、极值原理（内部不取严格极值）、解析性。二维情形与复变函数的解析函数一一对应（6.2 节：解析函数的实部虚部都是调和的）。

常用向量恒等式（均可分量验证，列出以备查）：

验证最后一条（最常用）： 分量 i：\left[\nabla\times(\nabla\times F)\right]_i=\varepsilon_{ijk}\partial_j(\varepsilon_{klm}\partial_lF_m)=\varepsilon_{ijk}\varepsilon_{klm}\partial_j\partial_lF_m。用恒等式 \varepsilon_{ijk}\varepsilon_{klm}=\varepsilon_{kij}\varepsilon_{klm}=\delta_{il}\delta_{jm}-\delta_{im}\delta_{jl}：

5.7 高斯散度定理与 Stokes 定理

定理 5.14（Gauss 散度定理）。 设 \Omega 为分片光滑闭曲面 \partial\Omega 围成的有界区域，n 为外法向，F 为 C^1 向量场，则

证明（先证 R 分量，即 \iiint\partial_zR\,\mathrm dV=\oiint Rn_3\,\mathrm dS）。 设 \Omega=\{(x,y,z):(x,y)\in D,\ z_1(x,y)\le z\le z_2(x,y)\}。

体积分侧（先对 z 用 FTC）：

面积分侧：\partial\Omega 由上表面 S_2（z=z_2）、下表面 S_1（z=z_1）与侧面（z 不变方向的竖直部分）组成。

对显式曲面 z=\zeta(x,y)，其法向面积元为 n\,\mathrm dS=(-\zeta_x,-\zeta_y,1)\,\mathrm dA（上侧取正）或 (\zeta_x,\zeta_y,-1)\mathrm dA（下侧）。推导：曲面的两个切向量为 (1,0,\zeta_x) 与 (0,1,\zeta_y)，叉积

其模长即 \mathrm dS/\mathrm dA 的比例因子，故 n\,\mathrm dS=(-\zeta_x,-\zeta_y,1)\mathrm dA ✓（第三分量为正即朝上）。

于是上表面贡献 \iint_D R(x,y,z_2)\cdot1\,\mathrm dA；下表面法向朝外即朝下，n\,\mathrm dS=(\zeta_x,\zeta_y,-1)\mathrm dA，贡献 -\iint_D R(x,y,z_1)\mathrm dA；侧面法向水平（n_3=0），R 分量贡献 $0$。合计

与体积分侧一致。同理证 P,Q 分量（分别对 x,y 方向做同样论证），三式相加得定理。\blacksquare

定理 5.15（Stokes 定理）。 设 S 为以分段光滑闭曲线 \partial S 为边界的分片光滑定向曲面，n 与 \partial S 的方向按右手定则关联，F 为 C^1 场，则

Green 定理是 Stokes 定理在 S 为平面区域时的特例（n=\hat k，(\nabla\times F)\cdot\hat k=Q_x-P_y ✓）。

证明思路（对图形曲面 z=g(x,y)，(x,y)\in D）： 只需证 \oint P\,\mathrm dx=\iint_S(\nabla\times F)\cdot n\,\mathrm dS 的第一项对应部分。曲面法向面积元 n\,\mathrm dS=(-g_x,-g_y,1)\mathrm dA，(\nabla\times F)\cdot n\,\mathrm dS=(R_y-Q_z)(-g_x)+(P_z-R_x)(-g_y)+(Q_x-P_y)\mathrm dA。而曲线积分侧 \oint_{\partial S}P\mathrm dx=\oint_{\partial D}P(x,y,g(x,y))\mathrm dx，把 \tilde P(x,y)=P(x,y,g(x,y)) 视为 D 上的函数，用 Green 定理并注意 \frac{\partial\tilde P}{\partial y}=P_y+P_zg_y，得 \oint_{\partial D}\tilde P\mathrm dx=-\iint_D(P_y+P_zg_y)\mathrm dA。与右端含 P 的项 -\iint_D(-R_xg_y+P_y+P_zg_y)\mathrm dA 比较，剩余 R_xg_y 项由另两个分量的处理提供，三项合并即完成 ✓。

推论 5.16（Green 第一、第二恒等式）。 对 u,v\in C^2(\bar\Omega)：

其中 \dfrac{\partial u}{\partial n}=\nabla u\cdot n 为法向导数。

推导： 在散度定理中取 F=v\nabla u，用 \nabla\cdot(v\nabla u)=\nabla v\cdot\nabla u+v\nabla\cdot(\nabla u)=\nabla u\cdot\nabla v+v\Delta u，边界项 F\cdot n=v\nabla u\cdot n=v\frac{\partial u}{\partial n} ✓。第二式由第一式交换 u,v 后相减 ✓。\blacksquare

特例（v=1）：\iiint_\Omega\Delta u\,\mathrm dV=\oiint_{\partial\Omega}\frac{\partial u}{\partial n}\mathrm dS。取 u 调和（\Delta u=0）得 \oiint\frac{\partial u}{\partial n}\mathrm dS=0——调和函数的法向导数总通量为零。

机器学习落点：这三个恒等式是 PINN 与图神经网络的数学基础。

(a) 偏微分方程的弱形式（PINN、有限元）。 对 Poisson 方程 -\Delta u=f，乘测试函数 v 并在 \Omega 上积分，用 Green 第一恒等式：

取 v 在边界为零（v\in H^1_0），边界项消失：

弱形式只要求 u 一阶可导（而非二阶），这是有限元与 PINN 能用低光滑性神经网络逼近解的关键。PINN 的损失函数正是残差的 L^2 范数 \|\Delta u_\theta+f\|^2 加边界残差项。

(b) 图上的散度与 Laplacian。 定义图梯度 (\nabla_Gf)_{ij}=f_j-f_i（有向边），图散度 (\mathrm{div}_G\,w)_i=\sum_{j\sim i}w_{ji}，则图 Laplacian

即 L=D-A（度矩阵减邻接矩阵）✓。对应的离散 Green 第一恒等式为

推导：\sum_if_i\sum_{j\sim i}(f_i-f_j)=\sum_{(i,j)}[f_i^2-f_if_j]=\frac12\sum_{(i,j)}(f_i^2-2f_if_j+f_j^2)（对称化：每条无向边被数两次）=\frac12\sum_{(i,j)}(f_i-f_j)^2 ✓。

结论：图 Laplacian 半正定，且 f^{\mathsf T}Lf=\frac12\sum_{ij}A_{ij}(f_i-f_j)^2——这是谱聚类、图信号平滑、GCN 低通滤波的共同基础：最小化 f^{\mathsf T}Lf 即让相邻节点特征相近。归一化 Laplacian \tilde L=D^{-1/2}LD^{-1/2}=I-D^{-1/2}AD^{-1/2}，其特征值在 [0,2]，GCN 的逐层传播 H^{(\ell+1)}=\sigma(\tilde D^{-1/2}\tilde A\tilde D^{-1/2}H^{(\ell)}W^{(\ell)}) 正是图上的低通滤波 + 特征变换，其平滑性由 f^{\mathsf T}\tilde Lf 控制。

5.8 曲线曲面积分在机器学习中的四个核心恒等式

(1) log-derivative trick（对数导数技巧 / REINFORCE 梯度）。

推导（三步，每步都需合法性条件）：

（交换 \nabla_\theta 与 \int，需 \left|f\nabla_\theta p_\theta\right| 被可积函数控制——Leibniz 法则/支配收敛定理，见 3.8 节），再用对数导数恒等式

（这就是 \frac{\mathrm d}{\mathrm dx}\log u=\frac{u'}u 的向量版），代回：

为什么必要： 当 p_\theta 不可重参数化采样时（离散分布、强化学习中的策略 \pi_\theta(a|s)、Gumbel-Softmax 之前的离散采样），无法对采样过程求导，只能把梯度「搬进」期望内部。

方差问题： 估计量 \hat g=\frac1N\sum_if(x_i)\nabla_\theta\log p_\theta(x_i) 无偏（\mathbb E[\hat g]=\nabla_\theta\mathbb E[f] ✓），方差

当 f 的尺度大或 \nabla\log p 方差大时爆炸。对策即 3.10 节的 baseline / 控制变量（\mathbb E[\nabla\log p]=0 保证减 baseline 无偏）。

推导 \mathbb E_{p_\theta}[\nabla_\theta\log p_\theta]=0（score 的期望为零，一切 baseline 合法性的来源）：

（交换 \nabla_\theta 与 \int 的条件同上。）

(2) Stein 恒等式（分部积分版本）。 设 p 在 \mathbb R^d 上光滑，p(x)\to0 足够快（使边界项消失），\phi 光滑且增长可控，则

推导（散度定理，逐步）： 考虑 \nabla_x\cdot(p\phi)，用乘积法则 \nabla\cdot(p\phi)=\nabla p\cdot\phi+p\nabla\cdot\phi。两侧在 \mathbb R^d 上积分并用散度定理：

（因 p 衰减快于 \phi 增长，面积 \sim R^{d-1}，故积分为零）。于是

第一项改写：\nabla p=p\nabla\log p，故 \int\nabla p\cdot\phi=\int p(\nabla\log p\cdot\phi)=\mathbb E[\phi^{\mathsf T}\nabla\log p]。第二项 =\mathbb E[\nabla\cdot\phi]。移项即得。\blacksquare

分量形式（更常用）：\mathbb E[\phi_i\,\partial_i\log p]=-\mathbb E[\partial_i\phi_i]（固定 i，取 \phi=\phi_ie_i）。

高斯情形的显式验证：p=\mathcal N(\mu,\Sigma)，\nabla\log p=-\Sigma^{-1}(x-\mu)（推导见下）。取 \phi(x)=x-\mu，\nabla\cdot\phi=d：

（用 \mathbb E[(x-\mu)(x-\mu)^{\mathsf T}]=\Sigma ✓，以及标量 $= $ 其迹 ✓。）

推导高斯的 score：\log p=-\frac12(x-\mu)^{\mathsf T}\Sigma^{-1}(x-\mu)+\text{const}，\nabla_x\log p=-\frac12\cdot2\Sigma^{-1}(x-\mu)=-\Sigma^{-1}(x-\mu) ✓（用 4.9(2) 取 A=\Sigma^{-1} 对称）。

(3) 显式 score matching（Hyvärinen）。 目标是用 s_\theta(x) 近似未知密度的 score \nabla_x\log p(x)，但 p 未知（只有样本）。朴素目标

不可计算（含 \nabla\log p）。展开：

对交叉项用 Stein 恒等式（取 \phi=s_\theta）：

代回：

只需样本与 s_\theta，不需要 p 或 \nabla\log p！ 经验版本 \hat J=\frac1N\sum_i\left[\frac12\|s_\theta(x_i)\|^2+\nabla\cdot s_\theta(x_i)\right]，可直接用梯度下降最小化。

(4) 去噪 score matching（Denoising Score Matching, DSM）——扩散模型的理论基石。

目标： 给数据 x\sim p_{\text{data}}，加噪 \tilde x=x+\sigma\varepsilon（\varepsilon\sim\mathcal N(0,I)），条件核 q_\sigma(\tilde x|x)=\mathcal N(\tilde x;x,\sigma^2I)，边缘 p_\sigma(\tilde x)=\int p_{\text{data}}(x)q_\sigma(\tilde x|x)\mathrm dx。定义

定理 5.17（DSM 与显式 score matching 等价）。

其中 C(\sigma) 与 \theta 无关。

完整证明（关键是比较两个交叉项）。 展开 J_{\text{DSM}}：

第一项：\int p(x)q(\tilde x|x)\mathrm dx=p_\sigma(\tilde x)，故 =\frac12\int p_\sigma(\tilde x)\|s_\theta(\tilde x)\|^2\mathrm d\tilde x，与目标式第一项一致 ✓。

第二项（交叉项）：用 \nabla\log q=\frac{\nabla q}{q} 消去分母：

故第二项 =-\displaystyle\int p(x)\left[\int s_\theta(\tilde x)^{\mathsf T}\nabla_{\tilde x}q(\tilde x|x)\mathrm d\tilde x\right]\mathrm dx=-\int s_\theta(\tilde x)^{\mathsf T}\underbrace{\left[\int p(x)\nabla_{\tilde x}q(\tilde x|x)\mathrm dx\right]}_{=\ \nabla_{\tilde x}\int p(x)q(\tilde x|x)\mathrm dx=\nabla_{\tilde x}p_\sigma(\tilde x)}\mathrm d\tilde x

（交换 \nabla_{\tilde x} 与 \int\mathrm dx 的合法性由 q 的光滑性与高斯衰减保证 ✓；最后一步乘除 p_\sigma ✓。）

这正是目标式的交叉项 ✓。第三项 C_1=\frac12\int\!\!\int p(x)q\|\nabla\log q\|^2 不含 \theta，与目标式的 \frac12\int p_\sigma\|\nabla\log p_\sigma\|^2 之差即为 C(\sigma)。\blacksquare

在高斯核下的显式形式（扩散模型的实际训练目标）：

（用 \tilde x=x+\sigma\varepsilon ✓。）代入：

因此网络 s_\theta 学习的是「-\varepsilon/\sigma」，即预测所加噪声的方向。 实践中令 s_\theta(\tilde x)=-\frac{\hat\varepsilon_\theta(\tilde x)}{\sigma}，则

这就是 DDPM 的「预测噪声」训练目标 \|\varepsilon-\varepsilon_\theta(x_t,t)\|^2，其合法性完全建立在定理 5.17（散度定理 + Stein 恒等式）之上。多尺度 \sigma_t 时对各 t 加权求和即得扩散模型的完整损失 \mathbb E_{t,x,\varepsilon}[\lambda_t\|\varepsilon-\varepsilon_\theta(x_t,t)\|^2]。\blacksquare

(5) 瞬时变量替换公式（连续 normalizing flow）。 设 \dot x_t=f_t(x_t)，x_0\sim p_0，p_t 为 x_t 的密度，则

推导（Liouville 方程 + 全导数）。

步骤 1（Liouville 方程）。 概率质量守恒：对随流运动的区域 \Omega(t)，

用 Reynolds 输运定理（定理 3.22，其速度场即 v=f_t）：

因对任意 \Omega 成立，被积函数恒为零：

步骤 2（沿轨线的全导数）。

步骤 3（代入 Liouville）。 展开 \nabla\cdot(p_tf_t)=f_t^{\mathsf T}\nabla p_t+p_t\nabla\cdot f_t，故

代回步骤 2，f_t^{\mathsf T}\nabla\log p_t恰好相消：

积分形式：\log p_1(x_1)=\log p_0(x_0)-\displaystyle\int_0^1\nabla\cdot f_t(x_t)\mathrm dt。

与离散 flow 的关系： 离散情形 \log|\det J| 在连续极限下变成 -\int\mathrm{tr}(\partial f/\partial x)\mathrm dt（由 \det(I+\varepsilon B)=1+\varepsilon\mathrm{tr}(B)+O(\varepsilon^2)，见 4.9(6)——两个结果在此汇合，交叉验证成功）。

代价：\mathrm{tr}(\partial f/\partial x) 需完整 Jacobian（O(d^2) 存储），Hutchinson 估计（2.12 节）把它降为一次 JVP 代价 O(d)：

这就是 FFJORD 的实现方式。\blacksquare

第六部分 复变函数微积分

6.1 复数与欧拉公式的三种推导

基本约定：z=x+iy，\bar z=x-iy，|z|=\sqrt{x^2+y^2}=\sqrt{z\bar z}，\arg z=\theta，z=|z|e^{i\theta}=|z|(\cos\theta+i\sin\theta)。

验证 z^{-1}：z\cdot\frac{\bar z}{|z|^2}=\frac{z\bar z}{|z|^2}=\frac{|z|^2}{|z|^2}=1 ✓。

定理 6.1（欧拉公式）。e^{i\theta}=\cos\theta+i\sin\theta。

推导一（幂级数，最直接）。 由 e^w=\sum_{n\ge0}\frac{w^n}{n!} 绝对收敛（\sum\frac{|w|^n}{n!}=e^{|w|}<\infty），可任意重排：

用 i^{2k}=(-1)^k，i^{2k+1}=i(-1)^k：

（与 1.7 节的 \sin,\cos 展开逐项对应 ✓。）

推导二（极限定义，几何直观）。e^{i\theta}=\lim_{n\to\infty}\left(1+\frac{i\theta}n\right)^n。

模长：\left|1+\frac{i\theta}n\right|=\sqrt{1+\frac{\theta^2}{n^2}}，故

（用 \log(1+u)\sim u ✓）。

辐角：\arg\left(1+\frac{i\theta}n\right)=\arctan\frac\theta n，故

（用 \arctan u\sim u ✓）。

模长 $1$、辐角 \theta 的复数即 \cos\theta+i\sin\theta ✓。几何解读：\left(1+\frac{i\theta}n\right) 是「前进 $1$ 单位再左转 \theta/n」，重复 n 次即沿单位圆转 \theta 角——复指数是旋转。

推导三（常微分方程，最优雅）。 令 g(\theta)=e^{-i\theta}(\cos\theta+i\sin\theta)。求导（乘积法则，且 \frac{\mathrm d}{\mathrm d\theta}e^{-i\theta}=-ie^{-i\theta} 由链式法则）：

关键化简：-\sin\theta+i\cos\theta=i(\cos\theta+i\sin\theta)（验证：i\cos\theta+i^2\sin\theta=i\cos\theta-\sin\theta ✓）。故

由推论 2.11，g 为常数，g(\theta)=g(0)=1\cdot(1+0)=1，即 e^{-i\theta}(\cos\theta+i\sin\theta)=1，两侧乘 e^{i\theta} 得证。\blacksquare

推论 6.2（三角函数的复指数表示，Fourier 分析的起点）。

推导：由欧拉公式两式相加/相减 ✓；后两式代 \theta\to i\theta：\sin(i\theta)=\frac{e^{i(i\theta)}-e^{-i(i\theta)}}{2i}=\frac{e^{-\theta}-e^{\theta}}{2i}=\frac{i(e^\theta-e^{-\theta})}{2}=i\sinh\theta ✓（\frac1i=-i，\frac{-1}{2i}\cdot(e^\theta-e^{-\theta})\cdot？逐步：\frac{e^{-\theta}-e^\theta}{2i}=\frac{-(e^\theta-e^{-\theta})}{2i}=\frac{i(e^\theta-e^{-\theta})}{2}，因 -\frac1i=i ✓）。

恒等式核对：\cos^2+\sin^2=\frac{(e^{i\theta}+e^{-i\theta})^2}{4}\cdot？直接：\cos^2\theta+\sin^2\theta=\left(\frac{e^{i\theta}+e^{-i\theta}}2\right)^2+\left(\frac{e^{i\theta}-e^{-i\theta}}{2i}\right)^2=\frac{(e^{2i\theta}+2+e^{-2i\theta})}4+\frac{(e^{2i\theta}-2+e^{-2i\theta})}{-4}=\frac{2+2}4=1 ✓。

推论 6.3（n 次单位根）。 方程 z^n=1 的 n 个根为

推导：z^n=|z|^ne^{in\theta}=1\Rightarrow|z|=1，n\theta=2\pi k ✓。它们在单位圆上等距分布，构成 n 阶循环群。

关键求和恒等式（FFT 与 DFT 正交性的基础）：

推导：m\equiv0 时每项为 $1$，共 n 项 ✓。否则 \omega_n^m\ne1，用几何级数求和 \frac{1-(\omega_n^m)^n}{1-\omega_n^m}=\frac{1-1}{1-\omega_n^m}=0 ✓（分母非零）。\blacksquare

机器学习落点： 单位根求和恒等式是 DFT 正交性（\langle\omega^{k\cdot},\omega^{l\cdot}\rangle=n\delta_{kl}）的根据，进而给出 FFT 的 O(N\log N) 复杂度（6.9 节）；也是位置编码 \sin(\omega_k t),\cos(\omega_k t) 与 RoPE 旋转编码的代数结构：RoPE 把二维子空间上的旋转写成 z\mapsto ze^{i\theta}，使 \langle q_m,k_n\rangle 只依赖相对位置 m-n（推导：q_m=\mathrm{Re}[\bar q\,e^{im\theta}] 型表达式的内积展开后相位差为 e^{i(m-n)\theta} ✓）。

6.2 复可导性与 Cauchy-Riemann 方程

定义 6.4。f 在 z_0 复可导 \iff 下列极限存在（且与 h\to0 的方向无关）：

这比实可导强得多：h 可在复平面沿任意路径趋于 $0$（不可数无穷多个方向），而实函数的 h 只有左右两侧。

定理 6.5（Cauchy-Riemann 方程）。 设 f(z)=u(x,y)+iv(x,y)，若 f 在 z_0 复可导且 u,v 的偏导数在 z_0 连续，则

且 f'(z_0)=u_x+iv_x=v_y-iu_y。

完整推导（沿两个特殊方向取极限并要求相等）。

方向一：h=\Delta x 为实数。

方向二：h=i\Delta y 为纯虚数。

（用 \frac1i=-i ✓。）

两式必须相等（极限唯一），比较实部与虚部：

例 6.1（验证与不验证）。

• f(z)=z^2=(x^2-y^2)+i(2xy)：u=x^2-y^2，v=2xy。u_x=2x=v_y=2x ✓，u_y=-2y=-v_x=-2y ✓。故解析，f'=u_x+iv_x=2x+i2y=2z ✓（与实规则一致）。
• f(z)=\bar z=x-iy：u=x，v=-y。u_x=1，v_y=-1，1\ne-1 ✗。\bar z 处处不可导。 直接验证：\lim_{h\to0}\frac{\overline{z+h}-\bar z}h=\lim_{h\to0}\frac{\bar h}h。取 h=\Delta x 实：得 $1$；取 h=i\Delta y：\frac{-i\Delta y}{i\Delta y}=-1。两者不等，极限不存在 ✓。
• f(z)=|z|^2=x^2+y^2：u=x^2+y^2，v=0。C-R 要求 2x=0 且 2y=0，故仅在 z=0 可导（f'(0)=0），在其余点不可导，从而处处不解析。

这个反例极其重要：|z|^2 在实意义下无穷光滑（它是 \mathbb R^2 上的多项式），但在复意义下几乎处处不可导。 机器学习启示：任何实值损失函数（如 \|w\|^2）都不是复解析的，因此复数神经网络的优化必须用 Wirtinger 微积分（6.3 节）而非直接套用复导数。

推论 6.6（解析函数的正则性，与实函数的巨大差异）。 若 f 在开集 \Omega 上复可导（解析/全纯），则

1. f 在 \Omega 上无穷次可导（由 6.4 节的 Cauchy 积分公式，f^{(n)}(a)=\frac{n!}{2\pi i}\oint\frac{f}{(z-a)^{n+1}}\mathrm dz）；
2. f 在每点等于其 Taylor 级数（解析 = 可展成幂级数），收敛半径至少到 \Omega 边界；
3. u,v 都是调和函数：\Delta u=0，\Delta v=0。

第 3 条的推导：\Delta u=u_{xx}+u_{yy}。对 C-R 方程求导：u_{xx}=(v_y)_x=v_{yx}，u_{yy}=(-v_x)_y=-v_{xy}。由 Schwarz 定理 v_{yx}=v_{xy}，故 \Delta u=v_{yx}-v_{xy}=0 ✓。同理 \Delta v=v_{xx}+v_{yy}=(u_y)_x+(-u_x)_y=u_{yx}-u_{xy}=0 ✓。

推论 6.7（Liouville 定理与代数基本定理）。 有界的整函数（在整个 \mathbb C 解析）必为常数。

证明（Cauchy 估计）。 设 |f|\le M。对任意 a 与 R>0，由 Cauchy 导数公式在 |z-a|=R 上估计：

令 R\to\infty 得 f'(a)=0，对一切 a 成立，故 f 为常数 ✓。\blacksquare

由此证代数基本定理： 设 p(z)=z^n+a_{n-1}z^{n-1}+\cdots+a_0 无零点，则 f=1/p 为整函数；又 |p(z)|\to\infty（|z|\to\infty），故 f 有界，由 Liouville f 为常数，即 p 为常数，与 n\ge1 矛盾 ✓。

代数基本定理的机器学习意义： 任何 n 次多项式可完全因式分解 p(z)=c\prod(z-\lambda_i)，故任何方阵都有 n 个特征值（计重数），Jordan 标准型存在，谱分析（稳定性、收敛性）得以进行。这是 2.10、6.9 节所有谱论证的存在性基础。

6.3 Wirtinger 微积分（复数优化的正确工具）

动机： 实值函数 f:\mathbb C^n\to\mathbb R 不解析（6.2 节），但优化仍要进行。解决方案是把 z 与 \bar z 视为形式上独立的变量。

定义 6.8。 由 z=x+iy，\bar z=x-iy 解出

定义 Wirtinger 导数：

推导（链式法则反解）。 把 f 视为 (z,\bar z) 的函数，由链式法则

解这个 2\times2 线性方程组：两式相加得 \partial_x+i\partial_y？直接做：\partial_x-i\partial_y=(\partial_z+\partial_{\bar z})-i(i\partial_z-i\partial_{\bar z})=(\partial_z+\partial_{\bar z})+(\partial_z-\partial_{\bar z})=2\partial_z，故 \partial_z=\frac12(\partial_x-i\partial_y) ✓。同理 \partial_x+i\partial_y=(\partial_z+\partial_{\bar z})+(i\partial_z-i\partial_{\bar z})=2i\partial_z？—— 核对：i\partial_y=i(i\partial_z-i\partial_{\bar z})=-\partial_z+\partial_{\bar z}，故 \partial_x+i\partial_y=\partial_z+\partial_{\bar z}-\partial_z+\partial_{\bar z}=2\partial_{\bar z}，即 \partial_{\bar z}=\frac12(\partial_x+i\partial_y) ✓。\blacksquare

定理 6.9（解析性的 Wirtinger 刻画）。f 复可导 \iff\dfrac{\partial f}{\partial\bar z}=0，此时 \dfrac{\partial f}{\partial z}=f'(z)。

证明： 设 f=u+iv，

它为 0\iff u_x=v_y 且 v_x=-u_y\iff C-R 方程 ✓。此时

在 C-R 成立的条件下 v_y=u_x、u_y=-v_x，代入得

定理 6.10（实值函数的最速下降方向）。 设 f:\mathbb C\to\mathbb R（f=\bar f），则其实梯度 \nabla f=(f_x,f_y) 对应的复数为 f_x+if_y=2\dfrac{\partial f}{\partial\bar z}，故

推导：f 实值 \Rightarrow f_x,f_y 为实数。由定义 2\partial_{\bar z}f=f_x+if_y，把复数 a+ib 等同于向量 (a,b)，即得 \nabla f ✓。

（另一关系：f 实值时 \partial_zf=\overline{\partial_{\bar z}f}，验证：\frac12(f_x-if_y)=\overline{\frac12(f_x+if_y)} ✓。）

例 6.2（复数域的最小化 |z|^2）。f=z\bar z。

（把 z,\bar z 当独立变量按乘积法则 ✓。）最速下降方向 -2\bar z，与实梯度 -(2x,2y) 对应复数 -2(x+iy)=-2z 一致吗？注意约定差异：2\partial_{\bar z}f=2z 对应向量 (2x,2y)=\nabla f ✓，故下降方向为 -2z（作为复数即 -2\partial_{\bar z}f 的共轭表示）。工程中统一采用「用 \partial f/\partial\bar z 作为『复梯度』，更新 z\leftarrow z-\eta\cdot2\frac{\partial f}{\partial\bar z}」，此处 \frac{\partial f}{\partial\bar z}=z，更新 z\leftarrow z-2\eta z，与实域 x\leftarrow x-2\eta x 一致 ✓。

例 6.3（复数最小二乘）。\min_w\|Aw-b\|^2，w\in\mathbb C^n。

置零得正规方程 A^{\mathsf H}Aw=A^{\mathsf H}b，w=(A^{\mathsf H}A)^{-1}A^{\mathsf H}b —— 与实域形式完全一致，只是转置换成共轭转置 ✓（Hermitian 共轭 A^{\mathsf H}=\overline{A^{\mathsf T}}）。

机器学习应用： 复数循环神经网络（Complex RNN）、复值注意力（unitary RNN 用酉矩阵保持范数）、电磁/雷达信号处理、以及相位恢复问题（phase retrieval，\min\sum_i(|\langle a_i,x\rangle|^2-b_i)^2，目标含 |\cdot|^2=z\bar z，必须用 Wirtinger 求导：\frac{\partial}{\partial\bar x}|a^{\mathsf H}x|^2=(a^{\mathsf H}x)a）。

6.4 复积分、Cauchy 积分定理与积分公式

定义 6.11（复围道积分）。 沿分段光滑曲线 \gamma:\ z(t)=x(t)+iy(t)，t\in[\alpha,\beta]：

分解为两个实曲线积分（连接第五部分）： 设 f=u+iv，\mathrm dz=\mathrm dx+i\mathrm dy：

（展开：u\mathrm dx+iu\mathrm dy+iv\mathrm dx-v\mathrm dy，实部 u\mathrm dx-v\mathrm dy，虚部 v\mathrm dx+u\mathrm dy ✓。）

定理 6.12（Cauchy 积分定理）。 若 f 在单连通区域 D 上解析，\gamma 为 D 内任意分段光滑闭曲线，则

证明（用 Green 定理 + C-R 方程）。 设 f=u+iv 且 u,v 有连续一阶偏导（解析函数的这一性质可由 Cauchy 积分公式事后加强证明，此处按 Goursat 之前的经典条件）。由上面的分解与 Green 定理（定理 5.10）：

两部分均为零，故 \oint f\,\mathrm dz=0 ✓。\blacksquare

单连通条件不可省：\oint_{|z|=1}\frac{\mathrm dz}z=2\pi i\ne0（下面计算），因 \frac1z 在 z=0 不解析，而 $0$ 在曲线内部——这与 5.5 节「旋度为零却不保守」的反例是同一现象（原点被挖掉⇒非单连通）。

直接计算 \oint_{|z|=1}\frac{\mathrm dz}z： 参数化 z=e^{i\theta}，\theta\in[0,2\pi]，\mathrm dz=ie^{i\theta}\mathrm d\theta：

推广：\oint_{|z-a|=R}\frac{\mathrm dz}{z-a}=2\pi i（同样参数化 z=a+Re^{i\theta}，\mathrm dz=iRe^{i\theta}\mathrm d\theta，\frac{\mathrm dz}{z-a}=i\mathrm d\theta ✓）。这就是「留数」的原型：\frac1{z-a} 的留数为 $1$。

定理 6.13（Cauchy 积分公式）。 若 f 在单连通区域 D 解析，\gamma\subset D 为正向简单闭曲线，a 在 \gamma 内部，则

证明（围道收缩 + 连续性）。 被积函数在 D\setminus\{a\} 上解析，由多连通区域的 Cauchy 定理（变形原理：可在不跨越奇点的前提下任意变形围道，积分值不变），把 \gamma 收缩为小圆 C_\varepsilon:\ |z-a|=\varepsilon：

参数化 z=a+\varepsilon e^{i\theta}，\mathrm dz=i\varepsilon e^{i\theta}\mathrm d\theta：

（\varepsilon 与 e^{i\theta}恰好约去——这是公式成立的核心代数事实。）令 \varepsilon\to0，由 f 的连续性，被积函数一致收敛到 f(a)，故

推论 6.14（解析函数的高阶导数公式）。

推导（对 a 求导，在积分号下进行）： 对 Cauchy 积分公式关于 a 求导：

（用 \frac{\partial}{\partial a}\frac1{z-a}=\frac{\partial}{\partial a}(z-a)^{-1}=+(z-a)^{-2}，因 \frac{\mathrm d}{\mathrm da}(z-a)^{-1}=-1\cdot(z-a)^{-2}\cdot(-1)=(z-a)^{-2} ✓）。归纳 n 次得 \frac{n!}{(z-a)^{n+1}} ✓。

积分号下求导的合法性：\left|\frac{f(z)}{(z-a-\Delta)^2(z-a)^2}\right| 型差商在 |z-a|\ge d>0（\gamma 与 a 有距离）时被可积函数控制，用支配收敛定理 ✓。

推论 6.15（解析函数的均值性质）。

推导：在定理 6.13 的证明中已得 \oint=\;i\int_0^{2\pi}f(a+Re^{i\theta})\mathrm d\theta=2\pi if(a)，除以 2\pi i 即得 ✓。

取实部：调和函数的均值性质u(a)=\frac1{2\pi}\int_0^{2\pi}u(a+Re^{i\theta})\mathrm d\theta，这与 5.6 节所述调和函数性质一致 ✓。

推论 6.16（最大模原理）。 非常数解析函数 |f| 在区域内部不取最大值。

证明（由均值性质）： 若 |f(a)| 为最大值 M，则 M=|f(a)|=\left|\frac1{2\pi}\int f(a+Re^{i\theta})\mathrm d\theta\right|\le\frac1{2\pi}\int|f(a+Re^{i\theta})|\mathrm d\theta\le M。取等要求 |f| 在整个圆周上恒为 M 且相位一致；对任意 R 成立 \Rightarrow f 在圆盘上为常数 \Rightarrow（由恒等定理）在整个区域为常数，矛盾 ✓。

机器学习落点： 最大模原理是控制理论稳定性判据的基础（传递函数的极点在闭右半平面则系统不稳定），也与 6.9 节谱半径分析直接相关。

6.5 Laurent 级数、极点与留数定理

定义 6.17（Laurent 展开）。 若 f 在环域 r<|z-a|<R 解析，则

系数公式的推导：把 Laurent 级数代入 Cauchy 公式型的积分 \oint\frac{f(z)}{(z-a)^{m+1}}\mathrm dz，逐项积分（一致收敛可交换）。用 \oint(z-a)^{n-m-1}\mathrm dz：由 6.4 节的结果，当 n-m-1=-1 即 n=m 时为 2\pi i，其他整数次幂时原函数 \frac{(z-a)^{k+1}}{k+1} 单值故积分为 $0$。于是积分 =2\pi ic_m，即 c_m=\frac1{2\pi i}\oint\frac{f}{(z-a)^{m+1}}\mathrm dz ✓。

奇点分类（按 Laurent 负幂部分）：

定义 6.18（留数）。

定理 6.19（留数定理）。 若 f 在简单闭曲线 \gamma 内除有限个孤立奇点 a_1,\dots,a_n 外解析，则

证明： 围绕每个 a_k 作小圆 C_k（互不相交、都在 \gamma 内）。由多连通区域的 Cauchy 定理（变形原理），\oint_\gamma=\sum_k\oint_{C_k}。每项由定义 6.18 等于 2\pi i\,\mathrm{Res}(f,a_k) ✓。\blacksquare

留数计算规则（按实用顺序）：

规则 1（单极点）：

推导：Laurent 级数 (z-a)f(z)=c_{-1}+c_0(z-a)+\cdots，令 z\to a 得 c_{-1} ✓。

规则 2（f=P/Q 型，Q(a)=0，Q'(a)\ne0，P(a)\ne0）：

推导：\lim_{z\to a}(z-a)\frac{P(z)}{Q(z)}=\lim_{z\to a}\frac{P(z)}{\frac{Q(z)-Q(a)}{z-a}}=\frac{P(a)}{Q'(a)} ✓（Q(a)=0 用于分子加减）。

规则 3（m 阶极点）：

推导：(z-a)^mf(z)=c_{-m}+c_{-m+1}(z-a)+\cdots+c_{-1}(z-a)^{m-1}+\cdots。求 m-1 次导，只有 (z-a)^{m-1} 项留下常数 (m-1)!c_{-1}，其余项含 (z-a) 因子故趋于 $0$ ✓。

规则 4（本性奇点）： 必须直接展开 Laurent 级数找 c_{-1}。

规则 5（无穷远点的留数）：\mathrm{Res}(f,\infty)=-c_{-1}^{(\infty)}=-\lim_{z\to\infty}z\left[f(z)\right]\cdot？准确定义：

负号来自「无穷远点的外部区域」使正向变为顺时针。等价计算式：\mathrm{Res}(f,\infty)=-\mathrm{Res}\left(\frac1{w^2}f\left(\frac1w\right),w=0\right)（由换元 z=1/w，\mathrm dz=-\frac{\mathrm dw}{w^2} ✓）。

全平面留数和为零：\sum_{k}\mathrm{Res}(f,a_k)+\mathrm{Res}(f,\infty)=0（留数定理应用于大圆周并用规则 5 的定义）✓。这是**「算无穷远点留数往往比算所有有限奇点更快」**的原因。

6.6 用留数计算实积分（四类标准围道）

类型 I：\displaystyle\int_{-\infty}^\infty\frac{P(x)}{Q(x)}\mathrm dx（\deg Q\ge\deg P+2）

围道： 上半平面大半圆 C_R 加实轴 [-R,R]。

引理（大圆弧估计 / ML 不等式）： 若 |f(z)|\le M_R 在 C_R 上，则 \left|\int_{C_R}f\mathrm dz\right|\le M_R\cdot\pi R。

推导：\left|\int f\mathrm dz\right|\le\int|f||\mathrm dz|\le M_R\cdot(\text{弧长}\ \pi R) ✓（\mathrm dz 的模即弧长元）。

例 6.4。 求 \displaystyle\int_0^\infty\frac{\mathrm dx}{1+x^2}。

步骤 1（对称性）： 被积函数为偶函数，故 \int_0^\infty=\frac12\int_{-\infty}^\infty ✓。

步骤 2（找奇点）：1+z^2=0\Rightarrow z=\pm i。上半平面内只有 z=i（单极点）✓。

步骤 3（算留数，用规则 2）：P=1，Q=1+z^2，Q'=2z：

步骤 4（大圆弧消失）： 在 |z|=R 上，|1+z^2|\ge|z|^2-1=R^2-1（反向三角不等式），故 M_R\le\frac1{R^2-1}，

（此处用到 \deg Q\ge\deg P+2：M_R\sim R^{-2}，乘 \pi R 得 R^{-1}\to0 ✓；若只 \deg Q=\deg P+1 则 M_R\sim R^{-1}，\pi R M_R\to\pi\ne0，需改用类型 II 的 Jordan 引理。）

步骤 5（应用留数定理）：

双重验证： 直接用 \arctan：\int_0^\infty\frac{\mathrm dx}{1+x^2}=[\arctan x]_0^\infty=\frac\pi2-0=\frac\pi2 ✓✓。

类型 II：\displaystyle\int_{-\infty}^\infty f(x)e^{iax}\mathrm dx（Jordan 引理）

引理 6.20（Jordan）。 设 a>0，f 在上半平面 \mathrm{Im}\,z\ge0、|z|\ge R_0 内解析且 \max_{|z|=R}|f(z)|=M_R\to0（R\to\infty），则

证明。 参数化 z=Re^{i\theta}=R(\cos\theta+i\sin\theta)，\theta\in[0,\pi]，\mathrm dz=iRe^{i\theta}\mathrm d\theta：

（|e^{i\cdot\text{实数}}|=1 ✓；关键：\mathrm{Im}\,z>0 时 e^{iaz} 指数衰减，这正是必须选上半平面（当 a>0）的原因）。于是

用 \sin\theta 在 [0,\pi] 上关于 \pi/2 对称，且在 [0,\pi/2] 上 \sin\theta\ge\frac{2\theta}\pi（Jordan 不等式，由 \sin 在 [0,\pi/2] 上凹且两端点与直线 \frac{2\theta}\pi 重合 ✓）：

故 \left|\int_{C_R}\right|\le M_RR\cdot\frac\pi{aR}=\frac{\pi M_R}a\to0 ✓。\blacksquare

例 6.5。 求 \displaystyle\int_{-\infty}^\infty\frac{\cos x}{1+x^2}\mathrm dx。

步骤 1：\cos x=\mathrm{Re}(e^{ix})，故所求 =\mathrm{Re}\displaystyle\int_{-\infty}^\infty\frac{e^{ix}}{1+x^2}\mathrm dx（a=1>0，用上半平面 ✓）。

步骤 2：f(z)=\frac1{1+z^2}，M_R\le\frac1{R^2-1}\to0 ✓，Jordan 引理适用。

步骤 3： 上半平面内唯一奇点 z=i，留数（规则 2）：

步骤 4：

取实部：

虚部为零的独立验证：\frac{\sin x}{1+x^2} 是奇函数，对称区间积分为 $0$ ✓✓（两条独立路径一致）。

这直接给出 Cauchy 分布的特征函数（3.9 节的结论在此严格证明）：p(x)=\frac1{\pi(1+x^2)} 时

（t>0 用上半平面；t<0 时 e^{itz} 在下半平面衰减，取 C_R 为下半圆（顺时针，故乘 -1），奇点 z=-i，留数 \frac{e^{i t(-i)}}{-2i}=\frac{e^{t}}{-2i}，积分 =-2\pi i\cdot\frac{e^t}{-2i}=\pi e^{t} ✓，合并为 \pi e^{-|t|} ✓。）

|t| 在 t=0 不可导 \Rightarrow Cauchy 分布无均值、无方差 ✓（与 3.9 节一致）。

类型 III：\displaystyle\int_0^\infty x^{a-1}R(x)\mathrm dx（钥匙孔围道，多值函数）

例 6.6。 求 \displaystyle I(a)=\int_0^\infty\frac{x^{a-1}}{1+x}\mathrm dx，0<a<1。

步骤 1（分支选取）：z^{a-1}=e^{(a-1)\log z} 是多值函数，取分支切割沿正实轴，\arg z\in(0,2\pi)。

步骤 2（围道）： 钥匙孔围道 = 正实轴上沿（\varepsilon\to R）+ 大圆 C_R + 正实轴下沿（R\to\varepsilon）+ 小圆 C_\varepsilon，整体逆时针。

步骤 3（上下沿的取值差异，核心）：

• 上沿：z=x，\arg z=0，z^{a-1}=x^{a-1}e^{(a-1)\cdot0}=x^{a-1}；方向 \varepsilon\to R，贡献 \int_\varepsilon^R\frac{x^{a-1}}{1+x}\mathrm dx。
• 下沿：z=xe^{2\pi i}，\arg z=2\pi，z^{a-1}=x^{a-1}e^{2\pi i(a-1)}=x^{a-1}e^{2\pi ia}（因 e^{-2\pi i}=1 ✓）；方向 R\to\varepsilon，故贡献 -\int_\varepsilon^R\frac{x^{a-1}e^{2\pi ia}}{1+x}\mathrm dx。

步骤 4（两个圆弧消失）：

• 大圆：\left|\frac{z^{a-1}}{1+z}\right|\le\frac{R^{a-1}}{R-1}，弧长 2\pi R，乘积 \sim\frac{2\pi R^a}{R}=2\pi R^{a-1}\to0（因 a<1 ✓）。
• 小圆：\left|\frac{z^{a-1}}{1+z}\right|\le\frac{\varepsilon^{a-1}}{1-\varepsilon}，弧长 2\pi\varepsilon，乘积 \sim2\pi\varepsilon^a\to0（因 a>0 ✓）。

0<a<1 的条件正是由这两个圆弧的消失要求决定的 ✓。

步骤 5（留数）： 围道内唯一奇点 z=-1=e^{i\pi}（注意 \arg(-1)=\pi 而非 -\pi，因分支取 (0,2\pi) ✓），单极点：

步骤 6（合并）：

化简（提出 e^{i\pi a}）：

（用 e^{-i\theta}-e^{i\theta}=-2i\sin\theta ✓。）故

三重验证：

1. a=\frac12：I=\frac\pi{\sin(\pi/2)}=\pi。直接换元核对：令 x=t^2，\mathrm dx=2t\,\mathrm dt，x^{-1/2}=1/t：

1. a\to0^+ 与 a\to1^-：I\to\infty（\sin\pi a\to0）✓，与积分发散一致（a=1 时 \int_0^\infty\frac{\mathrm dx}{1+x} 对数发散 ✓）。
2. 对称性：a\to1-a 时 \sin(\pi(1-a))=\sin\pi a，故 I(a)=I(1-a) ✓。换元验证：令 x=1/t，\mathrm dx=-\frac{\mathrm dt}{t^2}：

推论 6.21（Euler 反射公式）。

推导： 由 3.5 节，B(a,b)=\int_0^1t^{a-1}(1-t)^{b-1}\mathrm dt=\frac{\Gamma(a)\Gamma(b)}{\Gamma(a+b)}。作换元 t=\frac{x}{1+x}（x\in[0,\infty)\leftrightarrow t\in[0,1)），1-t=\frac1{1+x}，\mathrm dt=\frac{\mathrm dx}{(1+x)^2}：

取 b=1-a：a+b=1，故 B(a,1-a)=\int_0^\infty\frac{x^{a-1}}{1+x}\mathrm dx=\frac\pi{\sin\pi a}（例 6.6）。又 \Gamma(a+b)=\Gamma(1)=1，故 B(a,1-a)=\Gamma(a)\Gamma(1-a) ✓。\blacksquare

验证：a=\frac12：\Gamma(\frac12)^2=\frac\pi{\sin(\pi/2)}=\pi\Rightarrow\Gamma(\frac12)=\sqrt\pi ✓✓（与 3.5 节的高斯积分推导独立吻合，交叉验证成功）。

推论 6.22（正弦的无穷乘积，Euler）。 由反射公式与 \Gamma 的 Weierstrass 乘积形式可导出

核对（取 z=\frac12）：\sin\frac\pi2=1，右端 =\frac\pi2\prod_{n\ge1}\left(1-\frac1{4n^2}\right)=\frac\pi2\cdot\frac2\pi=\frac2\pi\cdot\frac\pi2？—— 直接引用 Wallis 乘积（3.5 节推论 3.12）：\frac\pi2=\prod_{n\ge1}\frac{(2n)^2}{(2n-1)(2n+1)}，即 \prod_{n\ge1}\left(1-\frac1{4n^2}\right)=\prod\frac{(2n-1)(2n+1)}{(2n)^2}=\frac2\pi ✓，故右端 =\frac\pi2\cdot\frac2\pi=1 ✓✓（与第三部分的 Wallis 乘积完全一致，两个独立来源互相印证）。

应用： 取对数并对 z 求导可得 \pi\cot\pi z=\frac1z+\sum_{n\ge1}\frac{2z}{z^2-n^2}，再取 z\to0 展开得 \sum_{n\ge1}\frac1{n^2}=\frac{\pi^2}6（Basel 问题）、\sum\frac1{n^4}=\frac{\pi^4}{90} 等——这些值出现在 \zeta 函数、随机矩阵与 SGD 噪声分析（\sum\eta_k^2 的和，见 1.8 节 Robbins-Monro 条件）中。

类型 IV：\displaystyle\mathrm{PV}\int_{-\infty}^\infty f(x)e^{iax}\mathrm dx（实轴上有极点，用留 indentation）

例 6.7（Dirichlet 积分）。 求 \displaystyle\int_{-\infty}^\infty\frac{\sin x}x\mathrm dx=\pi。

步骤 1： 考虑 f(z)=\frac{e^{iz}}z，它在 z=0 有单极点（在积分路径上！），留数 =\lim_{z\to0}z\cdot\frac{e^{iz}}z=1。

步骤 2（围道）： 上半平面大半圆 C_R + 实轴 [-R,-\varepsilon]\cup[\varepsilon,R] + 绕原点的小上半圆 C_\varepsilon（顺时针，即把极点排除在围道之外）。围道内无极点，故

步骤 3（小圆弧的贡献）： 在 C_\varepsilon 上 z=\varepsilon e^{i\theta}，\theta 从 \pi 到 $0$（顺时针）：

即「半圈只贡献半个留数」：-i\pi\cdot\mathrm{Res}=-\pi i\cdot1 ✓（负号来自顺时针方向）。

步骤 4（大圆弧）： Jordan 引理（f=1/z，M_R=1/R\to0，a=1>0）给 \int_{C_R}\to0 ✓。

步骤 5（合并）：

比较实部与虚部：

（\frac{\sin x}x 为偶函数且在 $0$ 处极限为 $1$，故无奇点问题，积分是常规反常积分而非仅 PV ✓。）

推论 6.23（sinc 函数与归一化）。 定义 \mathrm{sinc}(u)=\dfrac{\sin\pi u}{\pi u}（归一化 sinc，信号处理约定），则

即归一化 sinc 的积分为 $1$（直流增益为 $1$），且 \mathrm{sinc}(k)=\delta_{k0}（k 为整数）：k=0 时 \frac{\sin0}{0}\to1 ✓；k\ne0 时 \sin\pi k=0 且分母非零 ✓。这两个性质正是 6.8 节 Nyquist 采样定理中 sinc 插值成立的全部要求。

6.7 Fourier 变换、卷积与特征函数

约定（本文统一采用「非归一化角频率」形式）：

在此约定下 \mathcal F 与 \mathcal F^{-1} 只差 2\pi 因子与符号，Parseval 关系为 \int f\bar g\,\mathrm dt=\frac1{2\pi}\int\hat f\bar{\hat g}\,\mathrm d\omega。 换用其他约定（如 e^{-2\pi i\nu t} 或对称的 \frac1{\sqrt{2\pi}} 归一化）时，下面所有含 2\pi 的常数需相应调整——这是 Fourier 分析中最常见的错误来源，务必先固定约定再推导。

基本性质与逐条推导：

卷积定理的完整推导。 定义 (f*g)(t)=\int_{-\infty}^\infty f(\tau)g(t-\tau)\mathrm d\tau：

交换积分次序（Fubini，要求 f,g\in L^1），并换元 s=t-\tau（\mathrm dt=\mathrm ds）：

（关键步：e^{-i\omega(s+\tau)}=e^{-i\omega s}e^{-i\omega\tau} 使变量分离 ✓。）

卷积定理是「滤波 = 频域相乘」的数学根据，也是 CNN 用 FFT 加速大卷积核（O(N\log N) 替代 O(NK)）、以及 6.9 节传递函数分析的基石。

定理 6.24（高斯函数的 Fourier 变换：它是 \mathcal F 的特征函数）。

推导（配方 + 围道平移）。

合并指数并配方：

（核对：(t+i\omega)^2=t^2+2i\omega t+(i\omega)^2=t^2+2i\omega t-\omega^2，故 -\frac12[(t+i\omega)^2-\omega^2\cdot(-1)]？逐步：-\frac12(t^2+2i\omega t)=-\frac12[(t+i\omega)^2-(i\omega)^2]=-\frac12(t+i\omega)^2+\frac12(i\omega)^2=-\frac{(t+i\omega)^2}2-\frac{\omega^2}2 ✓。）

于是

对余下积分作围道平移：被积函数 e^{-z^2/2} 为整函数，考虑矩形围道（顶点 -R，R，R+i\omega，-R+i\omega，设 \omega>0），由 Cauchy 积分定理围道积分为 $0$；两条竖直边上 |e^{-z^2/2}|=e^{-(R^2-y^2)/2}\to0（R\to\infty）故贡献为零，得

（末式由 3.6 节高斯积分取 \sigma=1：\int e^{-u^2/2}\mathrm du=\sqrt{2\pi} ✓）。故 \hat f(\omega)=\sqrt{2\pi}e^{-\omega^2/2} ✓。\blacksquare

推论与意义：

1. 高斯的 Fourier 变换仍是高斯（只差常数 \sqrt{2\pi}），故高斯是 \mathcal F 的特征函数（特征值 \sqrt{2\pi}；用对称归一化约定时特征值恰为 $1）。\mathcal F$ 的四个特征值为 \sqrt{2\pi}\cdot\{1,-i,-1,i\}（因 \mathcal F^4=(2\pi)^2I）。
2. 时域与频域的宽度乘积有下界（不确定性原理）：\sigma_t\sigma_\omega\ge\frac12，高斯取等。推导：由 \mathcal F[f']=i\omega\hat f 与 Cauchy-Schwarz，\left(\int|f'|^2\right)\left(\int t^2|f|^2\right)\ge\left|\int tf'\bar f\right|^2=\frac14\left(\int|f|^2\right)^2（用 \mathrm{Re}\int tf'\bar f=\frac12\int t(|f|^2)'=-\frac12\int|f|^2 分部积分），配合 Parseval 即得。高斯是唯一达到下界的函数，这解释了为什么高斯窗（Gabor 变换）、高斯核（RBF）在时频分析中是最优选择。
3. 热方程的基本解：\partial_tu=\frac12\partial_{xx}u，u(x,0)=\delta(x) 的解为 u(x,t)=\frac1{\sqrt{2\pi t}}e^{-x^2/(2t)}。推导：对 x 作 Fourier 变换，\partial_t\hat u=-\frac{\omega^2}2\hat u（用导数性质），解得 \hat u=e^{-\omega^2t/2}，逆变换用定理 6.24（取 \sigma^2=t）得高斯 ✓。这就是扩散模型的前向过程：x_t=x_0+\sqrt t\varepsilon 的密度演化恰是热方程，其解析解为高斯——扩散模型的数学基础。

特征函数与分布的对应（3.9 节的复分析版本）：

矩的提取：\mathbb E[X^n]=\frac{\varphi_X^{(n)}(0)}{i^n}=(-i)^n\varphi_X^{(n)}(0)。推导：\varphi^{(n)}(t)=\int(ix)^ne^{itx}p\,\mathrm dx=i^n\mathbb E[X^ne^{itX}]，取 t=0 得 i^n\mathbb E[X^n] ✓。

独立和的卷积 \leftrightarrow 特征函数相乘：X\perp Y\Rightarrow\varphi_{X+Y}=\varphi_X\varphi_Y（由卷积定理，p_{X+Y}=p_X*p_Y ✓）。这是中心极限定理的证明路径：对 S_n=\frac1{\sqrt n}\sum X_i（\mathbb EX_i=0，\mathrm{Var}=1），

（用 \varphi(0)=1，\varphi'(0)=i\mathbb EX=0，\varphi''(0)=-\mathbb E[X^2]=-1，故 Taylor 展开 \varphi(u)=1-\frac{u^2}2+o(u^2) ✓；再用 (1+\frac an)^n\to e^a ✓。）而 e^{-t^2/2} 正是标准正态的特征函数（定理 6.24 / 3.9 节），由 Lévy 连续性定理得 S_n\Rightarrow\mathcal N(0,1) ✓。这是「为什么深度学习中大量噪声的叠加趋于高斯」的严格证明。

6.8 Poisson 求和公式与 Nyquist 采样定理

定理 6.25（Poisson 求和公式）。 设 f 与其 Fourier 变换 \hat f 都衰减足够快（如 |f(t)|,|\hat f(\omega)|\le\frac{C}{1+t^2}），则对采样间隔 T>0：

完整推导（周期化 + Fourier 级数）。

步骤 1（构造周期函数）： 定义

则 g(x+T)=\sum_nf(x+T+nT)=\sum_nf(x+(n+1)T)=g(x)（换指标 m=n+1 ✓），故 g 以 T 为周期。

步骤 2（求 Fourier 系数）：g(x)=\sum_kc_ke^{2\pi ikx/T}，其中

换元 u=x+nT，并注意 e^{-2\pi ik(x)/T}=e^{-2\pi ik(u-nT)/T}=e^{-2\pi iku/T}e^{2\pi ikn}=e^{-2\pi iku/T}（因 e^{2\pi ikn}=1，k,n 为整数 ✓）：

（各区间拼成整条实轴 ✓。）

步骤 3（取 x=0）：g(0)=\sum_nf(nT)=\sum_kc_k=\frac1T\sum_k\hat f\left(\frac{2\pi k}T\right) ✓。\blacksquare

特例与验证（T=1，f(t)=e^{-\pi t^2}）： 此时 \hat f(\omega)=e^{-\omega^2/(4\pi)}（由定理 6.24 换算：e^{-\pi t^2} 对应 \sigma^2=\frac1{2\pi}，\hat f(\omega)=\sqrt{2\pi}\cdot\frac1{\sqrt{2\pi}}e^{-\omega^2/(4\pi)}？逐步核对：\int e^{-\pi t^2}e^{-i\omega t}\mathrm dt，配方 -\pi t^2-i\omega t=-\pi(t+\frac{i\omega}{2\pi})^2-\frac{\omega^2}{4\pi}，积分 =e^{-\omega^2/(4\pi)}\int e^{-\pi u^2}\mathrm du=e^{-\omega^2/(4\pi)}\cdot1（因 \int_{-\infty}^\infty e^{-\pi u^2}\mathrm du=\frac{\sqrt\pi}{\sqrt\pi}=1，由 3.6 节取 \sigma^2=\frac1{2\pi}：\sqrt{2\pi\cdot\frac1{2\pi}}=1 ✓）。故 \hat f(\omega)=e^{-\omega^2/(4\pi)} ✓。代入 Poisson 公式：

恒等式平凡成立 ✓（自对偶情形，这是 \theta 函数 \vartheta(1)=\sum e^{-\pi n^2}\approx1.0864 的模变换性质的最简单体现）。

定理 6.26（Nyquist-Shannon 采样定理）。 设 \hat f(\omega)=0 对 |\omega|>2\pi B（f 为带宽 B 的带限信号），采样率 f_s=\frac1T\ge2B，则

推导（频域视角）。

步骤 1（采样信号的频谱 = 原频谱的周期复制）。 理想采样 f_s(t)=f(t)\sum_n\delta(t-nT)=\sum_nf(nT)\delta(t-nT)。由卷积/乘积定理（\mathcal F[\text{冲激串}] 仍是冲激串）：

（此式即 Poisson 求和公式的分布版本：对测试函数 \phi 两侧作用得 \sum_n\phi(nT)=\frac1T\sum_k\hat\phi(2\pi k/T) ✓。）于是乘积的 Fourier 变换为卷积：

频谱以 \frac{2\pi}T（即 f_s 的角频率形式）为间隔周期复制，幅度缩放 \frac1T。

步骤 2（无混叠条件）。 原频谱支撑在 |\omega|\le2\pi B，宽度 4\pi B；复制间隔为 \frac{2\pi}T。不重叠 \iff\frac{2\pi}T\ge4\pi B\iff\frac1T\ge2B\iff f_s\ge2B ✓（Nyquist 率 2B）。

步骤 3（理想低通重建）。 在无混叠条件下，用理想低通滤波器 H(\omega)=T\cdot\mathbb 1[|\omega|\le\frac\pi T]（取 T 是为了抵消步骤 1 的 \frac1T 因子）：

（当 \frac1T=2B 即临界采样时 \frac\pi T=2\pi B 恰为带宽 ✓。）

步骤 4（逆变换得 sinc 插值）。

（把 \hat f_s=\frac1T\sum_k\hat f(\omega-\frac{2\pi k}T) 代入后只留 k=0 项，再用 \hat f(\omega)=\sum_nf(nT)？—— 更直接的路径：\hat f_s(\omega)=\sum_nf(nT)e^{-i\omega nT}（冲激串的 Fourier 变换定义式，验证：\mathcal F[\sum_nc_n\delta(t-t_n)]=\sum_nc_ne^{-i\omega t_n} ✓）。代入：）

计算内层积分（\Omega=\pi/T，s=t-nT）：

内层积分的计算（含滤波器增益，两处 \frac1T 恰好抵消，务必逐项核对）：

其中 s=t-nT，\Omega=\pi/T。令 u=s/T，则 \Omega s=\pi u，s=Tu，代入：

增益的自洽性检查： 步骤 1 中采样使频谱幅度缩放 \frac1T，步骤 3 的滤波器增益取 T 正好抵消；若漏掉 T 会得到 f(t)=\frac1T\sum f(nT)\mathrm{sinc}(\cdot)，在 t=nT 处取值 f(nT)/T\ne f(nT)，与插值性质矛盾——这就是下面独立验证的作用。\blacksquare

插值性质的独立验证： 在采样点 t=mT 处，

（用 \mathrm{sinc}(k)=\delta_{k0}，见推论 6.23 ✓）。插值公式精确通过所有采样点 ✓。

混叠（aliasing）的定量描述： 若 f_s<2B，相邻频谱复制重叠，\hat f_s 在重叠区为两个复制之和，无法分离。频率 \nu 的分量会被误认作 \nu+kf_s（k 为整数）——「车轮倒转」现象即此：以 $24$ fps 拍摄转速 \nu 的车轮，若 \nu>12 转/秒则出现反向旋转的错觉。

机器学习的三处直接应用：

1. 位置编码的频谱设计。 Transformer 的正弦位置编码 \mathrm{PE}(t,2i)=\sin(t/10000^{2i/d}) 使用了跨越多个数量级的频率 \omega_i=10^{-4i/d}。按采样定理，序列长度 T 的离散位置采样要求 \omega_i\le\pi（恒成立 ✓）且低频分量提供「长程唯一性」、高频分量提供「局部可分辨性」；频率过低会导致不同位置的编码混叠（无法区分远距位置）。RoPE 的相对位置性质、NTK-aware 的编码频率缩放（如 YaRN、位置插值）本质都是在调整采样定理中的「带宽 vs 采样率」配比：把长度从 L 外推到 L'>L 相当于降低采样率，需相应缩小频率（位置插值 t\to tL/L'）以避免混叠。
2. 特征图（NeRF / Fourier features）的谱偏置。 把输入 x 映射为 \gamma(x)=[\sin(2^k\pi x),\cos(2^k\pi x)]_{k=0}^{K-1} 使 MLP 能拟合高频细节。其数学依据：MLP 对低频有「谱偏置」（NTK 的特征值随频率衰减，见 7.13 节），而 Fourier feature 把高频分量搬到 NTK 谱的有效范围内；采样定理的对偶视角是——用 2^K 个频率等价于把有效采样率提高 2^K 倍，故可分辨的最小细节尺度为 2^{-K}。
3. 数据降采样与抗混叠滤波。 图像/音频下采样前必须先低通滤波（模糊）再抽样，否则产生摩尔纹与假频。这与 CNN 中「strided convolution 无低通 ⇒ 破坏平移等变性」的分析一致：max-pooling 是非线性抽样，会引入混叠，而 blur-pooling（先低通再抽样）恢复近似平移不变性——采样定理给出了 pooling 层设计的定量判据。

6.9 Laplace 变换、传递函数与稳定性

定义 6.27。F(s)=\mathcal L[f](s)=\displaystyle\int_0^\infty f(t)e^{-st}\mathrm dt，s=\sigma+i\omega\in\mathbb C。收敛域为 \mathrm{Re}\,s>\alpha（\alpha 为增长指数）。

与 Fourier 变换的关系：\mathcal L[f](i\omega)=\mathcal F[f\cdot\mathbb 1_{t\ge0}](\omega)，即 Laplace 变换是 Fourier 变换在虚轴上的限制 + 收敛因子 e^{-\sigma t} 的解析延拓。这使 Laplace 变换能处理 e^{at}（a>0）这类 Fourier 变换不存在的函数。

基本变换对（都由定义直接积分验证）：

性质与推导：

推导（分部积分）：\int_0^\infty f'e^{-st}\mathrm dt=[fe^{-st}]_0^\infty+s\int_0^\infty fe^{-st}\mathrm dt=-f(0)+sF ✓（\mathrm{Re}\,s 足够大使边界项在 \infty 处为零）。

（第二式由 \mathcal L[1]=1/s 与卷积定理 ✓；第一式由积分号下对 s 求导 ✓。）

定理 6.28（反演公式：Bromwich 积分）。

第二个等号的推导（留数定理）： 积分路径是竖直线 \mathrm{Re}\,s=\gamma。对 t>0，用大半圆向左闭合（\mathrm{Re}\,s\to-\infty 使 e^{st}\to0 ✓），围道为顺时针，故

（左半圆弧贡献趋于 $0$，由 Jordan 引理的 Laplace 版本；顺时针给出负号，与 \frac1{2\pi i} 的符号约定相消 ✓。）

例 6.8（用留数做反演，并与卷积法交叉验证）。 求 \mathcal L^{-1}\left\{\dfrac1{(s-a)(s-b)}\right\}（a\ne b）。

方法一（留数）： 单极点 s=a,b。

求和：

方法二（部分分式 + 查表）：

方法三（卷积，完全独立）：\frac1{(s-a)(s-b)}=\frac1{s-a}\cdot\frac1{s-b}，故 f=e^{at}*e^{bt}：

三种方法完全一致 ✓。

特例核对（b=-a）：F=\frac1{s^2-a^2}，f=\frac{e^{at}-e^{-at}}{2a}=\frac{\sinh at}a ✓（与标准表一致）。特例 b\to a（二阶极点）：\frac{\mathrm d}{\mathrm db}\left[\frac{e^{at}-e^{bt}}{a-b}\right] 在 b\to a 的极限 =te^{at} ✓（对应 \mathcal L^{-1}\{\frac1{(s-a)^2}\}=te^{at}，与 \mathcal L[t]=1/s^2 的频移一致 ✓）。

状态空间模型与传递函数。 系统

对 t 作 Laplace 变换（用 \mathcal L[\dot x]=sX-x(0)）：

矩阵指数的 Laplace 变换（关键引理）：\mathcal L[e^{At}]=(sI-A)^{-1}。

推导：对 \frac{\mathrm d}{\mathrm dt}e^{At}=Ae^{At}（定理 4.30）作 Laplace 变换，e^{A\cdot0}=I：

故冲激响应（u=\delta，x_0=0）为 h(t)=Ce^{At}B+D\delta(t)，且 H(s)=\mathcal L[h] ✓（传递函数 = 冲激响应的 Laplace 变换）。

极点与稳定性。(sI-A)^{-1}=\frac{\mathrm{adj}(sI-A)}{\det(sI-A)}，极点即 \det(sI-A)=0 的根，恰为 A 的特征值（特征多项式定义 ✓）。

定理 6.29（连续时间稳定性判据）。 下列等价：

(i) \lim_{t\to\infty}e^{At}=0（渐近稳定）； (ii) A 的所有特征值满足 \mathrm{Re}\,\lambda_i<0（极点全在左半平面）； (iii) 冲激响应 h\in L^1，即 \int_0^\infty|h(t)|\mathrm dt<\infty（BIBO 稳定，对可对角化 A）。

证明 (i)\iff(ii)： 设 A=V\Lambda V^{-1}（可对角化情形），e^{At}=Ve^{\Lambda t}V^{-1}，e^{\Lambda t}=\mathrm{diag}(e^{\lambda_it})，|e^{\lambda_it}|=e^{\mathrm{Re}\lambda_i\cdot t}。故 e^{\Lambda t}\to0\iff\mathrm{Re}\,\lambda_i<0\ \forall i ✓。一般情形用 Jordan 块：e^{Jt}=e^{\lambda t}\sum_k\frac{t^k}{k!}N^k（N 幂零），多项式因子 t^k 被指数衰减压制 \iff\mathrm{Re}\,\lambda<0 ✓。\blacksquare

离散时间对应： 迭代 x_{k+1}=Bx_k+c 收敛 \iff\rho(B)<1（所有特征值在单位圆内）。

证明： 误差 e_k=x_k-x^*=B^k(x_0-x^*)（推导：e_{k+1}=Be_k 逐项迭代 ✓）。B^k\to0\iff\rho(B)<1，由 Gelfand 公式

（对任意矩阵范数成立；证明用谱半径的解析函数表示与 Hadamard 收敛半径，此处引用）。故 \|B^k\|\to0\iff\rho(B)<1 ✓。\blacksquare

这条判据统一了机器学习中的多个收敛结论：

Routh-Hurwitz 判据（不解方程判断极点位置）。 对实系数多项式 p(s)=a_ns^n+a_{n-1}s^{n-1}+\cdots+a_1s+a_0（a_n>0），所有根满足 \mathrm{Re}\,\lambda<0\iff Routh 表首列全为正。低阶显式条件：

核对二阶： 根 =\frac{-a_1\pm\sqrt{a_1^2-4a_0}}2。若 a_1^2\ge4a_0，两根为实，需 -a_1+\sqrt{a_1^2-4a_0}<0，即 \sqrt{a_1^2-4a_0}<a_1，等价于 a_0>0（且 a_1>0）✓；若 a_1^2<4a_0，两根为共轭复数，实部 =-a_1/2<0\iff a_1>0 ✓。合并即 a_1>0,a_0>0 ✓。

必要性核对（所有系数同号为正）：p(s)=a_n\prod(s-\lambda_i)，展开后 a_{n-1}=-a_n\sum\lambda_i，a_0=(-1)^na_n\prod\lambda_i。若所有 \mathrm{Re}\,\lambda_i<0，复根成对出现使 \sum\lambda_i<0（实部之和）✓，故 a_{n-1}>0；\prod\lambda_i 的辐角由共轭对相消，实根均为负，故 (-1)^n\prod\lambda_i>0 ✓。系数全正是稳定的必要条件（不是充分），三阶还需 a_2a_1>a_0。

机器学习应用： ODE 求解器（Neural ODE 训练/推理）的稳定性由 Jacobian \frac{\partial f}{\partial h} 的特征值决定；刚性（stiff）系统即 |\lambda_{\max}/\lambda_{\min}| 极大，显式 Euler 需 h<2/|\lambda_{\max}| 而精度需 h 与 1/|\lambda_{\min}| 可比，两者矛盾 ⇒ 必须用隐式方法（后向 Euler h_{k+1}=h_k+\eta f(h_{k+1})，其稳定域为整个左半平面，即 A-稳定）。这是自适应步长 ODE 求解器（dopri5）在 Neural ODE 中变慢的根本原因，也是「刚性正则化」（kinetic energy regularization \int\|\dot h\|^2）有效的机理——它压制 \lambda_{\max}，降低刚性。

6.10 FFT 的分治推导与复杂度

定义 6.30（DFT）。 对长度 N 的序列 x_0,\dots,x_{N-1}：

逆变换 x_n=\frac1N\sum_kX_k\omega_N^{-kn}。

逆变换的验证（用 6.1 节的单位根求和恒等式）：

矩阵形式：X=F_Nx，(F_N)_{kn}=\omega_N^{kn}，且 F_NF_N^{\mathsf H}=NI（正交性 ✓），故 F_N^{-1}=\frac1NF_N^{\mathsf H}。F_N/\sqrt N 是酉矩阵（这也说明 DFT 保范：\|X\|=\sqrt N\|x\|，即 Parseval ✓）。

定理 6.31（Cooley-Tukey 分治，radix-2 FFT）。 设 N=2M，把下标按奇偶拆分：

关键化简：\omega_N^{2km}=e^{-2\pi i(2km)/N}=e^{-2\pi ikm/M}=\omega_M^{km} ✓，\omega_N^{k(2m+1)}=\omega_N^k\omega_M^{km}。故

再看 k+M：

（用 M=N/2 ✓。）故

蝴蝶运算（butterfly）：

每层计算量： 递归计算 E,O 各需 T(M)；合并阶段对每个 k 做 $1$ 次复数乘（\omega_N^kO_k）与 $2$ 次复数加减，共 O(M)=O(N) 次运算。故

求解递推（展开法）：

取 j=\log_2N，T(1)=O(1)：

对比直接计算 O(N^2)：N=2^{20}\approx10^6 时，直接法需 10^{12} 次运算，FFT 只需 2\times10^7 次，加速 5 万倍。

机器学习中的三处应用：

1. FNet / GFNet / 全局注意力：用 FFT 替代自注意力，O(N\log N) 对 O(N^2)。GFNet 的做法是 y=\mathcal F^{-1}[\mathcal F[x]\odot W]（频域逐点乘 = 空域全局卷积），由卷积定理这等价于循环卷积 ✓，参数量 O(N) 而非 O(N^2)。
2. 长序列状态空间模型（S4/H3/Mamba）：卷积形式 y=\bar K*x（\bar K 为离散化后的卷积核）用 FFT 计算，O(L\log L)；这也是 S4 能处理数万长度序列的原因。核 \bar K=(C\bar B,\ CA\bar B,\ \dots,\ CA^{L-1}\bar B) 的生成用 6.9 节的 (sI-A)^{-1} 与对角化 A=V\Lambda V^{-1} 使 A^k=V\Lambda^kV^{-1} 可 O(L) 计算 ✓。
3. 循环卷积神经网络与 Winograd 算法：CNN 的卷积可用 FFT 加速（当核较大时）；Winograd 用中国剩余定理在多项式环上做等价变换，减少乘法次数——两者的代数基础都是 6.1 节的单位根与多项式因式分解。

数值注意事项： FFT 的舍入误差为 O(\log N) 相对误差（因有 \log N 层蝴蝶运算，每层引入 O(\varepsilon_{\text{mach}})），远优于显式矩阵乘法的 O(N) 累积。但频域乘法对高频噪声敏感：\hat f 的高频部分幅度小，相对误差大，故低通滤波时应保留足够位宽。\blacksquare

第七部分 泛函微积分

前六部分讨论的都是「有限维空间上的函数求导」。第七部分把导数概念推广到以函数为自变量的映射（泛函）与无穷维空间上的算子，这是变分推断、Neural ODE、自然梯度、核方法与平均场极限的共同数学语言。

7.1 赋范空间、内积空间与三个基本不等式

定义 7.1（赋范空间）。 向量空间 X 上的范数 \|\cdot\|:X\to[0,\infty) 满足

范数诱导度量 d(x,y)=\|x-y\|，进而诱导拓扑。

常用范数（机器学习）：\|x\|_p=\left(\sum|x_i|^p\right)^{1/p}（p\ge1），\|x\|_\infty=\max|x_i|；矩阵的 Frobenius \|A\|_F=\sqrt{\mathrm{tr}(A^{\mathsf TA})}、谱范数 \|A\|_2=\sigma_{\max}、核范数 \|A\|_*=\sum\sigma_i。

定义 7.2（Banach 空间）。 完备的赋范空间（每个 Cauchy 列都收敛）。C[a,b] 配 \|\cdot\|_\infty 是 Banach；配 L^2 范数则不完备（可用多项式 Cauchy 列逼近不连续函数作反例）。

定义 7.3（内积空间 / Hilbert 空间）。 内积 \langle\cdot,\cdot\rangle:X\times X\to\mathbb R 满足对称、双线性、正定；诱导 \|x\|=\sqrt{\langle x,x\rangle}。完备的内积空间称 Hilbert 空间。L^2(\Omega)=\{f:\int_\Omega|f|^2<\infty\} 配 \langle f,g\rangle=\int_\Omega fg 是 Hilbert 空间——变分法的主战场。

定理 7.4（Cauchy-Schwarz）。|\langle u,v\rangle|\le\|u\|\|v\|，取等 \iff u,v 线性相关。

证明（判别式法）。 若 v=0 平凡。否则对任意 t\in\mathbb R，由正定性：

这是关于 t 的二次多项式且恒非负，故判别式 \le0：

取等 \iff 判别式 =0\iff 存在 t^* 使 \|u-t^*v\|=0\iff u=t^*v（线性相关）✓。\blacksquare

由 Cauchy-Schwarz 立得的三个重要结论：

1. 内积的连续性：|\langle u_n,v_n\rangle-\langle u,v\rangle|\le\|u_n-u\|\|v_n\|+\|u\|\|v_n-v\|\to0。
2. 范数是连续函数：\big|\|u\|-\|v\|\big|\le\|u-v\|（由三角不等式 \|u\|\le\|u-v\|+\|v\| 双向 ✓）。
3. 平行四边形法则（内积空间的特征性质）：\|u+v\|^2+\|u-v\|^2=2\|u\|^2+2\|v\|^2。

推导：\|u\pm v\|^2=\|u\|^2\pm2\langle u,v\rangle+\|v\|^2，相加消去交叉项 ✓。L^1 与 L^\infty 不满足平行四边形法则，故它们不能由内积诱导——这决定了「L^2 上有正交投影与 Riesz 表示，L^1 上没有」，是稀疏优化（\ell_1）与光滑优化（\ell_2）行为差异的几何根源。

定理 7.5（Hölder 不等式）。p,q>1，\frac1p+\frac1q=1，则

证明（先证 Young 不等式，再归一化）。

步骤 1（Young：ab\le\frac{a^p}p+\frac{b^q}q）。 由 \log 的凹性（定理 2.16，(\log)''=-1/x^2<0）与 Jensen（权重 \frac1p,\frac1q 和为 $1$）：

两侧取 \exp（单调递增）即得 ✓。取等 \iff a^p=b^q（Jensen 取等条件）✓。

步骤 2（归一化）。 若 \|f\|_p 或 \|g\|_q 为 $0$ 或 \infty，结论平凡。否则令 a=\frac{|f|}{\|f\|_p}，b=\frac{|g|}{\|g\|_q}，代入 Young 并积分：

两侧乘 \|f\|_p\|g\|_q 即得 ✓。\blacksquare

特例：p=q=2 即 Cauchy-Schwarz ✓（此时 \frac{a^2}2+\frac{b^2}2\ge ab 是 AM-GM，一致 ✓）；p=1,q=\infty 给 \|fg\|_1\le\|f\|_1\|g\|_\infty ✓。

定理 7.6（Minkowski 不等式，即 \|\cdot\|_p 的三角不等式）。p\ge1：

证明（用 Hölder，p>1）。

对两项各用 Hölder，指数取 p 与 q=\frac{p}{p-1}（注意 (p-1)q=p ✓，这是关键代数事实）：

合并：

若 \|f+g\|_p>0，两侧除以 \|f+g\|_p^{p/q}，用 p-\frac pq=p(1-\frac1q)=p\cdot\frac1p=1 ✓，得 \|f+g\|_p\le\|f\|_p+\|g\|_p ✓。\blacksquare

机器学习意义：\|\cdot\|_p 确为范数（三角不等式是最难验证的一条），因此 L^p 是 Banach 空间，「损失函数的 L^p 范数」等表述才合法。p=2 时的 Hilbert 结构给出正交投影、Pythagoras 定理（\|f+g\|^2=\|f\|^2+\|g\|^2 当 \langle f,g\rangle=0）——这是 7.12 节 representer 定理证明的核心工具。

定理 7.7（正交投影与 Riesz 表示）。

1. 设 H 为 Hilbert 空间，V\subset H 为闭凸集，则对任意 u\in H 存在唯一 v^*\in V 使 \|u-v^*\|=\inf_{v\in V}\|u-v\|。若 V 是闭子空间，则 u-v^*\perp V，且 H=V\oplus V^\perp。
2. Riesz 表示定理：H 上任意连续线性泛函 \ell 都可写成 \ell(f)=\langle f,g_\ell\rangle，且 \|\ell\|=\|g_\ell\|。

投影定理的推导（平行四边形法则 + 完备性）： 取极小化序列 v_n，\|u-v_n\|\to d=\inf\|u-v\|。用平行四边形法则于 u-v_n 与 u-v_m（注意 \frac{(u-v_n)+(u-v_m)}2=u-\frac{v_n+v_m}2，而 \frac{v_n+v_m}2\in V 由凸性）：

故 \|v_n-v_m\|^2\le2(\|u-v_n\|^2+\|u-v_m\|^2)-4d^2\to0，即 \{v_n\} 为 Cauchy 列，由完备性收敛到 v^*\in V（闭），\|u-v^*\|=d ✓。唯一性与正交性由同样计算得（取 v_n=v^*，v_m=v' 则 \|v^*-v'\|^2\le2d^2+2d^2-4d^2=0 ✓）。\blacksquare

Riesz 表示定理是「泛函导数存在」的理论保证：若 \ell 是 Fréchet 导数（连续线性），则存在 g_\ell 使 \ell(h)=\langle h,g_\ell\rangle，这个 g_\ell 就是泛函导数（函数梯度）\frac{\delta J}{\delta\phi}。它把「抽象的线性映射」具体化为「一个函数」，使梯度下降可以在函数空间中进行。

7.2 Fréchet 导数与 Gâteaux 导数

定义 7.8（Fréchet 导数）。 设 X,Y 为赋范空间，F:U\subset X\to Y。F 在 xFréchet 可微\iff 存在有界线性算子 A:X\to Y 使

记 A=D F(x)。这是 4.1 节定义 4.3 在无穷维的直接推广，形式完全一致。

定义 7.9（Gâteaux 导数 / 方向导数）。 若对每个 h\in X，极限

存在，则称 F 在 x 沿 h 可微。若 h\mapsto\mathrm dF(x;h) 是有界线性算子，称其为 Gâteaux 导数。

定理 7.10（关系）。 Fréchet 可微 \Rightarrow Gâteaux 可微且 DF(x)h=\mathrm dF(x;h)；反之需要额外条件（Gâteaux 导数关于 h 线性且在 x 的邻域内一致）。

推导（\Rightarrow）： 在 Fréchet 定义中取 h=tv：

故 \frac{F(x+tv)-F(x)}t-Av\to0（除以 \|v\| 是常数）✓。

反例（Gâteaux 存在但 Fréchet 不存在）：

沿方向 (a,b)：\mathrm dF(0;(a,b))=\lim_{t\to0}\frac{t^2a^2\cdot tb}{t}(t^4a^4+t^2b^2)^{-1}\cdot？逐步：

这不是 b 的线性函数（\frac{a^2}b 关于 b 非线性），故连 Gâteaux 导数（要求线性）都不存在。但沿每个固定方向极限存在（方向导数存在），且 F 在 (0,0)不连续（沿 y=x^2：F=\frac{x^2\cdot x^2}{x^4+x^4}=\frac12\not\to0），故不 Fréchet 可微 ✓。

这个反例与 4.1 节反例 B 是同一类现象在无穷维的翻版：方向导数存在且各方向有限，并不足以保证可微——必须要求「关于方向线性 + 余项一致小」。

定义 7.11（泛函导数）。 对 J[\phi]=\int L(x,\phi(x),\phi'(x),\dots)\mathrm dx 型泛函，一阶变分定义为

若可写成 \delta J[\phi;\eta]=\displaystyle\int\frac{\delta J}{\delta\phi(x)}\,\eta(x)\,\mathrm dx，则 \dfrac{\delta J}{\delta\phi} 称为泛函导数（函数梯度）。

这正是 Riesz 表示定理的具体化：\delta J[\phi;\cdot] 是 L^2 上的线性泛函，其表示元即 \frac{\delta J}{\delta\phi}，内积形式 \langle\frac{\delta J}{\delta\phi},\eta\rangle_{L^2} ✓。

例 7.1（三个基本泛函导数）。

1. J[\phi]=\displaystyle\int_a^bF(\phi(x))\mathrm dx：

1. J[\phi]=\displaystyle\int_a^b\frac12(\phi')^2\mathrm dx（Dirichlet 能量）：

这就是 Laplace 算子作为「Dirichlet 能量的梯度」的身份，是 PINN、图信号平滑（5.7 节 f^{\mathsf T}Lf）、半监督学习（Laplacian regularization）的共同源头。

1. J[\phi]=\displaystyle\int\phi\log\phi\,\mathrm dx（负熵）：由 1 取 F(u)=u\log u，F'(u)=\log u+1：

这三条是全部变分推断计算的基石（7.7、7.8、7.13 节反复使用）。

函数空间的梯度下降（functional gradient descent）。 若 \frac{\mathrm d\phi}{\mathrm dt}=-\frac{\delta J}{\delta\phi}，则

（链式法则 \frac{\mathrm d}{\mathrm dt}J[\phi(t)]=\delta J[\phi;\partial_t\phi]=\int\frac{\delta J}{\delta\phi}\partial_t\phi ✓）故 J 单调下降——这是 L^2 梯度流，与 2.10 节的有限维梯度流完全平行。7.13 节将看到 Wasserstein 梯度流是另一种度量选择。

7.3 变分法基本引理与 Euler-Lagrange 方程

引理 7.12（du Bois-Reymond / 变分基本引理）。 若 f\in C[a,b] 且

则 f\equiv0。

证明（反证 + 显式 bump 函数）。 设存在 x_0 使 f(x_0)>0（<0 同理）。由连续性，存在 \delta>0 使 |x-x_0|<\delta 时 f(x)>\frac{f(x_0)}2\eqqcolon c>0。构造 bump 函数

则 \eta\in C^\infty_c，\eta\ge0，\eta(x_0)=e^{-1}>0，且 \int\eta>0（连续非负、在某点为正）。于是

与假设 \int f\eta=0 矛盾 ✓。\blacksquare

这条引理是「从 \int(\cdots)\eta=0\ \forall\eta 推出被积函数恒为零」的合法性根据，在变分法中相当于有限维的「若 g^{\mathsf Th}=0\ \forall h 则 g=0」。

定理 7.13（Euler-Lagrange 方程，一元）。 求

若 y^* 为极值函数且 L 有二阶连续偏导，则

完整推导（四步，每步注明所用工具）。

步骤 1（变分族）。 取任意 \eta\in C^1[a,b]，\eta(a)=\eta(b)=0（保证边界条件不变），定义 \Phi(\varepsilon)=J[y^*+\varepsilon\eta]。则 \varepsilon=0 是 \Phi 的极值点，由 Fermat 引理（引理 2.7）\Phi'(0)=0。

步骤 2（在积分号下求导）。

（用 Leibniz 法则 3.21 的定限版本 + 链式法则：\frac{\partial}{\partial\varepsilon}L=L_y\frac{\partial(y^*+\varepsilon\eta)}{\partial\varepsilon}+L_{y'}\frac{\partial(y^{*\prime}+\varepsilon\eta')}{\partial\varepsilon}=L_y\eta+L_{y'}\eta' ✓）。

步骤 3（分部积分把 \eta' 转为 \eta）。

边界项为零因 \eta(a)=\eta(b)=0 ✓。这一步的本质是把导数「转移」到另一个因子上——与 5.8 节 Stein 恒等式的分部积分是同一操作，也是 PDE 弱形式（5.7 节）的来源。

步骤 4（应用基本引理）。

由引理 7.12（方括号内函数连续，需 L 二阶连续可微 ✓）得

注意 \frac{\mathrm d}{\mathrm dx} 是全导数（y,y' 都依赖 x）：

故 E-L 方程一般是二阶 ODE，需两个边界条件定解 ✓。

多元推广（u:\Omega\subset\mathbb R^n\to\mathbb R）：

其中 u_{,i}=\partial u/\partial x_i。

推导（用散度定理替代分部积分）： 变分为

（中间步用乘积法则 \nabla\cdot(\phi\eta)=\nabla\phi\cdot\eta+\phi\nabla\cdot\eta，取 \phi=\frac{\partial L}{\partial\nabla u} ✓。）对散度项用 Gauss 定理转为边界积分，\eta|_{\partial\Omega}=0 使其消失：

带约束的变分问题（Lagrange 乘子的泛函版）： 求 \min J[y] s.t. K[y]=C。构造 \tilde L=L+\lambda G（K[y]=\int G\,\mathrm dx 时），E-L 方程为

\lambda 由约束 K[y]=C 确定 ✓（与 4.8 节完全平行）。

定理 7.14（Beltrami 恒等式：L 不显含 x 时的首次积分）。 若 \frac{\partial L}{\partial x}=0，则沿极值曲线

推导：

（用全导数展开 \frac{\mathrm dL}{\mathrm dx}=L_x+L_yy'+L_{y'}y'' ✓，方括号为 E-L 方程 ✓。）故括号为常数 ✓。

意义： 把二阶 E-L 方程降为一阶方程（能量守恒的数学表述：L=T-V 时 L-y'L_{y'} 对应 -(T+V)=-E）。这是解变分问题的第一件武器。

7.4 四大变分例题（完整求解）

例题 7.2（最短路径 ⇒ 直线）

用 Beltrami：L_{y'}=\frac{y'}{\sqrt{1+y'^2}}（求导验证：\frac{\mathrm d}{\mathrm dy'}(1+y'^2)^{1/2}=\frac12(1+y'^2)^{-1/2}\cdot2y' ✓），

故 1+y'^2=\frac1{C^2} 为常数，y'=\pm\sqrt{\frac1{C^2}-1}= 常数，积分得 y=kx+m——直线 ✓。

二阶变分检验（确实是最小）：L_{y'y'}=\frac{\mathrm d}{\mathrm dy'}\left[\frac{y'}{\sqrt{1+y'^2}}\right]=\frac{\sqrt{1+y'^2}-y'\cdot\frac{y'}{\sqrt{1+y'^2}}}{1+y'^2}=\frac{(1+y'^2)-y'^2}{(1+y'^2)^{3/2}}=\frac1{(1+y'^2)^{3/2}}>0 ✓，满足 Legendre 条件（7.5 节），故为极小 ✓。

例题 7.3（最速降线 ⇒ 摆线）

物理设定： 质点从 (0,0) 无摩擦滑到 (x_1,y_1)（y 向下为正），求时间最短的曲线。

步骤 1（能量守恒给速度）：\frac12mv^2=mgy\Rightarrow v=\sqrt{2gy} ✓（初速为零）。

步骤 2（时间泛函）：\mathrm dt=\frac{\mathrm ds}v=\frac{\sqrt{1+y'^2}\,\mathrm dx}{\sqrt{2gy}}，

步骤 3（Beltrami，L 不显含 x）：L_{y'}=\frac1{\sqrt y}\cdot\frac{y'}{\sqrt{1+y'^2}}，

步骤 4（解一阶 ODE）：y(1+y'^2)=\frac1{C^2}\eqqcolon2a（把常数改写成 2a 以便匹配标准形式），故

步骤 5（参数化）。 令 y=a(1-\cos\theta)（\theta\in[0,2\pi) 时 y 从 $0$ 到 2a 再回 $0$ ✓）。则

（用 1-\cos\theta=2\sin^2\frac\theta2，1+\cos\theta=2\cos^2\frac\theta2 ✓。）于是