文章目录
一、从经验风险到受约束的学习问题
神经网络的训练通常从经验风险最小化出发。设训练集为 D = { ( x i , y i ) } i = 1 n \mathcal D=\{(x_i,y_i)\}_{i=1}^n D={(xi,yi)}i=1n,其中 x i ∈ R d x_i\in\mathbb R^d xi∈Rd, y i y_i yi 属于目标空间;模型 f θ f_\theta fθ 由参数向量 θ ∈ R p \theta\in\mathbb R^p θ∈Rp 确定。若单样本损失为 ℓ ( f θ ( x i ) , y i ) \ell(f_\theta(x_i),y_i) ℓ(fθ(xi),yi),训练目标可写为
R ^ n ( θ ) = 1 n ∑ i = 1 n ℓ ( f θ ( x i ) , y i ) , min θ ∈ R p R ^ n ( θ ) . \widehat R_n(\theta)=\frac1n\sum_{i=1}^n\ell(f_\theta(x_i),y_i),\qquad \min_{\theta\in\mathbb R^p}\widehat R_n(\theta). R n(θ)=n1i=1∑nℓ(fθ(xi),yi),θ∈RpminR n(θ).
这个目标只衡量模型在已经观察到的数据上的表现。参数数量较多、模型表达能力较强时,训练误差可以很小,但不同训练样本对应的预测函数可能相差很大。尤其在样本有限、观测含噪或特征高度相关时,仅凭训练损失无法判断学到的是稳定规律,还是对特定样本的细节进行了过度适配。
正则化的基本做法,是在拟合训练数据之外,再引入对模型的限制。限制可以直接作用于参数,也可以作用于函数输出、训练过程或输入扰动。最常见的显式形式为
J λ ( θ ) = R ^ n ( θ ) + λ Ω ( θ ) , λ ≥ 0 , J_\lambda(\theta)=\widehat R_n(\theta)+\lambda\Omega(\theta),\qquad \lambda\geq 0, Jλ(θ)=R n(θ)+λΩ(θ),λ≥0,
其中 Ω ( θ ) \Omega(\theta) Ω(θ) 称为正则项, λ \lambda λ 为正则化强度。这里默认 Ω \Omega Ω 取非负值,但并非所有正则项都必须具有这一形式。 λ = 0 \lambda=0 λ=0 对应不加入该惩罚的经验风险最小化;增大 λ \lambda λ 意味着在同一损失尺度下,提高对所选复杂度指标的重视程度。
需要区分三个不同的概念。第一,优化目标的数值是 J λ J_\lambda Jλ,它由数据损失和正则项共同组成。第二,训练误差通常只指 R ^ n \widehat R_n R n,不能把两者混为一谈。第三,泛化误差衡量独立样本上的预测风险,并不会因为 Ω \Omega Ω 下降而必然下降。正则化通常改变偏差与方差之间的平衡;其效果取决于数据分布、模型结构、参数化方式及强度选择。
在深度学习实践中,“正则化”也经常指早停、数据增强和 Dropout 等不直接写成固定参数惩罚的技术。这些方法的共同目标是降低对训练样本偶然性的依赖,但其数学机制并不相同。本文将先从可精确求解的线性模型出发,建立参数惩罚、约束优化与统计稳定性的联系,再分析它们在神经网络中的适用边界。
1.1 正则化不等于简单地缩小网络
考虑两个具有相同参数个数的网络。即使二者参数范数相近,也可能由于层间缩放、激活模式或输入分布不同而表现出截然不同的预测行为。参数范数是特定参数化下的量,不一定等价于函数空间中的复杂度。对于 ReLU 网络,利用其正齐次性 ReLU ( c z ) = c ReLU ( z ) \operatorname{ReLU}(cz)=c\operatorname{ReLU}(z) ReLU(cz)=cReLU(z)( c > 0 c>0 c>0),相邻两层权重可以相互缩放而保持函数不变;因此单层权重范数本身不能作为与参数化无关的复杂度定义。
同样,较小的训练误差不等于较差的泛化。过参数化模型可能在训练误差接近零时仍有较好的测试性能。是否需要某一种正则化、以及应该采用多强的惩罚,必须由问题条件和独立验证来决定。正则化不是“训练越困难越好”,也不是“参数越小越好”,而是在给定归纳偏好下选择解的一种机制。
1.2 惩罚形式与约束形式
另一种表达是先指定允许的参数集合,再最小化数据损失:
min θ R ^ n ( θ ) s.t. Ω ( θ ) ≤ c . \min_\theta\widehat R_n(\theta)\quad\text{s.t.}\quad \Omega(\theta)\leq c. θminR n(θ)s.t.Ω(θ)≤c.
这里 c c c 是约束半径。若问题满足适当的凸性、可行性和约束资格条件,约束问题与某个拉格朗日乘子 λ ≥ 0 \lambda\geq0 λ≥0 对应的惩罚问题之间可以建立最优解联系。这个联系不是说任意指定的 c c c 与任意指定的 λ \lambda λ 都一一对应,也不是说非凸神经网络的所有局部极小点都会保持一致。
将不等式约束写入拉格朗日函数:
L ( θ , λ ) = R ^ n ( θ ) + λ ( Ω ( θ ) − c ) . \mathcal L(\theta,\lambda)=\widehat R_n(\theta)+\lambda\bigl(\Omega(\theta)-c\bigr). L(θ,λ)=R n(θ)+λ(Ω(θ)−c).
当 λ \lambda λ 固定时, − λ c -\lambda c −λc 不影响对 θ \theta θ 的最小化,于是出现前述的惩罚目标。这个推导说明,正则化系数可以理解为违反复杂度偏好的边际代价。它同时提醒我们:不同的损失归一化方式会改变 λ \lambda λ 的数值含义,不能脱离损失定义直接比较两个实验中的系数。
二、L2 正则化:从权重惩罚到谱收缩
2.1 二次损失的完整解
先考虑线性回归 f w ( x ) = x ⊤ w f_w(x)=x^\top w fw(x)=x⊤w。令设计矩阵 X ∈ R n × d X\in\mathbb R^{n\times d} X∈Rn×d 的第 i i i 行为 x i ⊤ x_i^\top xi⊤,标签向量 y ∈ R n y\in\mathbb R^n y∈Rn,参数 w ∈ R d w\in\mathbb R^d w∈Rd。使用平方误差并对所有坐标施加 L2 惩罚:
J λ ( w ) = 1 2 n ∥ X w − y ∥ 2 2 + λ 2 ∥ w ∥ 2 2 . J_\lambda(w)=\frac1{2n}\|Xw-y\|_2^2+\frac\lambda2\|w\|_2^2. Jλ(w)=2n1∥Xw−y∥22+2λ∥w∥22.
这里采用的系数 1 / 2 1/2 1/2 是为了使梯度表达简洁。展开二次型可得
J λ ( w ) = 1 2 n ( w ⊤ X ⊤ X w − 2 y ⊤ X w + y ⊤ y ) + λ 2 w ⊤ w . J_\lambda(w)=\frac1{2n}\left(w^\top X^\top Xw-2y^\top Xw+y^\top y\right)+\frac\lambda2w^\top w. Jλ(w)=2n1(w⊤X⊤Xw−2y⊤Xw+y⊤y)+2λw⊤w.
按照列向量梯度约定, ∇ w J λ ∈ R d \nabla_wJ_\lambda\in\mathbb R^d ∇wJλ∈Rd,并有
∇ w J λ = 1 n X ⊤ ( X w − y ) + λ w . \nabla_wJ_\lambda=\frac1nX^\top(Xw-y)+\lambda w. ∇wJλ=n1X⊤(Xw−y)+λw.
令梯度为零,得到正规方程
( 1 n X ⊤ X + λ I d ) w λ = 1 n X ⊤ y . \left(\frac1nX^\top X+\lambda I_d\right)w_\lambda=\frac1nX^\top y. (n1X⊤X+λId)wλ=n1X⊤y.
当 λ > 0 \lambda>0 λ>0 时,矩阵 X ⊤ X / n + λ I d X^\top X/n+\lambda I_d X⊤X/n+λId 正定,因此有唯一的最优解
w λ = ( 1 n X ⊤ X + λ I d ) − 1 1 n X ⊤ y . \boxed{w_\lambda=\left(\frac1nX^\top X+\lambda I_d\right)^{-1}\frac1nX^\top y.} wλ=(n1X⊤X+λId)−1n1X⊤y.
这就是岭回归的典型表达。 λ = 0 \lambda=0 λ=0 时,如果 X X X 列满秩,也有通常的最小二乘解;若列不满秩,则未正则化的最优参数可能不唯一。实际数值实现应优先求解线性方程组,而不是显式构造矩阵逆,因为前者通常更稳定。
这里的 λ I d \lambda I_d λId 对所有坐标进行相同的二次惩罚。实际网络中常常不惩罚偏置项;此时应将 I d I_d Id 替换为对角惩罚矩阵 P P P,其中不惩罚的坐标对应零元素。若 P P P 半正定,解的唯一性还需检查 X ⊤ X / n + λ P X^\top X/n+\lambda P X⊤X/n+λP 是否正定,不能直接沿用全参数 L2 的结论。
2.2 正则化如何改变最优点的位置
设二维数据拟合目标为
R ( w 1 , w 2 ) = ( w 1 − 1 ) 2 + 1 4 ( w 2 + 0.6 ) 2 . R(w_1,w_2)=(w_1-1)^2+\frac14(w_2+0.6)^2. R(w1,w2)=(w1−1)2+41(w2+0.6)2.
加入 λ ( w 1 2 + w 2 2 ) / 2 \lambda(w_1^2+w_2^2)/2 λ(w12+w22)/2 后,驻点满足
2 ( w 1 − 1 ) + λ w 1 = 0 , 1 2 ( w 2 + 0.6 ) + λ w 2 = 0. 2(w_1-1)+\lambda w_1=0,\qquad \frac12(w_2+0.6)+\lambda w_2=0. 2(w1−1)+λw1=0,21(w2+0.6)+λw2=0.
因此
w 1 ∗ = 2 2 + λ , w 2 ∗ = − 0.3 0.5 + λ . w_1^*=\frac2{2+\lambda},\qquad w_2^*=-\frac{0.3}{0.5+\lambda}. w1∗=2+λ2,w2∗=−0.5+λ0.3.
不同方向受到的收缩程度不同,原因并不是正则项偏爱某个坐标,而是数据损失在两个方向上的曲率不同。图1以数据损失的等高线为背景,标出不同正则化强度对应的最优点;曲率较小的方向通常更容易被正则项显著改变。

图1:二维二次损失等高线及 L2 正则化最优点的移动。
从几何上看,未正则化的最优点位于椭圆等高线的中心。增加 L2 惩罚,相当于偏好靠近原点的参数。最优点由数据拟合项与圆形参数范数约束共同决定,而非简单地沿某条直线移动。对于坐标轴不对齐的二次型,路径还可能发生旋转。
2.3 特征值分解揭示方向性收缩
令 H = X ⊤ X / n H=X^\top X/n H=X⊤X/n。这是对称半正定矩阵,可写成 H = Q diag ( μ 1 , … , μ d ) Q ⊤ H=Q\operatorname{diag}(\mu_1,\ldots,\mu_d)Q^\top H=Qdiag(μ1,…,μd)Q⊤,其中 Q Q Q 正交、 μ j ≥ 0 \mu_j\geq0 μj≥0。当未正则化的最小二乘解 w 0 w_0 w0 存在且满足 H w 0 = X ⊤ y / n Hw_0=X^\top y/n Hw0=X⊤y/n 时,
w λ = ( H + λ I ) − 1 H w 0 = Q diag ( μ j μ j + λ ) Q ⊤ w 0 . w_\lambda=(H+\lambda I)^{-1}Hw_0 =Q\operatorname{diag}\left(\frac{\mu_j}{\mu_j+\lambda}\right)Q^\top w_0. wλ=(H+λI)−1Hw0=Qdiag(μj+λμj)Q⊤w0.
每个特征方向的收缩因子为
s j ( λ ) = μ j μ j + λ . s_j(\lambda)=\frac{\mu_j}{\mu_j+\lambda}. sj(λ)=μj+λμj.
当 μ j \mu_j μj 很大, s j s_j sj 接近 1 1 1;当 μ j \mu_j μj 很小, s j s_j sj 更接近 0 0 0。也就是说,岭回归优先抑制数据约束较弱的方向。若 μ j = 0 \mu_j=0 μj=0 且 λ > 0 \lambda>0 λ>0,该方向上的岭回归分量为零;这也解释了它为什么能处理部分秩亏问题。
图2给出四个不同特征值对应的收缩曲线。横轴为 λ \lambda λ 的对数刻度,纵轴为谱收缩因子。曲线不是训练得到的经验拟合,而是直接由上述解析公式计算,因而可用于检查推导。

图2:不同曲率方向上的岭回归谱收缩随正则化强度变化。
这个结论具有明确的适用范围:它针对平方损失与各向同性 L2 惩罚的线性模型。神经网络的损失 Hessian 依赖参数,通常既非全局常数也非正定,因此不能把这里的谱收缩公式不加修改地套用到深度网络。它仍提供一个有价值的局部直觉:当数据目标在某些方向上非常平坦时,权重惩罚可能显著改变这些方向的解。
2.4 从参数收缩到数值稳定性
岭回归还改善正规方程矩阵的条件数。若 H H H 的最大与最小特征值分别为 μ max \mu_{\max} μmax 和 μ min \mu_{\min} μmin,则在 λ > 0 \lambda>0 λ>0 时,
κ 2 ( H + λ I ) = μ max + λ μ min + λ . \kappa_2(H+\lambda I)=\frac{\mu_{\max}+\lambda}{\mu_{\min}+\lambda}. κ2(H+λI)=μmin+λμmax+λ.
当 μ min \mu_{\min} μmin 很小,增加 λ \lambda λ 可以明显降低条件数。需要注意,这里的“更稳定”是指线性方程求解或参数对数据扰动的敏感性得到改善,并不意味着预测一定更准确。过大的 λ \lambda λ 会使参数过度收缩,从而增加系统性偏差。
如果特征量纲差异很大,同一个 λ \lambda λ 对各坐标的实际作用也会不同。例如一个特征以米计量、另一个以毫米计量,在未经标准化的情况下,相同的物理关系可能对应相差数个数量级的权重。L2 惩罚直接作用于权重数值,因此输入特征的缩放会改变正则化偏好。对传统线性模型,标准化常是有意义的预处理;对神经网络,则还需考虑归一化层和输入物理含义。
三、L1 正则化:稀疏性来自非光滑结构
L1 正则化采用参数绝对值之和:
J λ ( w ) = R ^ n ( w ) + λ ∥ w ∥ 1 , ∥ w ∥ 1 = ∑ j = 1 d ∣ w j ∣ . J_\lambda(w)=\widehat R_n(w)+\lambda\|w\|_1,\qquad \|w\|_1=\sum_{j=1}^d|w_j|. Jλ(w)=R n(w)+λ∥w∥1,∥w∥1=j=1∑d∣wj∣.
与 L2 惩罚不同,绝对值函数在零点不可微。这个非光滑性不是实现上的缺陷,而是 L1 能够使部分坐标精确等于零的重要原因。为了看清机制,考虑单坐标的近端子问题:
min u ∈ R 1 2 ( u − v ) 2 + τ ∣ u ∣ , τ > 0. \min_{u\in\mathbb R}\frac12(u-v)^2+\tau|u|,\qquad \tau>0. u∈Rmin21(u−v)2+τ∣u∣,τ>0.
当 u > 0 u>0 u>0,一阶条件为 u − v + τ = 0 u-v+\tau=0 u−v+τ=0,即 u = v − τ u=v-\tau u=v−τ,并要求 v > τ v>\tau v>τ;当 u < 0 u<0 u<0,一阶条件为 u − v − τ = 0 u-v-\tau=0 u−v−τ=0,即 u = v + τ u=v+\tau u=v+τ,并要求 v < − τ v<-\tau v<−τ。在 u = 0 u=0 u=0 处,绝对值的次梯度为区间 [ − 1 , 1 ] [-1,1] [−1,1],因此零点最优的条件为 0 ∈ − v + τ [ − 1 , 1 ] 0\in-v+\tau[-1,1] 0∈−v+τ[−1,1],等价于 ∣ v ∣ ≤ τ |v|\leq\tau ∣v∣≤τ。合并得到软阈值算子
prox τ ∥ ⋅ ∥ 1 ( v ) = sign ( v ) max ( ∣ v ∣ − τ , 0 ) . \operatorname{prox}_{\tau\|\cdot\|_1}(v)=\operatorname{sign}(v)\max(|v|-\tau,0). proxτ∥⋅∥1(v)=sign(v)max(∣v∣−τ,0).
这条分段公式表明:绝对值不超过阈值的坐标被直接置零,其余坐标向零收缩一个固定幅度。相对地,若考虑 min u ( u − v ) 2 / 2 + τ u 2 / 2 \min_u (u-v)^2/2+\tau u^2/2 minu(u−v)2/2+τu2/2,则最优解为 u = v / ( 1 + τ ) u=v/(1+\tau) u=v/(1+τ),一般不会在有限 τ \tau τ 下精确变成零。
图3同时画出未惩罚坐标、L1 软阈值和 L2 收缩的输入输出关系。L1 曲线在原点附近出现一段水平区间,L2 则是斜率变小的直线。图中采用相同的数值阈值只是为了展示机制,不代表两种正则项在统计意义上具有相同强度。

图3:单坐标近端问题中的 L1 软阈值和 L2 连续收缩。
3.1 为什么不能直接把“稀疏”理解为“特征选择正确”
在线性模型中,如果一个特征对应的系数为零,该特征不直接参与预测,因此 L1 常用于稀疏建模。但高度相关的特征可能相互替代:不同训练样本或不同的正则化系数可能选择不同的特征子集。即使预测效果接近,所选特征也未必稳定。只有在附加条件下,才可能讨论支持集恢复的一致性;“L1 会产生稀疏解”与“L1 一定识别真正因果特征”是两种完全不同的命题。
在神经网络中,某个权重为零也不一定意味着对应输入特征被完全移除,因为输入到输出可能存在多条路径。若要得到结构性稀疏,往往需要对一组参数施加联合惩罚,例如 group lasso。对一组参数 w g w_g wg 使用 ∑ g ∥ w g ∥ 2 \sum_g\|w_g\|_2 ∑g∥wg∥2,可在组的层面产生零块。分组方式必须对应真实的网络结构,不能任意把坐标拼成组后便宣称实现了神经元或通道剪枝。
3.2 Elastic Net 的折中机制
L1 与 L2 可以组合为 Elastic Net:
J ( w ) = R ^ n ( w ) + λ 1 ∥ w ∥ 1 + λ 2 2 ∥ w ∥ 2 2 . J(w)=\widehat R_n(w)+\lambda_1\|w\|_1+\frac{\lambda_2}{2}\|w\|_2^2. J(w)=R n(w)+λ1∥w∥1+2λ2∥w∥22.
L1 提供坐标级稀疏倾向,L2 有助于稳定高度相关的参数方向。两者并不意味着“各取一半就一定更好”;是否合适取决于目标是预测准确性、参数稳定性、解释性还是模型压缩。若需要严格比较,必须在独立验证集上共同选择 λ 1 \lambda_1 λ1 与 λ 2 \lambda_2 λ2,而不是只改变其中一个参数。
对于深度网络,L1 惩罚可能使大量小权重趋于零,但真正获得计算加速还取决于稀疏矩阵格式、硬件和算子实现。一个包含很多零元素的稠密张量,在普通稠密矩阵乘法中不一定明显节省计算。参数统计意义上的稀疏与实际部署收益,应当分别测量。
四、神经网络中的权重衰减及其优化差异
4.1 L2 惩罚在 SGD 中的更新形式
设当前参数为 θ t \theta_t θt,数据损失梯度为 g t = ∇ R ^ n ( θ t ) g_t=\nabla\widehat R_n(\theta_t) gt=∇R n(θt)。若目标包含 λ ∥ θ ∥ 2 2 / 2 \lambda\|\theta\|_2^2/2 λ∥θ∥22/2,普通梯度下降更新为
θ t + 1 = θ t − η t ( g t + λ θ t ) = ( 1 − η t λ ) θ t − η t g t . \theta_{t+1}=\theta_t-\eta_t(g_t+\lambda\theta_t) =(1-\eta_t\lambda)\theta_t-\eta_tg_t. θt+1=θt−ηt(gt+λθt)=(1−ηtλ)θt−ηtgt.
其中 η t \eta_t ηt 是学习率。第一项把当前参数乘以 1 − η t λ 1-\eta_t\lambda 1−ηtλ,因此常被称为权重衰减。在没有动量、没有自适应预条件矩阵、且学习率与惩罚定义相匹配的普通 SGD 中,显式 L2 惩罚和这种乘法式权重衰减具有相同的单步更新。
但如果采用自适应优化器,这种等价关系一般不成立。设预条件矩阵 D t D_t Dt 为对角正定矩阵,L2 惩罚进入梯度后,更新形式为
θ t + 1 = θ t − η t D t ( g t + λ θ t ) . \theta_{t+1}=\theta_t-\eta_tD_t(g_t+\lambda\theta_t). θt+1=θt−ηtDt(gt+λθt).
正则项对应的衰减是 − η t λ D t θ t -\eta_t\lambda D_t\theta_t −ηtλDtθt,每个坐标的幅度受预条件器影响。若使用解耦权重衰减,则形式为
θ t + 1 = ( 1 − η t λ ) θ t − η t D t g t . \theta_{t+1}=(1-\eta_t\lambda)\theta_t-\eta_tD_tg_t. θt+1=(1−ηtλ)θt−ηtDtgt.
两式只有在特殊条件下才一致。AdamW 的核心思想就是把衰减步骤与 Adam 的梯度自适应缩放解耦。需要特别强调:AdamW 不是简单地给 Adam 的损失再加一项 λ ∥ θ ∥ 2 2 \lambda\|\theta\|_2^2 λ∥θ∥22,也不保证所有任务上都优于其他优化器。它改变的是优化更新规则,超参数需要重新匹配。
4.2 参数组与偏置项
训练神经网络时,常见做法是对卷积核或全连接权重施加衰减,而不对偏置、某些归一化层的缩放和平移参数施加衰减。原因并非存在一个对所有网络都成立的定理,而是这些参数承担的功能不同。偏置主要控制平移,归一化参数控制特征尺度;惩罚它们可能引入与主权重不同的偏好。是否排除应作为实验设置明确报告,不能笼统地写成“对网络全部参数施加 L2”。
例如,对于线性层 z = W x + b z=Wx+b z=Wx+b,其中 W ∈ R m × d W\in\mathbb R^{m\times d} W∈Rm×d、 b ∈ R m b\in\mathbb R^m b∈Rm,可以定义
Ω ( W , b ) = 1 2 ∥ W ∥ F 2 , \Omega(W,b)=\frac12\|W\|_F^2, Ω(W,b)=21∥W∥F2,
而不包含 b b b。这里 ∥ W ∥ F 2 = ∑ i = 1 m ∑ j = 1 d W i j 2 \|W\|_F^2=\sum_{i=1}^m\sum_{j=1}^dW_{ij}^2 ∥W∥F2=∑i=1m∑j=1dWij2。梯度为 ∇ W Ω = W \nabla_W\Omega=W ∇WΩ=W、 ∇ b Ω = 0 \nabla_b\Omega=0 ∇bΩ=0。这种维度清晰的表达避免了“权重”和“全部参数”两个术语混用。
4.3 重参数化会改变惩罚的含义
考虑两层无偏置 ReLU 网络 f ( x ) = W 2 ReLU ( W 1 x ) f(x)=W_2\operatorname{ReLU}(W_1x) f(x)=W2ReLU(W1x)。对于任意 c > 0 c>0 c>0,有
( c − 1 W 2 ) ReLU ( c W 1 x ) = W 2 ReLU ( W 1 x ) . (c^{-1}W_2)\operatorname{ReLU}(cW_1x)=W_2\operatorname{ReLU}(W_1x). (c−1W2)ReLU(cW1x)=W2ReLU(W1x).
函数不变,但两层的 L2 惩罚变成
1 2 ( c 2 ∥ W 1 ∥ F 2 + c − 2 ∥ W 2 ∥ F 2 ) . \frac12\left(c^2\|W_1\|_F^2+c^{-2}\|W_2\|_F^2\right). 21(c2∥W1∥F2+c−2∥W2∥F2).
它一般随 c c c 改变。这说明权重范数正则化不仅限制预测函数,也选择一种参数表示。若使用 Batch Normalization,部分权重缩放可能被归一化抵消,权重衰减对优化动力学的影响会更复杂。不能直接把“权重范数较小”推导成“函数的 Lipschitz 常数必然较小”,除非给出具体网络结构、激活函数性质和各层范数界。
五、偏差—方差视角:正则化何时改善测试误差
5.1 统计分解的条件
设训练集 D \mathcal D D 是随机抽样的,学习算法给出预测函数 f ^ D ( x ) \widehat f_{\mathcal D}(x) f D(x)。假设回归目标满足 y = f ∗ ( x ) + ε y=f^*(x)+\varepsilon y=f∗(x)+ε,其中 E [ ε ∣ x ] = 0 \mathbb E[\varepsilon\mid x]=0 E[ε∣x]=0、 Var ( ε ∣ x ) = σ 2 \operatorname{Var}(\varepsilon\mid x)=\sigma^2 Var(ε∣x)=σ2,并且测试噪声与训练数据独立。对于固定输入 x x x,平方预测误差在训练集随机性下满足
E D , ε [ ( f ^ D ( x ) − y ) 2 ] = ( E D f ^ D ( x ) − f ∗ ( x ) ) 2 + Var D ( f ^ D ( x ) ) + σ 2 . \mathbb E_{\mathcal D,\varepsilon}\bigl[(\widehat f_{\mathcal D}(x)-y)^2\bigr] =\bigl(\mathbb E_{\mathcal D}\widehat f_{\mathcal D}(x)-f^*(x)\bigr)^2 +\operatorname{Var}_{\mathcal D}(\widehat f_{\mathcal D}(x))+\sigma^2. ED,ε[(f D(x)−y)2]=(EDf D(x)−f∗(x))2+VarD(f D(x))+σ2.
右边分别是平方偏差、预测方差和不可约噪声。若噪声方差随输入变化,最后一项应改为 σ 2 ( x ) \sigma^2(x) σ2(x);如果条件均值模型或独立性假设不成立,分解也需要相应调整。这个公式是平方损失下的恒等式,不是所有分类损失都具有相同的三项加法结构。
正则化通常使学习算法对训练集变化不那么敏感,从而降低方差,但它也可能增加偏差。测试误差是否下降,取决于方差减少能否抵消偏差增加。特别是当数据量足够大、模型本身受限或惩罚方向与真实信号冲突时,正则化可能损害预测性能。
5.2 用可控的多项式回归观察这种平衡
构造一维目标函数 f ∗ ( x ) = sin ( 2 π x ) f^*(x)=\sin(2\pi x) f∗(x)=sin(2πx),在 [ − 1 , 1 ] [-1,1] [−1,1] 内随机采样 36 36 36 个训练点,并叠加标准差为 0.24 0.24 0.24 的高斯噪声。采用最高十四阶的 Legendre 多项式作为固定基函数,得到设计矩阵 X ∈ R 36 × 15 X\in\mathbb R^{36\times15} X∈R36×15。这里的 Legendre 多项式是预先确定的基函数,不是训练过程中调整形状的隐藏单元;学习的是它们的线性组合系数。
模型写为
f ^ w ( x ) = ∑ j = 0 14 w j P j ( x ) , \widehat f_w(x)=\sum_{j=0}^{14}w_jP_j(x), f w(x)=j=0∑14wjPj(x),
其中 P j ( x ) P_j(x) Pj(x) 为第 j j j 阶 Legendre 多项式。为了不惩罚常数项,定义 P = diag ( 0 , 1 , … , 1 ) P=\operatorname{diag}(0,1,\ldots,1) P=diag(0,1,…,1),并求解
min w 1 2 n ∥ X w − y ∥ 2 2 + λ 2 w ⊤ P w . \min_w\frac1{2n}\|Xw-y\|_2^2+\frac\lambda2w^\top Pw. wmin2n1∥Xw−y∥22+2λw⊤Pw.
图4展示同一组训练样本上三种 λ \lambda λ 的拟合结果。横轴为输入 x x x,纵轴为预测输出;虚线为无噪声真函数,散点为带噪训练观测。无惩罚模型可以追踪部分噪声波动,而适度惩罚可减少不必要的曲折。但过强的惩罚也可能压低真实函数的振幅,出现欠拟合。

图4:固定十四阶多项式模型在不同 L2 强度下的拟合曲线。
本次固定随机种子的实际运行结果如下。训练 MSE 采用 ∥ X w − y ∥ 2 / n \|Xw-y\|^2/n ∥Xw−y∥2/n,无噪声网格 MSE 在 400 400 400 个均匀网格点上与真函数比较,二者均不包含正则项:
| λ \lambda λ | 训练 MSE | 无噪声网格 MSE | 非常数系数 L2 范数 |
|---|---|---|---|
| 0 0 0 | 0.028731 | 0.108798 | 2.419354 |
| 0.001 0.001 0.001 | 0.029097 | 0.062021 | 2.231630 |
| 0.03 0.03 0.03 | 0.058179 | 0.065610 | 1.486116 |
这组结果显示,最小训练误差对应的模型并没有取得最小的网格误差。 λ = 0.001 \lambda=0.001 λ=0.001 的训练误差略有上升,但无噪声网格误差降低; λ = 0.03 \lambda=0.03 λ=0.03 进一步压缩系数,却未继续改善网格误差。该结论只针对本次生成的数据和模型设置,不代表 0.001 0.001 0.001 是通用最佳值。
5.3 重复采样才能估计预测方差
单次拟合曲线无法直接测量预测方差,因为方差定义涉及训练集的随机变化。为此重复生成 160 160 160 组训练数据,每组均包含 36 36 36 个随机输入和独立噪声;在固定测试网格上,分别计算每个 λ \lambda λ 的预测均值与样本间方差。再把预测均值与真函数比较,得到平方偏差估计。
图5横轴为正则化强度,纵轴分别表示平均平方偏差、预测方差和它们加上噪声方差后的总和。曲线来自有限次数的蒙特卡洛估计,因此可能存在抽样波动,不应把每个局部起伏都解释为真实的理论相变。

图5:重复采样下 L2 正则化的平方偏差、预测方差及预期误差估计。
随着 λ \lambda λ 增大,模型逐渐忽略数据中的部分高阶变化,方差可能下降;与此同时,若真函数需要这些高阶成分才能逼近,偏差便会上升。两条曲线的相对变化决定总误差的低点。若把训练数据量、噪声标准差、基函数阶数或采样区间改变,低点位置也可能改变。因此正则化系数应通过与最终测试集隔离的验证程序选择,而不能根据一次训练误差或图像外观主观指定。
六、Dropout:随机子网络与期望目标
Dropout 不通过直接惩罚某个固定的参数范数实现正则化,而是在训练时随机删除部分中间激活。设某层激活向量为 h ∈ R m h\in\mathbb R^m h∈Rm,保留概率为 p ∈ ( 0 , 1 ] p\in(0,1] p∈(0,1],掩码 m j ∼ Bernoulli ( p ) m_j\sim\operatorname{Bernoulli}(p) mj∼Bernoulli(p) 相互独立。采用常见的 inverted dropout 约定,训练时的输出为
h ~ j = m j p h j . \widetilde h_j=\frac{m_j}{p}h_j. h j=pmjhj.
在固定 h j h_j hj 的条件下, E [ m j ] = p \mathbb E[m_j]=p E[mj]=p,所以
E [ h ~ j ∣ h j ] = h j . \mathbb E[\widetilde h_j\mid h_j]=h_j. E[h j∣hj]=hj.
这说明 inverted dropout 保持了每个激活坐标的条件期望。但条件方差为
Var ( h ~ j ∣ h j ) = 1 − p p h j 2 . \operatorname{Var}(\widetilde h_j\mid h_j)=\frac{1-p}{p}h_j^2. Var(h j∣hj)=p1−phj2.
因此保留概率越低,训练阶段引入的激活扰动越强。期望不变并不代表网络输出的期望不变,因为后续可能包含非线性变换。一般情况下, E [ ϕ ( h ~ ) ] ≠ ϕ ( E [ h ~ ] ) \mathbb E[\phi(\widetilde h)]\neq\phi(\mathbb E[\widetilde h]) E[ϕ(h )]=ϕ(E[h ]);更不能因此断言训练阶段的平均损失等于不使用 Dropout 的损失。
6.1 线性层中的扰动方差
考虑标量输出 z = w ⊤ h z=w^\top h z=w⊤h,Dropout 后变成 z ~ = w ⊤ h ~ \widetilde z=w^\top\widetilde h z =w⊤h 。在掩码独立、 w w w 与 h h h 固定的条件下,
E [ z ~ ∣ h ] = w ⊤ h , \mathbb E[\widetilde z\mid h]=w^\top h, E[z ∣h]=w⊤h,
并且
Var ( z ~ ∣ h ) = 1 − p p ∑ j = 1 m w j 2 h j 2 . \operatorname{Var}(\widetilde z\mid h)=\frac{1-p}{p}\sum_{j=1}^m w_j^2h_j^2. Var(z ∣h)=p1−pj=1∑mwj2hj2.
推导使用了独立随机变量求和时方差可加的性质。如果掩码在坐标之间相关,或使用按通道共享掩码的结构化 Dropout,就会出现协方差项。这个结果也说明 Dropout 的扰动强度并不是仅由 p p p 决定,而与激活幅值及下游权重共同相关。
在平方损失的单层线性情形下,还可以精确得到一个正则化解释。对于固定样本 ( h , y ) (h,y) (h,y),
E m [ 1 2 ( z ~ − y ) 2 ] = 1 2 ( w ⊤ h − y ) 2 + 1 2 Var m ( z ~ ∣ h ) . \mathbb E_m\left[\frac12(\widetilde z-y)^2\right] =\frac12(w^\top h-y)^2+\frac12\operatorname{Var}_m(\widetilde z\mid h). Em[21(z −y)2]=21(w⊤h−y)2+21Varm(z ∣h).
代入上式得到
E m [ 1 2 ( z ~ − y ) 2 ] = 1 2 ( w ⊤ h − y ) 2 + 1 − p 2 p ∑ j w j 2 h j 2 . \mathbb E_m\left[\frac12(\widetilde z-y)^2\right] =\frac12(w^\top h-y)^2+\frac{1-p}{2p}\sum_jw_j^2h_j^2. Em[21(z −y)2]=21(w⊤h−y)2+2p1−pj∑wj2hj2.
这是一种依赖输入激活的加权二次惩罚。它与普通 λ ∥ w ∥ 2 2 / 2 \lambda\|w\|_2^2/2 λ∥w∥22/2 并不相同:每个权重的惩罚系数包含对应激活的平方。若对整个数据集求平均,还会出现各特征的二阶矩。对于多层非线性网络,不能直接把这个线性结论当成 Dropout 的完整等价目标。
6.2 训练和推理阶段为什么不同
在 inverted dropout 实现中,训练阶段通过 m j / p m_j/p mj/p 随机缩放激活,推理阶段通常不再采样掩码,而直接使用 h j h_j hj。这样做是因为训练阶段已经补偿了期望尺度。如果采用旧式未缩放的训练掩码,则推理时需要按保留概率缩放,二者只是实现约定不同,不能混用。
图6比较原始标准正态激活与保留概率为 0.65 0.65 0.65 的 inverted dropout 激活的经验分布。Dropout 产生一个位于零附近的概率质量,同时把保留的非零值放大为原来的 1 / p 1/p 1/p 倍。由于图中采用直方图密度表示,零点附近的尖峰还受到分箱宽度影响,不能把其高度直接解释为零值概率。

图6:保留概率为 0.65 时 inverted dropout 对激活分布的影响。
Dropout 在不同架构中的适用方式并不相同。全连接层的逐元素 Dropout、卷积网络中的空间 Dropout、注意力权重上的 Dropout,所引入的随机结构和统计相关性都有差别。对于卷积特征图,逐元素删除可能破坏局部相关结构,按通道删除有时更符合研究目标。对于小数据集,过强 Dropout 可能使有效信号不足;对于已经采用大量数据增强和其他正则化的大模型,额外 Dropout 的边际收益也可能有限。
6.3 Dropout 不是简单的“平均所有子网络”
一个包含 m m m 个可独立丢弃单元的层,在形式上具有大量可能的掩码配置,因此常用“随机子网络”解释 Dropout。但推理时使用全网络并不严格等价于对所有随机子网络的输出求平均,尤其当存在非线性、归一化、残差连接或复杂的损失函数时。真正的掩码期望需要对随机变量积分或采样估计;常规推理只是一个计算上高效的近似约定。
从优化角度看,每次迭代采样掩码,会改变当前随机梯度的分布。除了训练样本小批量抽样引入的噪声,还存在掩码噪声。其强度、方向和样本依赖性影响训练动力学。因此,即便 Dropout 最终改善了验证性能,也不能仅凭结果断言它等价于某个固定的 L2 系数。若希望研究两者的关系,应控制模型结构、数据、学习率和训练预算,比较同等条件下的误差、参数范数及预测稳定性。
七、早停:不显式增加正则项的迭代限制
早停的基本思想是在训练损失仍可能下降时,根据验证集指标决定停止训练。它限制的是优化过程所走的路径与迭代次数,而不是直接对最终参数加上一个固定范数约束。对于某些线性二次问题,早停与谱正则化存在可推导的联系,但这种联系需要具体假设。
考虑平方损失 R ( w ) = ∥ X w − y ∥ 2 / ( 2 n ) R(w)=\|Xw-y\|^2/(2n) R(w)=∥Xw−y∥2/(2n),记 H = X ⊤ X / n H=X^\top X/n H=X⊤X/n, b = X ⊤ y / n b=X^\top y/n b=X⊤y/n。固定学习率 η \eta η 的梯度下降为
w t + 1 = w t − η ( H w t − b ) . w_{t+1}=w_t-\eta(Hw_t-b). wt+1=wt−η(Hwt−b).
如果 w 0 = 0 w_0=0 w0=0,且 H H H 正定,令 w ∗ = H − 1 b w^*=H^{-1}b w∗=H−1b,则
w t = [ I − ( I − η H ) t ] w ∗ . w_t=\left[I-(I-\eta H)^t\right]w^*. wt=[I−(I−ηH)t]w∗.
设 H = Q diag ( μ j ) Q ⊤ H=Q\operatorname{diag}(\mu_j)Q^\top H=Qdiag(μj)Q⊤,各特征方向的学习系数为
g t ( μ j ) = 1 − ( 1 − η μ j ) t . g_t(\mu_j)=1-(1-\eta\mu_j)^t. gt(μj)=1−(1−ημj)t.
当 0 < η < 2 / μ max 0<\eta<2/\mu_{\max} 0<η<2/μmax,迭代稳定。若进一步要求 0 < η ≤ 1 / μ max 0<\eta\leq1/\mu_{\max} 0<η≤1/μmax,则每个方向的系数从零单调增加至一。较大特征值方向通常更快被学习,较小特征值方向收敛较慢。停止在有限 t t t,相当于暂时没有充分拟合那些收敛较慢的方向。这是一种由优化时间产生的谱过滤。
与岭回归的收缩因子 μ / ( μ + λ ) \mu/(\mu+\lambda) μ/(μ+λ) 比较可知,两者都可能抑制弱约束方向,但函数形式不同,不能直接宣称“训练 t t t 步严格等价于 λ = 1 / t \lambda=1/t λ=1/t”。在某些尺度和近似条件下,可以建立数量级联系;精确等价通常并不成立。若初始参数非零,公式还需保留 ( I − η H ) t w 0 (I-\eta H)^tw_0 (I−ηH)tw0 项;若使用动量、自适应优化器或非凸网络,轨迹会更复杂。
7.1 验证集如何用于早停
早停依赖独立于训练梯度计算的验证数据。典型做法是每完成一个 epoch 记录训练损失和验证损失,并保存验证指标最佳时的参数。如果验证指标连续若干轮没有明显改善,则停止后续训练。这里的“若干轮”通常称为 patience,但它是一个需要选择的超参数,而不是统计定理规定的常数。
验证曲线存在随机波动。若每次微小下降都立即保存模型,可能对验证集噪声过度敏感;若 patience 过大,则可能继续过拟合。更重要的是,频繁试验大量模型并选择验证集上最好的一个,也会对验证集产生间接适配。早停不能代替独立测试集,测试集应留到模型和超参数最终确定之后使用。
对于时间序列、患者级样本、同一设备重复测量或同一物理场景的相关观测,训练与验证划分必须尊重数据依赖结构。将高度相关的样本随机拆分到不同集合,可能造成信息泄漏,使早停判断过于乐观。这个问题属于实验设计,而不是简单更换某个正则化公式就能解决。
7.2 为什么早停可能与权重衰减相互作用
权重衰减改变每一步的参数更新,早停则限制执行多少步。两者可以共同使用,但并非总能独立调节。如果正则化强度较大,模型收敛速度、最优验证轮次和训练误差下限都可能改变;如果训练预算固定而没有让模型充分优化,则观察到的性能差异可能同时来自正则化偏好与优化不足。
在公平对比中,应记录每种方法的实际训练轮数、最佳验证轮次、最终学习率和模型选择规则。若只让无正则化模型训练较长时间,而让正则化模型训练较短时间,再把测试误差差异完全归因于正则项,是不严谨的。比较需要明确控制变量,至少区分“固定训练步数比较”和“各方法按同一验证规则选择最佳检查点”两种实验协议。
八、数据增强与一致性正则化:从参数空间走向函数空间
权重惩罚作用于参数,数据增强则通过改变训练输入分布影响模型学习。设输入变换 T T T 从某个变换分布 T \mathcal T T 中采样,标签变换规则记为 T y T_y Ty。增强后的训练目标可以写为
R ^ a u g ( θ ) = 1 n ∑ i = 1 n E T ∼ T ℓ ( f θ ( T x i ) , T y ( y i ) ) . \widehat R_{\mathrm{aug}}(\theta)=\frac1n\sum_{i=1}^n\mathbb E_{T\sim\mathcal T}\ell\bigl(f_\theta(Tx_i),T_y(y_i)\bigr). R aug(θ)=n1i=1∑nET∼Tℓ(fθ(Txi),Ty(yi)).
如果变换应保持标签不变,则 T y ( y i ) = y i T_y(y_i)=y_i Ty(yi)=yi;如果变换改变目标几何位置,标签也必须同步变换。例如图像分类中的小幅平移通常保持类别,但目标检测中的平移必须同步更新边界框。若对一个依赖绝对方位的物理测量任务任意旋转输入,却保持原标签不变,可能制造错误监督信号。
数据增强的关键假设不是“变换越多越好”,而是所选变换符合任务中的不变性或等变性。所谓不变性,是 f ( T x ) f(Tx) f(Tx) 与 f ( x ) f(x) f(x) 应保持一致;等变性则是输出按照已知规则变化,例如 f ( T x ) = T y f ( x ) f(Tx)=T_yf(x) f(Tx)=Tyf(x)。在图像分类中可以偏好某些不变性,在电磁场反演、医学影像或科学计算中则必须检查坐标系、边界条件和物理量单位,不能把视觉任务中的经验增强策略直接照搬。
8.1 小扰动为何与局部平滑有关
考虑标签不变的回归问题,假设 f θ f_\theta fθ 在 x x x 附近可微,加入均值为零、协方差为 Σ \Sigma Σ 的小扰动 δ \delta δ。一阶泰勒展开为
f θ ( x + δ ) ≈ f θ ( x ) + J f ( x ) δ , f_\theta(x+\delta)\approx f_\theta(x)+J_f(x)\delta, fθ(x+δ)≈fθ(x)+Jf(x)δ,
其中 J f ( x ) ∈ R k × d J_f(x)\in\mathbb R^{k\times d} Jf(x)∈Rk×d 是输出对输入的雅可比矩阵。若研究的是预测一致性平方误差,
E δ ∥ f θ ( x + δ ) − f θ ( x ) ∥ 2 2 ≈ E δ ∥ J f ( x ) δ ∥ 2 2 . \mathbb E_\delta\|f_\theta(x+\delta)-f_\theta(x)\|_2^2 \approx\mathbb E_\delta\|J_f(x)\delta\|_2^2. Eδ∥fθ(x+δ)−fθ(x)∥22≈Eδ∥Jf(x)δ∥22.
利用 E [ δ δ ⊤ ] = Σ \mathbb E[\delta\delta^\top]=\Sigma E[δδ⊤]=Σ,得到
E δ ∥ J f ( x ) δ ∥ 2 2 ≈ tr ( J f ( x ) Σ J f ( x ) ⊤ ) . \mathbb E_\delta\|J_f(x)\delta\|_2^2 \approx\operatorname{tr}\bigl(J_f(x)\Sigma J_f(x)^\top\bigr). Eδ∥Jf(x)δ∥22≈tr(Jf(x)ΣJf(x)⊤).
若 Σ = σ δ 2 I d \Sigma=\sigma_\delta^2I_d Σ=σδ2Id,则近似项为 σ δ 2 ∥ J f ( x ) ∥ F 2 \sigma_\delta^2\|J_f(x)\|_F^2 σδ2∥Jf(x)∥F2。这说明小幅随机扰动下的一致性约束,与惩罚输入雅可比矩阵范数存在局部联系。它偏好模型对特定扰动方向不太敏感,而不是直接限制权重的数值大小。
这个近似需要扰动足够小、函数局部可微、泰勒余项可以忽略。对于 ReLU 网络,在跨越激活边界时局部线性区域可能改变;对于大幅旋转、裁剪或非连续变换,不能继续使用一阶小扰动公式。对交叉熵损失,展开后出现的二阶结构也与平方一致性误差不同,不能把所有增强都归结为同一个雅可比范数。
8.2 Mixup 的目标与边界
Mixup 构造两个样本的凸组合。给定 ( x i , y i ) (x_i,y_i) (xi,yi)、 ( x j , y j ) (x_j,y_j) (xj,yj),取 α ∈ [ 0 , 1 ] \alpha\in[0,1] α∈[0,1],定义
x ~ = α x i + ( 1 − α ) x j , y ~ = α y i + ( 1 − α ) y j . \widetilde x=\alpha x_i+(1-\alpha)x_j,\qquad \widetilde y=\alpha y_i+(1-\alpha)y_j. x =αxi+(1−α)xj,y =αyi+(1−α)yj.
分类任务中的 y i y_i yi、 y j y_j yj 通常是 one-hot 或概率向量,混合标签是软目标。训练模型预测混合输入对应的混合标签,相当于在样本连线附近施加一种插值偏好。它可能缓解模型在训练点之间过于陡峭的变化,但并不保证所有数据流形上的插值都有真实语义。
对于线性叠加具有物理意义的测量信号,输入混合有时可以合理;对于具有非线性边界条件的场景参数,两个场景的观测混合未必对应某个真实场景。因此在科学机器学习中使用 Mixup,需要判断输入空间和标签空间的凸组合是否保留目标关系。仅因为 Mixup 在某些图像分类基准上有效,就把它作为所有反演任务的默认策略,可能引入系统性偏差。
8.3 一致性损失与监督损失的关系
在半监督学习或具有多视图数据的任务中,可以直接加入一致性项:
J ( θ ) = R ^ n ( θ ) + γ 1 n ∑ i = 1 n E T ∥ f θ ( T x i ) − f θ ( x i ) ∥ 2 2 . J(\theta)=\widehat R_n(\theta)+\gamma\frac1n\sum_{i=1}^n\mathbb E_T\bigl\|f_\theta(Tx_i)-f_\theta(x_i)\bigr\|_2^2. J(θ)=R n(θ)+γn1i=1∑nET fθ(Txi)−fθ(xi) 22.
其中 γ ≥ 0 \gamma\geq0 γ≥0 控制一致性约束强度。若输出需要按变换规则等变,应把第二项改为 ∥ f θ ( T x i ) − T y f θ ( x i ) ∥ 2 \|f_\theta(Tx_i)-T_yf_\theta(x_i)\|^2 ∥fθ(Txi)−Tyfθ(xi)∥2。这种正则化直接作用于函数响应,可以比单纯权重范数更贴近某些任务要求;但如果假设的变换不合理,过强一致性也会强迫模型忽略真实差异。
在设计实验时,可以将原始训练、仅参数正则化、仅数据增强、两者组合四种设置分开比较。必须使用同样的数据划分、模型结构和主要优化预算,并报告验证集选择策略。若组合方法优于单独方法,说明在该实验中存在互补收益;不能仅凭一个数据集的结果断言两种正则化在理论上相互独立。
九、正则化路径、有效自由度与模型复杂度
9.1 参数范数路径不等于预测复杂度路径
回到线性回归。随着 λ \lambda λ 增大,岭回归的参数通常受到更强压缩。对于全参数 L2 惩罚,利用最优性可证明 ∥ w λ ∥ 2 \|w_\lambda\|_2 ∥wλ∥2 随 λ \lambda λ 非增。设 0 ≤ λ 1 < λ 2 0\leq\lambda_1<\lambda_2 0≤λ1<λ2,分别以 w 1 , w 2 w_1,w_2 w1,w2 表示最优解。根据最优性,
R ( w 1 ) + λ 1 2 ∥ w 1 ∥ 2 ≤ R ( w 2 ) + λ 1 2 ∥ w 2 ∥ 2 , R(w_1)+\frac{\lambda_1}{2}\|w_1\|^2\leq R(w_2)+\frac{\lambda_1}{2}\|w_2\|^2, R(w1)+2λ1∥w1∥2≤R(w2)+2λ1∥w2∥2,
以及
R ( w 2 ) + λ 2 2 ∥ w 2 ∥ 2 ≤ R ( w 1 ) + λ 2 2 ∥ w 1 ∥ 2 . R(w_2)+\frac{\lambda_2}{2}\|w_2\|^2\leq R(w_1)+\frac{\lambda_2}{2}\|w_1\|^2. R(w2)+2λ2∥w2∥2≤R(w1)+2λ2∥w1∥2.
两式相加并整理得
( λ 2 − λ 1 ) ( ∥ w 2 ∥ 2 − ∥ w 1 ∥ 2 ) ≤ 0 , (\lambda_2-\lambda_1)\bigl(\|w_2\|^2-\|w_1\|^2\bigr)\leq0, (λ2−λ1)(∥w2∥2−∥w1∥2)≤0,
所以 ∥ w 2 ∥ ≤ ∥ w 1 ∥ \|w_2\|\leq\|w_1\| ∥w2∥≤∥w1∥。这个证明不要求数据损失一定是平方损失,只需要两个最优解存在、比较使用相同的非负二次惩罚,并且最优性关系成立。若优化只找到不同局部极小点,或者两次实验改变了训练数据与其他超参数,就不能据此保证实际训练得到的范数严格单调。
图7左侧展示多项式回归的非常数系数范数随 λ \lambda λ 的变化。由于常数项不受惩罚,图中绘制的是受惩罚参数子向量的范数,而不是整个参数向量范数。右侧展示一种相关但不同的复杂度指标:岭回归平滑矩阵的迹。

图7:L2 强度变化下的系数范数路径和岭回归有效自由度示意。
9.2 有效自由度的推导
对于全参数岭回归,拟合值可写成
y ^ = X ( X ⊤ X + n λ I ) − 1 X ⊤ y = S λ y . \widehat y=X\left(X^\top X+n\lambda I\right)^{-1}X^\top y=S_\lambda y. y =X(X⊤X+nλI)−1X⊤y=Sλy.
矩阵 S λ ∈ R n × n S_\lambda\in\mathbb R^{n\times n} Sλ∈Rn×n 称为线性平滑矩阵。若 X X X 的奇异值为 σ 1 , … , σ r \sigma_1,\ldots,\sigma_r σ1,…,σr,则
tr ( S λ ) = ∑ j = 1 r σ j 2 σ j 2 + n λ . \operatorname{tr}(S_\lambda)=\sum_{j=1}^r\frac{\sigma_j^2}{\sigma_j^2+n\lambda}. tr(Sλ)=j=1∑rσj2+nλσj2.
这个迹经常被称为有效自由度。它不一定是整数,描述拟合值对观测标签变化的总敏感程度。 λ → 0 \lambda\to0 λ→0 时,在适当的极限意义下它趋向设计矩阵的秩; λ → ∞ \lambda\to\infty λ→∞ 时,在全参数受惩罚的情形下它趋向零。
需要特别说明:图7右侧为了展示这个解析性质,对所有十五个基函数方向采用了全参数岭回归的有效自由度公式;左侧和图4中的实际拟合则没有惩罚常数项。因此两侧不是同一个惩罚矩阵下的全部统计量,不能把右侧曲线直接当成图4模型的精确自由度。如果保留不惩罚截距的设定,应根据相应的 P P P 重新构造 S λ = X ( X ⊤ X + n λ P ) − 1 X ⊤ S_\lambda=X(X^\top X+n\lambda P)^{-1}X^\top Sλ=X(X⊤X+nλP)−1X⊤ 并取迹。
对于非线性神经网络,参数数量远大于样本数时,简单以参数个数衡量有效复杂度通常不足。不同参数可能高度冗余,预测函数也可能对某些参数方向不敏感。有效自由度提供了一个线性模型中的可计算例子,但不能不加定义地直接推广为“深度网络有效参数个数”。
十、实验实现:从数据生成到可重复的正则化比较
本节把前面的数学推导整理为一个可以在 CPU 上独立运行的 NumPy 实验。代码使用 Python 3、NumPy 和 Matplotlib,不需要深度学习框架或外部数据集。实验由七部分组成:二维二次目标的最优点、谱收缩因子、L1 近端映射、多项式拟合、重复采样偏差—方差估计、Dropout 分布,以及正则化路径。各部分对应正文的图1至图7,图的保存文件名也与正文顺序一致。
代码采用固定随机种子以便复现,但不同 NumPy、Matplotlib 或底层线性代数库版本可能导致图形渲染细节与浮点数最后几位不同。这里更重要的可重复性要求是:数据生成机制、目标函数、惩罚矩阵、随机种子和评估指标都明确可检查。运行命令为 python experiment.py,依赖安装可使用 python -m pip install numpy matplotlib。下面的脚本可直接保存为 experiment.py,运行后在同级 images/ 目录生成七张图片。
import numpy as np
import matplotlib
matplotlib.use('Agg')
import matplotlib.pyplot as plt
from pathlib import Path
P=Path(__file__).parent/'images';P.mkdir(exist_ok=True)
plt.rcParams.update({'font.size':10,'axes.grid':True,'grid.alpha':.22,'figure.dpi':120})
rng=np.random.default_rng(20261122)
# 1: ridge geometry
w=np.linspace(-2.2,2.2,240);a,b=np.meshgrid(w,w); loss=(a-1)**2+0.25*(b+0.6)**2
fig,ax=plt.subplots(figsize=(6.8,5));ax.contour(a,b,loss,levels=np.geomspace(.03,9,14));t=np.linspace(0,2*np.pi,200)
for lam,c in [(0,'#222222'),(.3,'#0072b2'),(1.5,'#d55e00')]:
x=2/(2+lam);y=-.3/(.5+lam);ax.plot(x,y,'o',label=f'lambda={lam:g}',color=c)
ax.set(xlabel='w1',ylabel='w2',title='Quadratic data fit and L2-regularized solutions');ax.legend();fig.tight_layout();fig.savefig(P/'figure_01_ridge_geometry.png');plt.close(fig)
# 2 coefficient shrinkage
lam=np.logspace(-4,2,250); eig=np.array([.03,.3,3.,30.]); shrink=eig[:,None]/(eig[:,None]+lam)
fig,ax=plt.subplots(figsize=(7,4.5))
for e,s in zip(eig,shrink):ax.semilogx(lam,s,label=f'eigenvalue={e:g}')
ax.set(xlabel='Regularization strength lambda',ylabel='Spectral shrinkage',ylim=(-.03,1.05),title='Ridge shrinkage by Hessian eigenvalue');ax.legend();fig.tight_layout();fig.savefig(P/'figure_02_spectral_shrinkage.png');plt.close(fig)
# 3 l1 vs l2 prox
v=np.linspace(-3,3,500);lam0=1
fig,ax=plt.subplots(figsize=(7,4.5));ax.plot(v,v,label='No penalty');ax.plot(v,np.sign(v)*np.maximum(np.abs(v)-lam0,0),label='L1 soft threshold');ax.plot(v,v/(1+lam0),label='L2 shrinkage');ax.set(xlabel='Unregularized coordinate v',ylabel='Proximal solution',title='Coordinate-wise L1 and L2 effects');ax.legend();fig.tight_layout();fig.savefig(P/'figure_03_proximal.png');plt.close(fig)
# dataset polynomial regression
n=36;x=np.sort(rng.uniform(-1,1,n));y=np.sin(2*np.pi*x)+rng.normal(0,.24,n);xt=np.linspace(-1,1,400);yt=np.sin(2*np.pi*xt)
def design(x,degree=14):return np.polynomial.legendre.legvander(x,degree)
X=design(x);Xt=design(xt); penalties=np.diag([0]+[1]*14)
def fit(alpha):return np.linalg.solve(X.T@X/n+alpha*penalties,X.T@y/n)
fig,ax=plt.subplots(figsize=(7.5,4.8));ax.scatter(x,y,s=20,c='k',alpha=.6,label='Train samples');ax.plot(xt,yt,'k--',label='True signal')
for alpha in [0,1e-3,.03]:ax.plot(xt,Xt@fit(alpha),label=f'lambda={alpha:g}')
ax.set(xlabel='x',ylabel='y',ylim=(-2.5,2.5),title='Polynomial regression with L2 penalty');ax.legend(ncol=2);fig.tight_layout();fig.savefig(P/'figure_04_polynomial_fit.png');plt.close(fig)
# 5 bias variance Monte Carlo
R=160;alphas=np.logspace(-6,0,26);pred=np.empty((R,len(alphas),len(xt)));noise=.24
for r in range(R):
xr=rng.uniform(-1,1,n);yr=np.sin(2*np.pi*xr)+rng.normal(0,noise,n);A=design(xr);G=A.T@A/n;h=A.T@yr/n
for j,alpha in enumerate(alphas):pred[r,j]=Xt@np.linalg.solve(G+alpha*penalties,h)
mean=pred.mean(axis=0);bias2=((mean-yt)**2).mean(axis=1);var=pred.var(axis=0).mean(axis=1)
fig,ax=plt.subplots(figsize=(7,4.7));ax.semilogx(alphas,bias2,label='Squared bias');ax.semilogx(alphas,var,label='Prediction variance');ax.semilogx(alphas,bias2+var+noise**2,label='Expected noisy test MSE');ax.set(xlabel='lambda',ylabel='Averaged squared error',title='Bias-variance decomposition (Monte Carlo)');ax.legend();fig.tight_layout();fig.savefig(P/'figure_05_bias_variance.png');plt.close(fig)
# 6 dropout mask and inverted scale distribution
z=rng.normal(size=100000);fig,ax=plt.subplots(figsize=(7,4.5));ax.hist(z,bins=80,density=True,alpha=.5,label='Original activation');p=.65;mask=rng.binomial(1,p,len(z));ax.hist(z*mask/p,bins=100,range=(-5,5),density=True,alpha=.5,label='Inverted dropout, p=0.65');ax.set(xlabel='Activation',ylabel='Density',title='Dropout changes the activation distribution');ax.legend();fig.tight_layout();fig.savefig(P/'figure_06_dropout_distribution.png');plt.close(fig)
# 7 regularization path and effective df
D=np.polynomial.legendre.legvander(x,14);sv=np.linalg.svd(D/np.sqrt(n),compute_uv=False);ls=np.logspace(-6,1,140);df=np.array([np.sum(sv**2/(sv**2+l)) for l in ls]);coef=np.array([fit(l) for l in ls]);fig,axs=plt.subplots(1,2,figsize=(10,4.3));axs[0].semilogx(ls,np.linalg.norm(coef[:,1:],axis=1));axs[0].set(xlabel='lambda',ylabel='Penalized coefficient norm',title='Coefficient path');axs[1].semilogx(ls,df);axs[1].set(xlabel='lambda',ylabel='Trace of ridge smoother',title='Effective degrees of freedom (all penalized surrogate)');fig.tight_layout();fig.savefig(P/'figure_07_regularization_path.png');plt.close(fig)
print('numpy',np.__version__,'matplotlib',matplotlib.__version__)
for alpha in [0,1e-3,.03]:
w=fit(alpha);print(f'lambda={alpha:g} train_MSE={np.mean((X@w-y)**2):.6f} grid_clean_MSE={np.mean((Xt@w-yt)**2):.6f} norm={np.linalg.norm(w[1:]):.6f}')
print('Figures:',len(list(P.glob('figure_*.png'))))
10.1 数值解与数学目标如何对应
代码中的 fit(alpha) 求解的线性方程为
(
X
⊤
X
/
n
+
λ
P
)
w
=
X
⊤
y
/
n
\left(X^\top X/n+\lambda P\right)w=X^\top y/n
(X⊤X/n+λP)w=X⊤y/n,其中
P
P
P 的第一个对角元为零,其余对角元为一。它与前面推导的惩罚形式完全对应。需要留意的是,函数返回的是系数向量而非预测值;训练预测使用 X @ w,网格预测使用 Xt @ w。矩阵维度分别为
X
∈
R
36
×
15
X\in\mathbb R^{36\times15}
X∈R36×15、
X
t
∈
R
400
×
15
Xt\in\mathbb R^{400\times15}
Xt∈R400×15、
w
∈
R
15
w\in\mathbb R^{15}
w∈R15,所以两次矩阵乘法分别得到长度为
36
36
36 和
400
400
400 的预测向量。
np.linalg.solve 的调用没有显式求逆。对于本实验的小规模问题,直接求解线性方程组既简洁又足够稳定。若把多项式阶数大幅增加,或改用普通单项式基
1
,
x
,
x
2
,
…
1,x,x^2,\ldots
1,x,x2,…,设计矩阵可能更加病态;此时应考虑奇异值分解、QR 分解或更合适的正交基。使用正交多项式并不保证有限随机样本下的列完全正交,它只是改善某些数值性质,不能替代对条件数的检查。
当
λ
=
0
\lambda=0
λ=0 时,代码仍然使用 solve。当前随机样本和基函数阶数下,设计矩阵在数值上具有足够的秩,可以完成求解;若换一个数据集导致矩阵奇异,应改用 np.linalg.lstsq 或带正则化的求解方式。不能因为某次运行成功就断言任意数据集的未正则化正规方程都可逆。
10.2 如何解读单次拟合和蒙特卡洛结果
图4是一次固定样本实验,其作用是展示“训练误差下降”和“真函数拟合更好”之间可能出现的分离。图5则通过重复采样估计预测方差,试图回答为什么会出现这种分离。两种图使用同一种目标函数和同一类模型,但并非完全相同的实验统计量。图4中的训练样本固定;图5中的训练样本每次重新生成,预测均值和方差是跨训练集计算的。
图5的平方偏差是对
400
400
400 个网格点分别计算预测均值与真函数的差,再平方求平均;预测方差则先在每个网格点跨重复实验求方差,再对网格取平均。最后加上
0.24
2
0.24^2
0.242,代表假设下的不可约噪声方差。代码使用 np.var 默认的总体方差归一化,即除以重复次数
R
R
R,这是有限次蒙特卡洛近似。若使用无偏样本方差,应指定 ddof=1,结果会有小幅差异;这种差异不会改变分解的基本结构。
这两种实验都不应被误写为对神经网络的普适证明。多项式回归是一个线性参数模型,其凸二次优化目标允许精确求解。深度网络中的数据依赖表示、非凸优化、归一化层和优化器状态都会引入额外机制。这里的目的,是先在能控制变量和检查公式的系统中建立正则化直觉,再把明确的假设带到复杂模型中检验。
10.3 评估指标必须保持一致
代码报告训练 MSE 和无噪声网格 MSE,二者并不完全相当于实际机器学习任务中的训练集与测试集误差。无噪声网格误差利用了人工生成数据时已知的真函数,这在真实任务中通常不可获得。它是教学模拟的优势,可以把模型逼近误差与观测噪声区分开。真实实验应在独立测试样本上计算与任务一致的指标,不能把“对真函数的网格误差”当成现实数据中总能计算的量。
如果希望在这段代码基础上比较 L1 与 L2 的泛化表现,不能只把正则项从平方改成绝对值而仍使用相同的线性方程求解。L1 目标非光滑,需要坐标下降、近端梯度或其他合适的优化方法。可以先对平方损失做梯度步,再对受惩罚坐标执行软阈值操作;截距项若不惩罚,则不能执行软阈值。这样的修改不仅改变目标,也改变求解算法,因此应分别检查优化误差与预测误差。
十一、正则化方法的选择与实验辨析
11.1 不同方法约束的是不同对象
将几种常见方法并列比较,可以看到它们所控制的对象并不相同:
| 方法 | 主要作用对象 | 典型数学机制 | 需要特别注意的条件 |
|---|---|---|---|
| L2 惩罚 | 参数幅值 | 二次惩罚与连续收缩 | 参数尺度、偏置排除、优化器实现 |
| L1 惩罚 | 参数坐标 | 非光滑惩罚与软阈值 | 相关特征、稀疏求解、结构稀疏 |
| 解耦权重衰减 | 优化更新 | 参数乘法衰减 | 与自适应梯度预条件分离 |
| Dropout | 隐藏激活 | 随机掩码与训练噪声 | 训练/推理约定、掩码结构 |
| 早停 | 迭代路径 | 有限步谱过滤的近似直觉 | 验证集独立性、最佳轮次选择 |
| 数据增强 | 输入分布 | 不变性或等变性约束 | 变换必须保留真实标签关系 |
| 一致性正则化 | 函数响应 | 扰动下预测差异惩罚 | 扰动尺度与任务先验 |
表中并不存在天然的优先级。L1 适合需要稀疏结构的某些问题,但未必适合只追求预测精度的任务;Dropout 可以改善部分模型的泛化,却可能与特定归一化或小批量设置相互影响;数据增强往往非常有效,但其前提是增强操作符合问题结构。方法选择应首先回答:希望限制参数、函数变化、输入扰动敏感性,还是优化过程对样本噪声的适配?
11.2 正则化强度不能脱离损失尺度
考虑两种损失定义: R 1 = ( 1 / n ) ∑ i ℓ i R_1=(1/n)\sum_i\ell_i R1=(1/n)∑iℓi 和 R 2 = ∑ i ℓ i R_2=\sum_i\ell_i R2=∑iℓi。如果正则项都写为 λ Ω \lambda\Omega λΩ,那么同一个数值的 λ \lambda λ 对两种目标具有不同的相对强度。要让两者具有对应的最优解,系数通常需要按样本数调整。类似地,如果把平方误差写成 ∥ X w − y ∥ 2 / n \|Xw-y\|^2/n ∥Xw−y∥2/n 而不是 ∥ X w − y ∥ 2 / ( 2 n ) \|Xw-y\|^2/(2n) ∥Xw−y∥2/(2n),梯度前的系数也会改变,正则化超参数的解释必须与目标函数一起给出。
对于分类交叉熵,损失数值还与类别数、标签分布、标签平滑和模型预测置信度有关。直接把回归实验中的 λ = 0.001 \lambda=0.001 λ=0.001 搬到分类网络,没有可靠的数学依据。即使采用同一种优化器,批量大小、训练轮数和学习率调度也可能改变权重衰减的累计作用。尤其在解耦衰减中,忽略梯度时连续 T T T 步的乘法因子为 ∏ t = 0 T − 1 ( 1 − η t λ ) \prod_{t=0}^{T-1}(1-\eta_t\lambda) ∏t=0T−1(1−ηtλ);当学习率调度变化时,累计衰减量随之变化。
11.3 如何避免把优化失败误判为正则化收益
假设两个网络使用相同数据,但模型 A 不施加正则化,模型 B 使用较大的 L2 系数。如果 B 的训练误差较高,可能是因为惩罚确实改变了目标最优点,也可能是因为训练尚未收敛。仅观察最终训练误差,无法区分这两种情况。需要同时记录数据损失、正则项、总目标、梯度范数和验证指标。对可控的小模型,还可以检查优化残差或与解析解比较;对深度网络则应至少评估训练预算是否充分。
此外,若使用 AdamW,应分别记录 weight_decay 和学习率,不能把它们合并称为一个固定的“正则化强度”。如果两个实验采用不同的学习率调度,哪怕 weight_decay 数值相同,实际累计衰减也可能不同。报告这些细节,是为了让实验差异能够被解释,而不是为了堆积超参数表格。
11.4 验证集选择也可能过拟合
正则化参数通常通过验证集选择,例如在一组对数间隔的候选 λ \lambda λ 中挑选验证误差最小的值。然而验证集不是无限可靠的测量工具。若重复尝试大量参数、网络结构、随机种子和数据处理方案,再只报告验证集最好的结果,模型选择过程本身可能逐渐适配验证集的偶然波动。此时即使每一次训练都没有直接使用验证样本计算梯度,整体研究流程仍可能产生选择偏差。
一个更清晰的协议是:训练集用于拟合参数;验证集用于选择正则化强度、早停轮次等超参数;独立测试集用于最终一次性评价。若数据量有限而需要交叉验证,应在外层评价与内层调参之间保持分离。对于时间相关数据,使用前向滚动验证可能比随机折叠更合理;对于同一对象的重复测量,应按对象划分而不是按单条记录划分。
模型选择还应报告波动而不只是最优点。例如使用多个随机种子重复训练,计算测试指标的均值和标准差,能够区分稳定收益与偶然的单次优势。若两个方法的差异小于实验波动,结论应保持克制。并且多个随机种子并不自动消除数据集选择偏差;如果只在一个固定数据集上反复调参,仍需承认外部泛化证据有限。
11.5 正则化与分布偏移
常规验证通常假设训练集与未来数据具有相近的生成分布。若部署时出现传感器漂移、场景改变、不同人群或不同采集设备,即使模型在同分布验证集上表现很好,也可能发生性能下降。L2、Dropout 或早停并不能自动保证对所有分布偏移都稳健。若已知潜在变化,例如光照、测量噪声或几何姿态,应设计符合物理或任务条件的增强与外部分布测试。
这里还要区分两类稳定性:一类是模型对训练样本替换的稳定性,另一类是模型对输入扰动或分布变化的稳定性。前者与学习算法及泛化理论相关,后者与鲁棒性、局部敏感性和分布外评价相关。某个正则化方法可能改善其中一类而对另一类帮助有限。用“模型更稳定”概括全部现象,容易掩盖真正需要测量的对象。
十二、结论:把正则化看作可检验的归纳偏好
正则化的数学核心,是在有限数据所允许的众多拟合方案中引入额外偏好。L2 倾向于收缩参数,并在二次模型中优先抑制弱曲率方向;L1 借助零点处的非光滑结构产生软阈值和稀疏解;Dropout 通过随机激活扰动改变训练目标;早停通过限制优化时间影响已学习的谱方向;数据增强与一致性约束则直接编码输入变换或函数响应的先验。
这些机制的共同点是试图改善模型对未知样本的预测,但它们不等价,也不存在无条件保证泛化改善的统一结论。分析正则化时,应依次说明目标函数、参数化方式、优化规则、数据分布假设和评价协议。对于有解析解的模型,尽可能推导收缩因子与敏感性;对于复杂神经网络,则应通过控制变量实验检验哪些结论仍然成立。
本期实验表明,在固定的带噪多项式回归设置中,适度 L2 惩罚提高了对无噪声真函数的拟合精度,尽管训练误差有所增加。重复采样实验进一步说明,测试误差的变化应从偏差和方差共同解释,而不能只看参数范数。下一步讨论归一化方法时,需要继续保持这种区分:改变中间表示的统计尺度、改变优化条件,以及改善最终泛化能力,是三个相互关联但不能互相替代的命题。
参考文献
- Tikhonov, A. N. (1963). Solution of incorrectly formulated problems and the regularization method. Soviet Mathematics Doklady, 4, 1035–1038.
- Tibshirani, R. (1996). Regression Shrinkage and Selection via the Lasso. Journal of the Royal Statistical Society: Series B, 58(1), 267–288. https://doi.org/10.1111/j.2517-6161.1996.tb02080.x
- Zou, H., & Hastie, T. (2005). Regularization and Variable Selection via the Elastic Net. Journal of the Royal Statistical Society: Series B, 67(2), 301–320. https://doi.org/10.1111/j.1467-9868.2005.00503.x
- Srivastava, N., Hinton, G., Krizhevsky, A., Sutskever, I., & Salakhutdinov, R. (2014). Dropout: A Simple Way to Prevent Neural Networks from Overfitting. Journal of Machine Learning Research, 15, 1929–1958. https://jmlr.org/papers/v15/srivastava14a.html
- Loshchilov, I., & Hutter, F. (2019). Decoupled Weight Decay Regularization. International Conference on Learning Representations. https://arxiv.org/abs/1711.05101
- Bishop, C. M. (1995). Training with Noise is Equivalent to Tikhonov Regularization. Neural Computation, 7(1), 108–116. https://doi.org/10.1162/neco.1995.7.1.108
- Zhang, H., Cisse, M., Dauphin, Y. N., & Lopez-Paz, D. (2018). mixup: Beyond Empirical Risk Minimization. International Conference on Learning Representations. https://arxiv.org/abs/1710.09412
- Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning, 2nd ed. Springer. https://hastie.su.domains/ElemStatLearn/
- NumPy Developers. NumPy documentation:
numpy.linalg.solveandnumpy.polynomial.legendre.legvander. https://numpy.org/doc/stable/ - Matplotlib Development Team. Matplotlib documentation. https://matplotlib.org/stable/
转载自 CSDN-专业IT技术社区
原文链接:https://blog.csdn.net/weixin_47502228/article/details/171193072




