梯度下降法的收敛性分析及步长选择策略

梯度下降法的核心目标是通过迭代找到损失函数的最小值点。迭代能否成功，关键在于收敛，即参数是否能稳定地逼近最优解。步长是控制每一步更新幅度的关键旋钮，选错步长会导致算法震荡、发散甚至完全失效。

1. 理解梯度下降法的基本更新公式

掌握梯度下降法的单步更新规则是分析一切问题的起点。

计算当前参数 $\theta$ 对应的损失函数 $J(\theta)$ 的梯度 $\nabla J(\theta)$。梯度是一个向量，指向函数值增长最快的方向。
设置一个步长 $\eta$（也叫学习率）。
更新参数：$\theta_{new} = \theta_{old} - \eta \cdot \nabla J(\theta_{old})$。这里用减号，是因为我们要沿梯度的反方向（下降方向）前进。

这个公式的直观理解是：在当前位置，朝着能让损失下降最快的方向走一小步，这一小步的长度由步长 $\eta$ 控制。

算法不收敛，通常源于两种基本现象。

震荡发散：参数在最优点附近来回跳动，甚至离最优点越来越远。这通常发生在步长 $\eta$ 过大时。想象你要下山，步子迈得太大，直接从山的一侧跨到了另一侧，离山谷更远了。
停滞不前：参数更新极其缓慢，几乎不动。这通常发生在步长 $\eta$ 过小时。还是下山的例子，每次只挪动一小毫米，虽然方向对，但永远到不了山脚。

一个理想的步长，应该能让参数快速而平稳地滑向谷底。

选择算法时，其收敛特性是首要考虑因素。

批量梯度下降：每次更新都计算整个数据集的梯度。
- 优点：对于凸函数，只要步长合适，保证收敛到全局最小值；对于非凸函数，保证收敛到局部最小值。路径稳定。
- 缺点：计算量巨大，每次更新都很慢。
随机梯度下降：每次更新只选取一个样本计算梯度。
- 优点：更新速度快。
- 缺点：梯度估计方差大，更新路径非常曲折，甚至可能在最优点附近持续震荡而不收敛。需要精心调整步长或使用逐步衰减的步长。
小批量梯度下降：每次更新选取一小批数据（如32、64个样本）计算梯度，是前两者的折中。这是实践中最常用的方法。

从理论上理解什么条件下能收敛，有助于指导实践。

对于光滑的凸函数，如果满足以下条件，梯度下降法可以收敛：

损失函数光滑：梯度（一阶导数）是利普希茨连续的。通俗地说，就是梯度的变化速度有一个上界 $L$（称为利普希茨常数）。
步长设置合理：步长 $\eta$ 需要满足 $\eta \leq \frac{2}{L}$。更严格的保证收敛的条件是 $\eta \leq \frac{1}{L}$。步长大于 $\frac{2}{L}$ 可能导致发散。

这个条件表明，收敛能力直接与损失函数的地形（由 $L$ 表征）和步长 $\eta$ 相关。$L$ 越大（函数曲面越陡峭、变化越剧烈），允许的步长上限就越小。

理论提供了上界，但在实践中，$L$ 通常是未知的。以下是实际操作步骤。

从一个较小值开始：0.1, 0.01, 0.001 都是常见的初始尝试值。
观察损失曲线：运行几个周期的训练，绘制损失值随迭代次数变化的曲线。
- 如果损失曲线剧烈震荡或上升，立即减小步长（例如，缩小10倍）。
- 如果损失曲线下降非常缓慢，尝试增大步长（例如，扩大2-5倍）。
使用学习率衰减：为解决SGD的震荡问题，可以让步长随时间变小。一个简单的策略是：$\eta_t = \frac{\eta_0}{1 + \text{decay_rate} \times t}$，其中 $\eta_0$ 是初始步长，decay_rate 是衰减率，t 是迭代次数。
采用自适应学习率算法：现代优化器能自动调整每个参数的步长，大大降低了手动调参的难度。
- AdaGrad：根据历史梯度平方和自动调小频繁更新参数的步长。适合稀疏数据。
- RMSProp：在AdaGrad基础上，用指数衰减移动平均来“遗忘”遥远的过去，避免步长过早过小。
- Adam：结合了动量（用历史梯度方向加速）和RMSProp的优点，是当前默认的首选优化器。只需设置一个初始学习率（如 0.001）。

遵循以下流程可以高效地找到合适的步长。

默认选择：对于新问题，使用 Adam 优化器，设置学习率为 0.001。
快速验证：运行少量几个周期，确保损失在下降且没有发散（损失变成 NaN 或巨大值）。
精细调整：如果损失下降过慢，尝试将学习率提高到 0.003 或 0.01。如果训练初期损失震荡，尝试将学习率降低到 0.0003 或 0.0001。
应用衰减：如果训练后期损失在最低点附近来回跳动无法进一步下降，添加学习率衰减策略，或者切换到带有学习率衰减选项的优化器配置。
最终确认：当验证集上的损失不再提升时，停止训练。