优化器（AdamW）

一句话理解

参数更新的“智能油门”——不只顺着梯度走，还记着历史惯性自适应放缩每一步，大模型训练的标配 AdamW。

定义

优化器决定怎么用梯度更新参数。Adam 与改进版 AdamW 为每个参数维护一阶动量（平均梯度）与二阶动量（梯度平方平均），自适应调整每个参数的步长，配合权重衰减正则。SGD（随机梯度下降）是它简单的前辈，仍是部分领域的常用选择。

你会在哪遇到它

训练配置里的 optimizer 字段；微调教程里 AdamW 与学习率的搭配；讨论“为什么都用 AdamW”的文章。

背后的原理

动量像“惯性”——震荡方向互相抵消、一致方向加速；二阶动量像“每个参数自己的油门”——梯度常年小的参数步子放大，常年大的收着走。AdamW 修正了 Adam 里权重衰减与自适应步长耦合的问题，成为大模型默认。内存代价是每个参数多两份状态——这也是检查点（1081）体积是权重两倍以上的原因。

和相近概念的区别

1 与梯度下降（1077）：梯度下降是总纲，AdamW 是工程上最常用的实现。 2 与学习率调度（1079）：优化器管每个参数的自适应步长，调度管全局节奏，两层配合。 3 与 SGD：SGD 简单泛化好但挑超参，AdamW 开箱即用，大模型基本都用它。

常见误区

1 优化器能救烂数据——它优化的是更新策略，数据质量仍是一切的前提。 2 参数都一样调——动量系数、权重衰减与学习率联动，微调常沿用预训练值。 3 无状态也能续训——重启不带优化器状态会明显抖动，续训必须带上。