梯度累积（Gradient Accumulation）

一句话理解

显存不够时的“蚂蚁搬家”——小批次多算几步，把梯度攒够一份再统一更新，效果约等于大批次训练。

定义

梯度累积指连续前向反向计算多次、只做一次参数更新：每次算得的梯度先累加，攒够 N 份再一起更新。效果近似把批量扩大 N 倍，但显存占用始终只有一份小批次的水平。

你会在哪遇到它

训练脚本里的累积步数参数；小显卡微调大模型的教程；分布式训练配置里的惯用搭配。显存告急时的第一反应。

背后的原理

神经网络的梯度天然可加——多个小批次的梯度取平均，数学上等价于大批次的梯度。省的是中间激活值的显存，代价是训练时间变长。它与分布式训练（977）、梯度检查点一起，被戏称为“显存三板斧”，微调大模型的教程里几乎是必选项。

和相近概念的区别

1 与真大批次训练：数学上近似等价，但个别按批次统计的组件会有细微差异。 2 与模型并行：一个省数据维度的显存，一个拆模型本身，解决的问题不同。 3 与混合精度（本批）：一个省激活显存，一个省权重与计算开销，常常叠满全用。

常见误区

1 等效完全无损——累积步数过大时优化轨迹与真大批次仍有偏差，学习率常需微调。 2 攒得越多越好——收敛变慢，时间成本线性上涨。 3 能替代好显卡——它省显存不省算力，该跑多久还是多久。 4 步数别乱定——累积步数翻倍等于批量翻倍，常见取值 4 到 32，配学习率一起调。