学习率与预热（LR Warmup）

一句话理解

模型训练的“油门设定”——迈太大步子容易翻车，先热身再加速、后期缓缓减速，是最影响成败的超参数之一。

定义

学习率决定每次参数更新走多远：太大训练震荡发散，太小又慢又容易卡在半路。预热（Warmup）指训练开始时把学习率从极小值线性升到目标值，之后按调度慢慢衰减（余弦退火最常见），前期稳、后期精。

你会在哪遇到它

训练配置文件里的 lr 与 warmup 字段；讨论“训练为什么不稳”的技术分析；自己微调模型时的首要调参对象。

背后的原理

开始时参数是随机的，梯度方向很不可靠，大步走容易把模型带进沟里，所以先小步热身；训练中后期损失面趋平，用衰减把步子收小，让模型在好解附近精修。微调（词条 859）大模型常用远小于预训练的学习率，数据少时还要更保守，否则容易把原有能力训没。

和相近概念的区别

1 与批次大小：二者联动——加大批次常要同步加大学习率，有经验公式可循。 2 与梯度（本批第 5 条）：梯度指方向，学习率定步幅，缺一不可。 3 与调度器选择：余弦、线性、阶梯各有适用场景，没有全能冠军，按任务试。

常见误区

1 学习率是玄学——有成熟的默认值与调度套路，先抄作业再微调。 2 学习率越大学得越快——大概率直接报错发散，loss 飞到天上。 3 微调随便设——用预训练的量级去微调小数据，模型分分钟被训废（灾难性遗忘词条 991）。