训练稳定性与 Loss Spike

一句话理解

大训练的“心电图异常”——loss 无预警飙升又回落，可能自愈也可能全毁，万卡训练的排障艺术。

定义

Loss Spike 指训练中损失突然异常飙升的现象，轻则几个 step 后自愈，重则不回落、训练报废。大模型动辄数月训练，稳定性工程（监控、报警、自动回滚到检查点 1081）与根因排查（坏数据、数值溢出、超参交互）是训练团队的日常。

你会在哪遇到它

技术报告里的“训练稳定性”章节；训练群里凌晨的 spike 截图；“训练为什么崩了”的事故复盘。

背后的原理

常见根因：脏数据（某个坏批次冲击分布，数据清洗 990 的价值所在）、数值问题（混合精度 1078 下溢出、梯度爆炸）、超参与架构交互（学习率 1079 过大、归一化配置）。应对手段：梯度裁剪、跳过坏批、发现 spike 时回滚检查点并跳过可疑数据段。成熟训练系统把“自动检测并处理”做成标配。

和相近概念的区别

1 与过拟合：过拟合是慢性的评估恶化，spike 是急性的训练事故。 2 与梯度爆炸：梯度爆炸常是 spike 的成因之一，spike 是症状。 3 与模型崩塌（947）：崩塌是生成质量的退化，spike 是训练数值的事故。

常见误区

1 spike 都要人工救——成熟系统自动回滚跳批，人工只处理复发。 2 回滚是损失——回滚比报废省百倍，检查点体系（1081）就是为此而生。 3 稳定性靠运气——监控、裁剪、数据预检都是可建设的工程能力。