检查点与断点续训（Checkpoint）

一句话理解

给训练存个档——每隔一段时间把全部状态落盘，断了电也能从上次进度接着练，大训练的保命机制。

定义

检查点是训练到某一步时的完整快照：模型权重、优化器动量、学习率进度、随机数状态、数据读取位置等。断点续训（Resume）指从检查点恢复训练，而不是从头再来——数月级训练的标配能力。

你会在哪遇到它

模型发布页的 ckpt 文件（多个 step 版本）；训练中途崩溃后的续训日志；估算训练成本时的容错开销。

背后的原理

大规模训练动辄跑数周到数月，硬件故障与中断是常态，没有检查点等于赌命。快照必须包含优化器状态（体积常是权重的两倍以上），否则恢复后训练会抖。发布时还会按验证集表现挑最优 step 而非最后一个，模型版本号（词条 1018）常与检查点序号挂钩。

和相近概念的区别

1 与模型权重文件：权重只是检查点的子集，只恢复权重接不上训练节奏。 2 与模型合并（989）：合并是把多个模型的权重融合成新模型，不是恢复训练。 3 与量化（877）：发布用的量化版本是另算的产物，不等于原始检查点。

常见误区

1 只存权重就够——少了优化器状态，续训效果明显打折。 2 存得越密越好——每份快照几百 GB 起步，存储与写盘都是成本。 3 最后一个检查点最好——验证集曲线常在中途更优，要按表现挑。