混合精度训练（Mixed Precision）

一句话理解

训练时的“省显存魔法”——大部分计算用半精度浮点，关键环节保住全精度，速度显存双丰收，效果几乎不损失。

定义

混合精度训练让模型权重与前向计算用 FP16、BF16 等半精度格式，同时保留一份 FP32 主权重用于累加更新，再配合损失缩放防止小梯度下溢。同等显存能装更大的模型或批次，速度通常能快接近一倍。

你会在哪遇到它

训练脚本里的 fp16、bf16 开关；显卡选购时“训练用什么精度”的讨论；模型卡里标注的训练配置。

背后的原理

半精度占显存少，在 GPU（词条 980）的Tensor Core 上算得快；但梯度累加时小数容易被舍入吃掉，所以参数更新仍用 FP32 汇总。BF16 的指数位与 FP32 相同、不易溢出，是新训练的默认选择。推理侧对应的省钱手段是量化（词条 877），两者别混为一谈。

和相近概念的区别

1 与量化（877）：混合精度是训练时的取舍，量化多是推理时的压缩，方向不同。 2 与纯 FP16 训练：不是一回事——混合精度保留 FP32 主权重，纯半精度训大模型基本不收敛。 3 与分布式训练（977）：一个省单卡资源，一个摊多卡算力，实践中常一起用。

常见误区

1 精度减半效果减半——绝大多数任务几乎无损，BF16 更是接近零风险。 2 老显卡也能吃满收益——Tensor Core 世代差异大，老卡加速有限。 3 只是工程小事——选错精度与缩放策略会直接训崩，是实打实的技术决策。