梯
梯度累积（Gradient Accumulation）
显存不够的蚂蚁搬家——小批次多算几步、攒够梯度再统一更新，等效大批次训练，小显卡微调大模型的常规操作。…
2 次浏览灾
灾难性遗忘（Catastrophic Forgetting）
学新忘旧的“AI 健忘症”——拿新领域数据微调后，模型可能把原来的通用能力忘掉大半，是微调翻车原因排行榜的第一名。…
1 次浏览学
学习率与预热（LR Warmup）
训练的“油门设定”——先热身再加速、后期缓缓收油，步子迈太大直接训崩，是最影响训练成败的超参数，没有之一。…
32 次浏览反
反向传播与梯度下降（Backpropagation）
模型学习的“心跳”——先算错多少，再倒推每个参数该负多少责任，全体朝减小误差的方向挪一小步，训练循环的发动机。…
32 次浏览优
优化器（AdamW）
参数更新的智能油门——动量记惯性、二阶动量定每个参数的步幅，AdamW 是大模型训练微调的默认优化器，也是检查点变大的元凶。…
41 次浏览量
量化感知训练（QAT）
训练时就“按压缩后的样子练”——把量化误差放进训练循环，模型提前适应低精度，端侧部署前的深度压缩选项。…
35 次浏览成
成员推断攻击（Membership Inference）
反推“你的数据有没有被拿去训练”——通过观察模型对输入的自信程度判断某条记录是否在训练集里。隐私审计的利器，也是模型记忆的照妖镜。…
41 次浏览多
多 Token 预测（MTP）
一次多交几份答案——模型每步同时预测后面几个词元，训练信号更密更远，推理时草稿头还能白捡一笔加速，DeepSeek V3 已内置。…
48 次浏览混
混合精度训练（Mixed Precision）
训练时的省显存魔法——大部分计算用半精度、关键更新保全精度，速度显存双丰收，效果几乎无损，如今大模型训练的默认姿势。…
35 次浏览训
训练稳定性与 Loss Spike
大训练的“心电图异常”——loss 无预警飙升又回落，可能自愈也可能报废，万卡训练排障与自动回滚的工程艺术。…
53 次浏览损
损失函数（Loss Function）
给模型打分的错题量化器——把“输出离正确答案有多远”算成一个数，训练的全部目标就是把这个数压下去。训练曲线上的 loss 线就是它。…
70 次浏览课
课程学习（Curriculum Learning）
先易后难的教学法——训练时把数据从简单到难排序喂给模型，像小学到大学的课程表，让学习过程更稳、收敛更顺。…
71 次浏览