反向传播与梯度下降（Backpropagation）

一句话理解

模型学习的“心跳”——先算错多少，再倒着推每个参数该背多少责任，然后全体朝减少错误的方向挪一小步。

定义

反向传播是计算梯度的算法：从输出端的损失函数（词条 992）出发，用链式法则把“误差对每个参数的影响”逐层传回去；梯度下降则拿着这些梯度，让参数朝损失变小的方向更新一小步。两者合起来就是训练循环的核心。

你会在哪遇到它

任何讲“模型怎么训练”的科普文；训练日志里一路下行的 loss 曲线；AI 岗位面试的必考题。

背后的原理

一轮训练分四步：取一批数据前向算出预测；用损失函数量化误差；反向传播算出每个参数的梯度；按学习率（本批词条）更新参数。如此循环几百万次，模型就学会了。分布式训练（977）、混合精度（本批）等技术，本质都是给这个循环提速与省资源的手段。

和相近概念的区别

1 与预训练（873）：预训练是“练什么料”，反向传播与梯度下降是“怎么练”。 2 与 RLHF（874）：人类反馈最终也要折算成奖励信号、化成梯度来更新，底座仍是这套机制。 3 与梯度累积（本批）：那不是新算法，是把一批拆成几次算再合并，显存不够时的省法。

常见误区

1 模型像人一样理解知识——本质是高维空间里的数值下降，别过度拟人化。 2 loss 下降就是学好了——也可能在背题，要看验证集表现才知道。 3 这套机制快被淘汰了——替代方案至今没有规模化成功，它仍是一切大模型的底层。