首页
文章列表
标签墙
返回找工具啦
AdaGrad
共 1 篇文章
为什么AdaGrad学习率会越来越小：历史梯度平方累积
2026-07-06 00:37:06
为什么AdaGrad学习率会越来越小：历史梯度平方累积 理解 AdaGrad的核心机制，关键在于其计算公式中的历史梯度平方累积项。这个累积项只增不减，直接导致了用于调整参数的步长（学习率）会随着时间推移而持续变小。 1. 理解AdaGrad的“累积”行为 1. 观察 普通梯度下降法的学习率（步长）是
AdaGrad
学习率衰减
梯度平方累积
45
0
