标签: AdaGrad - 文档

为什么AdaGrad学习率会越来越小：历史梯度平方累积理解 AdaGrad的核心机制，关键在于其计算公式中的历史梯度平方累积项。这个累积项只增不减，直接导致了用于调整参数的步长（

# AdaGrad # 学习率衰减 # 梯度平方累积

标签：AdaGrad