标签: 学习率 - 文档

学习率共 2 篇文章

为什么牛顿法不需要学习率但计算Hessian代价高：二阶信息

2026-07-23 18:36:53

为什么牛顿法不需要学习率但计算Hessian代价高：二阶信息优化算法是机器学习的核心引擎。在众多算法中，梯度下降法和牛顿法是两种最基础、最典型的方法。理解它们的区别，是理解现代优化技术的钥匙。问题：为什么梯度下降法需要手动调整学习率，而牛顿法不需要？为什么牛顿法往往收敛更快，却很少有人用？核心

牛顿法梯度下降二阶信息

37 0

梯度下降法的收敛性分析及步长选择策略

2026-06-29 08:44:07

梯度下降法的收敛性分析及步长选择策略梯度下降法的核心目标是通过迭代找到损失函数的最小值点。迭代能否成功，关键在于收敛，即参数是否能稳定地逼近最优解。步长是控制每一步更新幅度的关键旋钮，选错步长会导致算法震荡、发散甚至完全失效。 1. 理解梯度下降法的基本更新公式掌握梯度下降法的单步更新规则是分析

梯度下降法收敛性分析步长选择

64 0

学习率 共 2 篇文章