标签: 牛顿法 - 文档

为什么牛顿法不需要学习率但计算Hessian代价高：二阶信息

2026-07-23 18:36:53

为什么牛顿法不需要学习率但计算Hessian代价高：二阶信息优化算法是机器学习的核心引擎。在众多算法中，梯度下降法和牛顿法是两种最基础、最典型的方法。理解它们的区别，是理解现代优化技术的钥匙。问题：为什么梯度下降法需要手动调整学习率，而牛顿法不需要？为什么牛顿法往往收敛更快，却很少有人用？核心

牛顿法梯度下降二阶信息

37 0

为什么牛顿法可能不收敛：初始值远离根时的振荡与分岔

2026-07-14 08:46:55

为什么牛顿法可能不收敛：初始值远离根时的振荡与分岔牛顿法（也称为牛顿拉夫逊方法）是一种强大的求解方程根（即函数值为零的点）的迭代算法。它的核心思想是：在当前猜测点处，用函数切线的根来近似原函数的根。一个常见的误解是，只要函数“足够平滑”，牛顿法就一定能找到根。事实远非如此，尤其在初始值选得不好时，

牛顿法不收敛初始值

50 0

牛顿法的Hessian修正策略与信赖域dogleg方法

2026-07-06 22:39:50

牛顿法的Hessian修正策略与信赖域dogleg方法在优化问题中，我们常使用牛顿法来寻找函数的极小点。其核心思想是利用函数在当前点的二次模型（一个抛物面）来逼近原函数，并通过求解这个二次模型的极小点来确定下一步的迭代方向。这个二次模型由梯度（一阶导数）和Hessian矩阵（二阶导数矩阵）共同决定

牛顿法 Hessian修正信赖域

49 0

牛顿法优化的二次终止性及阻尼牛顿法的全局收敛

2026-07-04 04:44:02

牛顿法优化的二次终止性及阻尼牛顿法的全局收敛牛顿法是求解优化问题的经典算法。理解它的核心优势（二次终止性）和改进版本（阻尼牛顿法），是掌握高效优化方法的关键。第一部分：理解牛顿法的“二次终止性” 二次终止性指算法能在有限步内，精确求解二次函数的极值点。牛顿法天然具备这一特性。 1. 明确前提条件

牛顿法二次终止性阻尼牛顿法

37 0

牛顿法 共 4 篇文章