标签: Hessian矩阵 - 文档

为什么牛顿法不需要学习率但计算Hessian代价高：二阶信息

2026-07-23 18:36:53

为什么牛顿法不需要学习率但计算Hessian代价高：二阶信息优化算法是机器学习的核心引擎。在众多算法中，梯度下降法和牛顿法是两种最基础、最典型的方法。理解它们的区别，是理解现代优化技术的钥匙。问题：为什么梯度下降法需要手动调整学习率，而牛顿法不需要？为什么牛顿法往往收敛更快，却很少有人用？核心

牛顿法梯度下降二阶信息

Hessian矩阵 共 1 篇文章