为什么牛顿法不需要学习率但计算Hessian代价高：二阶信息 优化算法是机器学习的核心引擎。在众多算法中，梯度下降法和牛顿法是两种最基础、最典型的方法。理解它们的区别，是理解现代优
非负矩阵分解NMF的乘法更新规则与非负约束保证 非负矩阵分解（NMF）的目标是把一个非负矩阵 $V$ 分解成两个低秩非负矩阵 $W$ 和 $H$，使得 $V \approx WH$
为什么Nesterov动量比标准动量收敛更快：前瞻梯度修正 想象一下，在山谷中滚动一个球来找到最低点。你希望它滚得又快又稳。标准动量就像是给这个球一个持续的推力，让它利用之前的“惯
牛顿法的Hessian修正策略与信赖域dogleg方法 在优化问题中，我们常使用牛顿法来寻找函数的极小点。其核心思想是利用函数在当前点的二次模型（一个抛物面）来逼近原函数，并通过求
非负矩阵分解NMF的乘法更新收敛性与初始化策略 非负矩阵分解（NMF）是一种将一个大矩阵拆解为两个更小、非负矩阵的乘积的技术。它在数据压缩、特征提取和模式识别等领域应用广泛。本文将
牛顿法优化的二次终止性及阻尼牛顿法的全局收敛 牛顿法是求解优化问题的经典算法。理解它的核心优势（二次终止性）和改进版本（阻尼牛顿法），是掌握高效优化方法的关键。 第一部分：理解牛顿
梯度下降法的收敛性分析及步长选择策略 梯度下降法的核心目标是通过迭代找到损失函数的最小值点。迭代能否成功，关键在于收敛，即参数是否能稳定地逼近最优解。步长是控制每一步更新幅度的关键
