标签: 收敛性 - 文档

为什么蒙特卡洛方法能收敛：大数定律的保证

2026-08-06 10:42:55

蒙特卡洛方法听起来很神秘，但它的核心思想你其实每天都在用：通过大量重复试验，用频率来估算概率。比如掷硬币，掷一万次会发现正面朝上接近一半。蒙特卡洛方法就是把这种“笨办法”扩展到了更复杂的计算问题上。但你有没有想过，为什么重复试验得到的平均值，会稳定在真实值附近？这背后就是大数定律在撑腰。下面我们分

蒙特卡洛大数定律概率论

109 0

坐标下降法在稀疏学习中的循环与随机选择收敛性对比

2026-07-27 12:38:34

坐标下降法在稀疏学习中的循环与随机选择收敛性对比坐标下降法是一种迭代优化算法，每次只更新目标函数中的一个坐标（变量），而固定其他坐标。在稀疏学习问题（例如Lasso回归）中，这种方法效率极高。坐标的选择策略直接影响收敛速度：最常用的是循环选择（按固定顺序轮流）和随机选择（均匀随机抽取）。下面我们通

坐标下降法稀疏学习收敛性

49 0

Adam优化器的一阶矩二阶矩偏差修正与收敛性证明

2026-07-21 22:49:49

Adam优化器的一阶矩二阶矩偏差修正与收敛性证明 Adam优化器结合了动量（一阶矩）和RMSProp（二阶矩）的优点，但在初始化时由于矩估计向零偏移，需要偏差修正。下面逐步推导修正公式并证明收敛性。 1. 算法定义记在时间步 $t$，梯度为 $gt = \nabla\theta ft\theta{

我们要求为文章生成3-8个标签每个标签2-8个字只返回标签

51 0

牛顿法的Hessian修正策略与信赖域dogleg方法

2026-07-06 22:39:50

牛顿法的Hessian修正策略与信赖域dogleg方法在优化问题中，我们常使用牛顿法来寻找函数的极小点。其核心思想是利用函数在当前点的二次模型（一个抛物面）来逼近原函数，并通过求解这个二次模型的极小点来确定下一步的迭代方向。这个二次模型由梯度（一阶导数）和Hessian矩阵（二阶导数矩阵）共同决定

牛顿法 Hessian修正信赖域

49 0

收敛性 共 4 篇文章