FrankWolfe条件梯度法在约束优化上的投影消除优势 约束优化问题在机器学习、信号处理、统计学习等领域的出现频率极高。最常见的场景是:在一个封闭凸集中寻找某个光滑凸函数的极小值
在线学习的遗憾界分析:Follow the Regularized Leader算法 在线学习是一种逐步决策的框架:在第 t 轮,你选择一个动作(如预测值),然后看到损失,目标是最
凸优化中的KKT条件及与拉格朗日对偶的关系 本文将手把手教你理解并应用凸优化中的关键工具:KKT条件,以及它如何与拉格朗日对偶性相互关联。这是一个实操指南,目标是让你能清晰识别问题
为什么Slater条件保证强对偶性:凸优化中的严格可行点 在求解优化问题时,我们常常希望原问题和它的“镜像问题”(对偶问题)具有相同的最优值,这被称为强对偶性。强对偶性对于高效求解
低秩矩阵补全的核范数松弛与压缩感知的RIP条件 1. 理解低秩矩阵补全的核心问题 定义问题:给定一个部分元素已知的观测矩阵 $Y$,我们的目标是恢复一个完整的低秩矩阵 $X$。这个
Proximal Gradient Method在L1正则化问题中的加速收敛 1. 理解L1正则化问题的挑战 明确 优化目标:求解形如 $\min{x} fx + \lambda