为什么凸函数的局部最优就是全局最优

你可能已经听说过这个结论：“对于凸函数，找到的任何一个局部最优解，都一定是全局最优解。”这看起来像是一句口诀，但它的背后有一个非常清晰的推理逻辑。把它拆解成一步一步的思维过程，你就能彻底理解，并且能判断哪些函数适用、哪些不适用。

1. 明确两个基本概念

定义“凸函数”：凸函数的形状像一只碗，碗口向上。它的正式定义是：对于函数 $f$ 定义域内的任意两点 $x$ 和 $y$，以及 $0 \leq t \leq 1$，始终有：

$$ f(tx + (1-t)y) \leq t f(x) + (1-t) f(y) $$

这句话的意思是：函数图象上任意两点连成的线段，永远位于函数图象的上方。你不需要记住这个公式，只要记住它的几何直觉——凸函数的“碗形”不会出现波折和凹陷。

定义“局部最优”与“全局最优”：局部最优是指在一个很小的邻域内，该点的函数值最小；全局最优是指在整个定义域内，该点的函数值最小。

假设：你找到了一个点 $x^*$，它是凸函数的一个局部最优解。你想证明它一定是全局最优解。

反证思路：假设 $x^*$ 不是全局最优解。那么，在定义域内一定存在另一个点 $y$，使得 $f(y) < f(x^*)$。如果能从这个假设出发推导出矛盾，就证明假设不成立，从而 $x^*$ 必须是全局最优。

考虑 $x^*$ 和 $y$ 这两个点之间的连线。因为 $f$ 是凸函数，对于任意 $t \in (0, 1)$，连接这两个点的线段上的点，其函数值必须满足：

$$ f(tx^* + (1-t)y) \leq t f(x^*) + (1-t) f(y) $$

因为 $f(y) < f(x^*)$，所以右边的组合值 $t f(x^*) + (1-t) f(y)$ 一定小于 $f(x^*)$（你可以理解为它是 $f(x^*)$ 和 $f(y)$ 的一个加权平均，并且由于 $f(y)$ 更小，这个平均一定比 $f(x^*)$ 小）。

推导：线段上所有点（不包括端点 $x^*$）的函数值，都严格小于 $f(x^*)$。这些点可以无限靠近 $x^*$（只要让 $t$ 非常接近 1 即可）。

发现矛盾：这意味着在 $x^*$ 任意小的邻域内，都存在函数值比 $f(x^*)$ 更小的点。但 $x^*$ 被假定为局部最优——它邻域内的所有点都不应该比它更小。这就产生了矛盾。

锁定结果：矛盾无法消除，因此“$x^*$ 不是全局最优”的假设不成立。所以：凸函数的任意一个局部最优解，必定也是全局最优解。

理解关键：整个证明只依赖于凸函数的一条性质——函数图象上任意两点之间的线段必须位于函数之上。其他任何条件（比如函数是否可导）都不是必须的。

确认适用对象：只有定义在凸集上的凸函数才满足这个性质。如果定义域不是凸集（比如中间有空洞），即使函数本身是凸的，结论也可能不成立。

举一个简单例子：函数 $f(x) = x^2$ 是凸的，定义域是整个实数轴（凸集）。它在 $x=0$ 处取得局部最小值，这个值同时也是全局最小值。

举一个反例：函数 $f(x) = x^3$ 在定义域内没有局部最小值，但它也不是凸函数（它的形状是倾斜的 S 形，线段有时会跑到曲线下方）。对于非凸函数，局部最优不等于全局最优的情况非常普遍。

识别问题类型：在机器学习或优化问题中，如果你能确认目标函数是凸函数（比如线性回归的均方误差函数、逻辑回归的负对数似然函数在某些条件下），那么你通过梯度下降找到的任何局部最低点，都一定是整个问题的最优解。

避开陷阱：深度的神经网络通常不是凸函数，因此局部最优不一定是全局最优。这解释了为什么深度学习优化比简单模型困难得多——你可能卡在局部山谷里，无法确定是否存在更深的山谷。

操作流程：先确认目标函数是否为凸函数（检查二阶导数是否非负，或者用凸性定义检验）。确认后，使用任意一阶优化方法（如梯度下降）寻找一个局部最优点。直接认定这个点就是全局最优点，无需多轮随机初始化。