为什么贝叶斯估计与频率派估计在先验均匀时结果相同

1. 定义两种统计思想

定义贝叶斯估计：它是一种将参数视为随机变量的统计思想。它要求我们提供一个关于参数可能取值的初始信念，即先验分布。然后，结合观测数据来更新这个信念，得到后验分布。最终的估计通常基于后验分布的特征，如后验均值。
定义频率派估计：它将待估计的参数视为一个固定但未知的常数。频率派方法直接分析数据出现的概率（似然函数），并寻找最能解释当前观测数据的那个参数值，通常使用极大似然估计法。

写出贝叶斯估计的核心公式。根据贝叶斯定理，参数 $\theta$ 的后验分布与先验分布和似然函数的乘积成正比：
$$P(\theta|D) \propto P(D|\theta) \cdot P(\theta)$$
其中，$P(\theta|D)$ 是后验分布，$P(D|\theta)$ 是似然函数，$P(\theta)$ 是先验分布。
写出频率派极大似然估计的核心目标。它直接优化似然函数 $P(D|\theta)$，寻找使该函数值最大的参数 $\hat{\theta}_{MLE}$：
$$\hat{\theta}_{MLE} = \arg\max_{\theta} P(D|\theta)$$
分析两者可能产生相同结果的场景。对比上述两个公式，可以看出，贝叶斯的后验分布会同时受到似然函数和先验分布的影响。如果先验分布 $P(\theta)$ 是一个常数，即对 $\theta$ 的所有可能取值都赋予相同的概率密度，那么它在乘法运算中就不会改变似然函数的相对形状。

设定均匀先验条件。假设参数 $\theta$ 的先验分布是一个均匀分布（Uniform Distribution），记为 $P(\theta) \propto C$，其中 $C$ 是一个正常数。
将均匀先验代入贝叶斯公式。得到：
$$P(\theta|D) \propto P(D|\theta) \cdot C$$
因为常数 $C$ 不影响概率分布的形状（只影响归一化常数），可以省略它，得到：
$$P(\theta|D) \propto P(D|\theta)$$
解读上述结果。这个推导式说明，在均匀先验下，参数的后验分布正比于似然函数。这意味着后验分布的峰值（即后验众数）会出现在使似然函数 $P(D|\theta)$ 最大的那个 $\theta$ 值处。
比较与极大似然估计的联系。频率派的极大似然估计 $\hat{\theta}_{MLE}$ 正是使似然函数 $P(D|\theta)$ 最大的 $\theta$。因此，在均匀先验下，贝叶斯估计的后验众数（Maximum A Posteriori, MAP估计）恰好等于极大似然估计 $\hat{\theta}_{MLE}$：
$$\hat{\theta}_{MAP} = \arg\max_{\theta} P(\theta|D) = \arg\max_{\theta} P(D|\theta) = \hat{\theta}_{MLE}$$
明确估计结果相同的含义。当使用后验众数作为贝叶斯估计量时，在均匀先验条件下，它与频率派的极大似然估计量完全相同。这就是两种方法结果相同的直接原因。

注意贝叶斯估计量的选择。上一节的结论严格依赖于使用后验众数（MAP）作为贝叶斯估计。如果使用后验均值（Posterior Mean）或后验中位数作为估计量，即使在均匀先验下，结果也可能与极大似然估计不同，因为后验分布的形状可能不是对称的。
理解信息量的角色。极大似然估计只利用了当前数据（似然）的信息。而贝叶斯估计即使在均匀先验下，其完整的后验分布仍然包含了对参数不确定性的完整描述（如方差、可信区间），这比仅给出一个点估计的极大似然方法提供了更多信息。
认识先验的作用。均匀先验也被称为“无信息先验”或“平坦先验”，它表达的是一种“无知”或“所有取值等可能”的立场。在这种立场下，数据（似然函数）完全主导了后验分布，从而使得结果与频率派一致。如果先验是非均匀的，则表明我们预先对参数有特定的认知或倾向，这将使后验估计偏离极大似然估计。