回归分析与最小二乘法拟合及相关系数r的显著性检验

第一阶段：理解回归分析的目标与准备数据

回归分析的核心目标，是建立一个数学模型（通常是一条直线或曲线），用来描述一个变量（因变量，记为 $y$）如何随另一个或多个变量（自变量，记为 $x$）的变化而变化。例如，我们想要根据房屋面积（$x$）来预测其售价（$y$）。

收集并整理你的数据对。你需要一组配对的观测值，例如（面积1，售价1）、（面积2，售价2）……（面积n，售价n）。确保数据准确，并妥善处理缺失值。
绘制散点图。在纸上或使用简单的绘图软件（如Excel），以自变量 $x$ 为横轴，因变量 $y$ 为纵轴，将所有数据点标出。这个图能让你直观地判断数据之间是否存在线性关系或其它趋势。
初步观察散点图。如果数据点大致沿着一条直线分布，则适合进行线性回归分析。这是最常见、最基础的情况。

最小二乘法的原理是寻找一条直线 $y = a + bx$，使得所有观测点到这条直线的垂直距离（称为“残差”）的平方和达到最小。这条直线就是拟合效果最好的直线。

计算自变量 $x$ 的平均值 $\bar{x}$ 和因变量 $y$ 的平均值 $\bar{y}$。
$$ \bar{x} = \frac{1}{n} \sum_{i=1}^{n} x_i, \quad \bar{y} = \frac{1}{n} \sum_{i=1}^{n} y_i $$
其中 $n$ 是数据点的总数。
计算回归系数 $b$（斜率）。$b$ 反映了 $x$ 每变化一个单位，$y$ 平均变化的幅度。
$$ b = \frac{\sum_{i=1}^{n} (x_i - \bar{x})(y_i - \bar{y})}{\sum_{i=1}^{n} (x_i - \bar{x})^2} $$
这个公式的分子是 $x$ 与 $y$ 的离差乘积之和，分母是 $x$ 的离差平方和。请仔细计算这两个值。
计算回归系数 $a$（截距）。$a$ 是当 $x$ 为0时，直线在 $y$ 轴上的取值。
$$ a = \bar{y} - b\bar{x} $$
将 $b$ 的值和两个平均值代入此公式即可求得 $a$。
写出最终的回归方程。
$$ \hat{y} = a + bx $$
这个方程就是你用来预测的工具。给定一个 $x$ 值，将其代入方程，就能得到对应的预测值 $\hat{y}$。

相关系数 $r$ 用于衡量两个变量之间线性关系的密切程度和方向。它的值介于 -1 和 +1 之间。

计算相关系数 $r$。
$$ r = \frac{\sum_{i=1}^{n} (x_i - \bar{x})(y_i - \bar{y})}{\sqrt{\sum_{i=1}^{n} (x_i - \bar{x})^2 \cdot \sum_{i=1}^{n} (y_i - \bar{y})^2}} $$
你会发现，$r$ 的分子与计算斜率 $b$ 的分子完全相同。分母则是 $x$ 的离差平方和与 $y$ 的离差平方和乘积的平方根。
解读 $r$ 值。
- $r > 0$：表示 $x$ 与 $y$ 正相关（一个增加，另一个倾向于增加）。
- $r < 0$：表示 $x$ 与 $y$ 负相关。
- $|r|$ 越接近 1，表示线性关系越强。
- $|r|$ 越接近 0，表示线性关系越弱。
判断拟合优度。$r^2$（决定系数）表示因变量 $y$ 的变异中，能被自变量 $x$ 通过回归模型解释的比例。例如，$r = 0.8$ 意味着 $r^2 = 0.64$，即 $y$ 的变化有64%可以由它与 $x$ 的线性关系来解释。

仅仅计算出 $r$ 值是不够的。我们需要检验这个样本相关系数是否具有统计显著性，即判断我们观察到的这种相关性，是否可能只是因为偶然的抽样误差造成的，而实际上总体中不存在真正的线性关系。

提出假设。
- 零假设 $H_0$：总体相关系数 $\rho = 0$（变量间不存在线性关系）。
- 备择假设 $H_1$：总体相关系数 $\rho \neq 0$（变量间存在线性关系）。
选择显著性水平 $\alpha$。通常选择 $\alpha = 0.05$ 或 $\alpha = 0.01$，表示我们愿意承担5%或1%的风险来错误地拒绝一个正确的零假设。
计算检验统计量 $t$。
$$ t = \frac{r \sqrt{n-2}}{\sqrt{1-r^2}} $$
将你计算出的 $r$ 值和数据点数量 $n$ 代入此公式。
确定临界值。你需要查 t分布表。这个表需要两个参数：
- 自由度 $df = n - 2$。
- 你选择的显著性水平 $\alpha$（通常是双侧检验）。
  从表中找到与你的 $df$ 和 $\alpha$ 对应的临界值 $t_{\alpha/2, df}$。
做出决策。
- 比较计算得到的 $t$ 值与查表得到的临界值。
- 如果 $|t| \ge t_{\alpha/2, df}$，则拒绝零假设 $H_0$。这意味着在 $\alpha$ 的显著性水平下，有统计学证据表明 $x$ 与 $y$ 之间存在显著的线性关系。你可以信赖之前建立的回归方程具有实际意义。
- 如果 $|t| < t_{\alpha/2, df}$，则不能拒绝零假设。这表示你没有足够的证据来证明 $x$ 与 $y$ 之间存在显著的线性关系。在这种情况下，使用回归方程进行预测需要非常谨慎。