# 最小二乘回归

> AP 统计学 · AP 统计学 2024-2026
> 来源: https://www.owlsprep.com/zh/study/ap-statistics-u14-least-squares-regression/

本模块拆解了AP统计学考试中用于双变量定量数据的最常用线性模型——最小二乘回归直线，涵盖计算、解释、残差分析及核心局限性内容。

**先修:** [理解相关系数与双变量散点图](https://www.owlsprep.com/zh/study/ap-statistics-u14-correlation-coefficients/); [双变量数据集的基础描述性统计知识](https://www.owlsprep.com/zh/study/ap-statistics-u13-bivariate-descriptive-analysis/)

## 学习目标

- 定义最小二乘回归直线（LSRL）及其核心优化准则
- 计算预测值、残差，并在完整语境下解释斜率与y轴截距
- 验证最小二乘回归直线可使数据集的残差平方和达到最小
- 明确最小二乘回归直线的局限性，包括外推风险与非线性数据不匹配问题

## 最小二乘准则的核心定义

与任意手动拟合的直线不同，最小二乘回归直线经过数学优化，可使每个观测数据点到直线的垂直距离平方和达到最小。对残差取平方会更重地惩罚较大偏差，避免极端异常值导致模型出现不成比例的偏差。

**最小二乘回归直线** — 可使所有数据点的残差平方总和$\sum (y_i - \hat{y}_i)^2$达到最小的唯一线性模型。

*记法:* \hat{y} = b_0 + b_1 x

**例题:** 已知学习时长（x，单位：分钟）与考试分数（y，单位：分）的汇总统计量：$\bar{x}=45$, $s_x=12$, $\bar{y}=78$, $s_y=15$, $r=0.72$，计算完整的LSRL方程。

1. 首先使用相关系数公式计算斜率$b_1$：
2. $$b_1 = r \cdot \frac{s_y}{s_x} = 0.72 \cdot \frac{15}{12} = 0.9$$
3. 接下来使用均值点计算y轴截距$b_0$：
4. $$b_0 = \bar{y} - b_1 \bar{x} = 78 - (0.9 \cdot 45) = 78 - 40.5 = 37.5$$
5. 最终LSRL方程：$\hat{y} = 37.5 + 0.9x$

**概念自测**

测试你对最小二乘准则的理解：

1. LSRL最小化以下哪个量？

   - 残差和
   - 残差平方和
   - 绝对偏差和
   - 相关系数

   *解析:* 最小二乘准则明确要求最小化观测值与预测值之间的垂直偏差平方总和。

> **考试提示:** AP阅卷官会扣分如果你将LSRL定义为最小化“点到直线的距离”——你必须明确说明是垂直的平方偏差。

## 系数与残差的解释

AP考试中的每一项系数解释都必须包含变量的完整语境、单位，并明确提及预测值，而非因果效应。残差可以告诉你单个观测点位于模型预测值上方或下方的距离。

**考试命令词**

以下是AP考试中LSRL相关题目最常用的指令术语：

- **Interpret the slope** — 你必须说明x每增加1单位时y的预测变化量，同时给出两个变量的完整单位

- **Calculate the residual** — 你必须展示观测y减去预测ŷ的计算过程，不能只给出最终数值

**例题:** 对于通过学习时长预测考试分数的LSRL $\hat{y} = 37.5 + 0.9x$，解释其斜率，然后计算一名学习了50分钟、得分82分的学生的残差。

1. 斜率解释：平均而言，学习时长每增加1分钟，考试分数的预测值就增加0.9分。
2. 计算x=50时的预测分数：
3. $$\hat{y} = 37.5 + 0.9(50) = 82.5$$
4. 用观测y减去预测ŷ计算残差：
5. $$e = 82 - 82.5 = -0.5$$
6. 残差解释：这名学生的得分比模型根据他的学习时长预测的分数低0.5分。

## LSRL的核心数学性质

- LSRL始终经过均值点$(\bar{x}, \bar{y})$
- 完整数据集的所有残差之和恰好等于0
- 相关系数r描述了数据点围绕LSRL的聚集紧密程度
- LSRL的斜率与相关系数r的符号相同

| 直线类型 | 残差平方和 | 经过 $(\bar{x}, \bar{y})$ |
| --- | --- | --- |
| 任意手动拟合的直线 | 大于LSRL的对应值 | 无法保证 |
| LSRL | 可达到的最小值 | 必然满足 |

**例题:** 使用LSRL $\hat{y}=37.5+0.9x$验证3个数据点(30, 65)、(45,78)、(60,92)的残差和等于0。

1. 计算每个x对应的预测值：$\hat{y}_1=64.5$, $\hat{y}_2=78$, $\hat{y}_3=91.5$
2. 计算残差：$e_1=65-64.5=0.5$, $e_2=78-78=0$, $e_3=92-91.5=0.5$
3. 残差求和：$0.5 + 0 + (-0.5) = 0$

## LSRL的局限性与误用

> **外推风险**
>
> 外推是AP统计学自由作答题目中最常考的模型缺陷之一。你必须明确说明，即使线性拟合效果非常好，在观测x范围之外做出的预测也是不可靠的。

LSRL仅能描述线性关系。如果底层双变量关系是曲线型的，即使在观测x范围内，LSRL也会产生有偏差的预测。高杠杆异常值也可能将LSRL直线拉离大部分数据点的位置。

**例题:** 针对生长2到10周的植物，通过生长周数预测株高的LSRL为$\hat{height} = 2 + 1.5(weeks)$。解释为什么预测30周时的株高是无效的。

1. 观测的x范围仅覆盖2到10周的生长时长。
2. 植物成熟后生长会放缓并停止，因此线性趋势无法无限延续。
3. 预测30周时的株高属于外推，会得到47英寸这种不符合真实植物生长规律的不现实预测值。

## 常见错误

- **错误做法:** 即使x=0不可能实现或超出观测数据范围，仍然强行解释y轴截距
  - 原因: AP评分细则会因你忽略x=0是否为数据集的合理取值而扣分
  - 正确做法: 在解释截距之前明确说明x=0是否为有效输入，或者声明该截距在当前语境下没有实际意义
- **错误做法:** 将残差计算为预测ŷ减去观测y
  - 原因: 这会颠倒残差的符号，导致你对数据点位于直线上方还是下方的描述出现错误
  - 正确做法: 所有AP考试计算都必须使用公式：残差 = 观测y - 预测ŷ
- **错误做法:** 声称斜率描述了x和y之间的因果关系
  - 原因: 回归仅能描述关联趋势，即使线性拟合效果非常好，也无法证明因果关系
  - 正确做法: 所有斜率解释都要表述为预测的关联变化，而非因果效应
- **错误做法:** 在斜率和截距的解释中遗漏单位
  - 原因: AP评分标准明确要求解释类题目必须包含单位才能获得满分
  - 正确做法: 在每一项系数解释中都要同时给出解释变量和响应变量的完整单位
- **错误做法:** 对存在明显非线性曲线趋势的数据集使用LSRL
  - 原因: 线性模型会在整个x范围内系统性地低估和高估数值
  - 正确做法: 在使用线性LSRL之前，先检查残差图，确认不存在曲线型模式

## 速查表

| 量 | 公式 | AP考试要求的解释 |
| --- | --- | --- |
| 斜率 $b_1$ | $b_1 = r \cdot \frac{s_y}{s_x}$ | x每增加1单位时y的预测变化量 |
| Y轴截距 $b_0$ | $b_0 = \bar{y} - b_1 \bar{x}$ | x等于0时y的预测值 |
| 残差 $e$ | $e = y - \hat{y}$ | 观测y值与模型预测y值的差值 |
| LSRL方程 | $\hat{y} = b_0 + b_1 x$ | 通过解释变量x预测响应变量y的线性模型 |

## 下一步

掌握最小二乘回归是AP统计学考试中所有后续线性模型推断内容的基础，这部分内容约占考试总分的15%-20%。接下来你将基于现有知识学习分析残差图以判断线性模型是否适用于数据集，计算决定系数R²以量化模型可解释的变异占比，以及对回归斜率的显著性进行假设检验。这些关联知识点经常在分值为10分的扩展自由作答题中联合考查，要求你论证模型选择的合理性、解释输出结果，并指出会导致回归结果失效的研究设计潜在缺陷。请优先练习将LSRL解释与残差分析相结合的完整自由作答题，最大化你的考试得分。

---

来自 [OwlsPrep](https://www.owlsprep.com) —— A-Level / IB / AP / IGCSE 免费学习指南，依据官方考纲编写。原页面：https://www.owlsprep.com/zh/study/ap-statistics-u14-least-squares-regression/