最小二乘回归

AP 统计学· 12 分钟阅读

1. 最小二乘准则的核心定义★★☆☆☆⏱ 3 min

与任意手动拟合的直线不同，最小二乘回归直线经过数学优化，可使每个观测数据点到直线的垂直距离平方和达到最小。对残差取平方会更重地惩罚较大偏差，避免极端异常值导致模型出现不成比例的偏差。

📘 定义

最小二乘回归直线

\hat{y} = b_0 + b_1 x

可使所有数据点的残差平方总和 $\sum (y_{i} - \overset{y}{^}_{i})^{2}$ 达到最小的唯一线性模型。

📐 例题

已知学习时长（x，单位：分钟）与考试分数（y，单位：分）的汇总统计量： $\overset{x}{ˉ} = 45$ , $s_{x} = 12$ , $\overset{y}{ˉ} = 78$ , $s_{y} = 15$ , $r = 0.72$ ，计算完整的LSRL方程。

1
首先使用相关系数公式计算斜率 $b_{1}$ ：
2
$b_1 = r \cdot \frac{s_y}{s_x} = 0.72 \cdot \frac{15}{12} = 0.9$
3
接下来使用均值点计算y轴截距 $b_{0}$ ：
4
$b_0 = \bar{y} - b_1 \bar{x} = 78 - (0.9 \cdot 45) = 78 - 40.5 = 37.5$
5
最终LSRL方程： $\overset{y}{^} = 37.5 + 0.9 x$

✓ 快速检测

测试你对最小二乘准则的理解：

LSRL最小化以下哪个量？
- 残差和
- 残差平方和
- 绝对偏差和
- 相关系数
显示答案
残差平方和 —
最小二乘准则明确要求最小化观测值与预测值之间的垂直偏差平方总和。

Exam tip:

AP阅卷官会扣分如果你将LSRL定义为最小化“点到直线的距离”——你必须明确说明是垂直的平方偏差。

2. 系数与残差的解释★★★☆☆⏱ 3 min

AP考试中的每一项系数解释都必须包含变量的完整语境、单位，并明确提及预测值，而非因果效应。残差可以告诉你单个观测点位于模型预测值上方或下方的距离。

📐 例题

对于通过学习时长预测考试分数的LSRL $\overset{y}{^} = 37.5 + 0.9 x$ ，解释其斜率，然后计算一名学习了50分钟、得分82分的学生的残差。

1
斜率解释：平均而言，学习时长每增加1分钟，考试分数的预测值就增加0.9分。
2
计算x=50时的预测分数：
3
$\hat{y} = 37.5 + 0.9(50) = 82.5$
4
用观测y减去预测ŷ计算残差：
5
$e = 82 - 82.5 = -0.5$
6
残差解释：这名学生的得分比模型根据他的学习时长预测的分数低0.5分。

3. LSRL的核心数学性质★★★☆☆⏱ 3 min

LSRL始终经过均值点 $(\overset{x}{ˉ}, \overset{y}{ˉ})$
完整数据集的所有残差之和恰好等于0
相关系数r描述了数据点围绕LSRL的聚集紧密程度
LSRL的斜率与相关系数r的符号相同

直线类型	残差平方和	经过 $(\overset{x}{ˉ}, \overset{y}{ˉ})$
任意手动拟合的直线	大于LSRL的对应值	无法保证
LSRL	可达到的最小值	必然满足

📐 例题

使用LSRL $\overset{y}{^} = 37.5 + 0.9 x$ 验证3个数据点(30, 65)、(45,78)、(60,92)的残差和等于0。

1
计算每个x对应的预测值： $\overset{y}{^}_{1} = 64.5$ , $\overset{y}{^}_{2} = 78$ , $\overset{y}{^}_{3} = 91.5$
2
计算残差： $e_{1} = 65 - 64.5 = 0.5$ , $e_{2} = 78 - 78 = 0$ , $e_{3} = 92 - 91.5 = 0.5$
3
残差求和： $0.5 + 0 + (- 0.5) = 0$

4. LSRL的局限性与误用★★★★☆⏱ 3 min

LSRL仅能描述线性关系。如果底层双变量关系是曲线型的，即使在观测x范围内，LSRL也会产生有偏差的预测。高杠杆异常值也可能将LSRL直线拉离大部分数据点的位置。

📐 例题

针对生长2到10周的植物，通过生长周数预测株高的LSRL为 $\hat{h e i g h t} = 2 + 1.5 (w ee k s)$ 。解释为什么预测30周时的株高是无效的。

1
观测的x范围仅覆盖2到10周的生长时长。
2
植物成熟后生长会放缓并停止，因此线性趋势无法无限延续。
3
预测30周时的株高属于外推，会得到47英寸这种不符合真实植物生长规律的不现实预测值。

5. 常见陷阱

错误做法:

即使x=0不可能实现或超出观测数据范围，仍然强行解释y轴截距

原因:

AP评分细则会因你忽略x=0是否为数据集的合理取值而扣分

正确做法:

在解释截距之前明确说明x=0是否为有效输入，或者声明该截距在当前语境下没有实际意义

错误做法:

将残差计算为预测ŷ减去观测y

原因:

这会颠倒残差的符号，导致你对数据点位于直线上方还是下方的描述出现错误

正确做法:

所有AP考试计算都必须使用公式：残差 = 观测y - 预测ŷ

错误做法:

声称斜率描述了x和y之间的因果关系

原因:

回归仅能描述关联趋势，即使线性拟合效果非常好，也无法证明因果关系

正确做法:

所有斜率解释都要表述为预测的关联变化，而非因果效应

错误做法:

在斜率和截距的解释中遗漏单位

原因:

AP评分标准明确要求解释类题目必须包含单位才能获得满分

正确做法:

在每一项系数解释中都要同时给出解释变量和响应变量的完整单位

错误做法:

对存在明显非线性曲线趋势的数据集使用LSRL

原因:

线性模型会在整个x范围内系统性地低估和高估数值

正确做法:

在使用线性LSRL之前，先检查残差图，确认不存在曲线型模式

6. 速查表

量	公式	AP考试要求的解释
斜率 $b_{1}$	$b_{1} = r \cdot \frac{s _{y}}{s _{x}}$	x每增加1单位时y的预测变化量
Y轴截距 $b_{0}$	$b_{0} = \overset{y}{ˉ} - b_{1} \overset{x}{ˉ}$	x等于0时y的预测值
残差 $e$	$e = y - \overset{y}{^}$	观测y值与模型预测y值的差值
LSRL方程	$\overset{y}{^} = b_{0} + b_{1} x$	通过解释变量x预测响应变量y的线性模型

真题中的出现

AI 根据考纲规律估算的考点位置,请对照官方真题核实准确性。仅作复习重点参考。

2025 · Paper 1
自由作答LSRL解释类任务
2024 · Paper 2
选择题残差计算
2023 · Paper 1
LSRL性质验证题

下一步

掌握最小二乘回归是AP统计学考试中所有后续线性模型推断内容的基础，这部分内容约占考试总分的15%-20%。接下来你将基于现有知识学习分析残差图以判断线性模型是否适用于数据集，计算决定系数R²以量化模型可解释的变异占比，以及对回归斜率的显著性进行假设检验。这些关联知识点经常在分值为10分的扩展自由作答题中联合考查，要求你论证模型选择的合理性、解释输出结果，并指出会导致回归结果失效的研究设计潜在缺陷。请优先练习将LSRL解释与残差分析相结合的完整自由作答题，最大化你的考试得分。