竖直残差平方和决定普通回归线；过中心只是必要性质，分母条件决定能否唯一拟合。

01 · 知识点概念、关系与适用条件02 · 考点先归纳方法，再看例题03 · 坑点辨析错因，检查遗漏

知识点

目标是响应方向残差平方和

对有限成对样本与候选线 $y=a+bx$，固定每个 $x_i$ 比观测和预测：$r_i=y_i-(a+bx_i)$ 可正可负。普通最小二乘最小化

$$Q(a,b)=\sum_{i=1}^n[y_i-(a+bx_i)]^2.$$

这是竖直距离绝对值的平方和；平方避免上下抵消，并更重计入大偏离。给定解释变量比较响应，正是选择竖直方向的原因。

候选准则	与普通最小二乘的区别
直接加残差	正负可能抵消，不表整体接近
加绝对残差	是另一估计准则，不套这里系数公式
最小化最大残差绝对值	又是另一优化目标
经过最多点	没计其余点离多远
最小几何垂距平方和	在可比较的轴度量下，为 $Q/(1+b^2)$，分母随斜率变

垂距为 $|r_i|/\sqrt{1+b^2}$，属于几何拓展，两轴度量须有意义；换垂距优化不能仍套普通OLS。过样本中心也不能代替选斜率。

用中心化配方求唯一解

设 $n\ge1$，$\bar x=\sum x_i/n,\bar y=\sum y_i/n$，$u_i=x_i-\bar x,v_i=y_i-\bar y$，故 $\sum u_i=\sum v_i=0$。记 $S_{xx}=\sum u_i^2,S_{xy}=\sum u_iv_i,S_{yy}=\sum v_i^2$。

令 $\delta=a+b\bar x-\bar y$，残差为 $v_i-bu_i-\delta$。含 $\delta$ 交叉和 $-2\delta\sum(v_i-bu_i)=0$，从而

$$Q=S_{yy}-2bS_{xy}+b^2S_{xx}+n\delta^2.$$

当 $S_{xx}>0$，再配方：

$$Q=S_{xx}\left(b-\frac{S_{xy}}{S_{xx}}\right)^2+n\delta^2+S_{yy}-\frac{S_{xy}^2}{S_{xx}}.$$

末项对 $a,b$ 不变，前两项非负且能同时为0。$S_{xx},n$ 均正，故唯一最小解

$$\hat b=\frac{S_{xy}}{S_{xx}},\qquad\hat a=\bar y-\hat b\bar x.$$

无需先假设正态误差来证这个代数结论。分母是中心平方和，不是原始 $\sum x_i^2$。

原始汇总式与退化边界

逐项展开并用 $\sum x_i=n\bar x,\sum y_i=n\bar y$，

$$S_{xx}=\sum x_i^2-2\bar x\sum x_i+n\bar x^2=\sum x_i^2-n\bar x^2,$$

$$S_{xy}=\sum x_iy_i-\bar x\sum y_i-\bar y\sum x_i+n\bar x\bar y=\sum x_iy_i-n\bar x\bar y.$$

所有量必须属同一组 $n$ 对。$S_{xx}=0$ 等价于各 $x_i=x_0$，且 $S_{xy}=0$，这时

$$Q=S_{yy}+n(a+bx_0-\bar y)^2.$$

任何满足 $a+bx_0=\bar y$ 的线都最小，只确定共同位置 $x_0$ 的预测均值，斜率及其他 $x$ 的预测不能唯一识别；$n=1$ 也属此边界。

若响应列恒定但 $S_{xx}>0$，仍能唯一拟合斜率0的水平线，不妨碍OLS；但后续以 $SST=S_{yy}$ 作分母的决定系数无定义。和样本相关系数要求两列都非恒定不同。

使用口径不能默默改变

这里是含截距、不加权、一元普通最小二乘。无截距、有权重或改测量方向时重建目标，不能照搬全部性质。代数最小不保证未来预测好，离群点、弯曲、误差随 $x$ 变化还需资料和残差诊断。竖直残差按响应单位缩放，不同响应单位下平方和不可直接比较。

考点

求系数后回代检查

先核配对与分母 → 列中心偏差并核和0 → 求斜率和截距（保中间精度） → 回代样本中心 → 各点算残差并核残差和0。若题给多条选项，仅一条过中心可排除其余；多个都过中心则还须比较斜率或平方和。

例题 01 由五组成对数拟合直线

题目

观测两相关变量得如下数据：则两变量间的回归直线方程为（     ）

X	$-1$	$-2$	$-3$	$-4$	$-5$
Y	$-9$	$-7$	$-5$	$-3$	$-1$

A．$\hat{y}=\frac{1}{2}x-1$ B．$\hat{y}=-2x-11$

C．$\hat{y}=2x+\frac{1}{3}$ D．$\hat{y}=-2x+4$

答案与解析

解析

均值 $\bar x=-3,\bar y=-5$，配对偏差及乘积如下：

$x_i$	$u_i$	$v_i$	$u_iv_i$
-1	2	-4	-8
-2	1	-2	-2
-3	0	0	0
-4	-1	2	-2
-5	-2	4	-8

$S_{xx}=10>0,S_{xy}=-20$，所以斜率-2、截距 $-5-(-2)(-3)=-11$，选B。五点回代都满足 $y=-2x-11$，残差全0、SSE=0；响应总平方离差 $SST=40$，所以 $R^2=1-0/40=1$。

选项A、C、D在 $x=-3$ 时分别给-2.5、$-17/3$、10，只有B给-5，因此本题单用中心也足以选B；一般过中心只是必要条件，若多条都过中心还要算斜率或目标。

本题结论

B（ŷ=-2x-11）

两个相关完整题

回归命题辨析检查选线准则与预测解释；八组汇总数据题完整呈现选项与闭合解析，区分中间舍入路径及最终精度，不能用近似截距冒充精确最小二乘。

坑点

先定义“最好”

过最多点、过中心、绝对差最小、最大偏差最小、垂距平方和最小都不能不加区分地替代本页响应方向平方和。若目标改变，公式也须重新求。

分母与精度是计算的一部分

平均数恢复总和要乘 $n$，中心平方和要扣 $n\bar x^2$ 而非 $n\bar x$。先查非零分母，再保分数或有效位求截距，最后统一舍入；不能改原选项去凑另一路近似结果。

上一页回归模型：真实响应与经验预测

下一页回归计算：原始数据、汇总量与精度