回归中心、残差正交与样本更新

约 2430 字大约 8 分钟

均值关系能求总和或截距；要称为实际重新拟合的OLS，还须满足新样本的平方和与积和。

知识点

中心与三个零和性质

含截距、不加权的一元OLS，解释列不恒定， $\hat y_i=\hat a+\hat bx_i$ 、 $r_i=y_i-\hat y_i$ 。由 $\hat a=\bar y-\hat b\bar x$ ，得到 $\hat y(\bar x)=\bar y$ 。

记 $S_{xx}=\sum(x_i-\bar x)^2,S_{xy}=\sum(x_i-\bar x)(y_i-\bar y)$ 。将残差写成 $r_i=(y_i-\bar y)-\hat b(x_i-\bar x)$ ，两列偏差和0，故 $\sum r_i=0$ ；再乘 $x_i-\bar x$ 求和，

\sum(x_i-\bar x)r_i=S_{xy}-\hat bS_{xx}=0.

加回 $\bar x\sum r_i=0$ 又得 $\sum x_ir_i=0$ 。“正交”在这里是积和0，不是每个残差都0。于是

\sum y_i=\sum\hat y_i=n\bar y,

平均拟合值等于响应均值，但各点可以分居线两侧。过中心的直线有很多，仍需正确斜率才是OLS。

哪些情况不能原样套用

任意候选线、未重算的旧线、无截距或加权拟合不能无条件用普通样本内零和性质；加权情形须用对应加权均值及残差和另建模型。残差均值0不证明真实随机误差都0，后者涉及未知总体参数。

非线性变换 $u=g(x)$ 后拟合，中心性质在 $(u,y)$ 坐标成立，不能自动说原曲线过 $(\bar x,\bar y)$ 。增删数据也须新样本中心，旧中心不一定落在新线。

用总和更新中心

旧样本量 $n$ ，总和 $n\bar x,n\bar y$ 。加入或删去 $m$ 点，其坐标和为 $A,B$ ：

操作	新样本量	新均值
加入	$n+m$	$\bar x'=(n\bar x+A)/(n+m),\bar y'=(n\bar y+B)/(n+m)$
删去	$n-m>0$	$\bar x'=(n\bar x-A)/(n-m),\bar y'=(n\bar y-B)/(n-m)$

被删点的两均值各等于旧均值，且删后有数据时，新中心才保持旧值；“点数对称”“在旧线上”或“偏差较大”不是充分依据。即使中心不变，斜率仍可能改变。

新斜率已知时形式上 $\hat a'=\bar y'-\hat b'\bar x'$ ；新斜率未给时中心不够，还需新平方和、积和。新线真是唯一OLS，还必须新 $S_{xx}'>0$ 且 $\hat b'=S_{xy}'/S_{xx}'$ ，不能只核中心忽略其他条件。

考点

先识别平均，再用中心求量

总和先除样本量，已给平均不重复除；辨清哪一列。
将平均代入含截距OLS线，不把总和当单个输入。
求截距或响应平均；问总和要再乘 $n$ ，问个体预测则参数求好后才代其 $x_0$ 。
增删时同时更新总和与样本量；真实重拟合还核新平方和积和及非恒定。
新线的预测及残差只按新线算，核单位、实际范围。零输入不合理就不强作现实截距解释。

例题 01 由中心关系求数据总和

题目

已知一组数据 $\left( {x}_{i},{y}_{i}\right)\left( i=1,2,\cdot \cdot \cdot ,20\right)$ 满足线性回归关系，且经验回归方程为 $\hat{y}=10x+30$ ，若 $\frac{1}{20}\sum _{i=1}^{20} {x}_{i}=3$ ，则 $\sum _{i=1}^{20} {y}_{i}=$ （）

A．30 B．60 C．630 D．1200

答案与解析

解析

已给的是解释变量平均3，不是总和。含截距OLS中心在直线上，所以 $\bar y=10\times3+30=60$ 。所求为20组响应总和， $\sum y_i=20\times60=1200$ ，选D。

A仅截距，B仅均值，C未按样本量恢复总和。均值关系由残差和0支持，不保证各实际观测都恰等于 $10x_i+30$ ，也不说每个响应都60。

本题结论

D（1200）

例题 02 删除两组成对数据

题目

已知由一组样本数据确定的经验回归方程为 $\hat{y}=1.5x+1$ ，且 $\overline{x}=2$ ，发现有两组数据 $\left( 2.6,2.8\right)$ 与 $\left( 1.4,5.2\right)$ 误差较大，去掉这两组数据后，重新求得经验回归直线的斜率为1.4，那么当 $x=6$ 时， $\hat{y}$ 的值为（）

A．9.6 B．10 C．10.6 D．9.4

答案与解析

解析

只按中心条件的形式计算。旧平均 $\bar y=1.5\times2+1=4$ 。设原样本量 $n$ ，删去两点的坐标和分别4、8，恰为两倍旧均值。因此新总和 $2(n-2),4(n-2)$ ，新中心仍(2,4)。若采用题给新斜率1.4，截距应 $4-1.4\times2=1.2$ ，代 $x=6$ 得9.6，原题预期选A。

但全部OLS条件不能同时成立。中心不变不意味着任何新斜率都可出现。记旧 $S_{xx}=T$ ，旧斜率1.5要求 $S_{xy}=1.5T$ 。两个被删点相对共同中心的偏差为 $(0.6,-1.2),(-0.6,1.2)$ ，贡献平方和0.72、积和-1.44。因此删后

S_{xx}'=T-0.72,\quad S_{xy}'=1.5T+1.44.

若可唯一重新拟合， $T>0.72$ ，于是

\hat b'=\frac{1.5T+1.44}{T-0.72}=1.5+\frac{2.52}{T-0.72}>1.5,

与题给1.4矛盾。若剩余解释列恒定则又不能唯一重新求该斜率。故按普通含截距OLS，没有满足所有原条件的数据；9.6只是取题给中心与新斜率作形式代入的结果，不能当作一组实际可实现样本的OLS预测。

原题“误差较大”指相对于旧拟合线的偏离，并非已知真实随机误差。实作不能只为改善系数删除真实观测。

本题结论

原题中心法预期A（9.6）；严格OLS条件不相容，无符合全部条件的样本

已知由样本数据 $\left( {x}_{i},{y}_{i}\right)\left( i=1,2,3,\cdot \cdot \cdot ,8\right)$ 组成的一个样本，得到经验回归方程为 $\hat{y}=2x+0.75$ ，且 $\overline{x}=1.125$ ，增加两个样本点 $\left( -2,5\right)$ 和 $\left( 1,3\right)$ 后，得到新样本的经验回归方程为 $\hat{y}=3x+\hat{b}$ ．在新的经验回归方程下，样本 $\left( 3,8.7\right)$ 的残差为（）

A． $1.1$ B． $0.5$ C． $-0.5$ D． $-1.1$

答案与解析

解析

先核中心法的原题预期。原8点 $\bar x=1.125$ ， $\bar y=2\times1.125+0.75=3$ ，总和分别9、24。加入两点后10点，总和8、32，新中心(0.8,3.2)。取题给新斜率3，截距 $3.2-3\times0.8=0.8$ 。在 $x=3$ 预测9.8，观测8.7的残差为观测减预测， $8.7-9.8=-1.1$ ，原预期D。反向核 $9.8+(-1.1)=8.7$ ；A倒置相减顺序，B/C不是此线下差值。

同时核样本能否产生两条OLS线。记旧中心平方和为 $T\ge0$ ，旧斜率2要求旧中心积和 $2T$ 。于是旧原始量

\sum x_i^2=T+8(1.125)^2=T+10.125,\quad\sum x_iy_i=2T+8(1.125)(3)=2T+27.

新点加入平方和5、积和-7，再扣新均值项：

S_{xx}'=T+15.125-10(0.8)^2=T+8.725,

S_{xy}'=2T+20-10(0.8)(3.2)=2T-5.6.

故真实新OLS斜率应

\hat b'=\frac{2T-5.6}{T+8.725}=2-\frac{23.05}{T+8.725}<2,

不可能为题给3。强令等于3会得 $T=-31.775<0$ ，违反平方和非负。原条件不能同时来自一组普通OLS样本，-1.1只是在题给新线形式下的残差；中心法本身正确，但不足以验证数据可实现。

新残差依赖指定新线，不是原线的偏离。

本题结论

原题中心法预期D（-1.1）；严格OLS条件不相容