高级计量经济学 7：小样本OLS(下:  检验)
此文内容为《高级计量经济学及STATA应用》的笔记，陈强老师著，高等教育出版社出版。
我只将个人会用到的知识作了笔记，并对教材较难理解的部分做了进一步阐述。为了更易于理解，我还对教材上的一些部分（包括代码和正文）做了修改。
仅供学习参考，请勿转载，侵删！
本文目录：
3 小样本OLS
3.7 对线性假设的 检验
3.7.1 检验是做什么的
3.7.2 检验的思想
3.7.3 构造一个 统计量
3.7.4 检验的似然比原理表达式
3.7.5 约束最小二乘法（RLS）
3.7.6 似然比 统计量的证明
3.8 预测
3.8.1 预测值的无偏估计
3.8.2 预测值的方差
3.8.3 预测误差的方差
本文小结
3 小样本OLS
3.7 对线性假设的 检验
统计量和  统计量的推导和假设检验的证明在很多地方都是十分相似的。我会着重说明他们之间的联系，让读者不要混淆。另外，为了直观，在描述的时候有一些数学符号并不是标准的用法，大家懂这个意思就可以。
3.7.1 检验是做什么的
除了要检验系数是否显著不为零之外，我们常常还想知道整个回归方程是否显著。也就是说我要检验的原假设为  （  通常为常数）。或者说，更一般地我想检验回归系数的  个线性假设是否同时成立：
其中， 是满秩矩阵，即没有多余的信息。
比方说，对模型  ，检验  ，那么就有：
%2C%20%5Cquad%20%5Cpmb%20r%20%3D%20%5Cleft(%5Cbegin%7Bmatrix%7D%200%5C%5C0%20%5Cend%7Bmatrix%7D%5Cright))
这是因为：
%20%5Cleft(%5Cbegin%7Bmatrix%7D%20%5Cbeta_1%5C%5C%5Cbeta_2%5C%5C%5Cbeta_3%5C%5C%5Cbeta_4%20%5Cend%7Bmatrix%7D%5Cright)%20%3D%20%5Cleft(%5Cbegin%7Bmatrix%7D%20%5Cbeta_2%20-%20%5Cbeta_3%5C%5C%5Cbeta_4%20%5Cend%7Bmatrix%7D%5Cright)%20%3D%20%5Cleft(%5Cbegin%7Bmatrix%7D%200%5C%5C0%20%5Cend%7Bmatrix%7D%5Cright))
所以，有多少个条件 就有多少行。形式葫芦画瓢就可以。
一般来说，我们的程序返回的原假设都是 ，这时候 
3.7.2 检验的思想
直观来看， 是  的估计量，如果  成立的话，那么  也应该比较接近  向量，因为：
所以就可以通过刻画 到 的距离来进行沃尔德检验。
在小样本OLS的5个假定下，在 成立的条件下， 统计量为：
![F \equiv \frac{(\pmb{Rb-r})^\prime[\pmb R({\bf X'X})^{-1}{\pmb R}]^{-1}(\pmb{Rb-r})/m}{s^2} \sim F(m,n-K)](https://math.jianshu.com/math?formula=F%20%5Cequiv%20%5Cfrac%7B(%5Cpmb%7BRb-r%7D)%5E%5Cprime%5B%5Cpmb%20R(%7B%5Cbf%20X'X%7D)%5E%7B-1%7D%7B%5Cpmb%20R%7D%5D%5E%7B-1%7D(%5Cpmb%7BRb-r%7D)%2Fm%7D%7Bs%5E2%7D%20%5Csim%20F(m%2Cn-K))
看到这个统计量，请先不要觉得很烦，其实其背后的想法是很简单的。
我们前面已经提到，在我们如何描述一个向量离 的距离呢？一般的做法是用欧几里得距离，即用向量的内积：定义向量 ) 那么就有：
%5E2%20%2B%20(e_2-0)%5E2%20%2B%20%5Ccdots%20%2B%20(e_n-0)%5E2)
然而这个距离与  的量纲是有关系的，所以我们需要想办法标准化这个距离。在这里，我要再次强调：在计量中，几乎所有的标准化都是用标准差距离来衡量的。
在标量中，我们的方差也是一个标量；而对于向量，方差就是协方差矩阵。
所以这里的距离需要除以一个协方差矩阵以进行标准化。我们在解释二次型的意义时候提到，对于二次型  ， 的作用其实是一个权重。在这里，权重就是标准差的倒数，所以我们令 为协方差矩阵的逆。
于是，我们就可以得出向量 与 的标准距离就是：
%5E%5Cprime%20%7B%5Crm%20Var%7D(%5Cpmb%7BRb-r%7D)%5E%7B-1%7D%20(%5Cpmb%7BRb-r%7D))
我们进一步推导：
%20%26%3D%20%7B%5Crm%20Var%7D(%5Cpmb%7BRb%7D)%5C%5C%20%E5%A4%B9%E5%BF%83%E4%BC%B0%E8%AE%A1%E9%87%8F%26%3D%20%5Cpmb%20R%20%5Ccdot%20%7B%5Crm%20Var%7D(%5Cpmb%20b)%5Ccdot%20%5Cpmb%20R'%20%5Cend%7Bsplit%7D)
而我们前面已经证明了 %3D%5Csigma%5E2%20%7B%5Cbf%20X'X%7D%5E%7B-1%7D) ，这里不厌其烦地再证明一次：
证明： %3D%5Csigma%5E2%20(%7B%5Cbf%20X'X%7D)%5E%7B-1%7D)
%20%26%3D%20%7B%5Crm%20Var%7D(%5Cpmb%20b%20-%20%5Cpmb%20%5Cbeta)%20%3D%20%7B%5Crm%20Var%7D(A%5Cpmb%20%5Cvarepsilon)%20%3D%20A%20%7B%5Crm%20Var%7D(%5Cpmb%20%5Cvarepsilon)%20A'%20%3D%20A%20%5Csigma%5E2%20%7B%5Cbf%20I%7DA'%3D%5Csigma%5E2%20AA'%20%3D%20%5Csigma%5E2%20(%7B%5Cbf%20X'X%7D)%5E%7B-1%7D%20%5Cend%7Bsplit%7D)
证毕。
所以，我们有：
![(\pmb{Rb-r})^\prime {\rm Var}(\pmb{Rb-r})^{-1} (\pmb{Rb-r}) = (\pmb{Rb-r})^\prime \left[\pmb R{\sigma^2 ({\bf X'X})^{-1}}\pmb R'\right]^{-1} (\pmb{Rb-r})](https://math.jianshu.com/math?formula=(%5Cpmb%7BRb-r%7D)%5E%5Cprime%20%7B%5Crm%20Var%7D(%5Cpmb%7BRb-r%7D)%5E%7B-1%7D%20(%5Cpmb%7BRb-r%7D)%20%3D%20(%5Cpmb%7BRb-r%7D)%5E%5Cprime%20%5Cleft%5B%5Cpmb%20R%7B%5Csigma%5E2%20(%7B%5Cbf%20X'X%7D)%5E%7B-1%7D%7D%5Cpmb%20R'%5Cright%5D%5E%7B-1%7D%20(%5Cpmb%7BRb-r%7D))
也就是：
![标准距离 = \frac{(\pmb{Rb-r})^\prime \left[\pmb R{ ({\bf X'X})^{-1}}\pmb R'\right]^{-1} (\pmb{Rb-r})}{\sigma^2}](https://math.jianshu.com/math?formula=%E6%A0%87%E5%87%86%E8%B7%9D%E7%A6%BB%20%3D%20%5Cfrac%7B(%5Cpmb%7BRb-r%7D)%5E%5Cprime%20%5Cleft%5B%5Cpmb%20R%7B%20(%7B%5Cbf%20X'X%7D)%5E%7B-1%7D%7D%5Cpmb%20R'%5Cright%5D%5E%7B-1%7D%20(%5Cpmb%7BRb-r%7D)%7D%7B%5Csigma%5E2%7D)
这个结构已经跟我们要构造的 统计量十分接近了。跟 统计一样，由于  是无法预先知道的，所以我们用它的无偏估计量  来替代它：
![标准距离的统计量 = \frac{(\pmb{Rb-r})^\prime \left[\pmb R{ ({\bf X'X})^{-1}}\pmb R'\right]^{-1} (\pmb{Rb-r})}{s^2}](https://math.jianshu.com/math?formula=%E6%A0%87%E5%87%86%E8%B7%9D%E7%A6%BB%E7%9A%84%E7%BB%9F%E8%AE%A1%E9%87%8F%20%3D%20%5Cfrac%7B(%5Cpmb%7BRb-r%7D)%5E%5Cprime%20%5Cleft%5B%5Cpmb%20R%7B%20(%7B%5Cbf%20X'X%7D)%5E%7B-1%7D%7D%5Cpmb%20R'%5Cright%5D%5E%7B-1%7D%20(%5Cpmb%7BRb-r%7D)%7D%7Bs%5E2%7D)
这就离我们要的目标更进一步了。
不懂就问：为什么 统计量就没有用到二次型相关的概念
答： 统计量只是对单个系数的检验， 只要离假想值足够远就可以，正负并不影响描述偏离的程度。但 是对很多很多个系数践行检验，而且这么多个系数离 0 的距离是用同一个指标表达的，所以必须考虑有正也有负的偏离。所以 统计只需要做减法，但 统计需要平方和。
3.7.3 寻找一个 统计量
现在，我们离标准的 统计量之差 和  两个系数了 。
我们接下来不打算去证明 统计量就是服从 分布的，而是打算沿着正的思路，去寻找一个 统计量。这样更有助于我们深刻理解 统计量的来源。
思路：我们知道 %2Fm%7D%7B%5Cchi%5E2(n)%2Fn%7D%5Csim%20F(m%2Cn)) ，而且我们之前已经知道：
%5Csigma%5E2%7D%5Csim%20%5Cfrac%7B%5Cchi%5E2%20(n-K)%7D%7Bn-K%7D)
所以我们对标准的统计量做一个恒等变形：
![\frac{(\pmb{Rb-r})^\prime \left[\pmb R{ ({\bf X'X})^{-1}}\pmb R'\right]^{-1} (\pmb{Rb-r})}{s^2} = \frac{\sigma^2(\pmb{Rb-r})^\prime \left[\pmb R{ ({\bf X'X})^{-1}}\pmb R'\right]^{-1} (\pmb{Rb-r})}{s^2/\sigma^2}](https://math.jianshu.com/math?formula=%5Cfrac%7B(%5Cpmb%7BRb-r%7D)%5E%5Cprime%20%5Cleft%5B%5Cpmb%20R%7B%20(%7B%5Cbf%20X'X%7D)%5E%7B-1%7D%7D%5Cpmb%20R'%5Cright%5D%5E%7B-1%7D%20(%5Cpmb%7BRb-r%7D)%7D%7Bs%5E2%7D%20%3D%20%5Cfrac%7B%5Csigma%5E2(%5Cpmb%7BRb-r%7D)%5E%5Cprime%20%5Cleft%5B%5Cpmb%20R%7B%20(%7B%5Cbf%20X'X%7D)%5E%7B-1%7D%7D%5Cpmb%20R'%5Cright%5D%5E%7B-1%7D%20(%5Cpmb%7BRb-r%7D)%7D%7Bs%5E2%2F%5Csigma%5E2%7D)
这样，分母自然就服从 分布的分母形式了（一  分布除以它的自由度）。于是我们只需要考察分子：
![\sigma^2(\pmb{Rb-r})^\prime \left[\pmb R{ ({\bf X'X})^{-1}}\pmb R'\right]^{-1} (\pmb{Rb-r})](https://math.jianshu.com/math?formula=%5Csigma%5E2(%5Cpmb%7BRb-r%7D)%5E%5Cprime%20%5Cleft%5B%5Cpmb%20R%7B%20(%7B%5Cbf%20X'X%7D)%5E%7B-1%7D%7D%5Cpmb%20R'%5Cright%5D%5E%7B-1%7D%20(%5Cpmb%7BRb-r%7D))
是不是也服从某种分布就可以了。
我们定义  ，那么在  成立的条件下，我们有：
%3DR%7DA%5Cpmb%20%5Cvarepsilon)
由于 只是人为设定的常数矩阵，所以我们肯定有：
%20%3D%20%7B%5Crm%20E%7D(%5Cpmb%7BR%7DA%5Cpmb%20%5Cvarepsilon%7C%7B%5Cbf%20X%7D)%20%3D%20%5Cpmb%7BR%7DA%5Cunderbrace%7B%7B%5Crm%20E%7D(%5Cpmb%20%5Cvarepsilon%7C%7B%5Cbf%20X%7D)%7D_%7B%3D%5Cpmb%200%7D%20%3D%20%5Cpmb%200)
%3D%7B%5Crm%20Var%7D(%5Cpmb%7BR(b-%5Cbeta)%7D%7C%7B%5Cbf%20X%7D)%20%3D%20%5Cpmb%20R%20%7B%5Crm%20Var%7D(%5Cpmb%7Bb-%5Cbeta%7D%7C%7B%5Cbf%20X%7D)%5Cpmb%20R%5E%5Cprime%3D%5Cpmb%20R%20%7B%5Crm%20Var%7D(%5Cpmb%7Bb%7D%7C%7B%5Cbf%20X%7D)%5Cpmb%20R%5E%5Cprime%20%3D%20%5Csigma%5E2%5Cpmb%20R%20(%7B%5Cbf%20X'X%7D)%5E%7B-1%7D%20%5Cpmb%20R%5E%5Cprime)
我们发现 ) ：其实就是分子的中间那项：
![\sigma^2(\pmb{Rb-r})^\prime \left[\pmb R{ ({\bf X'X})^{-1}}\pmb R'\right]^{-1} (\pmb{Rb-r}) = (\pmb{Rb-r})^\prime {\underbrace{\left[\sigma^2 \pmb R{ ({\bf X'X})^{-1}}\pmb R'\right]}_{{\rm Var}(\pmb v| {\bf X})}}^{-1} (\pmb{Rb-r})](https://math.jianshu.com/math?formula=%5Csigma%5E2(%5Cpmb%7BRb-r%7D)%5E%5Cprime%20%5Cleft%5B%5Cpmb%20R%7B%20(%7B%5Cbf%20X'X%7D)%5E%7B-1%7D%7D%5Cpmb%20R'%5Cright%5D%5E%7B-1%7D%20(%5Cpmb%7BRb-r%7D)%20%3D%20(%5Cpmb%7BRb-r%7D)%5E%5Cprime%20%7B%5Cunderbrace%7B%5Cleft%5B%5Csigma%5E2%20%5Cpmb%20R%7B%20(%7B%5Cbf%20X'X%7D)%5E%7B-1%7D%7D%5Cpmb%20R'%5Cright%5D%7D_%7B%7B%5Crm%20Var%7D(%5Cpmb%20v%7C%20%7B%5Cbf%20X%7D)%7D%7D%5E%7B-1%7D%20(%5Cpmb%7BRb-r%7D))
运用定义 ，可以进一步将分子写成：
)%5E%7B-1%7D%20%5Cpmb%20r)
接下来我们引用一个数理统计知识：
引理2：如果 维随机向量服从正态分布 ) ，其中  为满秩矩阵，则二次型：
'%20%5Cpmb%20%5CSigma%5E%7B-1%7D%20(%5Cpmb%7Bx%20-%20%5Cmu%7D)%20%5Csim%20%5Cchi%5E2(m))
也先不要吐槽这个形式看上去很复杂。
回忆二次型就是向量的二次函数，协方差矩阵就是向量的方差，所以这个式子的标量形式不过是：
%5E2%20%5Csim%20%5Cchi%5E2(1))
那么肯定有人要问这个与 检验的那个数理统计知识有什么区别或联系呢，先回忆一下 检验的那个形式：
引理1：对于 维向量 ) ，如果幂等矩阵  的秩 %3Dn) ，那么二次型  满足：
)
可以看出，其实二者都是经过一个二次型得到一个 分布，不过二者的二次型矩阵不一样。在引理2，要求二次型矩阵必须满秩；而引理1则要求二次型矩阵是幂等矩阵，更要求  服从的是标准多维正太分布。
我猜测这两个引理可以合成一个，但我没有证明，有兴趣的读者可以提供证明哈：
猜测：对于 维随机向量服从正态分布 ，其中 的秩 %20%3D%20n) ，那么就有：
'%20%5Cpmb%20%5CSigma%20(%5Cpmb%7Bx-%5Cmu%7D)%20%5Csim%20%5Cchi%5E2(n))
所以，引用引理2，
)%5E%7B-1%7D%20%5Cpmb%20r%20%5Csim%20%5Cchi%5E2(m))
其中 ) 的的秩是 。这是因为我们前面已经假设了因为数据矩阵  满秩，而且 是 的函数。
于是我们发现离 统计量已经非常接近了，因为现在：
![标准距离的统计量 = \frac{\sigma^2(\pmb{Rb-r})^\prime \left[\pmb R{ ({\bf X'X})^{-1}}\pmb R'\right]^{--1} (\pmb{Rb-r})}{s^2/\sigma^2} = \frac{\chi^2(m)}{\chi^2(n-K)/(n-K)}](https://math.jianshu.com/math?formula=%E6%A0%87%E5%87%86%E8%B7%9D%E7%A6%BB%E7%9A%84%E7%BB%9F%E8%AE%A1%E9%87%8F%20%3D%20%5Cfrac%7B%5Csigma%5E2(%5Cpmb%7BRb-r%7D)%5E%5Cprime%20%5Cleft%5B%5Cpmb%20R%7B%20(%7B%5Cbf%20X'X%7D)%5E%7B-1%7D%7D%5Cpmb%20R'%5Cright%5D%5E%7B--1%7D%20(%5Cpmb%7BRb-r%7D)%7D%7Bs%5E2%2F%5Csigma%5E2%7D%20%3D%20%5Cfrac%7B%5Cchi%5E2(m)%7D%7B%5Cchi%5E2(n-K)%2F(n-K)%7D)
所以，很自然地我们可以构造：
![\begin{split} \frac{标准距离的统计量}{m} &= \frac{\sigma^2(\pmb{Rb-r})^\prime \left[\pmb R{ ({\bf X'X})^{-1}}\pmb R'\right]^{--1} (\pmb{Rb-r})/m}{s^2/\sigma^2} \\&= \frac{\chi^2(m)/m}{\chi^2(n-K)/(n-K)} \sim F(m,n-K) \end{split}](https://math.jianshu.com/math?formula=%5Cbegin%7Bsplit%7D%20%5Cfrac%7B%E6%A0%87%E5%87%86%E8%B7%9D%E7%A6%BB%E7%9A%84%E7%BB%9F%E8%AE%A1%E9%87%8F%7D%7Bm%7D%20%26%3D%20%5Cfrac%7B%5Csigma%5E2(%5Cpmb%7BRb-r%7D)%5E%5Cprime%20%5Cleft%5B%5Cpmb%20R%7B%20(%7B%5Cbf%20X'X%7D)%5E%7B-1%7D%7D%5Cpmb%20R'%5Cright%5D%5E%7B--1%7D%20(%5Cpmb%7BRb-r%7D)%2Fm%7D%7Bs%5E2%2F%5Csigma%5E2%7D%20%5C%5C%26%3D%20%5Cfrac%7B%5Cchi%5E2(m)%2Fm%7D%7B%5Cchi%5E2(n-K)%2F(n-K)%7D%20%5Csim%20F(m%2Cn-K)%20%5Cend%7Bsplit%7D)
在衡量标准距离的时候，其实分子除以 无关大碍。因为除以 之后我们明确知道它服从 分布了，也就可以进行检验了。
于是！我们就得到了一个 统计量：
3.7.4 检验的似然比原理表达式
如果使用约束条件下的最小二乘法，即约束最小二乘法（Restricted OLS, RLS；或 Contraint OLS），则可以得到 统计量的另外一个方便的表达式。
考虑以下约束问题：
%5C%5C%20%26%20s.t.%20%5Cpmb%7BR%5Ctilde%7Bb%7D%3Dr%7D%20%5Cend%7Bsplit%7D)
其基本思想是：如果 正确，那么加上这个约束应该不会让残差平方和 ) 的最小值增大很多。于是，通过引入拉格朗日函数，可以求解这个约束的极值问题，而且可以证明：
%2Fm%7D%7B%7B%5Crm%20SSR%7D%2F(n-K)%7D%20%3D%20%5Cfrac%7B(%5Cpmb%7Be%5E%7B%5Cstar%20%5Cprime%7D%20e%5E%5Cstar%20-%20e'e%7D)%2Fm%7D%7B%5Cpmb%7Be'e%7D%2F(n-K)%7D%20%5Csim%20F(m%2Cn-K))
其中，带  的是有约束的最小二乘法。这个 统计量有时候更加容易计算（你看这个形式多优美！）。
这种通过比较极值条件与无条件极值而进行的检验，统称为似然比检验（Likelihood ratio test）。
我们接下来我们会证明这个似然比统计量其实与我们前面介绍的沃尔德 检验的统计量是等价的。
3.7.5 约束最小二乘法（RLS）
为了证明两个统计量是等价的，我们首先要知道如何求解RLS。
证明： 检验的似然表达式
考虑一个RLS问题：
%20%26%3D%20%5Cmin_%7B%5Cpmb%7B%5Ctilde%20b%7D%7D%20(%5Cpmb%20y%20-%7B%5Cbf%20X%7D%5Cpmb%7B%5Ctilde%20b%7D)'(%5Cpmb%20y%20-%7B%5Cbf%20X%7D%5Cpmb%7B%5Ctilde%20b%7D)%5C%5C%20%26%20s.t.%20%5Cpmb%7BR%5Ctilde%7Bb%7D%3Dr%7D%20%5Cend%7Bsplit%7D)
引入拉格朗日函数：
%20%26%5Cequiv%20(%5Cpmb%20y%20-%7B%5Cbf%20X%7D%5Cpmb%7B%5Ctilde%20b%7D)'(%5Cpmb%20y%20-%7B%5Cbf%20X%7D%5Cpmb%7B%5Ctilde%20b%7D)%20-%20%5Cpmb%20%5Clambda%5E%5Cprime(%20%5Cpmb%7Br%20-%20R%5Ctilde%7Bb%7D%7D)%20%5C%5C%20%26%3D(%5Cpmb%7By%7D'%20-%20%5Cpmb%7B%5Ctilde%20b%7D'%20%7B%5Cbf%20X%7D')(%5Cpmb%20y%20-%7B%5Cbf%20X%7D%5Cpmb%7B%5Ctilde%20b%7D)%20-%20%5Cpmb%20%5Clambda%5E%5Cprime(%20%5Cpmb%7Br%20-%20R%5Ctilde%7Bb%7D%7D)%5C%5C%20%26%3D%5Cpmb%7By'y%7D%20-%20%5Cpmb%7By%7D'%7B%5Cbf%20X%7D%5Cpmb%7B%5Ctilde%20b%7D%20-%20%5Cpmb%7B%5Ctilde%20b%7D'%20%7B%5Cbf%20X%7D'%20%5Cpmb%20y%20%2B%20%5Cpmb%7B%5Ctilde%20b%7D'%20%7B%5Cbf%20X%7D'%7B%5Cbf%20X%7D%5Cpmb%7B%5Ctilde%20b%7D%20-%20%5Cpmb%20%5Clambda%5E%5Cprime(%20%5Cpmb%7Br%20-%20R%5Ctilde%7Bb%7D%7D)%20%5Cend%7Bsplit%7D)
其中  为 维拉格朗日乘子列向量。那么F.O.C.为：
%7D%7B%5Cpartial%20%5Cpmb%7B%5Ctilde%20b%7D%7D%20%26%3D%20-%202%7B%5Cbf%20X%7D'%5Cpmb%20y%20%2B%202%7B%5Cbf%20X'X%7D%20%5Cpmb%7B%5Ctilde%20b%7D%20%2B%20%5Cpmb%20R%5E%5Cprime%20%5Cpmb%20%5Clambda%20%3D%20%5Cpmb%200_%7BK%20%5Ctimes%201%7D%5C%5C%20%5Cfrac%7B%5Cpartial%20L(%5Cpmb%7B%5Ctilde%20b%7D%2C%20%5Cpmb%20%5Clambda)%7D%7B%5Cpartial%20%5Cpmb%7B%5Clambda%7D%7D%20%26%3D%20-%20%5Cpmb%20(%20%5Cpmb%7Br%20-%20R%5Ctilde%7Bb%7D%7D)%20%3D%20%5Cpmb%200_%7Bm%20%5Ctimes%201%7D%20%5Cend%7Bsplit%7D)
这里涉及向量的求导法则，搞不赢的话请移步《高级计量经济学 4：小样本OLS(上)》，本公众号或 简书 都行，那里有详细的推导，这里不再累赘了。
为了研究 和  的关系，我们对第一个F.O.C.左乘 %5E%7B-1%7D%7D) 可得：
$$
2{\pmb R { ({\bf X'X})^{-1}}{\bf X}'\pmb y }+ 2{\pmb R{({\bf X'X})^{-1}}{\bf X'X}} \pmb{\tilde b} + [{\pmb R({\bf X'X})^{-1}}\pmb R']\pmb \lambda \pmb = \pmb 0_{K \times 1}
-2\pmb R \pmb b + 2 \underbrace{\pmb R \pmb{\tilde b} }{=\pmb r}+ [{\pmb R({\bf X'X})^{-1}}\pmb R']\pmb \lambda = \pmb 0{m \times 1}
\pmb \lambda = -2\cdot[{\pmb R({\bf X'X})^{-1}}\pmb R']^{-1}(\pmb{r-Rb})
\pmb{\tilde b} = \pmb b + ({\bf X'X})^{-1}\pmb R^\prime [{\pmb R({\bf X'X})^{-1}}\pmb R']^{-1}(\pmb{r-Rb})
$$
这就是RLS的估计量（如果不想要 的话，就用 %5E%7B-1%7D%7B%5Cbf%20X'%7D%5Cpmb%20y) 取代就可以了。
于是我们发现带约束的估计量和不带约束的估计量之差别  实际上是 ) 的线性函数。而且 衡量的恰好是估计量 偏离  的程度。只有 恰好满足 ，才会有  。
3.7.6 似然比 统计量的证明
在 3.7.4 节，我们已经有：
为了证明
%2Fm%7D%7B%5Cpmb%7Be'e%7D%2F(n-K)%7D%20%5Csim%20F(m%2Cn-K))
只要从分子分母分别证明即可。更进一步，由于 ) ，所以两者的分母是相同的。所以我们现在要集中火力证明：
![{\bf Prove}: (\pmb{e^{\star \prime} e^\star - e'e}) = (\pmb{Rb-r})^\prime[\pmb R({\bf X'X})^{-1}{\pmb R}]^{-1}(\pmb{Rb-r})](https://math.jianshu.com/math?formula=%7B%5Cbf%20Prove%7D%3A%20(%5Cpmb%7Be%5E%7B%5Cstar%20%5Cprime%7D%20e%5E%5Cstar%20-%20e'e%7D)%20%3D%20(%5Cpmb%7BRb-r%7D)%5E%5Cprime%5B%5Cpmb%20R(%7B%5Cbf%20X'X%7D)%5E%7B-1%7D%7B%5Cpmb%20R%7D%5D%5E%7B-1%7D(%5Cpmb%7BRb-r%7D))
证明：![(\pmb{e^{\star \prime} e^\star - e'e}) = (\pmb{Rb-r})^\prime[\pmb R({\bf X'X})^{-1}{\pmb R}]^{-1}(\pmb{Rb-r})](https://math.jianshu.com/math?formula=(%5Cpmb%7Be%5E%7B%5Cstar%20%5Cprime%7D%20e%5E%5Cstar%20-%20e'e%7D)%20%3D%20(%5Cpmb%7BRb-r%7D)%5E%5Cprime%5B%5Cpmb%20R(%7B%5Cbf%20X'X%7D)%5E%7B-1%7D%7B%5Cpmb%20R%7D%5D%5E%7B-1%7D(%5Cpmb%7BRb-r%7D))
由于：
%20%3D%20%5Cpmb%20e%20-%20%7B%5Cbf%20X%7D%20(%5Cpmb%20b%5E%5Cstar%20-%20%5Cpmb%20b))
所以：
![\begin{split} \pmb{e^{\star \prime}e^\star } &= [\pmb e - {\bf X} (\pmb b^\star - \pmb b) ]^\prime [\pmb e - {\bf X} (\pmb b^\star - \pmb b) ]\\ &=[\pmb e' - (\pmb b^{\star \prime} - \pmb b^\prime) {\bf X}^\prime ] [\pmb e - {\bf X} (\pmb b^\star - \pmb b) ]\\ &= \pmb{e'e} - \underbrace{\pmb e^\prime {\bf X}}_{=({\bf X}^\prime\pmb e)^\prime} (\pmb b^\star - \pmb b) - (\pmb b^{\star \prime} - \pmb b^\prime) \underbrace{{\bf X}^\prime \pmb e}_{=\pmb 0} + (\pmb b^{\star \prime} - \pmb b^\prime) {\bf X}^\prime {\bf X} (\pmb b^\star - \pmb b) \end{split}](https://math.jianshu.com/math?formula=%5Cbegin%7Bsplit%7D%20%5Cpmb%7Be%5E%7B%5Cstar%20%5Cprime%7De%5E%5Cstar%20%7D%20%26%3D%20%5B%5Cpmb%20e%20-%20%7B%5Cbf%20X%7D%20(%5Cpmb%20b%5E%5Cstar%20-%20%5Cpmb%20b)%20%5D%5E%5Cprime%20%5B%5Cpmb%20e%20-%20%7B%5Cbf%20X%7D%20(%5Cpmb%20b%5E%5Cstar%20-%20%5Cpmb%20b)%20%5D%5C%5C%20%26%3D%5B%5Cpmb%20e'%20-%20(%5Cpmb%20b%5E%7B%5Cstar%20%5Cprime%7D%20-%20%5Cpmb%20b%5E%5Cprime)%20%7B%5Cbf%20X%7D%5E%5Cprime%20%5D%20%5B%5Cpmb%20e%20-%20%7B%5Cbf%20X%7D%20(%5Cpmb%20b%5E%5Cstar%20-%20%5Cpmb%20b)%20%5D%5C%5C%20%26%3D%20%5Cpmb%7Be'e%7D%20-%20%5Cunderbrace%7B%5Cpmb%20e%5E%5Cprime%20%7B%5Cbf%20X%7D%7D_%7B%3D(%7B%5Cbf%20X%7D%5E%5Cprime%5Cpmb%20e)%5E%5Cprime%7D%20(%5Cpmb%20b%5E%5Cstar%20-%20%5Cpmb%20b)%20-%20(%5Cpmb%20b%5E%7B%5Cstar%20%5Cprime%7D%20-%20%5Cpmb%20b%5E%5Cprime)%20%5Cunderbrace%7B%7B%5Cbf%20X%7D%5E%5Cprime%20%5Cpmb%20e%7D_%7B%3D%5Cpmb%200%7D%20%2B%20(%5Cpmb%20b%5E%7B%5Cstar%20%5Cprime%7D%20-%20%5Cpmb%20b%5E%5Cprime)%20%7B%5Cbf%20X%7D%5E%5Cprime%20%7B%5Cbf%20X%7D%20(%5Cpmb%20b%5E%5Cstar%20-%20%5Cpmb%20b)%20%5Cend%7Bsplit%7D)
这里， 是（无约束）正规方程组所要求的，是无约束小样本OLS的性质，于是：
%20%7B%5Cbf%20X%7D%5E%5Cprime%20%7B%5Cbf%20X%7D%20(%5Cpmb%20b%5E%5Cstar%20-%20%5Cpmb%20b))
所以我们发现：
%20%7B%5Cbf%20X%7D%5E%5Cprime%20%7B%5Cbf%20X%7D%20(%5Cpmb%20b%5E%5Cstar%20-%20%5Cpmb%20b))
接下来我们只需要证明等式的右边与分子相同即可。我们代入3.7.6所计算的结果：
![\pmb{\tilde b} - \pmb b=({\bf X'X})^{-1}\pmb R^\prime [{\pmb R({\bf X'X})^{-1}}\pmb R']^{-1}(\pmb{r-Rb})](https://math.jianshu.com/math?formula=%5Cpmb%7B%5Ctilde%20b%7D%20-%20%5Cpmb%20b%3D(%7B%5Cbf%20X'X%7D)%5E%7B-1%7D%5Cpmb%20R%5E%5Cprime%20%5B%7B%5Cpmb%20R(%7B%5Cbf%20X'X%7D)%5E%7B-1%7D%7D%5Cpmb%20R'%5D%5E%7B-1%7D(%5Cpmb%7Br-Rb%7D))
在这里， 就是  ，符号有点混乱，不好意思😂
就可以暴力计算出：
![\begin{split} \pmb{e^{\star \prime}e^\star } - \pmb{e'e} &= (\pmb b^{\star \prime} - \pmb b^\prime) {\bf X}^\prime {\bf X} (\pmb b^\star - \pmb b)\\ &=[({\bf X'X})^{-1}\pmb R^\prime [{\pmb R({\bf X'X})^{-1}}\pmb R']^{-1}(\pmb{r-Rb})]^\prime {\bf X}^\prime {\bf X} [({\bf X'X})^{-1}\pmb R^\prime [{\pmb R({\bf X'X})^{-1}}\pmb R']^{-1}(\pmb{r-Rb})]\\ &= \cdots\\ &= (\pmb{Rb-r})^\prime[\pmb R({\bf X'X})^{-1}{\pmb R}]^{-1}(\pmb{Rb-r}) \end{split}](https://math.jianshu.com/math?formula=%5Cbegin%7Bsplit%7D%20%5Cpmb%7Be%5E%7B%5Cstar%20%5Cprime%7De%5E%5Cstar%20%7D%20-%20%5Cpmb%7Be'e%7D%20%26%3D%20(%5Cpmb%20b%5E%7B%5Cstar%20%5Cprime%7D%20-%20%5Cpmb%20b%5E%5Cprime)%20%7B%5Cbf%20X%7D%5E%5Cprime%20%7B%5Cbf%20X%7D%20(%5Cpmb%20b%5E%5Cstar%20-%20%5Cpmb%20b)%5C%5C%20%26%3D%5B(%7B%5Cbf%20X'X%7D)%5E%7B-1%7D%5Cpmb%20R%5E%5Cprime%20%5B%7B%5Cpmb%20R(%7B%5Cbf%20X'X%7D)%5E%7B-1%7D%7D%5Cpmb%20R'%5D%5E%7B-1%7D(%5Cpmb%7Br-Rb%7D)%5D%5E%5Cprime%20%7B%5Cbf%20X%7D%5E%5Cprime%20%7B%5Cbf%20X%7D%20%5B(%7B%5Cbf%20X'X%7D)%5E%7B-1%7D%5Cpmb%20R%5E%5Cprime%20%5B%7B%5Cpmb%20R(%7B%5Cbf%20X'X%7D)%5E%7B-1%7D%7D%5Cpmb%20R'%5D%5E%7B-1%7D(%5Cpmb%7Br-Rb%7D)%5D%5C%5C%20%26%3D%20%5Ccdots%5C%5C%20%26%3D%20(%5Cpmb%7BRb-r%7D)%5E%5Cprime%5B%5Cpmb%20R(%7B%5Cbf%20X'X%7D)%5E%7B-1%7D%7B%5Cpmb%20R%7D%5D%5E%7B-1%7D(%5Cpmb%7BRb-r%7D)%20%5Cend%7Bsplit%7D)
我这里是懒得写了，你们自己在草稿纸上算一下哈。
所以，有：
![F = \frac{(\pmb{e^{\star \prime} e^\star - e'e})/m}{\pmb{e'e}/(n-K)} = \frac{(\pmb{Rb-r})^\prime[\pmb R({\bf X'X})^{-1}{\pmb R}]^{-1}(\pmb{Rb-r})/m}{s^2}\sim F(m,n-K)](https://math.jianshu.com/math?formula=F%20%3D%20%5Cfrac%7B(%5Cpmb%7Be%5E%7B%5Cstar%20%5Cprime%7D%20e%5E%5Cstar%20-%20e'e%7D)%2Fm%7D%7B%5Cpmb%7Be'e%7D%2F(n-K)%7D%20%3D%20%5Cfrac%7B(%5Cpmb%7BRb-r%7D)%5E%5Cprime%5B%5Cpmb%20R(%7B%5Cbf%20X'X%7D)%5E%7B-1%7D%7B%5Cpmb%20R%7D%5D%5E%7B-1%7D(%5Cpmb%7BRb-r%7D)%2Fm%7D%7Bs%5E2%7D%5Csim%20F(m%2Cn-K))
证毕。
3.8 预测
有时候，在获得了回归模型以后，我们需要进行对未来的预测（prediction or forecasting）预测的数学语言是，给定数据矩阵  的未来取值，预测未来  的取值。
这里有一个哲学feel的东西，就是事物的发展都是有惯性的：即我认为对这个总体，以前的总体计量模型在未来是不变的。
那么在未来，总体的模型应该也是：
)
显然，我们可以用  对 做预测。
3.8.1  是 的无偏估计
证明： 是 的无偏估计
我们可以计算 的Bias：
%20%3D%20%7B%5Crm%20E%7D(%5Chat%7B%5Cpmb%20y%7D_0%20-%20%5Cpmb%20y_0%20%7C%20%7B%5Cbf%20X%7D_0%20)%20%26%3D%20%7B%5Crm%20E%7D(%7B%5Cbf%20X%7D_0%20%5Cpmb%20b%20-%20%7B%5Cbf%20X%7D_0%20%5Cpmb%20%5Cbeta%20%2B%20%5Cpmb%20%5Cvarepsilon_0%7C%20%7B%5Cbf%20X%7D_0)%5C%5C%20%26%3D%7B%5Crm%20E%7D(%7B%5Cbf%20X%7D_0%20(%5Cpmb%20b%20-%5Cpmb%20%5Cbeta)%20%2B%20%5Cpmb%20%5Cvarepsilon_0%7C%20%7B%5Cbf%20X%7D_0)%5C%5C%20%26%3D%7B%5Crm%20E%7D(%7B%5Cbf%20X%7D_0%20(%5Cpmb%20b%20-%5Cpmb%20%5Cbeta)%20%7C%20%7B%5Cbf%20X%7D_0%20)%20%2B%20%7B%5Crm%20E%7D(%5Cpmb%20%5Cvarepsilon_0%20%7C%20%7B%5Cbf%20X%7D_0%20)%5C%5C%20%26%3D%7B%5Cbf%20X%7D_0%20%7B%5Crm%20E%7D(%5Cpmb%7Bb-%5Cbeta%7D%7C%20%7B%5Cbf%20X%7D_0)%20%2B%20%7B%5Crm%20E%7D(%5Cpmb%20%5Cvarepsilon_0%20%7C%20%7B%5Cbf%20X%7D_0%20)%20%5Cend%7Bsplit%7D)
由于:
是 的无偏估计，所以 %3D0)
严格外生性假设，所以 %3D0)
从而
%3D0)
所以 是 的无偏估计
证毕。
3.8.2 本身的方差
我们可以计算：
%20%3D%20%7B%5Crm%20Var%7D(%7B%5Cbf%20X%7D_0%20%5Cpmb%20b%7C%20%7B%5Cbf%20X%7D_0%20)%20%3D%20%7B%5Cbf%20X%7D_0%20%7B%5Crm%20Var%7D(%5Cpmb%20b%7C%20%7B%5Cbf%20X%7D_0%20)%20%7B%5Cbf%20X%7D_0%20%5E%5Cprime%20%3D%20%5Csigma%5E2%20%7B%5Cbf%20X%7D_0%20(%7B%5Cbf%20X%7D%5E%5Cprime%20%7B%5Cbf%20X%7D)%7B%5Cbf%20X%7D_0%20%5E%5Cprime)
这个方差所反映的是，由于抽样误差  所带来的 带来波动。
3.8.3 预测误差  的方差
其实更多的时候我关心的是预测误差 的方差：
![\begin{split} {\rm Var}( \hat{\pmb y_0} - \pmb y_0| {\bf X}_0 ) &= {\rm Var}[{\bf X_0} (\pmb{ b-\beta}) - \pmb \varepsilon_0| {\bf X}_0 ]\\ &={\rm Var}(\pmb \varepsilon_0| {\bf X}_0 ) + {\rm Var}({\bf X_0}\pmb{ b}| {\bf X}_0 )+ \underbrace{{\rm Var}({\bf X_0} \pmb{\beta}| {\bf X}_0 )}_{=\pmb 0}\\ &= \sigma^2 + \sigma^2 {\bf X}_0 ({\bf X}^\prime {\bf X}){\bf X}_0 ^\prime \end{split}](https://math.jianshu.com/math?formula=%5Cbegin%7Bsplit%7D%20%7B%5Crm%20Var%7D(%20%5Chat%7B%5Cpmb%20y_0%7D%20-%20%5Cpmb%20y_0%7C%20%7B%5Cbf%20X%7D_0%20)%20%26%3D%20%7B%5Crm%20Var%7D%5B%7B%5Cbf%20X_0%7D%20(%5Cpmb%7B%20b-%5Cbeta%7D)%20-%20%5Cpmb%20%5Cvarepsilon_0%7C%20%7B%5Cbf%20X%7D_0%20%5D%5C%5C%20%26%3D%7B%5Crm%20Var%7D(%5Cpmb%20%5Cvarepsilon_0%7C%20%7B%5Cbf%20X%7D_0%20)%20%2B%20%7B%5Crm%20Var%7D(%7B%5Cbf%20X_0%7D%5Cpmb%7B%20b%7D%7C%20%7B%5Cbf%20X%7D_0%20)%2B%20%5Cunderbrace%7B%7B%5Crm%20Var%7D(%7B%5Cbf%20X_0%7D%20%5Cpmb%7B%5Cbeta%7D%7C%20%7B%5Cbf%20X%7D_0%20)%7D_%7B%3D%5Cpmb%200%7D%5C%5C%20%26%3D%20%5Csigma%5E2%20%2B%20%5Csigma%5E2%20%7B%5Cbf%20X%7D_0%20(%7B%5Cbf%20X%7D%5E%5Cprime%20%7B%5Cbf%20X%7D)%7B%5Cbf%20X%7D_0%20%5E%5Cprime%20%5Cend%7Bsplit%7D)
在第一个等号到第二个等号，我们假设了 与  不相关，因为估计 的时候并没有用到后者的信息，所以才可以有 %20%3D%20%7B%5Crm%20Var%7D(A)%2B%7B%5Crm%20Var%7D(B)) 。
在这里，预测的误差有两个来源：
第一项：系统误差，是由于线性假设本身造成的误差
第二项：抽样误差，是由于我对参数进行估计而造成的误差
|