【正文】 能夠保證的平均值與的平均值相等；雖然不能保證每一個殘差都為0，但我們可以保證殘差的平均值為0。（4）對模型進OLS估計，證明殘差與樣本不相關，即?？偠灾?，在利用R2時，我們的模型一定要帶有截距。如果當樣本回歸函數(shù)是：，則殘差的自由度為N3。R2忽視了自由度調整，這由下面的推導可以看出：在這里，與都是對相應總體方差的有偏估計。類似。對于模型：，如果恒成立，則X不是列滿秩的，因此不存在，故無法估計。筆記：為什么假設列滿秩？是矩陣。定義：則有：。上述兩種估計具有什么不同的后果呢？可以證明， 是有偏估計而是無偏估計。然而，如果施加一個約束，為常數(shù)，那么x的自由度就減少了，新的自由度就是N1。證明：對于簡單線性回歸模型：， R2是y與x的樣本相關系數(shù)的平方。所以，盡管成立，但現(xiàn)在該式并不意味著成立。法二：給定，看起來與越近越好（最近距離是0）。我們對這兩個參數(shù)的值一無所知。進而有：，這被稱為樣本回歸模型。值得指出的是，在本講義中，在沒有引起混淆的情況下，我們有時也用、來表示總體方差與協(xié)方差，不過上述公式同樣成立。（二）總平方和、解釋平方和與殘差平方和定義：其中TSS、ESS、RSS分別被稱為總平方和、解釋平方和與殘差平方和。增加解釋變量將增加待估計的參數(shù)，在樣本容量有限的情況下，這并不一定是明智之舉。 例如，當利用公式來估計總體方差時，我們實際上是對變量求樣本均值。筆記：對于估計結果，是不是的數(shù)值大于就一定意味著在解釋變量時比更加重要呢？答案是“不一定！”。假定，則。 在研究簡單線性回歸模型時，我們似乎并沒有關注解釋變量完全共線問題。被稱為標準化系數(shù)或者系數(shù)。甲同學足夠幸運，他獲得的確實比乙同學所獲得的高，但這是否就意味著，依據(jù)已有的樣本，甲同學所選取的模型就一定優(yōu)于乙同學所選取的呢？答案是“不一定！”。例如，我們從總體中隨機抽取來計算以作總體均值的估計，現(xiàn)在x的自由度是N，顯然N越大則以作為總體均值的估計越精確。為什么呢？舉一個例子。方差分解亦是信息分解。由正規(guī)方程（2），并結合正規(guī)方程（1）有：無論用何種估計方法，我們都希望殘差所包含的信息價值很小，如果殘差還含有大量的信息價值，那么該估計方法是需要改進的！對模型利用OLS，我們能保證（1）：殘差均值為零；（2）殘差與解釋變量x不相關【一個變量與另一個變量相關是一個重要的信息】。該理論在討論x與y的關系時認為影響