【文章內(nèi)容簡介】 于，因此，需證：上式左端是什么？？對于簡單線性回歸模型，在假設(shè)體系下，我們已證明。事實上，按照附錄知識點與，一個服從()分布的隨機變量其平方服從(，)分布。補充知識點:增加解釋變量并不一定增加，除非…一、簡單情形假定我們初始選擇的模型是：，那么；如果我們選擇的模型是：，則增加了一個解釋變量。我們已知道，此時。而，因此只有當或者時，才會大于零。二、推廣在初始模型上增加解釋變量，只要增加變量的估計系數(shù)的（在計算該值時所對應(yīng)的原假設(shè)是其真實系數(shù)為），那么調(diào)整的判定系數(shù)將增加?！緫?yīng)該注意到，并不一定意味著增加變量其估計的系數(shù)與有顯著差異】補充知識點：相關(guān)系數(shù)的假設(shè)檢驗、簡單相關(guān)系數(shù)的假設(shè)檢驗我們想判斷隨機變量與的簡單相關(guān)系數(shù)是否為零。按照，在假設(shè)體系：下，當原假設(shè)為真時，【注：是樣本相關(guān)系數(shù)】現(xiàn)在我們考慮另外一種思路。建立回歸模型：，再考察是否與有顯著差異。上面最后一個等式之所以成立，首先是因為在簡單線性回歸模型中，等于與的樣本簡單相關(guān)系數(shù)的平方，其次是因為當小于零時，是負數(shù)，因此值為正數(shù)；當大于零時，是正數(shù)，因此值為正數(shù)?？偟膩砜?，的方法與回歸檢驗方法等價。換句話說，如果你試圖依據(jù)樣本判斷隨機變量與的簡單相關(guān)系數(shù)是否為零，你可以建立簡單線性回歸模型然后對斜率系數(shù)進行檢驗，如果與有顯著差異，則可以拒絕為的原假設(shè)。、偏相關(guān)系數(shù)的假設(shè)檢驗與的簡單相關(guān)可能是由于兩變量分別與相關(guān)造成的。在控制了之后，與還具有相關(guān)性嗎？在控制了之后，與的相關(guān)關(guān)系被稱為偏相關(guān)，記為。如何計算樣本偏相關(guān)系數(shù)？步驟：第步：把對進行回歸有： （）第步：把對進行回歸，即有： （）第步：計算與的樣本簡單相關(guān)系數(shù)，有：可以證明，見附錄。當然我們還能檢驗是否與有顯著差異。方法是對回歸【注：不含截距，當然你可以包含截距，但你會發(fā)現(xiàn)，截距的估計結(jié)果肯定為，這是因為與其均值都為零，而基于簡單線性回歸截距估計量的公式，這意味著截距估計量為】，在原假設(shè)下進行檢驗。值得注意的是，此時自由度應(yīng)該是()而不是!這是因為與的自由度是。利用上述檢驗方法來檢驗與的偏相關(guān)關(guān)系顯得太復(fù)雜了，事實上，基于回歸模型：，在原假設(shè)下進行檢驗即可檢驗與的偏相關(guān)關(guān)系。為什么呢？因為就是控制了后對的影響【在第六講，我們將表明】。、復(fù)相關(guān)系數(shù)的假設(shè)檢驗 與（，）的相關(guān)關(guān)系被稱為復(fù)相關(guān)，記為。如何計算樣本復(fù)相關(guān)系數(shù)？基于回歸模型：，計算與的樣本簡單相關(guān)系數(shù)，并取絕對值，則得到與（，）的樣本復(fù)相關(guān)系數(shù)。根據(jù)第一講，與的樣本簡單相關(guān)系數(shù)的平方就是上述回歸的判定系數(shù)。 基于回歸模型：在原假設(shè)下進行檢驗，則等價于檢驗原假設(shè)：復(fù)相關(guān)系數(shù)。回憶一下，在原假設(shè)下，當判定系數(shù)時。筆記一：對于回歸模型：，在原假設(shè)下進行檢驗實際上是檢驗與（，）的復(fù)相關(guān)關(guān)系；在原假設(shè)下進行檢驗實際上是檢驗與的偏相關(guān)關(guān)系（控制了）。筆記二：即使檢驗表明及其與皆無顯著差異，但這并不意味著與是聯(lián)合不顯著的??！這就好比一種包含兩種成份的藥品，其中任何一種成份單獨看來或許并無明顯藥效，然而，兩成份的聯(lián)合藥效可能很大。 附錄：關(guān)于單側(cè)檢驗的拒絕域如果假設(shè)體系是：那么在顯著水平下，拒絕域應(yīng)該是。應(yīng)該注意到，現(xiàn)在，屬于“不拒絕域”了！下面提供初步的解釋。假定我們在原假設(shè)下得到一個統(tǒng)計量值，該值為負數(shù)。在原假設(shè)為真的情況下，假定有： 注意，只有在原假設(shè)為真的情況下，我們才能利用，從而獲得上述概率值。如果備擇假設(shè)為真，并假定的真實值就是，那么我們也可以獲得概率值。顯然。因此，比較而言，原假設(shè)為真比備擇假設(shè)為真更加可信！盡管在原假設(shè)為真的情況下也出現(xiàn)了小概率事件。你應(yīng)該能夠推廣，如果依據(jù)一種先驗的理論，我們設(shè)定假設(shè)體系是：那么在顯著水平下，拒絕域應(yīng)該是前面我們是利用標準正態(tài)分布來進行假設(shè)檢驗。事實上，既然，我們完全也可以利用正態(tài)分布來做假設(shè)檢驗，其麻煩之處僅在于，此時沒有標準的分布表可以利用了。如果采用這樣的檢驗方法，那么在假設(shè)體系下，當顯著水平為時，其拒絕域如圖所示：圖應(yīng)該注意，當原假設(shè)為真時，的分布才是如圖所示！如果備擇假設(shè)為真，假定，其中，那么此時的分布如圖藍色曲線所示。當然也可以假定，其中，那么此時的分布如圖綠色曲線所示?，F(xiàn)在，針對特定樣本得到估計值，如果該值的位置恰好位于的左邊，那么我們應(yīng)該拒絕原假設(shè)；同樣，當估計值的位置恰好位于的右邊時，我們也應(yīng)該拒絕原假設(shè)。圖當假設(shè)體系是：時，在備擇假設(shè)為真的情況，的分布如圖綠色曲線所示。在這里?，F(xiàn)在，仍然假定針對特定樣本所得到估計值其位置恰好位于的左邊，表面看來，我們也應(yīng)該拒絕原假設(shè)，然而注意到，離、更遠（只要大于），因此，我們更應(yīng)該拒絕備擇假設(shè)！因此，在假設(shè)體系是完備的情況下，我們不能把作為原假設(shè)的拒絕域。如果把的分布標準化，即變形為標準正態(tài)分布，那么與之相應(yīng)，我們不能把作為原假設(shè)的拒絕域 。圖附錄：正態(tài)分布、卡方分布、分布與分布. 是期望值為，標準差為的隨機變量，則所服從分布的偏度與峰度分別被定義為. 如果，則。另外，當是奇數(shù)時，. ，則. . , 且兩者獨立，則當時，漸進分布于。另外，附錄 區(qū)間預(yù)測假定真實模型是：，模型滿足經(jīng)典線性模型假定。以作為對的預(yù)測。此時預(yù)測誤差是：顯然，()，（參見第二講補充知識點），服從正態(tài)分布。即因此，在置信水平下，對的區(qū)間預(yù)測是：與上述過程類似，我們可以得到()的區(qū)間預(yù)測。一個問題是，我們經(jīng)常需要對進行估計。換句話說，我們不知()，但我們可以獲得對它的估計()。 由于，因此，即，因此，在置信水平下，對的區(qū)間預(yù)測是：與上述過程類似，我們也可以利用分布重新構(gòu)建對()的區(qū)間預(yù)測。附錄：證明證明：基于代數(shù)有：故按照判定系數(shù)的定義，與分別是回歸（）與回歸（）的判定系數(shù)。而在簡單線性回歸中，判定系數(shù)等于被解釋變量與解釋變量（樣本）簡單相關(guān)系數(shù)的平方，因此有：第四講 異方差回憶高斯馬爾科夫假定，該假定包括了同方差假定：。維持其他假定，并假設(shè)真實模型是，那么這意味著：應(yīng)該注意到，在這里是隨機的（由于是隨機的）。為了理解該假定，我們先看看下面的一個圖。 圖一 同方差 在圖一中，各空心圓點是，注意，按照我們的假定，是非隨機的【注：在重復(fù)抽樣的情況下，給定的取值，不隨樣本的變化而變化?！?，而實心圓點表示觀測值，其橫坐標是，縱坐標是隨機變量的一個實現(xiàn)，它與相對應(yīng)。傾斜的直線代表：圖一顯示了一個重要特征，即，對應(yīng)于，盡管的期望值在變化，但它們的離散程度（方差）是不變的，由于，因此，圖一意味著是一個與沒有任何關(guān)系的常數(shù)。 然而，誤差項是同方差的可能并不符合經(jīng)濟現(xiàn)實。例如，如果代表居民儲蓄，代表收入，那么經(jīng)常出現(xiàn)的情況是，低收入居民間的儲蓄不會有太大的差異，這是因為在滿足基本消費后剩余收入已不多。但在高收入居民間，儲蓄可能受消費習慣、家庭成員構(gòu)成等因素的影響而千差萬別。圖二能夠展示這種現(xiàn)象。圖二 異方差在圖二中，依據(jù)所對應(yīng)的分布曲線形狀，所對應(yīng)的實心圓點看起來是一個異常點，但依據(jù)所對應(yīng)的分布曲線形狀，它也許是正常的，因為所對應(yīng)的分布曲線形狀表明，隨機變量的方差很大。如果我們有很多與的觀測值，那么在上述情況下，一個典型的散點圖如圖三所示【注：如果方差小，那么在正常情況下，觀察值將離期望值不遠；如果方差很大，那么觀測值離期望值較遠也是正常的。你能夠畫圖說明嗎？？】。利用圖形來初步識別異方差現(xiàn)象經(jīng)常被采用。 應(yīng)該注意的是，如果第一個高斯馬爾科夫假定被違背，即模型設(shè)定有誤，那么也可能出現(xiàn)“異方差”。例如，我們所設(shè)定的模型遺漏了變量，而這些遺漏變量進入了誤差項，導(dǎo)致誤差項不滿足同方差假定；再例如，正確的模型是非線性的，但我們錯誤地設(shè)定為線性，那么基于這個線性模型，誤差項看起來也許是異方差的。如果產(chǎn)生異方差的原因是模型設(shè)定有誤，那么我們首先應(yīng)該要作的事情是正確設(shè)定模型，而不是如本講后面所談到的在估計方法上做文章！不過，在本講中，我們假定所有其他的高斯馬爾科夫假定成立，僅僅是同方差假定不成立。 圖三 異方差情況下的散點圖 一、 異方差的后果在證明高斯馬爾科夫定理時，我們僅僅在證明估計量的方差最?。ㄔ谒芯€性無偏估計量中）時用到了同方差的假定，而在證明線性、無偏性并沒有用到該假定，因此違背同方差假定并不影響上述性質(zhì)。在證明方差最小時，我們分了兩步，其中第一步是計算估計量的方差。作為一個復(fù)習，下面我們把這個過程再演示一遍。真實模型是：，那么有：在重要假定五：下，有：在重要假定四：下，思考題：如果序列無關(guān)假定與同方差假定都可能不成立，根據(jù)上述推導(dǎo)過程，那么我們應(yīng)該先檢驗無序列相關(guān)假定還是先檢驗同方差假定？筆記：在實踐中，在檢驗同方差假定之前，我們應(yīng)該首先確認序列無關(guān)假定是否成立，當該假定不成立時，首先應(yīng)該校正序列相關(guān)性，然后在進行同方差檢驗。顯然，如果同方差假定不成立。計量軟件包通常（默認方式）是通過公式：來計算的標準誤（），其中用來估計誤差項的方差。應(yīng)該注意，只有在高斯馬爾科夫假定成立的前提下，才是對誤差項方差的一個無偏估計。當誤差項是異方差時，即誤差項的方差隨著 的不同而不同，但我們卻利用一個與無關(guān)的估計量去估計它【的最終結(jié)果與有關(guān)嗎？？】，顯然，這是荒謬的！因此，當存在異方差時， 不能被認為是對誤差方差的一個恰當?shù)墓烙?，進而，采用公式來計算標準誤也是錯誤的。事實上，此時的期望值【為什么要強調(diào)期望值？？】并不等于的真實方差。再次強調(diào)標準誤與標準差的區(qū)別?。‘敍]有給定樣本時，是估計量，它是隨機的，但其方差（包括期望值）是非隨機的。關(guān)鍵的問題是，我們不知道它的真實方差到底多少，我們需要估計它。如果我們利用去估計它，那么就是一個估計量，因此，它也是隨機的，進而，也是隨機的。實際上，是對的估計，在沒有指定樣本時，它是一個估計量。******樣本均值是對總體均值的估計；樣本標準差是對總體標準差的估計。標準誤實際上就是樣本標準差??！******如果通常的標準誤公式是不妥當?shù)模ㄔ诖嬖诋惙讲顣r，通常的并不是的無偏估計；通常的也不是的一致估計），那么依據(jù)它所進行的檢驗、檢驗是不可靠的！思考題：檢驗在何處體現(xiàn)了同方差假定？實際上，我們可以不依賴于同方差假定計算一個標準誤，由于該標準誤不依賴于同方差假定，那么它將是異方差穩(wěn)健的。在本章后面我們將涉及到這個異方差穩(wěn)健標準。既然存在異方差，在估計各系數(shù)時我們?yōu)楹尾焕眠@個信息呢？要知道，利用的信息越多，我們獲得的估計量其方差將越小，即精度越高。利用估計法來估計系數(shù)時并沒有利用異方差這個信息，因此，在存在異方差的情況下，在所有線性無偏估計量中，估計量并不是最有效的【事實上，高斯馬爾科定理成立的前提是高斯馬爾科夫假定成立?！?。在本章后面我們也將考慮一個當存在異方差時，在所有線性無偏估計量中是最有效的一個估計量，即加權(quán)最小二乘（）估計量。二、 發(fā)現(xiàn)異方差（一） 檢驗在經(jīng)典線性模型假定中，該檢驗假設(shè)，只有同方差假定或許并不成立，而其他假定是成立的。該檢驗進一步假設(shè)，在異方差的情況下，誤差項的方差與某一個變量 x可以不是解釋變量中的一個。的取值范圍有關(guān)。檢驗步驟：、對個觀測值按升序排列，并拋棄中間的個觀測值，形成兩個容量都為的子樣本；、就兩個子樣本分別進行回歸，記、分別為兩次回歸的殘差平方和。、如果較大，則計算；反之，則計算。在同方差的原假設(shè)下，【為什么？？】，若計算出的值大于，則在顯著水平下我們拒絕原假設(shè)。注釋：為了提高檢驗的勢（不會錯誤地不拒絕原假設(shè)的概率），中間被拋棄的觀測值數(shù)目約為總樣本容量的，以使與的差異看起來顯得更明顯【“放大鏡”】。通俗地講，所謂檢驗的勢，是指該檢驗對原假設(shè)的“苛刻度”，如果該檢驗不會輕易地“不拒絕原假設(shè)”，那么檢驗的勢就高。實際上，如果輕易地“不拒絕原假設(shè)”，那么我們犯“第二類錯誤”（不拒絕錯誤的原假設(shè)）的概率就高。顯然，當檢驗對原假設(shè)的“苛刻度”較高時我們?nèi)匀徊痪芙^原假設(shè)，那么原假設(shè)的真實性是更加可信的。（二） 檢驗檢驗對誤差方差的形式作了假定。然而，很多時候我們對誤差方差的形式并無確切的先驗信息，除了知道它與解釋變量具有一定關(guān)系之外。此時，我們可以利用檢驗。如果模型是，檢驗的步驟是：、估計模型并計算殘差的平方；、估計輔助回歸（ ）模型：原模型同方差的原假設(shè)對應(yīng)于輔助模型的原假設(shè)：筆記一：為何用殘差的平方來代替方差？簡單推理：，而服從一個期望值為的分布，因此，或者，我們無法觀測，因此，用殘差的平方來近似它，即，進而，筆記二：在檢驗下，我們對誤差方差的形式并無確切的先驗信息。然而，基于泰勒展開，我們可以利用解釋變量的平方和交叉相乘來近似。利用拉格朗日乘數(shù)（）統(tǒng)計量進行檢驗。其中是輔助模型的判定系數(shù)（利用第三講的術(shù)語，對于輔助模型，它就是不受約束情況下的判定系數(shù)），是輔助模型中不包含截距項的解釋變量的個數(shù)，在上例中。注釋：對于輔助模型，應(yīng)該為【約束條件是】。直觀來看，如果與相差不多，那么我們應(yīng)該不拒絕原假設(shè)【這個原假設(shè)就是】。為何近似服從卡方分布？？按照第三講，對輔助模型，當原假設(shè)為真時，與相差不多，因此因此，在樣本容很大的情況下。按照第三講附錄，如果，則當時，漸進分布于。因此。在小樣本中，我們通常利用檢驗。如果原模型解釋變量比較多，顯然，在估計輔助回歸時可能面臨自由度不足的問題，此時，我們可以建立輔助模型：再利用或者檢驗來檢驗原假設(shè)：。（三） 檢驗關(guān)于異方差形式的先驗信息在檢驗中是無價值的！可以說，檢驗法是普適的，然而也是粗糙的！正因如此，當檢驗表明不拒絕