【文章內(nèi)容簡(jiǎn)介】 于，因此，需證：上式左端是什么？？對(duì)于簡(jiǎn)單線性回歸模型，在假設(shè)體系下，我們已證明。事實(shí)上，按照附錄知識(shí)點(diǎn)與，一個(gè)服從()分布的隨機(jī)變量其平方服從(，)分布。補(bǔ)充知識(shí)點(diǎn):增加解釋變量并不一定增加，除非…一、簡(jiǎn)單情形假定我們初始選擇的模型是：，那么；如果我們選擇的模型是：，則增加了一個(gè)解釋變量。我們已知道，此時(shí)。而，因此只有當(dāng)或者時(shí)，才會(huì)大于零。二、推廣在初始模型上增加解釋變量，只要增加變量的估計(jì)系數(shù)的（在計(jì)算該值時(shí)所對(duì)應(yīng)的原假設(shè)是其真實(shí)系數(shù)為），那么調(diào)整的判定系數(shù)將增加?！緫?yīng)該注意到，并不一定意味著增加變量其估計(jì)的系數(shù)與有顯著差異】補(bǔ)充知識(shí)點(diǎn)：相關(guān)系數(shù)的假設(shè)檢驗(yàn)、簡(jiǎn)單相關(guān)系數(shù)的假設(shè)檢驗(yàn)我們想判斷隨機(jī)變量與的簡(jiǎn)單相關(guān)系數(shù)是否為零。按照，在假設(shè)體系：下，當(dāng)原假設(shè)為真時(shí)，【注：是樣本相關(guān)系數(shù)】現(xiàn)在我們考慮另外一種思路。建立回歸模型：，再考察是否與有顯著差異。上面最后一個(gè)等式之所以成立，首先是因?yàn)樵诤?jiǎn)單線性回歸模型中，等于與的樣本簡(jiǎn)單相關(guān)系數(shù)的平方，其次是因?yàn)楫?dāng)小于零時(shí)，是負(fù)數(shù)，因此值為正數(shù)；當(dāng)大于零時(shí)，是正數(shù)，因此值為正數(shù)。總的來看，的方法與回歸檢驗(yàn)方法等價(jià)。換句話說，如果你試圖依據(jù)樣本判斷隨機(jī)變量與的簡(jiǎn)單相關(guān)系數(shù)是否為零，你可以建立簡(jiǎn)單線性回歸模型然后對(duì)斜率系數(shù)進(jìn)行檢驗(yàn)，如果與有顯著差異，則可以拒絕為的原假設(shè)。、偏相關(guān)系數(shù)的假設(shè)檢驗(yàn)與的簡(jiǎn)單相關(guān)可能是由于兩變量分別與相關(guān)造成的。在控制了之后，與還具有相關(guān)性嗎？在控制了之后，與的相關(guān)關(guān)系被稱為偏相關(guān)，記為。如何計(jì)算樣本偏相關(guān)系數(shù)？步驟：第步：把對(duì)進(jìn)行回歸有： （）第步：把對(duì)進(jìn)行回歸，即有： （）第步：計(jì)算與的樣本簡(jiǎn)單相關(guān)系數(shù)，有：可以證明，見附錄。當(dāng)然我們還能檢驗(yàn)是否與有顯著差異。方法是對(duì)回歸【注：不含截距，當(dāng)然你可以包含截距，但你會(huì)發(fā)現(xiàn)，截距的估計(jì)結(jié)果肯定為，這是因?yàn)榕c其均值都為零，而基于簡(jiǎn)單線性回歸截距估計(jì)量的公式，這意味著截距估計(jì)量為】，在原假設(shè)下進(jìn)行檢驗(yàn)。值得注意的是，此時(shí)自由度應(yīng)該是()而不是!這是因?yàn)榕c的自由度是。利用上述檢驗(yàn)方法來檢驗(yàn)與的偏相關(guān)關(guān)系顯得太復(fù)雜了，事實(shí)上，基于回歸模型：，在原假設(shè)下進(jìn)行檢驗(yàn)即可檢驗(yàn)與的偏相關(guān)關(guān)系。為什么呢？因?yàn)榫褪强刂屏撕髮?duì)的影響【在第六講，我們將表明】。、復(fù)相關(guān)系數(shù)的假設(shè)檢驗(yàn) 與（，）的相關(guān)關(guān)系被稱為復(fù)相關(guān)，記為。如何計(jì)算樣本復(fù)相關(guān)系數(shù)？基于回歸模型：，計(jì)算與的樣本簡(jiǎn)單相關(guān)系數(shù)，并取絕對(duì)值，則得到與（，）的樣本復(fù)相關(guān)系數(shù)。根據(jù)第一講，與的樣本簡(jiǎn)單相關(guān)系數(shù)的平方就是上述回歸的判定系數(shù)。 基于回歸模型：在原假設(shè)下進(jìn)行檢驗(yàn)，則等價(jià)于檢驗(yàn)原假設(shè)：復(fù)相關(guān)系數(shù)?；貞浺幌?，在原假設(shè)下，當(dāng)判定系數(shù)時(shí)。筆記一：對(duì)于回歸模型：，在原假設(shè)下進(jìn)行檢驗(yàn)實(shí)際上是檢驗(yàn)與（，）的復(fù)相關(guān)關(guān)系；在原假設(shè)下進(jìn)行檢驗(yàn)實(shí)際上是檢驗(yàn)與的偏相關(guān)關(guān)系（控制了）。筆記二：即使檢驗(yàn)表明及其與皆無顯著差異，但這并不意味著與是聯(lián)合不顯著的！！這就好比一種包含兩種成份的藥品，其中任何一種成份單獨(dú)看來或許并無明顯藥效，然而，兩成份的聯(lián)合藥效可能很大。 附錄：關(guān)于單側(cè)檢驗(yàn)的拒絕域如果假設(shè)體系是：那么在顯著水平下，拒絕域應(yīng)該是。應(yīng)該注意到，現(xiàn)在，屬于“不拒絕域”了！下面提供初步的解釋。假定我們?cè)谠僭O(shè)下得到一個(gè)統(tǒng)計(jì)量值，該值為負(fù)數(shù)。在原假設(shè)為真的情況下，假定有： 注意，只有在原假設(shè)為真的情況下，我們才能利用，從而獲得上述概率值。如果備擇假設(shè)為真，并假定的真實(shí)值就是，那么我們也可以獲得概率值。顯然。因此，比較而言，原假設(shè)為真比備擇假設(shè)為真更加可信！盡管在原假設(shè)為真的情況下也出現(xiàn)了小概率事件。你應(yīng)該能夠推廣，如果依據(jù)一種先驗(yàn)的理論，我們?cè)O(shè)定假設(shè)體系是：那么在顯著水平下，拒絕域應(yīng)該是前面我們是利用標(biāo)準(zhǔn)正態(tài)分布來進(jìn)行假設(shè)檢驗(yàn)。事實(shí)上，既然，我們完全也可以利用正態(tài)分布來做假設(shè)檢驗(yàn)，其麻煩之處僅在于，此時(shí)沒有標(biāo)準(zhǔn)的分布表可以利用了。如果采用這樣的檢驗(yàn)方法，那么在假設(shè)體系下，當(dāng)顯著水平為時(shí)，其拒絕域如圖所示：圖應(yīng)該注意，當(dāng)原假設(shè)為真時(shí)，的分布才是如圖所示！如果備擇假設(shè)為真，假定，其中，那么此時(shí)的分布如圖藍(lán)色曲線所示。當(dāng)然也可以假定，其中，那么此時(shí)的分布如圖綠色曲線所示。現(xiàn)在，針對(duì)特定樣本得到估計(jì)值，如果該值的位置恰好位于的左邊，那么我們應(yīng)該拒絕原假設(shè)；同樣，當(dāng)估計(jì)值的位置恰好位于的右邊時(shí)，我們也應(yīng)該拒絕原假設(shè)。圖當(dāng)假設(shè)體系是：時(shí)，在備擇假設(shè)為真的情況，的分布如圖綠色曲線所示。在這里?，F(xiàn)在，仍然假定針對(duì)特定樣本所得到估計(jì)值其位置恰好位于的左邊，表面看來，我們也應(yīng)該拒絕原假設(shè)，然而注意到，離、更遠(yuǎn)（只要大于），因此，我們更應(yīng)該拒絕備擇假設(shè)！因此，在假設(shè)體系是完備的情況下，我們不能把作為原假設(shè)的拒絕域。如果把的分布標(biāo)準(zhǔn)化，即變形為標(biāo)準(zhǔn)正態(tài)分布，那么與之相應(yīng)，我們不能把作為原假設(shè)的拒絕域 。圖附錄：正態(tài)分布、卡方分布、分布與分布. 是期望值為，標(biāo)準(zhǔn)差為的隨機(jī)變量，則所服從分布的偏度與峰度分別被定義為. 如果，則。另外，當(dāng)是奇數(shù)時(shí)，. ，則. . , 且兩者獨(dú)立，則當(dāng)時(shí)，漸進(jìn)分布于。另外，附錄 區(qū)間預(yù)測(cè)假定真實(shí)模型是：，模型滿足經(jīng)典線性模型假定。以作為對(duì)的預(yù)測(cè)。此時(shí)預(yù)測(cè)誤差是：顯然，()，（參見第二講補(bǔ)充知識(shí)點(diǎn)），服從正態(tài)分布。即因此，在置信水平下，對(duì)的區(qū)間預(yù)測(cè)是：與上述過程類似，我們可以得到()的區(qū)間預(yù)測(cè)。一個(gè)問題是，我們經(jīng)常需要對(duì)進(jìn)行估計(jì)。換句話說，我們不知()，但我們可以獲得對(duì)它的估計(jì)()。 由于，因此，即，因此，在置信水平下，對(duì)的區(qū)間預(yù)測(cè)是：與上述過程類似，我們也可以利用分布重新構(gòu)建對(duì)()的區(qū)間預(yù)測(cè)。附錄：證明證明：基于代數(shù)有：故按照判定系數(shù)的定義，與分別是回歸（）與回歸（）的判定系數(shù)。而在簡(jiǎn)單線性回歸中，判定系數(shù)等于被解釋變量與解釋變量（樣本）簡(jiǎn)單相關(guān)系數(shù)的平方，因此有：第四講 異方差回憶高斯馬爾科夫假定，該假定包括了同方差假定：。維持其他假定，并假設(shè)真實(shí)模型是，那么這意味著：應(yīng)該注意到，在這里是隨機(jī)的（由于是隨機(jī)的）。為了理解該假定，我們先看看下面的一個(gè)圖。 圖一 同方差 在圖一中，各空心圓點(diǎn)是，注意，按照我們的假定，是非隨機(jī)的【注：在重復(fù)抽樣的情況下，給定的取值，不隨樣本的變化而變化。】，而實(shí)心圓點(diǎn)表示觀測(cè)值，其橫坐標(biāo)是，縱坐標(biāo)是隨機(jī)變量的一個(gè)實(shí)現(xiàn)，它與相對(duì)應(yīng)。傾斜的直線代表：圖一顯示了一個(gè)重要特征，即，對(duì)應(yīng)于，盡管的期望值在變化，但它們的離散程度（方差）是不變的，由于，因此，圖一意味著是一個(gè)與沒有任何關(guān)系的常數(shù)。 然而，誤差項(xiàng)是同方差的可能并不符合經(jīng)濟(jì)現(xiàn)實(shí)。例如，如果代表居民儲(chǔ)蓄，代表收入，那么經(jīng)常出現(xiàn)的情況是，低收入居民間的儲(chǔ)蓄不會(huì)有太大的差異，這是因?yàn)樵跐M足基本消費(fèi)后剩余收入已不多。但在高收入居民間，儲(chǔ)蓄可能受消費(fèi)習(xí)慣、家庭成員構(gòu)成等因素的影響而千差萬別。圖二能夠展示這種現(xiàn)象。圖二 異方差在圖二中，依據(jù)所對(duì)應(yīng)的分布曲線形狀，所對(duì)應(yīng)的實(shí)心圓點(diǎn)看起來是一個(gè)異常點(diǎn)，但依據(jù)所對(duì)應(yīng)的分布曲線形狀，它也許是正常的，因?yàn)樗鶎?duì)應(yīng)的分布曲線形狀表明，隨機(jī)變量的方差很大。如果我們有很多與的觀測(cè)值，那么在上述情況下，一個(gè)典型的散點(diǎn)圖如圖三所示【注：如果方差小，那么在正常情況下，觀察值將離期望值不遠(yuǎn)；如果方差很大，那么觀測(cè)值離期望值較遠(yuǎn)也是正常的。你能夠畫圖說明嗎？？】。利用圖形來初步識(shí)別異方差現(xiàn)象經(jīng)常被采用。 應(yīng)該注意的是，如果第一個(gè)高斯馬爾科夫假定被違背，即模型設(shè)定有誤，那么也可能出現(xiàn)“異方差”。例如，我們所設(shè)定的模型遺漏了變量，而這些遺漏變量進(jìn)入了誤差項(xiàng)，導(dǎo)致誤差項(xiàng)不滿足同方差假定；再例如，正確的模型是非線性的，但我們錯(cuò)誤地設(shè)定為線性，那么基于這個(gè)線性模型，誤差項(xiàng)看起來也許是異方差的。如果產(chǎn)生異方差的原因是模型設(shè)定有誤，那么我們首先應(yīng)該要作的事情是正確設(shè)定模型，而不是如本講后面所談到的在估計(jì)方法上做文章！不過，在本講中，我們假定所有其他的高斯馬爾科夫假定成立，僅僅是同方差假定不成立。 圖三 異方差情況下的散點(diǎn)圖 一、 異方差的后果在證明高斯馬爾科夫定理時(shí)，我們僅僅在證明估計(jì)量的方差最小（在所有線性無偏估計(jì)量中）時(shí)用到了同方差的假定，而在證明線性、無偏性并沒有用到該假定，因此違背同方差假定并不影響上述性質(zhì)。在證明方差最小時(shí)，我們分了兩步，其中第一步是計(jì)算估計(jì)量的方差。作為一個(gè)復(fù)習(xí)，下面我們把這個(gè)過程再演示一遍。真實(shí)模型是：，那么有：在重要假定五：下，有：在重要假定四：下，思考題：如果序列無關(guān)假定與同方差假定都可能不成立，根據(jù)上述推導(dǎo)過程，那么我們應(yīng)該先檢驗(yàn)無序列相關(guān)假定還是先檢驗(yàn)同方差假定？筆記：在實(shí)踐中，在檢驗(yàn)同方差假定之前，我們應(yīng)該首先確認(rèn)序列無關(guān)假定是否成立，當(dāng)該假定不成立時(shí)，首先應(yīng)該校正序列相關(guān)性，然后在進(jìn)行同方差檢驗(yàn)。顯然，如果同方差假定不成立。計(jì)量軟件包通常（默認(rèn)方式）是通過公式：來計(jì)算的標(biāo)準(zhǔn)誤（），其中用來估計(jì)誤差項(xiàng)的方差。應(yīng)該注意，只有在高斯馬爾科夫假定成立的前提下，才是對(duì)誤差項(xiàng)方差的一個(gè)無偏估計(jì)。當(dāng)誤差項(xiàng)是異方差時(shí)，即誤差項(xiàng)的方差隨著 的不同而不同，但我們卻利用一個(gè)與無關(guān)的估計(jì)量去估計(jì)它【的最終結(jié)果與有關(guān)嗎？？】，顯然，這是荒謬的！因此，當(dāng)存在異方差時(shí)， 不能被認(rèn)為是對(duì)誤差方差的一個(gè)恰當(dāng)?shù)墓烙?jì)，進(jìn)而，采用公式來計(jì)算標(biāo)準(zhǔn)誤也是錯(cuò)誤的。事實(shí)上，此時(shí)的期望值【為什么要強(qiáng)調(diào)期望值？？】并不等于的真實(shí)方差。再次強(qiáng)調(diào)標(biāo)準(zhǔn)誤與標(biāo)準(zhǔn)差的區(qū)別?。‘?dāng)沒有給定樣本時(shí)，是估計(jì)量，它是隨機(jī)的，但其方差（包括期望值）是非隨機(jī)的。關(guān)鍵的問題是，我們不知道它的真實(shí)方差到底多少，我們需要估計(jì)它。如果我們利用去估計(jì)它，那么就是一個(gè)估計(jì)量，因此，它也是隨機(jī)的，進(jìn)而，也是隨機(jī)的。實(shí)際上，是對(duì)的估計(jì)，在沒有指定樣本時(shí)，它是一個(gè)估計(jì)量。******樣本均值是對(duì)總體均值的估計(jì)；樣本標(biāo)準(zhǔn)差是對(duì)總體標(biāo)準(zhǔn)差的估計(jì)。標(biāo)準(zhǔn)誤實(shí)際上就是樣本標(biāo)準(zhǔn)差??！******如果通常的標(biāo)準(zhǔn)誤公式是不妥當(dāng)?shù)模ㄔ诖嬖诋惙讲顣r(shí)，通常的并不是的無偏估計(jì)；通常的也不是的一致估計(jì)），那么依據(jù)它所進(jìn)行的檢驗(yàn)、檢驗(yàn)是不可靠的！思考題：檢驗(yàn)在何處體現(xiàn)了同方差假定？實(shí)際上，我們可以不依賴于同方差假定計(jì)算一個(gè)標(biāo)準(zhǔn)誤，由于該標(biāo)準(zhǔn)誤不依賴于同方差假定，那么它將是異方差穩(wěn)健的。在本章后面我們將涉及到這個(gè)異方差穩(wěn)健標(biāo)準(zhǔn)。既然存在異方差，在估計(jì)各系數(shù)時(shí)我們?yōu)楹尾焕眠@個(gè)信息呢？要知道，利用的信息越多，我們獲得的估計(jì)量其方差將越小，即精度越高。利用估計(jì)法來估計(jì)系數(shù)時(shí)并沒有利用異方差這個(gè)信息，因此，在存在異方差的情況下，在所有線性無偏估計(jì)量中，估計(jì)量并不是最有效的【事實(shí)上，高斯馬爾科定理成立的前提是高斯馬爾科夫假定成立?！俊Ｔ诒菊潞竺嫖覀円矊⒖紤]一個(gè)當(dāng)存在異方差時(shí)，在所有線性無偏估計(jì)量中是最有效的一個(gè)估計(jì)量，即加權(quán)最小二乘（）估計(jì)量。二、 發(fā)現(xiàn)異方差（一） 檢驗(yàn)在經(jīng)典線性模型假定中，該檢驗(yàn)假設(shè)，只有同方差假定或許并不成立，而其他假定是成立的。該檢驗(yàn)進(jìn)一步假設(shè)，在異方差的情況下，誤差項(xiàng)的方差與某一個(gè)變量 x可以不是解釋變量中的一個(gè)。的取值范圍有關(guān)。檢驗(yàn)步驟：、對(duì)個(gè)觀測(cè)值按升序排列，并拋棄中間的個(gè)觀測(cè)值，形成兩個(gè)容量都為的子樣本；、就兩個(gè)子樣本分別進(jìn)行回歸，記、分別為兩次回歸的殘差平方和。、如果較大，則計(jì)算；反之，則計(jì)算。在同方差的原假設(shè)下，【為什么？？】，若計(jì)算出的值大于，則在顯著水平下我們拒絕原假設(shè)。注釋：為了提高檢驗(yàn)的勢(shì)（不會(huì)錯(cuò)誤地不拒絕原假設(shè)的概率），中間被拋棄的觀測(cè)值數(shù)目約為總樣本容量的，以使與的差異看起來顯得更明顯【“放大鏡”】。通俗地講，所謂檢驗(yàn)的勢(shì)，是指該檢驗(yàn)對(duì)原假設(shè)的“苛刻度”，如果該檢驗(yàn)不會(huì)輕易地“不拒絕原假設(shè)”，那么檢驗(yàn)的勢(shì)就高。實(shí)際上，如果輕易地“不拒絕原假設(shè)”，那么我們犯“第二類錯(cuò)誤”（不拒絕錯(cuò)誤的原假設(shè)）的概率就高。顯然，當(dāng)檢驗(yàn)對(duì)原假設(shè)的“苛刻度”較高時(shí)我們?nèi)匀徊痪芙^原假設(shè)，那么原假設(shè)的真實(shí)性是更加可信的。（二） 檢驗(yàn)檢驗(yàn)對(duì)誤差方差的形式作了假定。然而，很多時(shí)候我們對(duì)誤差方差的形式并無確切的先驗(yàn)信息，除了知道它與解釋變量具有一定關(guān)系之外。此時(shí)，我們可以利用檢驗(yàn)。如果模型是，檢驗(yàn)的步驟是：、估計(jì)模型并計(jì)算殘差的平方；、估計(jì)輔助回歸（ ）模型：原模型同方差的原假設(shè)對(duì)應(yīng)于輔助模型的原假設(shè)：筆記一：為何用殘差的平方來代替方差？簡(jiǎn)單推理：，而服從一個(gè)期望值為的分布，因此，或者，我們無法觀測(cè)，因此，用殘差的平方來近似它，即，進(jìn)而，筆記二：在檢驗(yàn)下，我們對(duì)誤差方差的形式并無確切的先驗(yàn)信息。然而，基于泰勒展開，我們可以利用解釋變量的平方和交叉相乘來近似。利用拉格朗日乘數(shù)（）統(tǒng)計(jì)量進(jìn)行檢驗(yàn)。其中是輔助模型的判定系數(shù)（利用第三講的術(shù)語，對(duì)于輔助模型，它就是不受約束情況下的判定系數(shù)），是輔助模型中不包含截距項(xiàng)的解釋變量的個(gè)數(shù)，在上例中。注釋：對(duì)于輔助模型，應(yīng)該為【約束條件是】。直觀來看，如果與相差不多，那么我們應(yīng)該不拒絕原假設(shè)【這個(gè)原假設(shè)就是】。為何近似服從卡方分布？？按照第三講，對(duì)輔助模型，當(dāng)原假設(shè)為真時(shí)，與相差不多，因此因此，在樣本容很大的情況下。按照第三講附錄，如果，則當(dāng)時(shí)，漸進(jìn)分布于。因此。在小樣本中，我們通常利用檢驗(yàn)。如果原模型解釋變量比較多，顯然，在估計(jì)輔助回歸時(shí)可能面臨自由度不足的問題，此時(shí)，我們可以建立輔助模型：再利用或者檢驗(yàn)來檢驗(yàn)原假設(shè)：。（三） 檢驗(yàn)關(guān)于異方差形式的先驗(yàn)信息在檢驗(yàn)中是無價(jià)值的！可以說，檢驗(yàn)法是普適的，然而也是粗糙的！正因如此，當(dāng)檢驗(yàn)表明不拒絕