【正文】 F 值，可使我們否定原假設(shè) 。最通常利用的檢驗(yàn)是 021 ???? k??? ? , 20526cea4e291d4d4b2a47115609da33 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財(cái)經(jīng)大學(xué)經(jīng)濟(jì)信息管理系 IS/SHUFE Page 6 of 40 這個(gè)聯(lián)合假設(shè)的檢驗(yàn)。為了解決這個(gè)問題，提出了修正 2R ，使得只有當(dāng)新增變量確實(shí)對(duì)因變量有所作用時(shí)修正 2R 才會(huì)增加。在一元回歸時(shí)已經(jīng)指出 2R 較大常指模型與數(shù)據(jù)擬合得較好，在多元回歸時(shí)很容易錯(cuò)誤地去尋找一個(gè)極大化 2R 的回歸模型。 20526cea4e291d4d4b2a47115609da33 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財(cái)經(jīng)大學(xué)經(jīng)濟(jì)信息管理系 IS/SHUFE Page 5 of 40 表 回歸方差分析表 變異來源 source 離差平方和 SS 自由度 df 均方 MS F 統(tǒng)計(jì)量 F P 概率值 P 回歸 R RS k kRSSMSR /? M SEM SRF kNk /1, ??? P 誤差 E ES 1??kN )1/( ??? kNE S SM S E 總變異 T TS 1?N 從而 YY XXYYTSSE SSR ?????????? ???? ????112 () 若因變量不具 有 0 平均值，我們必須改進(jìn)一下 2R 的定義。 四、 R2 和 F 檢驗(yàn) 我們可將 Y 的總變差分成兩部分，一部分代表已說明變差，另一部分代表 未 說明變差。這就使我們能按照與前面所述相同的方式確定各個(gè)回歸參數(shù)的置信區(qū)間。 和 ? ?ii ???? 相互獨(dú)立。 服 從 2? 分布，具有 N－ k－ 1 個(gè)自由度； ? 錯(cuò)誤 !未定義書簽。當(dāng)用 2s 近似 2? 時(shí)，我們不得不用 t假設(shè)檢驗(yàn)。因此， ? ? 12 ??XXs 是Var(?? )的估計(jì)。當(dāng) 0?C 時(shí)，另外的估計(jì)量 b 就是普通最小二乘法估計(jì)量，這樣，我們的定理就得到證明。由于 ?? )( CAb ??? ，所以有 ： ]))(][([])()[(}])][(){ [ (]))([()(??????????????????CACAECACAECACAEbbEbV ar???????? () 由于 ： ? ?? ?? ? ? ? ? ? ? ? CCCXXXXXCXXXXXXX CCCAACAACACA ???????????? ??????????????? 1111 因?yàn)?0???? CXCX ，所以 ? ?? ? ? ? CCXXCACA ??????? ? 1，即 ： ? ?CCV arCCXXbV ar??????? ?212)?(][)(??? () 我們可以看出， C? 為一半正定矩陣。請(qǐng)注意 ?? =AY。事實(shí)上， ?? 為 ? 的最佳線性無偏估計(jì)量，也就是說 ， 它在全部無偏估計(jì)量中方差最小，這就是著名的高斯 －馬爾可夫定理。因?yàn)?： ? ? ? ? ? ? ? ? ????? XXXXXXXYXXX ??????????? ??? 111? () 設(shè)式中 ? ? XXXA ??? ?1 ，且是常數(shù)，這樣 ： ? ? ? ? ? ? ?????? ????? AEAEE () 根據(jù)式 () ，可以看到，只要遺漏變量都是隨機(jī)分布的，與 X無關(guān)，并且具有 0 均值，則最小二乘法估計(jì)量將是無偏的。 現(xiàn)在可以考慮最小二乘估計(jì)量的性質(zhì)。最小化的二階條件是， XX? 是一個(gè)正定矩陣。假若我們按 Y 的分布來表示 第三個(gè) 假設(shè)，則可寫成下式： ),(~ 2 IXNY ?? () 二、 最小二乘法估計(jì) 我們的目的是求出一個(gè)參數(shù)向量使得殘差平方和最小，即 ： 20526cea4e291d4d4b2a47115609da33 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財(cái)經(jīng)大學(xué)經(jīng)濟(jì)信息管理系 IS/SHUFE Page 2 of 40 ??? ???1 2 ??? ??Nt tE SS () 式中 ： YY ?? ??? () ??? XY? () 其中 ， ?? 表示回歸殘差的 N列向量，而 Y? 表示 Y 擬合值的 N 列向量， ?? 表示為估計(jì)參數(shù)的 (k+1) 列向量，將式 ()和式 ()代入式 ()，則得： ? ? ? ?????????2 ??XXYXYYXYXYE SS???????????? () 為了確定最小二乘法估計(jì)量，我們求 ESS 對(duì) ?? 進(jìn)行微分，并使之等于 0，即 ： 0?22? ???????? ?? XXYXE S S () 所以 ： ? ? )(? 1 YXXX ??? ?? () 被稱為“交叉乘積矩陣” ，即 錯(cuò)誤 !未定義書簽。如 果出現(xiàn)完全共線性，矩陣 X的一列將為其余列的線性組合，而 X的秩將小于 (k+1) )，關(guān)于誤差的假設(shè)是最有用的假設(shè)，因?yàn)橛盟梢员ＷC最小二乘法估計(jì)過程的統(tǒng)計(jì)性質(zhì)。 經(jīng)典的線性回歸模型的假設(shè)可以闡述如下： ? 模型形式由 ()給定； ? 矩陣 X 的元素都是確定的， X 的秩為 (k+1)，且 k 小于觀察數(shù) N； ? ? 為正態(tài)分布， E(? )=0 和 ? ? IE 2??? ?? ，式中 I 為 NN 單位矩陣。 在矩陣 X 表達(dá)式中，每一個(gè)元素 Xij 都有兩個(gè)下標(biāo)，第一個(gè)下標(biāo)表示相應(yīng)的列（變量），第二個(gè)下標(biāo)表示相應(yīng)的行（觀察）。 () 式中 。20526cea4e291d4d4b2a47115609da33 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財(cái)經(jīng)大學(xué)經(jīng)濟(jì)信息管理系 IS/SHUFE Page 1 of 40 第三十二課 多元線性回歸分析 一、 多元回歸模型表示法 通常，回歸模型包括 k 個(gè)變量，即一個(gè)因變量和 k個(gè)自變量（包括常數(shù)項(xiàng)）。由于具有 N個(gè)方程來概括回歸模型 ： NtXXXY tktkttt ,2,1,22110 ?? ??????? ????? () 模型的相應(yīng)矩陣方程表示為： 錯(cuò)誤 !未定義書簽。 ????????????????????????????????????????????????????????????NkkNNkkN XXXXXXXYYYY???????? ?????????2110121211121,111, () 其中 ,Y為因變量觀察的 N列向量， X為自變量觀察的 N (k+1) 矩陣， ?為末知參數(shù)的 (k+1) )列向量， ? 為 誤差觀察的 N 列向量。矩陣 X 的每一列表示相應(yīng)的給定變量的 N 次觀察的向量，與截矩有關(guān)的所有觀察值都等于 1。 根據(jù) X 的秩為 (k+1) 的假定，可以保證不會(huì)出現(xiàn)共線性。除了正態(tài)性外，我們還假定每一個(gè)誤差項(xiàng)的平均值為 0，方差為常數(shù)， 以及協(xié)方差為 0 。 矩陣能夠保證逆變換，這是因?yàn)槲覀兗僭O(shè) X的秩為 (k+1),該假設(shè)直接導(dǎo)致了 XX? 的非奇異性。 最小二乘法殘差有一個(gè)有益的特性，即 ： ? ? 0??? ????????? ??? XXYXXYXX () 這個(gè)結(jié)果說明自變量和殘差的交叉乘積的總和為 O，這個(gè)公式在一些推導(dǎo)中是非常有用的。首先可以證明它們是無偏估計(jì)量。 ? ? ? ? ? ?? ? 1211 ])?)(?[( )?(??????????????XXXXXEXXXEV ar???????? () 20526cea4e291d4d4b2a47115609da33 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財(cái)經(jīng)大學(xué)經(jīng)濟(jì)信息管理系 IS/SHUFE Page 3 of 40 我們看到，最小二乘法估計(jì)量為線性和無偏估計(jì)量。為了證明高斯－馬爾可夫定理，我們需要證明，任何其他線性估計(jì)量 b 的方差比 ?? 的方差大。為了不失去一般性，我們可寫成： ?? )()()( CAXCAYCAb ?????? () 假如 b 是無偏的，則 ： ? ? ? ?? ???????????? ? 1CXICXXXXXbE () 式 ()成立的一個(gè)必要和充分的條件是 0?CX ，這樣就可以研究矩陣 )(bVar 。該矩陣的二次型為 0，只有當(dāng) C ＝ 0（所有元素為 0）時(shí)才出現(xiàn)。 三、 2? 的估計(jì)和 t檢驗(yàn) 為了計(jì)算估計(jì)參數(shù)的方差 － 協(xié)方差矩陣，我們需要給出 2? 的估計(jì)量，該估計(jì)量自然選為 ： 1??2 ???? kNs ?? () 20526cea4e291d4d4b2a47115609da33 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財(cái)經(jīng)大學(xué)經(jīng)濟(jì)信息管理系 IS/SHUFE Page 4 of 40 證明 2s 為 2? 的一個(gè)無偏估計(jì)量，雖很單調(diào)冗長，但不困難 。當(dāng) 2? 為已知時(shí)，可用正態(tài)分布假設(shè)檢驗(yàn)。為此，我們利用以下的統(tǒng)計(jì)結(jié)果： ? 若 2? 已知，則2?? ????服從 2? 分布，具有 N－ k－ 1 個(gè)自由度； ? 錯(cuò)誤 !未定義書簽。 ，當(dāng) i=0， 1， 2,?， k時(shí)，服從正態(tài)分布，平均值為 0，方差為 iv2? ，其中 vi 為 ? ?1??XX 的第 i 個(gè)對(duì)角線元素； ? 錯(cuò)誤 !未定義書簽。 由此得出： )1(~? ????? kNtvstiiikN ?? () 該式為 t分布，具有 (Nk1)個(gè)自由度。假如 t值的絕對(duì)值相當(dāng)大，就可以在適當(dāng)選定的置 信水平上否定原假設(shè)，參數(shù)的 ??1 置信區(qū)間可由下式得出： ii vst 2/? ?? ? () 其中 ， 2/?t 為與 %? 顯著水平有關(guān)的 t分布臨界值。為了簡化公式推導(dǎo)過程，首先我們假定 Y 變量具有 0 平均值，即 Y =0，則有 ： ????????????????????)??()??()()()( 21?????????????????????? ??XXXXXXYYYYYYYYTSS iiNii () 由于 0????X 和 0? ??X? ， 因此： ES SRSS XXT SS ?? ????? ???? ???? () 式中 TS 為總平方和， RS 為回歸（已說明）平方和， ES 為殘差（未說明）平方和，歸納成回歸方差分析表，見表 。這樣， ????Ni iii YNYy 11 由此可以得出： ?? ?????????? Ni iNYNYYyy 1 2 () 和 yyNYNXXT SSR SSRNii???????????? ?? 122?? ?? () 注意到一個(gè)數(shù)學(xué)上的事實(shí)：隨著模型中增添新的變量， 2R 必定會(huì)增加，從而只要給模型增添越來越多的新因素，就可能使得 2R 人為地增大。我們應(yīng)該知道一個(gè)好的多元回歸模型，應(yīng) 是 具有合理個(gè)數(shù)的有意義自變量的簡單模型。我們定義 2R 為修正的 2R ，它校正擬合優(yōu)度對(duì)自由度的依賴關(guān)系，如下式 所 示： ? ?? ?? ?? ? )1(11111122RkN NNTS SkNE S SR??? ???????? () 現(xiàn)在就可以考慮對(duì)回歸系數(shù)集的統(tǒng)計(jì)檢驗(yàn)。合適的 F 統(tǒng)計(jì)量為： kkNRRkNR kRF kNk 11)1/()1( / 22221, ?????????? () 具有 k和 N－ k－ 1自由度。 五