【正文】 項(xiàng)） 仍然需要做一個(gè)條件期望為 0的假設(shè)， 現(xiàn)在假設(shè)： 仍然最小化殘差的平方和，所以現(xiàn)在有 p+1 個(gè)一階條件 0?1? p?ε12( , , , ) 0pE x x x??ε16 一元回歸估計(jì) VS多元回歸估計(jì) 0 1 1yx????比較簡(jiǎn)單回歸 和復(fù)雜回歸 一般情況下 11? ???除非： 2? 0? ?（即： x2的偏效應(yīng)為 0） 或者 x1和 x2在樣本中不相關(guān) 0 1 1 2 2? ? ??y x x? ? ?? ? ?17 參數(shù)的最小二乘估計(jì) 18 參數(shù)的最小二乘法 2. 求 解 各回歸參數(shù)的標(biāo)準(zhǔn)方程如下： 00?0?00 ( 1 , 2 , , )iiiip????????? ??????????? ??1. 使 因變量的觀(guān)察值與估計(jì)值之間的離差平方和達(dá)到最小來(lái)求得 , 即 0 1 2? ? ? ?, , , , p? ? ? ?() 19 參數(shù)的最小二乘法 以上方程組經(jīng)整理后，得到用矩陣形式表示的正歸方程組 得 當(dāng) 存在時(shí)，即得回歸參數(shù)的最小二乘估計(jì)為 ? )0? ?X ( y X β???XX β = X y? 1(X X)? ??1β = (X X ) X y20 回歸值與殘差 0 1 1 2 2? ? ? ?? i i i p i py x x x? ? ? ?? ? ? ? ?稱(chēng) 為觀(guān)測(cè)值 的回歸擬合值 ， 簡(jiǎn)稱(chēng)回歸值 ； 由 可得因變量向量 的回歸值 iy? ??1β = (X X ) X y12( , , , )ny y y ??y?? ?? 1y = X β = X (X X ) X y = H y() 注意：要求 必須存在 ， 應(yīng)有 1()??XX 1np??21 ()式中的 稱(chēng)為帽子矩陣， ??1H = X (X X ) X它是 n階對(duì)稱(chēng)陣 ， 同時(shí)還是冪等陣 ， 即 也是投影陣。 從 可知 ， 之間是有一定 的聯(lián)系 ， 因而根據(jù) 可以分析 各分量的波動(dòng)以 及各分量之間的相關(guān)程度 。 12, , , px x xyyixix63 中心化和標(biāo)準(zhǔn)化 在回歸分析中 ， 多個(gè)自變量的單位不同 ， 給利用回歸 方程進(jìn)行結(jié)構(gòu)分析帶來(lái)一定困難；還有可能由于舍入 誤差使計(jì)算結(jié)果不理想 。 當(dāng)自變量所使用的單位不同時(shí) ， 用普通最小二 乘估計(jì)的回歸系數(shù)不具有可比性 ， 得不到合理 的解釋 ， 例如 標(biāo)準(zhǔn)化回歸系數(shù)是比較自變量對(duì) y影響程度相對(duì) 重要性的較為理想的方法 。 y ix ix jx12 。 1） 建立家庭書(shū)刊消費(fèi)的回歸模型； 2） 利用樣本數(shù)據(jù)估計(jì)模型的參數(shù)； 3） 檢驗(yàn)戶(hù)主受教育年數(shù)對(duì)家庭書(shū)刊消費(fèi)是否有 顯著影響； 4） 分析所估計(jì)模型的經(jīng)濟(jì)意義和作用 。 4 , , 23 。 由樣本觀(guān)測(cè)值 分別計(jì)算 與 間的簡(jiǎn)單相關(guān)系數(shù) ， 得自變量樣本相關(guān)陣 12, , , , 1 , 2 ,i i i px x x i n?ixjx ijr12 121 212111pppprrrrrrr?????????????71 對(duì)于中心標(biāo)準(zhǔn)化的設(shè)計(jì)陣 ， 相關(guān)陣為 ()i j n px?? ??X()????r X X進(jìn)一步求出 y與每個(gè)自變量 的相關(guān)系數(shù) ， 得增廣 的樣本相關(guān)陣 ix yir121 12 12 21 2121111y y y pypyppy p pr r rr r rr r rr r r?????????????????r72 用 SPSS計(jì)算例 關(guān)陣如下： Y X1 X2 X3 X4 X5 X6 X7 X8 X9 X 1 0 X 1 1 X 1 21 0 . 2 6 0 0 . 3 4 2 0 . 5 8 0 0 . 4 7 9 0 . 5 1 8 0 . 5 3 0 0 . 7 4 1 0 . 3 7 9 0 . 5 7 6 0 . 6 7 3 0 . 2 5 7 0 . 0 3 80 . 2 6 0 1 0 . 6 3 9 0 . 6 9 1 0 . 7 3 8 0 . 5 8 2 0 . 5 1 9 0 . 6 6 3 0 . 6 9 1 0 . 7 1 8 0 . 1 5 0 0 . 7 5 8 0 . 3 0 10 . 3 4 2 0 . 6 3 9 1 0 . 7 7 3 0 . 6 5 8 0 . 5 0 2 0 . 4 6 4 0 . 6 0 2 0 . 6 6 0 0 . 6 8 6 0 . 1 1 8 0 . 7 6 0 0 . 3 3 70 . 5 8 0 0 . 6 9 1 0 . 7 7 3 1 0 . 9 3 4 0 . 7 4 2 0 . 7 1 0 0 . 8 8 5 0 . 8 6 7 0 . 8 8 9 0 . 3 1 4 0 . 8 5 5 0 . 4 5 70 . 4 7 9 0 . 7 3 8 0 . 6 5 8 0 . 9 3 4 1 0 . 7 8 0 0 . 7 4 3 0 . 8 8 7 0 . 9 2 6 0 . 8 9 2 0 . 3 4 8 0 . 8 4 9 0 . 4 3 70 . 5 1 8 0 . 5 8 2 0 . 5 0 2 0 . 7 4 2 0 . 7 8 0 1 0 . 9 8 9 0 . 7 4 0 0 . 7 9 0 0 . 8 5 0 0 . 6 3 0 0 . 7 0 5 0 . 5 1 50 . 5 3 0 0 . 5 1 9 0 . 4 6 4 0 . 7 1 0 0 . 7 4 3 0 . 9 8 9 1 0 . 7 0 3 0 . 7 5 3 0 . 8 2 1 0 . 6 4 6 0 . 6 6 6 0 . 4 9 30 . 7 4 1 0 . 6 6 3 0 . 6 0 2 0 . 8 8 5 0 . 8 8 7 0 . 7 4 0 0 . 7 0 3 1 0 . 7 8 1 0 . 8 3 4 0 . 5 4 1 0 . 6 4 9 0 . 1 9 00 . 3 7 9 0 . 6 9 1 0 . 6 6 0 0 . 8 6 7 0 . 9 2 6 0 . 7 9 0 0 . 7 5 3 0 . 7 8 1 1 0 . 9 3 1 0 . 4 0 4 0 . 9 0 6 0 . 5 4 80 . 5 7 6 0 . 7 1 8 0 . 6 8 6 0 . 8 8 9 0 . 8 9 2 0 . 8 5 0 0 . 8 2 1 0 . 8 3 4 0 . 9 3 1 1 0 . 5 6 9 0 . 8 9 5 0 . 5 3 30 . 6 7 3 0 . 1 5 0 0 . 1 1 8 0 . 3 1 4 0 . 3 4 8 0 . 6 3 0 0 . 6 4 6 0 . 5 4 1 0 . 4 0 4 0 . 5 6 9 1 0 . 2 4 1 0 . 1 5 50 . 2 5 7 0 . 7 5 8 0 . 7 6 0 0 . 8 5 5 0 . 8 4 9 0 . 7 0 5 0 . 6 6 6 0 . 6 4 9 0 . 9 0 6 0 . 8 9 5 0 . 2 4 1 1 0 . 6 1 30 . 0 3 8 0 . 3 0 1 0 . 3 3 7 0 . 4 5 7 0 . 4 3 7 0 . 5 1 5 0 . 4 9 3 0 . 1 9 0 0 . 5 4 8 0 . 5 3 3 0 . 1 5 5 0 . 6 1 3 1Co r r e l at i o n s YX1X2X3X4X5X 1 0X 1 1X 1 2X6X7X8X973 二 偏決定系數(shù) 在多元回歸分析中 ， 當(dāng)其他變量被固定后 ， 給 定的任兩個(gè)變量之間的相關(guān)系數(shù) ， 叫偏相關(guān)系 數(shù) 。 )px x x y,i j i j j i ix x x y y y??? ? ? ?1 , 2 , , 。 ?c o v ( , ) 0?β e2( , )nN ??yX β I21? ( , ( ) )N ? ???β β XX22/ ( 1 )S S E n p?? ????β SSE39 作業(yè)： 證明性質(zhì) 6 性質(zhì) 6中 (2)的證明提示：借助于 定理：設(shè) ， A為 對(duì)稱(chēng)陣 ， 秩 為 r， 則當(dāng) A滿(mǎn)足： ， 二次型 ( 0 , )nN?XI nn?2 ?AA2r???X A X40 證明： ? ? ? ?0? ?( ) ( )( ) ( )SSE???????? ??? ? ?????NXe e y y y y( I H) y ( I H) yy ( I H) y y N yX β ε NX β εε N ε根據(jù)上面提供的定理 ， 只需證明 ( ) 1r k n pN ? ? ?由于 41 ? ?? ?111( ) ( )()()1nrk t rn t rn t rnpN I X X X XX X X XX X X X???????????????? ? ?因?yàn)? 是冪等陣 ， 所以有 ； 故 N ( ) ( )r k t rNN?這就證明了性質(zhì) 6的 (2)。 2H = HH iih1( ) 1niiit r h p?? ? ??H12 ?( , , )ne e e ?? ? ? ?e y y y H y ( I H ) y22 殘差向量 e的協(xié)方差陣為 22( ) c o v ( )c o v ( ( )( ) c o v ( )( ) ( )()nDI?????????e e , eI H ) y , ( I H ) yI H y , y ) ( I HI H I HI H于是有 2( ) ( 1 )i i iD e h ???23 根據(jù) ()式可知，殘差滿(mǎn)足關(guān)系式 1000iiii ipeexex?????????????24 誤差項(xiàng)方差 的無(wú)偏估計(jì)為 2?22111? ()1111niiSSEn p n penp?????? ? ? ?????ee25 回歸參數(shù)的極大似然估計(jì) (MLE) 多元線(xiàn)性回歸參數(shù)的 MLE與一元線(xiàn)性回歸時(shí) MLE思想一致；對(duì)于多元線(xiàn)性回歸模型： 即 遵