【正文】 ???????24 誤差項方差 的無偏估計為 2?22111? ()1111niiSSEn p n penp?????? ? ? ?????ee25 回歸參數(shù)的極大似然估計 (MLE) 多元線性回歸參數(shù)的 MLE與一元線性回歸時 MLE思想一致；對于多元線性回歸模型： 即 遵從多元正態(tài)分布 ， 那么 的概率分布為 2( 0 , )nN ????? ??yX β εε Iε y2( , )nN ??yX β I26 這時，似然函數(shù)為 2 / 221( 2 ) e xp ( ) ( )2nL ???? ?? ?? ? ? ?????yX β yX β221l n l n ( 2 ) l n ( ) ( ) ( )2 2 2nnL ??? ?? ? ? ? ? ?yX β yX β求上式的極大值 ， 等價于對 求極小值 ， 到此與 OLSE完全相同 ， 即 ( ) ( )???yX β yX β? ??1β = (X X ) X y27 誤差項方差 的 MLE為 2?2 11? ()L SSEnn? ??? ee 這是 的有偏估計 ， 但它滿足一致性 ， 在大樣本的情況下 ， 是 的漸進(jìn)無偏 估計量 。 ) ,i i i p ix x x y1 , 2 , , ,in? 則線性回歸模型 ()可表示為 1 0 1 11 2 12 1 12 0 1 21 2 22 2 20 1 1 2 2ppppn n n p np ny x x xy x x xy x x x? ? ? ? ?? ? ? ? ?? ? ? ? ?? ? ? ? ? ???? ? ? ? ? ????? ? ? ? ? ? ??寫成矩陣形式為 ??yX β ε11 12,nyyy?????????????y12n????????????????ε11 12 121 22 212111ppn n npx x xx x xx x x?????????X01p????????????????β其中 12 矩陣 是 矩陣，稱 為回歸設(shè)計矩陣或資料矩陣 ( 1 )np??X X由 GaussMarkov假設(shè)和多元正態(tài)分布的 性質(zhì)可知 ( ) 2( , )nN ??yX β I2(0 , )nN ??ε I13 估計的多元回歸方程 14 估計的多元回歸的方程 (estimated multiple regression equation) ? 是 的估計值 ? 是 y 的估計值 0 1 2? ? ? ?, , , , p? ? ? ?0 1 2, , , , p? ? ? ?0 1 1 2 2? ? ? ?? ppy x x x? ? ? ?? ? ? ? ?0 1 2? ? ? ?, , , , p? ? ? ?0 1 2, , , , p? ? ? ??y1. 用樣本統(tǒng)計量 估計回歸方程中的參數(shù) 時得到的方程 2. 由最小二乘法求得 3. 一般形式為 15 與一元回歸的相似點(diǎn) 仍然是截距 到 都成為斜率參數(shù) 仍然是誤差項（或稱擾動項） 仍然需要做一個條件期望為 0的假設(shè)， 現(xiàn)在假設(shè)： 仍然最小化殘差的平方和，所以現(xiàn)在有 p+1 個一階條件 0?1? p?ε12( , , , ) 0pE x x x??ε16 一元回歸估計 VS多元回歸估計 0 1 1yx????比較簡單回歸 和復(fù)雜回歸 一般情況下 11? ???除非： 2? 0? ?（即： x2的偏效應(yīng)為 0） 或者 x1和 x2在樣本中不相關(guān) 0 1 1 2 2? ? ??y x x? ? ?? ? ?17 參數(shù)的最小二乘估計 18 參數(shù)的最小二乘法 2. 求 解 各回歸參數(shù)的標(biāo)準(zhǔn)方程如下： 00?0?00 ( 1 , 2 , , )iiiip????????? ??????????? ??1. 使 因變量的觀察值與估計值之間的離差平方和達(dá)到最小來求得 , 即 0 1 2? ? ? ?, , , , p? ? ? ?() 19 參數(shù)的最小二乘法 以上方程組經(jīng)整理后，得到用矩陣形式表示的正歸方程組 得 當(dāng) 存在時，即得回歸參數(shù)的最小二乘估計為 ? )0? ?X ( y X β???XX β = X y? 1(X X)? ??1β = (X X ) X y20 回歸值與殘差 0 1 1 2 2? ? ? ?? i i i p i py x x x? ? ? ?? ? ? ? ?稱 為觀測值 的回歸擬合值 ， 簡稱回歸值 ； 由 可得因變量向量 的回歸值 iy? ??1β = (X X ) X y12( , , , )ny y y ??y?? ?? 1y = X β = X (X X ) X y = H y() 注意：要求 必須存在 ， 應(yīng)有 1()??XX 1np??21 ()式中的 稱為帽子矩陣， ??1H = X (X X ) X它是 n階對稱陣 ， 同時還是冪等陣 ， 即 也是投影陣。1 第 3 章 多元線性回歸 多元線性回歸模型 回歸方程的擬合優(yōu)度 顯著性檢驗(yàn) 中心化和標(biāo)準(zhǔn)化 相關(guān)陣與偏相關(guān)系數(shù) 2 學(xué)習(xí)目標(biāo) 1. 回歸模型、回歸方程、估計的回歸方程 2. 回歸方程的擬合優(yōu)度 3. 回歸方程的顯著性檢驗(yàn) 4. 利用回歸方程進(jìn)行估計和預(yù)測 5. 用 SPSS或 Excel 進(jìn)行回歸分析 3 多元線性回歸模型 多元回歸模型與回歸方程 估計的多元回歸方程 參數(shù)的最小二乘估計 4 多元回歸模型與回歸方程 5 多元回歸模型 (multiple regression model) 1. 一個因變量與兩個及兩個以上自變量的回歸 2. 描述因 變量 y 如何依賴于自變量 和誤差項 的方程 ， 稱為多元回歸模型 3. 涉 及 p 個自變量的多元回歸模型可表示為 ? 是參數(shù) ? 是被稱為誤差項的隨機(jī)變量 ? y 是 的線性函數(shù)加上誤差項 ? 包含在 y里面但不能被 p個自變量的線性關(guān)系所解釋的變異性 0 1 1 2 2 ppy x x x? ? ? ? ?? ? ? ? ? ?() 01, , , , p? ? ?12, , , px x x???12, , , px x x?6 多元回歸模型 (基本假定 ) ■ GaussMarkov假設(shè) 1. 誤 差項 是一個期望值為 0的隨機(jī)變量 ，即 ； 2. 對于 自變量 的所有值 ， 的方差 都相同； 3. 誤 差項 是彼此相互獨(dú)立的 。 12, , , px x x??2??( ) 0E ? ?7 多元回歸模型 (基本假定 ) 解釋變量 是確定性變量， ， 是滿秩矩陣 ■ 正態(tài)分布的假定 12, , , px x x1np?? X212( 0 , ), , ,inN??? ? ????? 相互獨(dú)立 8 多元回歸方程 (multiple regression equation) 1. 描 述因變量 y 的平均值或期望值如何依賴于自變量 的方程 2. 多 元線性回歸方程的形式為 : ? 稱為回歸系數(shù) ? 表示假定其他變量不變 ， 當(dāng) 每變動一個單位時 ， y 的平均變動值 ()iiEyx?? ??0 1 1 2 2() ppE y x x x? ? ? ?? ? ? ? ?12, , , px x x01, , , , p? ? ?i? ix9 二元回歸方程的直觀解釋 二元線性回歸模型 ???? ???? 22110 xxy(觀察到的 y) 22110)( xxyE ??? ???回歸面 ?0 ?i x1 y x2 (x1,x2) } 10 如果我們獲得 n組觀測數(shù)據(jù) 12( , , , 。 的主對角線元素記為 ，可 以證明，帽子矩陣的跡為 稱 為回歸殘差向量 。 2?2?28 參數(shù)的最小二乘法 (例題分析 ) 【 例 】 國際旅游外匯收入是國民經(jīng)濟(jì)發(fā)展的重要 組成部分 ， 影響一個國家或地區(qū)旅游收入的因素包括 自然 、 文化 、 社會 、 經(jīng)濟(jì) 、 交通等多方面的因素 ， 本 例研究第三產(chǎn)業(yè)對旅游外匯收入的影響 。 選取 1998年我國 31個省 、 市 、 自治區(qū)的 1x 2x3x 4x5x 6x7x 8x 9x10x 11x12x29 S ta n d a r d iz e d Co e f f ic ie n tsB S td . E r r o r B e ta L o w e r B o u n d U p p e r B o u n d( Co n s ta n t) 2 0 5 . 5 5 2 1 1 6 . 9 6 4 1 . 7 5 7 0 . 0 9 6 4 5 1 . 2 8 5 4 0 . 1 8 1X1 1 . 4 9 5 2 2 . 8 8 7 0 . 0 1 3 0 . 0 6 5 0 . 9 4 9 4 9 . 5 7 8 4 6 . 5 8 8X2 2 . 6 4 9 1 8 . 5 9 2 0 . 0 2 3 0 . 1 4 2 0 . 8 8 8 3 6 . 4 1 1 4 1 . 7