【正文】 1 第 3 章 多元線性回歸 多元線性回歸模型 回歸方程的擬合優(yōu)度 顯著性檢驗(yàn) 中心化和標(biāo)準(zhǔn)化 相關(guān)陣與偏相關(guān)系數(shù) 2 學(xué)習(xí)目標(biāo) 1. 回歸模型、回歸方程、估計(jì)的回歸方程 2. 回歸方程的擬合優(yōu)度 3. 回歸方程的顯著性檢驗(yàn) 4. 利用回歸方程進(jìn)行估計(jì)和預(yù)測 5. 用 SPSS或 Excel 進(jìn)行回歸分析 3 多元線性回歸模型 多元回歸模型與回歸方程 估計(jì)的多元回歸方程 參數(shù)的最小二乘估計(jì) 4 多元回歸模型與回歸方程 5 多元回歸模型 (multiple regression model) 1. 一個(gè)因變量與兩個(gè)及兩個(gè)以上自變量的回歸 2. 描述因 變量 y 如何依賴于自變量 和誤差項(xiàng) 的方程 ， 稱為多元回歸模型 3. 涉 及 p 個(gè)自變量的多元回歸模型可表示為 ? 是參數(shù) ? 是被稱為誤差項(xiàng)的隨機(jī)變量 ? y 是 的線性函數(shù)加上誤差項(xiàng) ? 包含在 y里面但不能被 p個(gè)自變量的線性關(guān)系所解釋的變異性 0 1 1 2 2 ppy x x x? ? ? ? ?? ? ? ? ? ?() 01, , , , p? ? ?12, , , px x x???12, , , px x x?6 多元回歸模型 (基本假定 ) ■ GaussMarkov假設(shè) 1. 誤 差項(xiàng) 是一個(gè)期望值為 0的隨機(jī)變量 ，即 ； 2. 對于 自變量 的所有值 ， 的方差 都相同； 3. 誤 差項(xiàng) 是彼此相互獨(dú)立的 。 12, , , px x x??2??( ) 0E ? ?7 多元回歸模型 (基本假定 ) 解釋變量 是確定性變量， ， 是滿秩矩陣 ■ 正態(tài)分布的假定 12, , , px x x1np?? X212( 0 , ), , ,inN??? ? ????? 相互獨(dú)立 8 多元回歸方程 (multiple regression equation) 1. 描 述因變量 y 的平均值或期望值如何依賴于自變量 的方程 2. 多 元線性回歸方程的形式為 : ? 稱為回歸系數(shù) ? 表示假定其他變量不變 ， 當(dāng) 每變動一個(gè)單位時(shí) ， y 的平均變動值 ()iiEyx?? ??0 1 1 2 2() ppE y x x x? ? ? ?? ? ? ? ?12, , , px x x01, , , , p? ? ?i? ix9 二元回歸方程的直觀解釋 二元線性回歸模型 ???? ???? 22110 xxy(觀察到的 y) 22110)( xxyE ??? ???回歸面 ?0 ?i x1 y x2 (x1,x2) } 10 如果我們獲得 n組觀測數(shù)據(jù) 12( , , , 。 ) ,i i i p ix x x y1 , 2 , , ,in? 則線性回歸模型 ()可表示為 1 0 1 11 2 12 1 12 0 1 21 2 22 2 20 1 1 2 2ppppn n n p np ny x x xy x x xy x x x? ? ? ? ?? ? ? ? ?? ? ? ? ?? ? ? ? ? ???? ? ? ? ? ????? ? ? ? ? ? ??寫成矩陣形式為 ??yX β ε11 12,nyyy?????????????y12n????????????????ε11 12 121 22 212111ppn n npx x xx x xx x x?????????X01p????????????????β其中 12 矩陣 是 矩陣，稱 為回歸設(shè)計(jì)矩陣或資料矩陣 ( 1 )np??X X由 GaussMarkov假設(shè)和多元正態(tài)分布的 性質(zhì)可知 ( ) 2( , )nN ??yX β I2(0 , )nN ??ε I13 估計(jì)的多元回歸方程 14 估計(jì)的多元回歸的方程 (estimated multiple regression equation) ? 是 的估計(jì)值 ? 是 y 的估計(jì)值 0 1 2? ? ? ?, , , , p? ? ? ?0 1 2, , , , p? ? ? ?0 1 1 2 2? ? ? ?? ppy x x x? ? ? ?? ? ? ? ?0 1 2? ? ? ?, , , , p? ? ? ?0 1 2, , , , p? ? ? ??y1. 用樣本統(tǒng)計(jì)量 估計(jì)回歸方程中的參數(shù) 時(shí)得到的方程 2. 由最小二乘法求得 3. 一般形式為 15 與一元回歸的相似點(diǎn) 仍然是截距 到 都成為斜率參數(shù) 仍然是誤差項(xiàng)（或稱擾動項(xiàng)） 仍然需要做一個(gè)條件期望為 0的假設(shè)， 現(xiàn)在假設(shè)： 仍然最小化殘差的平方和，所以現(xiàn)在有 p+1 個(gè)一階條件 0?1? p?ε12( , , , ) 0pE x x x??ε16 一元回歸估計(jì) VS多元回歸估計(jì) 0 1 1yx????比較簡單回歸 和復(fù)雜回歸 一般情況下 11? ???除非： 2? 0? ?（即： x2的偏效應(yīng)為 0） 或者 x1和 x2在樣本中不相關(guān) 0 1 1 2 2? ? ??y x x? ? ?? ? ?17 參數(shù)的最小二乘估計(jì) 18 參數(shù)的最小二乘法 2. 求 解 各回歸參數(shù)的標(biāo)準(zhǔn)方程如下： 00?0?00 ( 1 , 2 , , )iiiip????????? ??????????? ??1. 使 因變量的觀察值與估計(jì)值之間的離差平方和達(dá)到最小來求得 , 即 0 1 2? ? ? ?, , , , p? ? ? ?() 19 參數(shù)的最小二乘法 以上方程組經(jīng)整理后，得到用矩陣形式表示的正歸方程組 得 當(dāng) 存在時(shí)，即得回歸參數(shù)的最小二乘估計(jì)為 ? )0? ?X ( y X β???XX β = X y? 1(X X)? ??1β = (X X ) X y20 回歸值與殘差 0 1 1 2 2? ? ? ?? i i i p i py x x x? ? ? ?? ? ? ? ?稱 為觀測值 的回歸擬合值 ， 簡稱回歸值 ； 由 可得因變量向量 的回歸值 iy? ??1β = (X X ) X y12( , , , )ny y y ??y?? ?? 1y = X β = X (X X ) X y = H y() 注意：要求 必須存在 ， 應(yīng)有 1()??XX 1np??21 ()式中的 稱為帽子矩陣， ??1H = X (X X ) X它是 n階對稱陣 ， 同時(shí)還是冪等陣 ， 即 也是投影陣。 的主對角線元素記為 ，可 以證明，帽子矩陣的跡為 稱 為回歸殘差向量 。 2H = HH iih1( ) 1niiit r h p?? ? ??H12 ?( , , )ne e e ?? ? ? ?e y y y H y ( I H ) y22 殘差向量 e的協(xié)方差陣為 22( ) c o v ( )c o v ( ( )( ) c o v ( )( ) ( )()nDI?????????e e , eI H ) y , ( I H ) yI H y , y ) ( I HI H I HI H于是有 2( ) ( 1 )i i iD e h ???23 根據(jù) ()式可知，殘差滿足關(guān)系式 1000iiii ipeexex?????????????24 誤差項(xiàng)方差 的無偏估計(jì)為 2?22111? ()1111niiSSEn p n penp?????? ? ? ?????ee25 回歸參數(shù)的極大似然估計(jì) (MLE) 多元線性回歸參數(shù)的 MLE與一元線性回歸時(shí) MLE思想一致；對于多元線性回歸模型： 即 遵從多元正態(tài)分布 ， 那么 的概率分布為 2( 0 , )nN ????? ??yX β εε Iε y2( , )nN ??yX β I26 這時(shí)，似然函數(shù)為 2 / 221( 2 ) e xp ( ) ( )2nL ???? ?? ?? ? ? ?????yX β yX β221l n l n ( 2 ) l n ( ) ( ) ( )2 2 2nnL ??? ?? ? ? ? ? ?yX β yX β求上式的極大值 ， 等價(jià)于對 求極小值 ， 到此與 OLSE完全相同 ， 即 ( ) ( )???yX β yX β? ??1β = (X X ) X y27 誤差項(xiàng)方差 的 MLE為 2?2 11? ()L SSEnn? ??? ee 這是 的有偏估計(jì) ， 但它滿足一致性 ， 在大樣本的情況下 ， 是 的漸進(jìn)無偏 估計(jì)量 。 2?2?28 參數(shù)的最小二乘法 (例題分析 ) 【 例 】 國際旅游外匯收入是國民經(jīng)濟(jì)發(fā)展的重要 組成部分 ， 影響一個(gè)國家或地區(qū)旅游收入的因素包括 自然 、 文化 、 社會 、 經(jīng)濟(jì) 、 交通等多方面的因素 ， 本 例研究第三產(chǎn)業(yè)對旅游外匯收入的影響 。 第三產(chǎn)業(yè)由 12個(gè)組成部分 ， 分別是 農(nóng)林牧漁服務(wù)業(yè) ， 地質(zhì)