多元線性回歸模型分析一(存儲(chǔ)版)
【正文】 可以直接計(jì)算得到： 由正規(guī)方程組 ?????????????????????????yXyXbbXXXXXXXX212122122111Y39。 獲得系數(shù)1β的分塊最小二乘估計(jì)1b的表達(dá)式 ( 2. 29 ) 以后， 將其代入到分塊估計(jì)矩陣中，可以得到： yXbXXbXXXXXXyXXXXX 222222111112111112 )()( ??????????? ?? 從中獲得2b的估計(jì)式為： )()(]))(([]))(([121212111112121111122yMXXMXyXXXXIXXXXXXIXb???????????????? 注意到我們?cè)?jīng)討論過的矩陣1M的性質(zhì)，這是一種基于數(shù)據(jù)1X 回歸的“殘差生成算子”，它作用到某個(gè)向量上所獲得的便是這個(gè) 向量基于數(shù)據(jù)1X回歸的殘差向量。這種情形下的結(jié)果可以由下述推論得到： 推論 ( Co r ol l ar y ) 單獨(dú)回歸系數(shù) 在向量y基于變量],[ zXW ? 的多元最小二乘回歸中，變量 z 的系數(shù)可以按照下述公式計(jì)算： ?????? ?????? yzzzyMzzMz 11 )()()(c 這里 ?z 和?y是 z 和y基于 X 的最小二乘回歸的殘差向量。 ? 從矩陣結(jié)構(gòu)可以看出，其與變量 X無關(guān)，只是一個(gè)數(shù)據(jù)轉(zhuǎn)換工具，其中的矩陣 Jn被稱為 列求和矩陣 。如果年齡和教育是正相關(guān)的，那么上述回歸模型中收入的所有可以觀測(cè)的增加將同教育中的增加具有關(guān)聯(lián)。在多元回歸中，“偏相關(guān)系數(shù)”經(jīng)常表示兩個(gè)變量之間的“直接關(guān)系”，這是一種分離其他變量影響之后的兩者之間的“凈關(guān)系”?？梢岳盟膲K矩陣的分塊求逆公式獲得上述 對(duì)角元素。這樣一來，無論解釋變量與相依變量之間的關(guān)系如何，解釋變量都是“有用”的或者是“有價(jià)值”的。 則有eezzeeuu ??????? ?? )(2c 這里c是全變量回歸中變量 z 的系數(shù)的最小二乘估計(jì)， zXXXXIz ])([ 1 ???? ??是 z 基于 X 線性回歸的殘差向量。假設(shè)矩陣X中 包含常數(shù)項(xiàng) ( 第 1 列全為 1 ) ，則殘差向量yM??y和zM??z的 樣本 均值為零。因此，“擠出” 年齡 影響后的成分之間的關(guān)系是完全獨(dú)立于 年齡 的。正常情形下，人們認(rèn)為較高的教育水平大都與較高的收入水平相關(guān)聯(lián)。 此時(shí)殘差生成矩陣為： JIXXXXIXXXXIMn1)()( 11111111111 ?????????? ?? 此時(shí)1M的作用就是將數(shù)據(jù)進(jìn)行樣本均值為中心的中心化， 因此命題成立。 ? 對(duì)于這個(gè)情形的一種特例，我們考慮向量 Y基于一組變量 X和一個(gè)附加變量 Z的最小二乘回歸問題。 證明：如果回歸方程中的解釋變量是正交的，則有021 ?? XX。 證明： y=Iy=（ P+M） y=Py+My，投影和殘差是正交的 （ 5）平方和分解公式成立： 證明：因?yàn)? 所以 （ 6）殘差平方和可以表示為： 證明：因?yàn)?e=My，且 M是對(duì)陣冪等矩陣，所以 eeyyyy ????? ??IMMPPMPMP ???????? 22IMMPPMPMP ???????? 22eeyyyMMyyPyPyMMyyPPyyMMPPyyy??????????????????????)()()()()()()(yeeyee ?????yeeyyMyyMMyee ??????????（ 7）殘差平方和也可以表示為： 證明：根據(jù)（ 5）式，可得 而且可推知， 又因?yàn)?e=yXb，則有 bXyyyyXbyybXXbyyee ???????????????bXyyXbbXXbyybXybXyee ??????????????? )()(bXXbyyee ??????bXyyXbbXXb ???????bXyyyyXbyybXXbyy??????????????三、分塊回歸與偏回歸 （ partitioned regression and partial regression ） ? 通常在進(jìn)行線性回歸時(shí)我們假定了完全的回歸變量，但事實(shí)上我們只對(duì)其中的部分變量感興趣。已知： eyeXby ???? ?? 這說明最小二乘回歸將變量 y分解成為兩個(gè)部分，一個(gè)部分是擬合值 ，另一個(gè)部分是殘差 e，由于 bXy ??0)(? ???????? bXMYbXMYbXeye? 這說明最小二乘回歸與殘差是正交的。 ? 注意： GMM估計(jì)是一個(gè)大樣本估計(jì)。 ? 樣本形式：用每個(gè)解釋變量分別乘以模型的兩邊，并對(duì)所有樣本點(diǎn)求和，即得到： ??????????????????????????????kiikikiikiiiikikiiiiikikiiixxxxxyxxxxxy)xxx(y)()(22112221122211????????????????YX?)XX( ??? ?? 對(duì)每個(gè)方程的兩邊求期望，有： ??????????????????????????????))(()())(()()(()(22112221122211kiikikiikiiiikikiiiiikikiiixxxxExyExxxxExyE)xxxEyE????????????????? 得到一組矩條件 ? 求解這組矩條件，即得到參數(shù)估計(jì)量 ? 與 OLS、 ML估計(jì)量等價(jià) ???????????????????????????kikikiikiiikikiiiikikiiixxxxxyxxxxxy)xxx(y)???()???(???22112221122211?????????????? 矩方法是工具變量方法 (Instrumental Variables,IV)和廣義矩估計(jì)方法 (Generalized Moment Method, GMM)的基礎(chǔ) ? 在矩方法中關(guān)鍵是利用了 ? 如果某個(gè)解釋變量與隨機(jī)項(xiàng)相關(guān)，只要能找到 1個(gè)工具變量，仍然可以構(gòu)成一組矩條件。 eyy ?? ?方法 2 根據(jù)擬合值的定義bXy ??， 有yXXbX ????????? ? YX)XX(XXY?X 1 則有： ?????????????????????????????????????????????????????????nTnKnKKnTnKnKKyyyxxxxxxyyyxxxxxx????????????????212222112212222112111???111 上述矩陣方程的第一個(gè)方程可以表示為： ?????niinii yy11? 則有：yy ?? 附錄：極大似然估計(jì) 對(duì)于一元線性回歸模型： iii XY ??? ??? 10 i = 1 , 2 , ? n隨機(jī)抽取 n 組樣本觀測(cè)值iiXY , （ i = 1 , 2 , ? n ），假如模型的參數(shù)估計(jì)量已經(jīng)求得到，為??0和??1 ，那么 iY 服從如下的正態(tài)分布： iY ～ ),??(210 ????iXN ?于是， iY 的概率函數(shù)為 2102 )??(2121)(ii XYi eYP??? ??????? i = 1 , 2 , ? ,n 回憶一元線性回歸模型 將該或然函數(shù)極大化 ， 即可求得到模型參數(shù)的極大或然估計(jì)量 。所以，得到 ?的估計(jì)為 用向量展開或矩陣微分法（ 前導(dǎo)不變后導(dǎo)轉(zhuǎn)置 ），我們可得到關(guān)于待估參數(shù)估計(jì)值的正規(guī)方程組： 令 故 ? 注：這只是得到了求極值的必要條件。 參數(shù) ?的 OLS估計(jì) ?參數(shù) ?的 OLS估計(jì) 附錄：極大似然估計(jì)和矩估計(jì) 投影和投影矩陣
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1