第五章自變量的選擇-資料下載頁(yè)
2025-09-19 13:39本頁(yè)面
【導(dǎo)讀】在實(shí)際問(wèn)題中可以提出許多可能對(duì)因變量有影響的自變量，如。如果方程中包含的自變量過(guò)多，那么不僅使用不便，還可能削弱估計(jì)和預(yù)測(cè)的精度，而自變量過(guò)少或選得不恰當(dāng)，又會(huì)使所建立的模型與實(shí)際有偏離而不能使用。準(zhǔn)則，并介紹有關(guān)的計(jì)算方法?，F(xiàn)設(shè)一切可供選擇的變量是。m未知參數(shù)向量，X是mn?結(jié)構(gòu)矩陣，并假定X的秩為m。如果全模型為真，而我們用了選模型，這就表示在方程中丟掉了部分有用變量，看一看由于模型選擇不當(dāng)帶來(lái)的后果。分塊矩陣求逆公式：。來(lái)描述估計(jì)的好壞，而對(duì)有偏估計(jì)則相應(yīng)。為非負(fù)定矩陣時(shí)，情形下不再是無(wú)偏估計(jì)。在估計(jì)是有偏的情況下，一般可用均方誤差作為
【正文】 ?1)(，其中，ipe為選模型的對(duì)應(yīng)的第 i 點(diǎn)殘差，iiph相應(yīng)為ppppp XXXXH1)( ???的第 i 個(gè)對(duì)角元。 ? 極大似然估計(jì)出發(fā) 在正態(tài)條件下，?的最小二乘估計(jì)與極大似然估計(jì)是一致的。 準(zhǔn)則 7 A I C 準(zhǔn)則 A I C 準(zhǔn)則的定義： ?A I C 2 （模型的對(duì)數(shù)似然估計(jì)函數(shù)的極大值） +2 （模型中獨(dú)立參數(shù)的個(gè)數(shù)） 當(dāng)誤差為正態(tài)的條件下，全模型的對(duì)數(shù)似然函數(shù)為： )()(21)2l n(2),(222???????? XYXYnLL ?????? 而?和 2? 的極大似然估計(jì)為： )()(? 1 YXXXL ??? ?? nSS EL?2?? 從而對(duì)數(shù)似然函數(shù)的極大值為： 2)l n(2)/2l n(22)2l n(2m a xnSSEnnnnnSSEnL ??????? ?? 略去常數(shù)不計(jì)，則有： mSSEnA I C 2ln ?? 對(duì)選模型而言，有： pS S EnA I C pp 2ln ?? 167。 逐步回歸的思想 ? 當(dāng)可供選擇的自變量太多時(shí)，當(dāng)然可用前面所述的自變量選擇的準(zhǔn)則去選擇好的方程，但很復(fù)雜，因此很不實(shí)用。為此需要找一些簡(jiǎn)便的方法找到較好的方程。 ? 后退法（ back w ard ） 先建立t元線性回歸方程，再對(duì)系數(shù)逐一檢驗(yàn)，刪去不顯著變量中偏回歸平方和最小的變量，重新先建立 1?t 元線性回歸方程，再對(duì)每一個(gè)系數(shù)作檢驗(yàn) ，直到方程中所含回歸變量均顯著為止。 ? 向前法（ f or w ard ） 先從t個(gè)變量中選一個(gè)與y相關(guān)最密切的變量，（可選相關(guān)系數(shù)最大的）建立一元線性回歸方程，再?gòu)牧粝碌淖兞恐姓乙粋€(gè)與y的“偏相關(guān)系數(shù)”最大的變量，建立二元線性回歸方程， 直到 余下的變量與y的偏相關(guān)系數(shù)均不顯著為止。由于偏相關(guān)系數(shù)檢驗(yàn)幾計(jì)算較復(fù)雜，且不能保證最后所得的回方程系數(shù)均為顯著，故使用不太普遍。 ? 逐步回歸（ s te p w is e ） 目前使用最多的是逐步回歸。其基本思想是變量一一引入，對(duì)此要引入的變量用偏回歸平方和作F檢驗(yàn)，顯著時(shí)才引入；而一旦新的變量引入后又要對(duì)老的變量重新檢驗(yàn)，若它變成不顯著了就要將它從方程中剔除，直到?jīng)]有變量可剔除也沒(méi)有變量可引入為止。最后對(duì)入選的變量建立線性回歸方程。 其步驟如下： （ 1 ） 選第一個(gè)變量。 ? 計(jì)算t個(gè)變量的偏回歸平方程)1(jv 。,2,1 tj ??； ? 令)1()1(1 m a x jjk vv ?； ? 用21)1(11 svF k?對(duì)1kx的回歸系數(shù)進(jìn)行檢驗(yàn)。若顯著，則引入1kx； 建立1kx的一元線性回歸方程。 （ 2 ）選第二個(gè)變量 ? 計(jì)算剩下的1?t個(gè)變量的偏回歸平 方程 ，)2(jv tj ?,2,1? 1kj ?。 ? 令)2(1)1(2 m a x jkjkvv??； ? 用2)2(21 svF k?對(duì)2kx的回歸系數(shù)進(jìn)行檢驗(yàn)。若顯著，則引入2kx； ? 建立關(guān)于1kx，2kx的二元線性回歸方程。 （ 3 ）在第二步引入2kx后，必須對(duì)1kx的系數(shù)重新進(jìn)行檢驗(yàn) ? 計(jì)算)2(1kv； ? 計(jì)算2)2(11 svF k?對(duì)1kx的回歸系數(shù)重新檢驗(yàn)。若顯著，則保留1kx若不顯著則刪除； ( 4 ) 重復(fù)上面各步， 直 到 沒(méi)有變量可引入 也 沒(méi) 有 變量 可 刪除為止 。 SAS中實(shí)現(xiàn)自變量的選擇 選項(xiàng) 2 slentry=value。 對(duì) forward和 stepwise方法規(guī)定變量選入回歸模型里的顯著性水平。對(duì)forward方法缺省值是 ,對(duì) stepwise是. slstay=value。 對(duì) backward和 stepwise方法規(guī)定變量保留在模型里的顯著性水平。對(duì)backward方法缺省值是 ，對(duì) stepwise是 . 僅用于 selection=adjrsq或 cp的任選項(xiàng) mse：平均殘差平方和 aic： AIC信息量 bic: BIC信息量 jp：預(yù)測(cè)偏差的方差 sp：平均預(yù)測(cè)均方誤差 ? PRESS統(tǒng)計(jì)量可在 outest數(shù)據(jù)集中輸出。例如： proc reg data=… outest= 新數(shù)據(jù)集 。 model y=x1x4/press cp。 run。 proc print data=新數(shù)據(jù)集 。 run。 例子 () libname s39。d:\user39。 data 。 input x1x4 y。 cards。 7 26 6 60 1 29 15 52 11 56 8 20 11 31 8 47 7 52 6 33 11 55 9 22 3 71 17 6 1 31 22 44 2 54 18 22 21 47 4 26 1 40 23 34 11 66 9 12 10 68 8 12 。 run。 proc reg。 model y=x1 x2 x3 x4/selection=stepwise。 print cli clm。run。 proc reg data= outest=。 model y=x1 x2 x3 x4/press。 proc print data=。run。 Stepwise Selection: Step 3 Variable x2 Entered: RSquare = and C(p) = AIC準(zhǔn)則 proc reg。 model y=x1 x2 x3 x4/selection=cp aic。 run。 JP統(tǒng)計(jì)量準(zhǔn)則 proc reg。 model y=x1 x2 x3 x4/selection=cp jp。 run。
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1