第五章自變量的選擇(編輯修改稿)
2024-11-03 13:39 本頁面
【文章內(nèi)容簡介】 pppppppppxBxxXXxxDxDyxyD??????????????????? )~()?( ppxyDxyD ?? ????? ][ 11111112 qqqppqpp xDxxCDBxxCDxxBCCDBx ?????????? ???? 0)()( 1112 ??????? ?? qpqp xxBCDxxBC? (3) 由于22 )]~([)~()~(pppppp xyExyDxyE ??? ???????? 又 : qpqqppppp CBXXXXE ?????11)(~ ?? ?????? )()()]~[()()~(112111pqqqpqppqpqqpqqqpppppxBCxxBCxxyExBCxCBxxCBxxxxyE???????????????????????????????????????? 22 1 1111 2 11?( ) ( )[ ( ) ( ) ][ ( ) ( ) ]( ) ( ) ( ) 0ppq p q pq p q q q pq p q q q pD y x E y xx C B x D x C B xx C B x x C B xx C B x D x C B x?????? ? ????????? ? ?? ? ?? ? ?? ? ? ?? ? ?? ? ? ?? ? ? ? ? 注 : 由上述定理說明 , 若全模型為真的而誤用選模型ppx ?~?作為y值的預(yù)測的話 , 所得的估計(jì)是有偏的 . 但預(yù)測方差會(huì)有所下降。而對(duì)有偏的估計(jì)，一般可用均方差去表明估計(jì)的好壞 , 在均方誤差的意義下，預(yù)測的均方誤差也是會(huì)下降。所以刪去一些影響不大，但回歸系數(shù)方差過大的變量（用qqqD ??????為非負(fù)定矩陣來表示） , 對(duì)預(yù)測精度的提高是 有利的 . 綜合以上所述 , 一般我們盡可能使模型的變量少而精 , 要引入對(duì)y有顯著影響的變量 , 而對(duì)y并不很顯著的變量要?jiǎng)h除 , 這樣不僅對(duì)估計(jì)而且對(duì)預(yù)測也有利 . 167。 自變量選擇準(zhǔn)則 若一個(gè)多元回歸的問題中有t可供選擇的自變量，那么所有可能的回歸方程有 12 ?t 個(gè) ， 下面給出一些自變量選擇的準(zhǔn)則，希望能從 12 ?t 個(gè)回歸方程中選擇一個(gè)最合理的方程 . 先給出一些記號(hào)： 對(duì)全模型，記： SSTSSERXXXXHYHIYSSE ?????????1,)(,)(21 對(duì)選模型，記： SSTSSERXXXXHYHIYSSEppppppppp?????????1,)(,)(21 前面已說明對(duì)一切p有22pp RRS SES SE ??，即全模型的殘差平方和總達(dá)到最小，而復(fù)相關(guān)系數(shù)總達(dá)到最大， 因此殘差平方和和復(fù)相關(guān)系數(shù)均不能作為選擇變量的準(zhǔn)則。下面從不同的角度給出自變量選擇的準(zhǔn)則。 ? 從模型擬合角度考慮 . 準(zhǔn)則 1 平均殘差平方和達(dá)到最小 . pnSSE Pp??2~? pS S E隨p的增加而減少 , 但pn ?也隨p的增加而減少。但前面的ix，由于其對(duì)y的作用很顯著 , 使pS S E減少得 較快 , 能使pnSSEp?隨的p增加而減少 , 但當(dāng)ix對(duì)y的作用不明顯時(shí) , 隨差p的增加，pS S E減少的很慢，而pn ?1隨p的增加繼續(xù)增加，這就使()PSS E n p?隨p的增加而增加，取()PSS E n p?的最小值所對(duì)應(yīng)的p。當(dāng)然相應(yīng)入選p個(gè)變量是所有t個(gè)變量是所有自變量中最顯著的。（其顯著性由計(jì)算t統(tǒng)計(jì)量或 F統(tǒng)計(jì)量得出）。 準(zhǔn)則 2 修正的復(fù)相關(guān)系數(shù)2PR達(dá)到最大。 其中2PR的定義為， )1()(12????nSSTpnSSER PP pnnR p?????1)1(1 2 可以證明在0?q?時(shí)，22qpp RR ??，故取2pR達(dá)到最大的方程為好。 ? 從預(yù)測角度考慮。 為了敘述方便，先給出下面記號(hào)。記： ????????????????????????????????????nqnpqpqpnxxxxxxxxxX???221139。39。239。1 其中 : ?????????iqipixxx，ni ?2,1? 從而有 ??????????????qqpqqpppXXXXXXXXXX 其中： ??? 39。ipippp xxXX，39。iqipqp xxXX ???， 39。ipiqpq xxXX ???， ??? 39。iqiqqq xxXX 準(zhǔn)則 3 預(yù)測偏差的方差pJJ達(dá)到最小 2~)(pp pnJJ ??? 前節(jié)中已計(jì)算? ?ppxyD ?~39。?=2139。 ))(1( ?pppp xXXx???，所以在n個(gè)樣本點(diǎn)上的預(yù)測偏差的平方和為： 39。 39。 1 2( ) ( 1 ( ) )i i p p i p p p i piiD y x x X X x????? ? ??? 239。12)( ??????????? ??iipipppxxXXtrn 2)( ?pn ?? 2? 是未知參數(shù)，用2~p?作為 2?
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1