【正文】 ① “Regression Coefficients”回歸系數(shù)選項(xiàng)： “Estimates”輸出回歸系數(shù)和相關(guān)統(tǒng)計(jì)量。同時(shí)，設(shè)置 F分布值時(shí)，應(yīng)該使進(jìn)入值大于剔除值。 “Ues F value” 選項(xiàng)，提供設(shè)置顯著性 F檢驗(yàn)的分布值。如果一個(gè)變量的 F檢驗(yàn)概率小于或等于進(jìn)入 “Entry”欄里設(shè)置的值，那么這個(gè)變量將被選入回歸方程中；當(dāng)回歸方程中變量的 F值檢驗(yàn)概率大于剔除 “Removal”欄里設(shè)置的值，則該變量將從回歸方程中被剔除。 5) 設(shè)置變量檢驗(yàn)水平 “Options” “Stepping Method Criteria”框里的設(shè)置用于逐步回歸分析的選擇標(biāo)準(zhǔn)。 4）回歸方式 在 “Method”分析方法框中選中 “Stepwise”逐步分析方法。 選擇標(biāo)簽變量 : 選擇 “DIST”為標(biāo)簽變量。 設(shè)置自變量：將左邊變量列表中的“x1”~“x21”變量，全部選移到“Independent(S)”自變量欄里。因此在多元回歸模型中，選擇適宜的變量數(shù)目尤為重要。 回歸方程包含的自變量越多，回歸平方和越大，剩余的平方和越小，剩余均方也隨之較小，預(yù)測(cè)值的誤差也愈小，模擬的效果愈好。當(dāng)總的方程不顯著時(shí)，表明該多元回歸方程線性關(guān)系不成立；而當(dāng)某 —個(gè)自變量對(duì) y影響不顯著時(shí)，應(yīng)該把它剔除，重新建立不包含該因子的多元回歸方程。在這種情況下可用逐步回歸分析，進(jìn)行 x因子的篩選，這樣建立的多元回歸模型預(yù)測(cè)效果會(huì)更較好。在共線性程度最高的兩個(gè)變量中，舍棄對(duì) Y 影響較小、經(jīng) 濟(jì)意義相對(duì)較次的一個(gè)，保留 另 外一個(gè)。 27 名糖尿病人血糖及有關(guān)變量逐步回歸過(guò)程 ( ?入= 0 .1 0 ， ?出= 0 .1 5 ) 步驟 （ l ） 引入 變量 剔除 變量 變量數(shù) （ p ） R2 ? ?? ?jlXSS回 ? ?lSS殘 F 值 P 值 1 X4 1 2 X1 2 1 1 3 X3 3 5 4 X2 4 1 5 X1 3 ?選 X4前先建立 4個(gè)直線回歸方程； ?選 X1前先建立 1個(gè)含 3個(gè)自變量、 3個(gè)含 2個(gè) 自變量的多元線性回歸方程。在共線性程度最高的兩個(gè)變量中，舍棄對(duì) Y 影響較小、經(jīng) 濟(jì)意義相對(duì)較次的一個(gè)，保留 另 外一個(gè)。 大樣本： α入 =， α出 =。 α入 值越大則反之。 出出 ??? ??? P FF )1pn,1(jXj剔除 （先選后剔，雙向篩選） ?開(kāi)始方程中無(wú)自變量，從方程外選取偏回歸平方和最大的自變量作 F檢驗(yàn)以決定是否選入方程； ?每引一個(gè)自變量進(jìn)入方程后，從方程中選取偏回歸平方和最小的自變量作 F檢驗(yàn)以決定是否從方程中剔除； ?直至方程外無(wú)自變量可引入，方程內(nèi)無(wú)自變量可剔除為止。 在此基礎(chǔ)上，計(jì)算其它自變量的 偏回歸平方和 ，選取偏回歸平方和 最大者 作 F檢驗(yàn)， … （ 只剔不選） 開(kāi)始方程中包含全部自變量 ，然后從方程中選取偏回歸平方和最小的自變量作 F檢驗(yàn)以決定是否從方程中剔除，直至無(wú)自變量可以從方程中剔除為止。 ?對(duì) Xj的取舍要進(jìn)行 F檢驗(yàn)： ? ?? ? ）（）（殘回1pn/SS1/XSSF ljlj???計(jì)算進(jìn)行到第 l步時(shí)： p :方程中自變量個(gè)數(shù) SS回： Xj的偏回歸平方和 SS殘： 殘差平方和 缺點(diǎn)： 后續(xù)變量的引入可能使先前引入的變量變的 不重要。 所有回歸方程（ 24 1 = 1 5 ）的 2cR 和 Cp統(tǒng)計(jì)量的值 方程中自變量 2cR Cp 方程中自變量 2cR Cp X2 X3 X4 0. 546 3. 15 X2 X3 0. 408 9. 14 X1 X2 X3 X4 0. 528 5. 00 X1 X3 0. 375 10. 78 X1 X3 X4 0. 488 5. 96 X4 0. 347 1 1. 63 X1 X2 X4 0. 447 7. 97 X1 0. 284 14. 92 X1 X4 0. 441 7. 42 X1 X2 0. 275 15. 89 X2 X4 0. 440 7. 51 X3 0. 231 17. 77 X3 X4 0. 435 7. 72 X2 0. 179 20. 53 X1 X2 X3 0. 408 9. 88 二、逐步選擇法 全局選擇計(jì)算量很大： 6個(gè)變量，計(jì)算 261=63個(gè)方程； 10個(gè)變量，計(jì)算 2101=1023個(gè)方程。如果全部自變量中沒(méi)有包含對(duì) Y 有主要作用的變量，則不宜用pC 方法選擇自變量。 ? ?? ? mp 1p2nMSSSC mpp ????? ）（）（殘殘 是由 個(gè)自變量作回歸的誤差平方和， 是從全部 m個(gè)自變量的回歸模型中得到的殘差均方。 最優(yōu)方程的 Cp期望值是 p+1。 ?所謂“最優(yōu)”回歸方程指 最大者。 ?R2可用來(lái)評(píng)價(jià)回歸方程優(yōu)劣。 顯然， iinjiijjnijjjjiixxXXxxxxxxXX ???????????????? 11)()( iiiinjjjnijjjjiiyxYXyxyxyxYX ???????????? 11)()( pPRESS 為 選 模 型 的 預(yù) 測(cè) 平 方 和 為? ?2)(??ippeP R E SS ，由上述的推導(dǎo)可知，iipipiphee??1)(，其中，ipe 為選模型的對(duì)應(yīng)的第 i 點(diǎn)殘差，iiph 相應(yīng)為pppppXXXXH1)(??? 的第 i 個(gè)對(duì)角元?，F(xiàn)考慮在建立回歸方程時(shí)略去第 i 組數(shù)據(jù) ???????????????????????niiiyyyyY??111)( ??????????????????????????niiixxxxx??111)( 對(duì)應(yīng)的 1?n 組數(shù)據(jù)的回歸模型為 ?? ??)()( iiXY 。 先給出 P R E S S 的定義。 準(zhǔn)則 3 預(yù)測(cè)偏差 的方差 2~)( pp pnJJ ???準(zhǔn)則 4 平均預(yù)測(cè)均方誤差 Sp達(dá)到最小。 準(zhǔn)則 2 修正的復(fù)相關(guān)系數(shù)2PR 達(dá)到最大。當(dāng)然相應(yīng)入選 p 個(gè)變量是所有 t 個(gè)變量是所有自變量中最顯著的。所以刪去一些影響不大，但回歸系數(shù)方差過(guò)大的變量（用 為非負(fù)定矩陣來(lái) ?()q q qD ? ? ? ??表示） ,對(duì)預(yù)測(cè)精度的提高是有利的 . 綜合以上所述 ,一般我們盡可能使模型的變量少而精 ,要引入對(duì) y有顯著影響的變量 ,而對(duì) y并不很顯著的變量要?jiǎng)h除 ,這樣不僅對(duì)估計(jì)而且對(duì)預(yù)測(cè)也有利 . 第七章 第二節(jié) 機(jī)動(dòng) 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 自變量選擇方法 自變量選擇準(zhǔn)則 若一個(gè)多元回歸的問(wèn)題中有 t可供選擇的自變量，那么所有可能的回歸方程有 2t1個(gè)，下面給出一些自變量選擇的準(zhǔn)則，希望能從 2t1個(gè)回歸方程中選擇一個(gè)最合理的方程 . 對(duì)全模型，記： SSTSSERXXXXHYHIYSSE ???????? ? 1,)(,)( 21對(duì)選模型，記： SSTSSERXXXXHYHIYSSE ppppppppp ????????? 1,)(,)( 21準(zhǔn)則 1 平均殘差平方和達(dá)到最小 . pnS S E Pp??2~?pSSE 隨 p 的增加而減少 , 但 pn ? 也隨 p 的增加而減少。僅當(dāng) 0,?~q22?? ??? EE p 定理 （對(duì)預(yù)測(cè)的影響） （ 1 ） 當(dāng)全模型為真，則 ?xyE ??? ，除 0?q? 外?xyEp??~ （ 2 ） )~()?(ppxyDxyD ?? ????? （ 3 ） 當(dāng)?()q q qD ? ? ? ?? 為非負(fù)定矩陣時(shí)， 2)~()?(ppxyExyD ?? ????? 注 :由上述定理說(shuō)明 ,若全模型為真的而誤用選模型 ppx ?~? 作為 y值的預(yù)測(cè)的話 ,所得的估計(jì)是有偏的 . 但預(yù)測(cè)方差會(huì)有所下降。X X X Y? ???211? [ ( ) ]() Y I X X X X Yn R X??? ? ????其中： R(X)為矩陣 X的秩。如果全模型為真，而我們用了選模型，這就表示在方程中丟掉了部分有用變量，相反，如果選模型為真，而我們選用了全模型，這就表示在方程中引入了一些無(wú)用變量，下面從參數(shù)估計(jì)和預(yù)測(cè)兩個(gè)角度來(lái)看一看由于模型選擇不當(dāng)帶來(lái)的后果。 現(xiàn)設(shè)一切可供選擇的變量是 t個(gè) ,它們組成的回歸模型稱(chēng)為全模型（記 m=t+1) 是 mx1未知參數(shù)向量， ? ??? qp ??? , ? ?qp XXX ??其中： Y 是 1?n 的觀測(cè)值， p? 是 1?p 未知參數(shù)向量， pX 是 pn ? 結(jié)構(gòu)矩陣，并假定 pX 的秩為 p 。 第七章 第一節(jié) 機(jī)動(dòng) 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 自變量選擇 對(duì)估計(jì)和預(yù)測(cè)的影響 在多元線性回歸模型中，自變量的選擇實(shí)質(zhì)上就是模型的選擇。第七章 自變量選擇與逐步回歸 多元線性回歸方程中