第7章嶺回歸-預(yù)覽頁(yè)
【正文】 回歸估計(jì)的定義 給定 x 1， x 2 的 10 個(gè)值，如下表 7 . 1 的第（ 2 ）、（ 3 ）兩行： 表 序號(hào) 1 2 3 4 5 6 7 8 9 10 （ 1 ） x 1 1 . 7 1 . 7 1 . 8 1 . 8 1 . 9 2 . 0 2 . 3 2 . 4 （ 2 ） x 2 1 . 5 1 . 8 1 . 9 1 . 8 1 . 8 2 . 1 2 . 4 2 . 5 （ 3 ） ε i 0 . 5 0 . 4 0 . 5 0 . 2 1 . 9 1 . 9 0 . 6 1 . 5 1 . 5 （ 4 ） y i 1 6 . 3 1 6 . 8 1 9 . 2 1 8 . 0 1 9 . 5 2 0 . 9 2 1 . 1 2 0 . 9 2 0 . 3 2 2 . 0 167。 嶺回歸估計(jì)的定義 一、普通最小二乘估計(jì)帶來(lái)的問(wèn)題 當(dāng)自變量間存在復(fù)共線性時(shí)，回歸系數(shù)估計(jì)的方差就很大， 估計(jì)值就很不穩(wěn)定，下面進(jìn)一步用一個(gè)模擬的例 例 假設(shè)已知 x1， x2與 y y=10+2x1+3x2+ε 167。 167。 嶺回歸估計(jì)的定義 我們稱 yXIXXβ ???? 1)k((k)?為 β的嶺回歸估計(jì)，其中 k稱為嶺參數(shù)。 （ ） 167。 嶺回歸估計(jì)的性質(zhì) 在本節(jié)嶺回歸估計(jì)的性質(zhì)的討論中，假定（ ）式中因變量觀測(cè)向量 y未經(jīng)標(biāo)準(zhǔn)化。 167。 這個(gè)性質(zhì)表明(k)β ?可看成由β ?進(jìn)行某種向原點(diǎn)的壓縮， 從(k)β ?的表達(dá)式可以看到，當(dāng) k →∞時(shí)，(k)β ?→ 0 ， 即(k)β ?化為零向量。畫(huà)出的曲線稱為嶺跡。 167。 嶺參數(shù) k的選擇 167。 167。 用嶺回歸選擇變量 （ 1）在嶺回歸中設(shè)計(jì)矩陣 X已經(jīng)中心化和標(biāo)準(zhǔn)化了，這樣可以直接比較標(biāo)準(zhǔn)化嶺回歸系數(shù)的大小。 用嶺回歸選擇變量 例 空氣污染問(wèn)題。 用嶺回歸選擇變量 x7— Percent of housing units which are sound amp。 用嶺回歸選擇變量 進(jìn)行嶺跡分析 把 15個(gè)回歸系數(shù)的嶺跡畫(huà)到圖 ，我們可看到，當(dāng)k=。 167。 這個(gè)問(wèn)題最后剩的變量是 x1， x2， x6， x8， x9， x14。 167。 關(guān)于條件數(shù)，這里附帶說(shuō)明它的一個(gè)缺陷，就是當(dāng)X′X所有特征根都比較小時(shí)，雖然條件數(shù)不大，但多重共線性卻存在。這些現(xiàn)象在直觀上就使人懷疑 最小二乘估計(jì) β ? 是否反映了 β 167。 用嶺回歸選擇變量 再看 x7，它的回歸系數(shù)估計(jì)7??絕對(duì)值偏高，當(dāng) k 增加時(shí)，7??(k ） 很快接近于 0 ，這意味著 x7實(shí)際上對(duì) y 無(wú)多大影響。 167。 因此去掉 x 5 和 x 7 是合理的。 SPSS軟件的嶺回歸功能要用語(yǔ)法命令實(shí)現(xiàn)，菜單對(duì)話框中沒(méi)有此功能。方法是依次點(diǎn)選FileNewSyntax。依次點(diǎn)選主菜單的 RunAll. 167。把嶺參數(shù)步長(zhǎng)改為 ，范圍減小到 。 用嶺回歸選擇變量 K RSQ X2 X3 X4 X5 .00000 .99518 .787697 .516538 .02022 .99273 .191301 .518190 .333153 .04000 .99161 .260930 .464546 .305788 .06000 .99084 .287851 .438607 .295463 .08000 .99012 .301168 .422128 .289970 .10000 .98938 .308468 .410136 .286374 .12022 .98859 .312599 .400676 .283666 .14000 .98773 .314871 .392810 .281425 .16000 .98680 .315969 .386027 .279453 .18000 .98580 .316284 .380023 .277644 .20220 .98474 .316058 .374602 .275942 167。c:\Program Files\SPSS\Ridge 39。 用嶺回歸選擇變量 在第 6 章中用主成分回歸得到含有全部 5 個(gè)自變量的主成分回歸方程，現(xiàn)在計(jì)算出含有全部 5 個(gè)自變量的嶺回歸做一個(gè)比較。 實(shí)際上， x3的年增長(zhǎng)幅度大于 x1的年增長(zhǎng)幅度，因此合理的1??的 數(shù)值不僅是大于 1 ，而是要大于 2 。
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1