【正文】 XX , 21 ? ) = ESS( lXXX , 21 ? )ESS( lXXX , 21 ? , iX ) () 記 ),(),( 2121 lili XXXR S SXXXXR S SW ?? ?? ,它反映了由于引入 iX 后，iX 對回歸平方和的貢獻(xiàn)，也等價(jià)于引入 iX 后殘差平方和所減少的量，稱其為 iX 對因變量Y 的方差貢獻(xiàn)，故考慮檢驗(yàn)統(tǒng)計(jì)量 ： ? ?? ? ? ?1/, ,21 21 ??? lNXXXXE SS XXXWF il lii ? ? () 其中 N 為樣本量， l 是已引入回歸方程的變量個(gè)數(shù)，這時(shí)若有 ini FF? ， 則可以考慮將自變量 iX 引入回歸方程，否則不能引入。 三、 引入變量和剔除變量的依據(jù) 如果在某一步時(shí)，已有 l 個(gè)變量被引入到回歸方程中，不妨設(shè)為 lXXX , 21 ? ，即已得回歸方程 ： ll XXXY ???? ????? ?22110? () 并且有平方和分解式 ： ESSRSSTS S ?? () 顯然，回歸平方和 RSS 及殘差平方和 ESS 均與引入的變量相關(guān)。 3. 變量增減法 前面的 兩 種方法各有其特點(diǎn)，若自變量 X1,X2,...,Xk 完全是獨(dú)立的，則可結(jié)合這 兩 種方法，但是，在實(shí)際的數(shù)據(jù)中，自變量 X1,X2,...,Xk 之間往往并不是獨(dú)立的，而是有一定的相關(guān)性存在的，這就會(huì)使得隨著回歸方程中變量的增加和減少，某些自變量對回歸方程的貢獻(xiàn)也會(huì)發(fā)faf3e80a2379c5288629d4555eb92a18 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財(cái)經(jīng)大學(xué)經(jīng)濟(jì)信息管理系 IS/SHUFE Page 3 of 25 生變化。 這種減少法也有一個(gè)明顯的缺點(diǎn)，就是一開始把全部變量都引入回歸方程，這樣計(jì)算量比較大。重復(fù)前面的做法，直至在回歸方程中的自變量 F 檢驗(yàn)值均大于 Fout，即沒有變量可剔除為止。 再對 X2,X3,...,Xk 對因變量 Y建立的回歸方程重復(fù)上述過程，取最小的 F 值為 2jF ，若有 2jF≤ Fout，則將 Xj也從回歸方程中剔除掉。也就是增加變量法，只考慮引入而不考慮剔除。 顯然，這種增加法有一定的缺點(diǎn)，主要是，它不能反映后來變化的情況。 對已經(jīng)引入回歸方程的變量 X1和 X2，如同前面的方法做下去，直至所有 未 被引入方程的變量的 F 值均小于 Fin 時(shí)為止。 1. 變量增加法 首先對全部 k 個(gè)自變量，分別對因變量 Y 建立一元回歸方程，并分別計(jì)算這 k 個(gè)一元回歸方程的 k 個(gè)回歸系數(shù) F 檢驗(yàn)值，記為 { 11211 , kFFF ? }，選其最大的記為 1iF = max{ 11211 , kFFF ? },若有 1iF ≥ Fin，則首先將 X1引入回歸方程，不失一般性，設(shè) Xi就是 X1。一般來說 ， 也可以直接取 Fin=Fout= 或 。無論引入變量或剔除變量，都要利用 F 檢驗(yàn)，將顯著的變量引入回歸方程，而將不顯著的從回歸方程中剔除。程序按照上面的步驟開始擬合，當(dāng)沒有回歸因子能夠引進(jìn)模型時(shí)，該過程停止。用這種方式如果沒有變量被剔除，則開始引進(jìn)一個(gè)回歸因子，比如 Xj，如果引進(jìn)它后使 RSS的增加，至少是殘差均方的 Fin 倍，則將它引進(jìn)。 Efroymoson (1966)編的程序中，有兩個(gè) F 水平，記作 Fin 和 Fout，在每一步時(shí)，只有一個(gè)回歸因子，比如說 Xi，如果剔除它可能引起 RSS 的減少不超過殘差均方 MSE（即ESS/(Nk1)）的 Fout 倍，則將它剔除；這就是在當(dāng)前的回歸模型中，用來檢驗(yàn) ?i=0 的 F 比M S ExxxR S SxxxxR S S iii /)),(),(( 121121 ?? ? ?? 是小于或等于 Fout。這樣經(jīng)若干步以后便得“最優(yōu)”變量子集。本節(jié)介紹的逐步回歸法就是人們在實(shí)際問題中常用的，并且行之有效的方法。 無疑選擇自變量要靠有關(guān)專業(yè)知識(shí)，但是作為起參謀作用的數(shù)學(xué)工具，往往是不容輕視的。 從 本質(zhì)上說，這種方法在每一步增加或剔除一個(gè) X 變量時(shí)，產(chǎn)生一系列回歸模型。逐步回歸方法可能是應(yīng)用最廣泛的自動(dòng)搜索方法。 在可能自變量的整個(gè)集合有 40 到 60 個(gè)，甚至更多的自變量的情況下，使用“最優(yōu)”子集算法可能并不行得通。faf3e80a2379c5288629d4555eb92a18 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財(cái)經(jīng)大學(xué)經(jīng)濟(jì)信息管理系 IS/SHUFE Page 1 of 25 第三十三課 逐步回歸分析 一、 逐步回歸分析 在一個(gè)多元線性回歸模型中，并不是所有的自變量都與 因變量 有顯著關(guān)系，有時(shí)有些自變量的作用可以忽略。這就產(chǎn)生了怎樣從大量可能有關(guān)的自變量中挑選出對因變量有顯著影響的部分自變量的問題。那么，逐步產(chǎn)生回歸模型要含有的 X 變量子集的自動(dòng)搜索方法，可能是有效的。這是在求適度“好”的自變量子集時(shí)，同所有可能回歸的方法比較，為節(jié)省計(jì)算工作量而產(chǎn)生的。增加或剔除一個(gè) X 變量的準(zhǔn)則，可以等價(jià)地用誤差平方和縮減量、偏相關(guān)系數(shù)或 F 統(tǒng)計(jì)量來表示。通常在多元線性模型中，我們首先從專業(yè)角度選擇有關(guān)的為數(shù)眾多的因子，然后用數(shù)學(xué)方法從中選擇適當(dāng)?shù)淖蛹? 逐步回歸的基本思想是，將變量一個(gè)一個(gè)引入，引入變量的條件是偏回歸平方和經(jīng)檢驗(yàn)是顯著的，同時(shí)每引入一個(gè)新變 量后，對已選入的變量要進(jìn)行逐個(gè)檢驗(yàn)，將不顯著變量剔除，這樣保證最后所得的變量子集中的所有變量都是顯著的。 逐步回歸是這樣一種方法，使用它時(shí)每一步只有一個(gè)單獨(dú)的回歸因子引進(jìn)或從當(dāng)前的回歸模型中剔除。 若剔除的變量需要選擇，則就選擇使 RSS減少最少的那一個(gè)（或等價(jià)的選擇 F比最小的）。即若在當(dāng)前模型加 Xj項(xiàng)后，為了檢驗(yàn) ?j =0的 F 比， F ≥ Fin 時(shí)，則引進(jìn) Xj，其次，若引進(jìn)的變量需要選擇，則選擇 F比最大的。 二、 變量選擇的方法 若在回歸方程中增加自變量 Xi，稱為“引入”變量 Xi，將已在回歸方程中的自變量 Xj從回歸方程中刪除，則稱為“剔除”變量 Xj。記引入變量 F 檢驗(yàn)的臨界值為Fin（進(jìn)），剔除變量 F 檢驗(yàn)的臨界值為 Fout（出），一般取 Fin≥ Fout，它的確定原則一般是對 kfaf3e80a2379c5288629d4555eb92a18 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財(cái)經(jīng)大學(xué)經(jīng)濟(jì)信息管理系 IS/SHUFE Page 2 of 25 個(gè)自變量的 m 個(gè) (m ≤ k)， 對顯著性水平 df1=1， df2= 1??mN 的 F 分布表的值，記為 F*，則取 Fin=Fout= F*。當(dāng)然，為了回歸方程中還能夠多進(jìn)入一些自變量，甚至也可以取為 或 。 接著考慮 X1分別與 X2,X3,...,Xk與因變量 Y 組成 二元回歸方程，對于這 k－ 1 個(gè)回歸方程中X2,...,Xk的回歸系數(shù)進(jìn)行 F 檢驗(yàn)，計(jì)算 F 值，并選其最大的 F 值 2jF ,若 2jF ≥ Fin,則接著就將Xj引入回歸方程，不失一般性，設(shè) Xj就是 X2。這時(shí)的回歸方程就是最終選定的回歸方程。因?yàn)閷τ谀硞€(gè)自變量，它可能開始是顯著的，即將其引入到回歸方程，但是，隨著以 后其他自變量的引入，它也可能又變?yōu)椴伙@著了，但是，并沒有將其及時(shí)從回歸方程中剔除掉。 2. 變量減少法 與變量增加法相反，變量減少法是首先建立全部自變量 X1,X2,...,Xk 對因變量 Y 的回歸方程，然后對 k 個(gè)回歸系數(shù)進(jìn)行 F 檢驗(yàn)，記求得的 F 值為 { 11211 , kFFF ? }，選其最小的記為1iF =min{ 11211 , kFFF ? },若有 1iF ≤ Fout，則可以考慮將自變量 Xi從回歸方程中剔除掉，不妨設(shè) Xi就取為 X1。不妨設(shè) Xj就是 X2。這時(shí)的回歸方程就是最終的回歸方程。若對一些不重要的變量，一開始就不引入，這樣就可以減少一些計(jì)算。因此一種很自然的想法是將前 兩 種方法綜合起來，也就是對每一個(gè)自變量，隨著其對回歸方程貢獻(xiàn)的變化，它隨時(shí)可能被引入回歸方程或被剔除出去，最終的回歸模型是在回歸方程中的自變量均為顯著，不在回歸方程中的自變量均不顯著。為了使其意義更清楚起見，將其分別設(shè)為 RSS（ lXXX , 21 ? ）及 ESS（ lXXX , 21 ? ）。 實(shí)際上大于 Fin的變量開始時(shí)可能同時(shí)有幾個(gè)，那么是否將它們都全部引入呢？實(shí)際編程faf3e80a2379c5288629d4555eb92a18 商務(wù)數(shù)據(jù)分析 電子商務(wù)系列 上海財(cái)經(jīng)大學(xué)經(jīng)濟(jì)信息管理系 IS/SHUFE Page 4 of 25 序時(shí)并不是一起全部引入，而是選其最大的一個(gè)引入回歸方程。殘差平 方和從 ),( 21 li XXXXE S S ?? 增 加到),( 1121 lii XXXXXE S S ?? ??， iX 對回歸平方和的貢獻(xiàn)，也等價(jià)于刪除 iX 后殘差平方和所增加的量，同理可表示為： ),(),( ),(),( 211121 112121 lilii liilii XXXXE SSXXXXXE SS XXXXXR SSXXXXR SSW ???? ???? ?? ?? ?? ?? () 同理，我們來構(gòu)造檢驗(yàn)統(tǒng)計(jì)量 ： ? ?? ? ? ?1/, ,2121 ??? lNXXXXE SS XXXXWFliliii ?? ?? () 顯然，這時(shí) Fi 越小，則說明 iX 在回歸方程中起的作用（對回歸方程的貢獻(xiàn)）越小，也就是若有 outi FF? ,則可以考慮將自變量 iX 從回歸方程中剔除掉，我們在編程序時(shí)，每次只剔除一個(gè)，因此，我們每次選擇最小的 ),m in ( 21 li FFFF ?? 來與 outF 進(jìn)行比較。 四、 逐步回歸在使用過程中要注意的問題 逐步回歸在計(jì)算過程中，進(jìn)入和剔除變量規(guī)則的差別在例子中有可能得到說明。但是，往往并不使用這種提純量，而是使用固定的 F 值，因?yàn)樵谒阉鬟^程的重復(fù)檢驗(yàn)中，并不可能得到精確的概率解釋。 自變量進(jìn)入模型的順序并不反映它們的重要程度。我們使用的逐步回歸程序，在每個(gè)階段上都打印出偏相關(guān)系數(shù)。進(jìn)入和剔除一個(gè)變量的 F 限不必根據(jù)近似顯著性水平選定，但可以根據(jù)誤差縮減量來描述性地確定。 逐步回歸方法的一個(gè)局限是預(yù)先假定有單一的最優(yōu) X 變量子集，從而來進(jìn)行識(shí)別。因此，一些統(tǒng)計(jì)學(xué)家建議，求得逐步回歸的解后，擬合所有可能與逐步回歸解的自變量個(gè)數(shù)相同的回歸模型，以研究是否存在更好的 X變量子集。也有人提出好幾種其他尋找“最優(yōu)”自變量子集的自動(dòng)搜索方法。但這兩種方法都還未被接受 為逐步搜索方法。其中之二為向后剔除法，這種搜索方法與向前選元法相反。例如，假定 iX 為 *F 值最小的那個(gè)變量，有： ? ?? ? ? ?1/, ,2121* ??? kNXXXXE SS XXXXWFkikiii ?? ?? () 如果最小的 *iF 值 小于預(yù)定限，就剔除這個(gè)變量，然后擬合剩余的 1?k 個(gè)自變量的模型，挑選下一個(gè)待剔除元。因?yàn)橄蚝筇蕹ㄊ菑淖畲罂赡苣Ｐ烷_始的，所以它比向前選元法需要更多的計(jì)算量。 五、 stepwise 逐步回歸過程 stepwise 過程對逐步回歸提供了九種方法。 由于 stepwise 可以使你深入地了解自變 量與因變量或響應(yīng)變量之間的關(guān)系， 因此， 它對考察分析是很有幫助的。 stepwise 與 rsquare 以及其他過程是不同的。而 stepwise 在挑選變量時(shí)選擇下面描述的方法，所以，當(dāng)stepwise 判斷模型時(shí)，它打印一份多個(gè)回歸報(bào)告。 沒有對回歸變量進(jìn)行篩選，建立 Y 與全部自變量的全回歸模型。 向前選擇技術(shù)以模型中沒有變量開始，對每個(gè)自變量， forward 計(jì)算反映自變量對模型的貢獻(xiàn)的 F 統(tǒng)計(jì)量。否則， forward 在模型中加 入具有最大 F 統(tǒng)計(jì)量的變量，然后 forward 再計(jì)算這些變量的 F 統(tǒng)計(jì)量直到剩下的變量都在模型的外面，再重復(fù)估計(jì)過程。一旦一個(gè)變量進(jìn)入了模型，它就不再出去了。 向后淘汰技術(shù)以計(jì)算含有全部自變量的模型的統(tǒng)計(jì)量為開始。在每一步，剔除對模型貢 獻(xiàn)最小的變量。 逐步方法是向前選擇的修正。 stepwise 按照向前選擇方法選入變量后，還考察模型中所包含的所有變量并剔除使得 F 統(tǒng)計(jì)量的顯著水平不在 slstay=水平上的變量。當(dāng)模型外的變量沒有一個(gè)使 F 統(tǒng)計(jì)量在 slentry= 水平上 顯著 且模型中的每個(gè)變量在slstay= 水平上顯著，或加到模型中的變量是剛剛剔除的變量時(shí)候，逐步處理便結(jié)束了 。 最大 R2 改良技術(shù)是占優(yōu)勢的逐步技術(shù)，它幾乎與所有可能的回歸一樣好