【正文】 特征值 1 六、回歸分析 ? 變量之間的聯(lián)系 ? 確定型的關(guān)系：指某一個(gè)或某幾個(gè)現(xiàn)象的變動(dòng)必然會(huì)引起另一個(gè)現(xiàn)象確定的變動(dòng)，他們之間的關(guān)系可以使用數(shù)學(xué)函數(shù)式確切地表達(dá)出來(lái)，即 y=f(x)。當(dāng)知道x的數(shù)值時(shí)，就可以計(jì)算出確切的 y值來(lái)。如圓的周長(zhǎng)與半徑的關(guān)系：周長(zhǎng) =2πr。 回歸分析 ? 如果把其中的一些因素作為自變量，而另一些隨自變量的變化而變化的變量作為因變量，研究他們之間的非確定因果關(guān)系，這種分析就稱為 回歸分析 。 ? 回歸分析是研究一個(gè)自變量或多個(gè)自變量與一個(gè)因變量之間是否存在某種線性關(guān)系或非線性關(guān)系的一種統(tǒng)計(jì)學(xué)方法。 一、線性回歸 （一）一元線性回歸方程 ? 直線回歸分析的任務(wù)就是根據(jù)若干個(gè)觀測(cè)（ xi， yi）i=1～ n找出描述兩個(gè)變量 x、 y之間關(guān)系的直線回歸方程 y^=a+bx。 y^是變量 y的估計(jì)值。求直線回歸方程 y^=a+bx,實(shí)際上是用回歸直線擬合散點(diǎn)圖中的各觀測(cè)點(diǎn)。常用的方法是 最小二乘法 。也就是使該直線與各點(diǎn)的縱向垂直距離最小。即使實(shí)測(cè)值 y與回歸直線 y^之差的平方和 Σ(yy^)2達(dá)到最小。 Σ(yy^)2也稱為剩余（殘差）平方和。因此求回歸方程y^=a+bx的問(wèn)題，歸根到底就是求 Σ(yy^)2取得最小值時(shí) a和 b的問(wèn)題。 a稱為截距， b為回歸直線的斜率，也稱回歸系數(shù)。 一元線性回歸方程的適用條件 ? 線形趨勢(shì) ：自變量與因變量的關(guān)系是線形的。 ? 獨(dú)立性 ：可表述為因變量 y的取值相互獨(dú)立，它們之間沒有聯(lián)系。 ? 正態(tài)性 ：自變量 x的任何一個(gè)線形組合，因變量 y均服從正態(tài)分布，反映到模型中，實(shí)際上就是要求隨機(jī)誤差項(xiàng) εi服從正態(tài)分布。 ? 方差齊性 ：自變量的任何一個(gè)線形組合，因變量 y的方差均齊性，實(shí)質(zhì)就是要求殘差的方差齊。 一元線性回歸方程的檢驗(yàn) ? 檢驗(yàn)的假設(shè)是總體回歸系數(shù)為 0。另外要檢驗(yàn)回歸方程對(duì)因變量的預(yù)測(cè)效果如何。 （ 1）回歸系數(shù)的顯著性檢驗(yàn) ? 對(duì)斜率的檢驗(yàn)，假設(shè)是：總體回歸系數(shù)為 0。檢驗(yàn)該假設(shè)的 t值計(jì)算公式是； t=b/SEb,其中SEb是回歸系數(shù)的標(biāo)準(zhǔn)誤。 ? 對(duì)截距的檢驗(yàn)，假設(shè)是：總體回歸方程截距a=0。檢驗(yàn)該假設(shè)的 t值計(jì)算公式是： t=a/SEa,其中 SEa是截距的標(biāo)準(zhǔn)誤。 （ 2） R2判定系數(shù) ? 在判定一個(gè)線性回歸直線的擬合度的好壞時(shí)，R2系數(shù)是一個(gè)重要的判定指標(biāo)。 ? R2判定系數(shù)等于回歸平方和在總平方和中所占的比率 ， 即 R2體現(xiàn)了回歸模型所能解釋的因變量變異性的百分比。如果 R2=，則說(shuō)明變量 y的變異中有％是由變量 X引起的。為了盡可能準(zhǔn)確的反應(yīng)模型的擬合度， SPSS輸出中的Adjusted R Square是 消除了自變量個(gè)數(shù) 影響的 R2的修正值。 ? ?? ??)()?(222yyyyRii（ 3）方差分析 ? 體現(xiàn)因變量觀測(cè)值與均值之間的差異的偏差平方和 SSt是由兩個(gè)部分組成： ? SSt=SSr＋ SSe ? SSr：回歸平方和，反應(yīng)了自變量 X的重要程度； SSe ：殘差平方和，它反應(yīng)了實(shí)驗(yàn)誤差以及其他意外因素對(duì)實(shí)驗(yàn)結(jié)果的影響。 這兩部分除以各自的自由度，得到它們的均方。 ? 統(tǒng)計(jì)量 F=回歸均方／殘差均方。當(dāng) F值很大時(shí)，拒絕接受 b=0的假設(shè)。 （ 4） Durbin－ Watson檢驗(yàn) ? 回歸模型中的誤差項(xiàng)的獨(dú)立性 。如果誤差項(xiàng)不獨(dú)立，那么對(duì)回歸模型的任何估計(jì)與假設(shè)所作出的結(jié)論都是不可靠的。其參數(shù)稱為 DW或 D。 D的取值范圍是 0＜ D＜ 4，統(tǒng)計(jì)學(xué)意義如下： 1當(dāng)殘差與自變量互為獨(dú)立時(shí) D≈2； 2當(dāng)相鄰兩點(diǎn)的殘差為正相關(guān)時(shí)， D2； 3當(dāng)相鄰兩點(diǎn)的殘差為負(fù)相關(guān)時(shí)， D2 （ 5）殘差圖示法 ? 在直角坐標(biāo)系中，以預(yù)測(cè)值 y^為橫軸，以 y與 y^之間的誤差 et為縱軸 (或?qū)W生化殘差與擬和值或一個(gè)自變量），繪制殘差的散點(diǎn)圖。如果散點(diǎn)呈現(xiàn)出明顯的規(guī)律性則 ,認(rèn)為存在自相關(guān)性或者非線性或者非常數(shù)方差的問(wèn)題。 （二）多元線性回歸 ? 多元線性回歸： ? 根據(jù) 多個(gè)自變量 的最優(yōu)組合建立回歸方程來(lái)預(yù)測(cè)因變量的回歸分析稱為多元回歸分析。多元回歸分析的模型為： y^=b0+b1x1+b2x2+ +bnxn ? 其中 y^為根據(jù)所有自變量 x計(jì)算出的估計(jì)值 , b0為常數(shù)項(xiàng) , b b2 bn稱為 y對(duì)應(yīng)于 x x2 xn的偏回歸系數(shù)。 偏回歸系數(shù)表示假設(shè)在其他所有自變量不變的情況下，某一個(gè)自變量變化引起因變量變化的比率。 （ l） 復(fù)相關(guān)系數(shù) R ? 復(fù)相關(guān)系數(shù)表示因變量 xi 與他的自變量 y之間線性相關(guān)密切程度的指標(biāo)，復(fù)相關(guān)系數(shù)使用字母 R表示。 ? 復(fù)相關(guān)系數(shù)的取值范圍在 0－ 1之間。其值越接近 1表示其線性關(guān)系越強(qiáng)，越接近 0表示線性關(guān)系越差。 （ 2） R2判定系數(shù)與經(jīng)調(diào)整的判定系數(shù) ? 與一元回歸方程相同，在多元回歸中也 使用判定系數(shù) R2來(lái)解釋回歸模型中自變量的變異在因變量變異中所占比率。 ? 但是，判定系數(shù)的值隨著進(jìn)入回歸方程的自變量的個(gè)數(shù)（或樣本容量的大小 n）的增加而增大。因此，為了消除自變量的個(gè)數(shù)以及樣本量的大小對(duì)判定系數(shù)的影響，引進(jìn)了經(jīng)調(diào)整的判定系數(shù)（ Adjusted R Square）。 ? ?? ??????)1()1(1)()?(222nikniyyyyA d j u s t e d RK為自變量的個(gè)數(shù)， n為觀測(cè)量數(shù)目。自變量的個(gè)數(shù)大于 1時(shí)，其值小于判定系數(shù)。自變量個(gè)數(shù)越多，與判定系數(shù)的差值越大。 （ 3）零階相關(guān)系數(shù)、部分相關(guān)與偏相關(guān)系數(shù) ? 零階相關(guān)系數(shù)（ Zero－ Order）計(jì)算所有自變量與因變量之間的簡(jiǎn)單相關(guān)系數(shù)。 ? 部分相關(guān)（ Part Correlation）表示：在排除了其他自變量對(duì) xi的影響后，當(dāng)一個(gè)自變量進(jìn)入回歸方程模型后， 復(fù)相關(guān)系數(shù)的平均增加量 。 ? 偏相關(guān)系數(shù)（ Partial Correlation ）表示：在排除了其他變量的影響后； 自變量 Xi與因變量 y之間的相關(guān)程度 。部分相關(guān)系數(shù)小于偏相關(guān)系數(shù)。 多元線性回歸分析的檢驗(yàn) ? 建立了多元回歸方程后，需要進(jìn)行顯著性檢驗(yàn)，以確認(rèn)建立的數(shù)學(xué)模型是否很好的擬和了原始數(shù)據(jù)，即該回歸方程是否有效。利用殘差分析，確定回歸方程是否違反了假設(shè)理論。對(duì)各自變量進(jìn)行檢驗(yàn)。 其假設(shè)是總體的回歸方程自變量系數(shù)或常數(shù)項(xiàng)為 0。 以便在回歸方程中保留對(duì)因變量 y值預(yù)測(cè)更有效的自變量。以便確定數(shù)學(xué)模型是否有效。 （ l）方差分析 ? 多元回歸方程也采用方差分析方法對(duì)回歸方程進(jìn)行檢驗(yàn)， 檢驗(yàn)的 H0假設(shè)是總體的回歸系數(shù)均為 0（無(wú)效假設(shè)）， H1假設(shè)是總體的回歸系數(shù)不全為 0（備選假設(shè)）。 它是對(duì)整個(gè)回歸方程的顯著性檢驗(yàn)。使用統(tǒng)計(jì)量 F進(jìn)行檢驗(yàn)。原理與一元回歸的方程分析原理相同。 )1(??)()(MS 2i2i???????pnyyyyF MS ＝殘差回歸（ 2）偏回歸系數(shù)與常數(shù)項(xiàng)的檢驗(yàn) ? 在多元回歸分析中，可能有的自變量對(duì)因變量的影響很強(qiáng)，而有的影響很弱，甚至完全沒有作用，這樣就有必要對(duì)自變量進(jìn)行選擇，使回歸方程中只包含對(duì)因變量有統(tǒng)計(jì)學(xué)意義的自變量； ? 檢驗(yàn)的假設(shè)是：各自變量回歸系數(shù)為 0，常數(shù)項(xiàng)為 0。它使用的統(tǒng)計(jì)量是 t； ? t=偏回歸系數(shù) /偏回歸系數(shù)的標(biāo)準(zhǔn)誤 （ 3）方差齊性檢驗(yàn) ? 方差齊性是指殘差的分布是常數(shù)，與預(yù)測(cè)變量或因變量無(wú)關(guān)。即殘差應(yīng)隨機(jī)的分布在一條穿過(guò) 0點(diǎn)的水平直線的兩側(cè)。在實(shí)際應(yīng)用中，一般是繪制因變量預(yù)測(cè)值與學(xué)生殘差的散點(diǎn)圖。在線性回歸Plots對(duì)話框中的源變量表中 ,選擇SRESID（學(xué)生氏殘差）做 Y軸；選擇ZPRED（標(biāo)準(zhǔn)化預(yù)測(cè)值）做 X軸就可以在執(zhí)行后的輸出信息中顯示檢驗(yàn)方差齊性的散點(diǎn)圖。 共線性診斷 ? 在回歸方程中，雖然各自變量對(duì)因變量都是有意義的，但 某些自變量彼此相關(guān)，即存在共線性的問(wèn)題。 給評(píng)價(jià)自變量的貢獻(xiàn)率帶來(lái)困難。因此，需要對(duì)回歸方程中的變量進(jìn)行共線性診斷；并且確定它們對(duì)參數(shù)估計(jì)的影響。 ? 當(dāng)一組自變量精確共線性時(shí)，必須刪除引起共線性的一個(gè)和多個(gè)自變量，否則不存在系數(shù)唯一的最小二乘估計(jì)。當(dāng)共線性為近似時(shí)，一般是將引起共線性的自變量刪除，但需要掌握的原則是：務(wù)必使丟失的信息最少。 進(jìn)行共線性論斷常用的參數(shù)有 （ l）容差（ Tolerance） ? 容許度定義為 Toli＝ l一 Ri2 ? 多于兩個(gè)自變量的情況， Xi與其他自變量 X之間的復(fù)相關(guān)系數(shù)的平方體現(xiàn)其共線性，稱它為 Ri2。它的 值越接近 1，說(shuō)明自變量之間的 共線性程度越大 。 ? 當(dāng)容差的值較小時(shí)，自變量 Xi 與其他自變量X之間存在共線性；接近 1時(shí)說(shuō)明沒有明顯共線性。 （ 2）方差膨脹因子（ VIF） ? 方差膨脹因于（ VIF）定義為 VIF＝ 1/(l一 Ri2 )，即它是容差的倒數(shù)。 它的值越大，自變量之間存在共線性的可能性越大。 （ 3）條件參數(shù)（ Condition Index） ? 條件參數(shù)是在計(jì)算特征值時(shí)產(chǎn)生的一個(gè)統(tǒng)計(jì)量，其具體含義尚不大清楚，但己經(jīng)提出一些原則：其數(shù)值越大，說(shuō)明自變量之間的共線性的可能性越大； 有些學(xué)者提議，條件參數(shù) ≥30(10)時(shí)認(rèn)為有共線性存在的可能性，但理論上并沒有得到證明。 特征值（ Eigenvalue）如果很小，就應(yīng)該懷疑共線性的存在。