【文章內容簡介】 ted regression equation) 0?b 1?b0b 1b1. 總體 回歸參數 和 是未知的 ， 必須利用樣本數據去估計 2. 用樣本統計量 和 代替回歸方程中的未知參數 和 ， 就得到了 估計的回歸方程 3. 一元線性回歸中估計的回歸方程 （ 經驗回歸方程 ） 為 0b 1bxy 10 ??? bb +?其中： 是估計的回歸直線在 y 軸上的截距 ， 是直線的斜率 ， 它表示對于一個給定的 x 的值 ， 是 y 的估計值 ， 也表示 x 每變動一個單位時 ， y 的平均變動值 0?b 1?by? 參數的最小二乘估計 一元線性回歸的估計和檢驗 參數的最小二乘估計 最小????? ????niiinii xyyy121012 )??()?( bb1. 德國科學家 Karl Gauss(1777—1855)提出用最小化圖中垂直方向的誤差平方和來估計參數 2. 使因變量的觀察值與估計值之間的誤差平方和達到最小來求得 和 的方法。即 3. 用最小二乘法擬合的直線來代表 x與 y之間 的關系與實際數據的誤差比其他任何直線都小 0?b 1?bKarl Gauss的最小化圖 x y (xn , yn) (x1 , y1) ? ? ? ? ? ? ? ? ? (x2 , y2) (xi , yi) ei = yiyi ＾ xy 10 ??? bb +?參數的最小二乘估計 ( 和 的計算公式 ) ? 根據最小二乘法 ， 可得求解 和 的公式如下 1?b0?b0?b 1?b參數的最小二乘估計 回歸直線的擬合優(yōu)度 一元線性回歸的估計和檢驗 變差 1. 因變量 y 的取值是不同的 ， y 取值的這種波動稱為 變差 。 變差來源于兩個方面： – 由于自變量 x 的取值不同造成的 – 除 x 以外的其他因素 (如 x對 y的非線性影響 、測量誤差等 )的影響 2. 對一個 具體的觀測值來說 ， 變差的大小可以通過該實際觀測值與其均值之差 來表示 yy?誤差分解圖 x y y xy 10 ??? bb +?yy ?yy ??yy??? ),( ii yx誤差平方和的分解 (誤差平方和的關系 ) SST = SSR + SSE ? ? ? ? ? ????????+???niiniinii yyyyyy121212 ??總平方和 (SST) { 回歸平方和 (SSR) 殘差平方和 (SSE) { { 誤差平方和的分解 (三個平方和的意義 ) 1. 總平方和 (SST— total sum of squares) – 反映因變量的 n 個觀察值與其均值的總誤差 2. 回歸平方和 (SSR—sum of squares of regression) – 反映自變量 x 的變化對因變量 y 取值變化的影響 ，或者說 ， 是由于 x 與 y 之間的線性關系引起的 y 的取值變化 ， 也稱為可解釋的平方和 3. 殘差平方和 (SSE—sum of squares of error) – 反映除 x 以外的其他因素對 y 取值的影響 ， 也稱為不可解釋的平方和或剩余平方和 樣本決定系數 R2 (coefficient of determination) 1. 回歸平方和 占總誤差平方和的比例 ? 反映回歸直線的擬合程度 ? 取值范圍在 [ 0 , 1 ] 之間 ? R2 ?1，說明回歸方程擬合的越好； R2?0，說明回歸方程擬合的越差 ? 決定系數平方根等于相關系數 估計標準誤差 1. 實際觀察值與回歸估計值誤差平方和的均方根 2. 反映實際觀察值在回歸直線周圍的分散狀況 3. 對 誤差項 ?的標準差 ?的估計 ， 是在排除了 x對 y的線性影響后 ， y隨機波動大小的一個估計量 4. 反 映用估計的回歸方程預測 y時預測誤差的大小 5. 計算公式為 6. 回歸標準差越小 ， 表明實際觀測值與所擬合的樣本回歸線的離差程度越小 ， 即回歸線具有較強的代表性 。 顯著性檢驗 一元線性回歸的估計和檢驗 回歸方程的顯著性檢驗 1. 檢驗自變量與因變量之間的線性關系是否顯著 2. 將回歸均方 (MSR)同殘差均方 (MSE)加以比較 ， 應用 F檢驗來分析二者之間的差別是否顯著 ? 回歸均方：回歸平方和 SSR除以相應的自由度 (自變量的個數 k) ? 殘差均方：殘差平方和 SSE除以相應的自由度 (nk1) 回歸方程的顯著性檢驗 (檢驗的步驟 ) 1. 提出 假設 – H0： b1=0 線性關系不顯著 2. 計算 檢驗統計量 F 3. 確定 顯著性水平 ?，并根據分子自由度 1和分母自由度 n2求統計量的 P值 4. 作 出決策：若 P?， 拒絕 H0。 表明兩個變量之間的線性關系顯著 5. 作出決策：若 FF ?,拒絕 H0線性關系顯著 回歸系數的檢驗和推斷 3. 在一元線性回歸中 ， 等價于 線性關系的顯著性檢驗 4. 采用 t檢驗 1. 檢驗 x 與 y 之間是否具有線性關系 ， 或者說， 檢驗自變量 x 對因變量 y 的影響是否顯著 2. 理論基礎是回歸系數 的抽樣分布 1?b 回歸系數的檢驗和推斷 1. 提出假設 – H0: b1 = 0 (沒有線性關系 ) – H1: b1 ? 0 (有線性關系 ) 2. 計算檢驗的統計量 3. 確定顯著性水平 ?， 計算出統計量的 P值 ， 并做出決策 ? P?， 拒絕 H0， 表明自變量是影響因變量的一個顯著因素 ? ? t?t???(n2)，拒絕 H0； ? t?t???(n2)，不能拒絕 H0 回歸系數的檢驗和推斷 (b1和 b0的置信區(qū)間 ) 1. b1在 1 ?置信水平下的置信區(qū)間為 ?.b0在 1 ?置信水平下的置信區(qū)間為 ?????nii xxnt1221)(?)2(??b ????+?? nii xxxnnt12220)()(1?)2(? ?b ?三種檢驗的關系 ? 在一元線性回歸分析中，回歸系數顯著性的 t檢驗、回歸方程顯著性的 F檢驗，相關系數顯著性 t檢驗，三者等價的，檢驗結果是完全一致的。 ? 對一元線性回歸，只做其中的一種檢驗即可。 利用回歸方程進行預測 平均值的置信區(qū)間 個別值的預測區(qū)間 第 8 章 一元線性回歸 區(qū)間估計 1. 對于自變量 x 的一個給定值 x0， 根據回歸方程得到因變量 y 的一個估計區(qū)間 2. 區(qū)間估計有兩種類型 – 置信區(qū)間估計 (confidence interval estimate) – 預測區(qū)間估計 (prediction interval estimate) 平均值的置信區(qū)間 利用回歸方程進行預測 平均值的置信區(qū)間 1. 利用 估計的回歸方程，對于自變量 x 的一個給定值 x0 ，求出因變量 y 的平均值的估計區(qū)間 ，這一估計區(qū)間稱為 置信區(qū)間 (confidence interval) 2. E(y0) 在 1?置信 水平下的置信區(qū)間為 ? ?