【文章內(nèi)容簡介】 ??????????是 隨 機 誤 差 ， 不 可 控 制 ，基 本 假 設 ：回 歸 系 數(shù) ） 未 知 .1 1 2 2, ( , ) , ( , ) , .. ., ( , )nnx x Y x Y x Y對 的 一 組 不 全 相 同 的 值 得 到 樣 本22, 1 , 2 , ..., ,( ) 0 , ( ) , ( ,i i iiiiY a bx i nEDab??? ? ??? ? ? ????? ?????相 互 獨 立 ，一 元 線 性 回 歸 模 型 ：回 歸 系 數(shù) ） 未 知 .? ?2~ 0 , 1 , 2 , .. ., .i N i n?? ?正 態(tài) 假 設 ： ， 相 互 獨 立 ，22, 1 , 2 , ..., ,( ) 0 , ( ) , ( ,i i iiiiY a bx i nEDab??? ? ??? ? ? ??????????相 互 獨 立 ，一 元 線 性 回 歸 模 型 ：回 歸 系 數(shù) ） 未 知 .通常我們假定隨機誤差i?是相互獨立的 , 服從正態(tài)分布),0( 2?N. 顯然 , 在這樣的假定下iy也是相互獨立 , 服從正態(tài)分布),( 2?ibxaN ?. 由所得樣本可給出未知參數(shù) a , b 的點估計 , 分別記為??,b?, 稱xbaY ??? ??為x關于y的一元線性回歸方程 . ( 1 ) ,ab 的 估 計 ；2( 2 ) ? 的 估 計 ；( 3 ) 線 性 假 設 的 顯 著 性 檢 驗 ；( 4) b回 歸 系 數(shù) 的 置 信 區(qū) 間 ；( 5 ) ( )x a b x? ??回 歸 函 數(shù) 的 點 估 計 和 置 信 區(qū) 間 ；( 6) Y 的 觀 察 值 的 點 預 測 和 區(qū) 間 預 測 。一元線性回歸要解決的問題： ? ? ? ? 21,niiiQ a b y a b x?? ? ??12 ( ) 0 ,niiiQ y a b xa ?? ? ? ? ? ?? ?12 ( ) 0 .ni i iiQ y a b x xb ?? ? ? ? ? ?? ?參數(shù)估計 ? ? ? ?,?? ,?? , m i n ,ababQ a b Q a b?求 估 計 ，使 。? ? ? ?,?? ,?? , m i n ,ababQ a b Q a b?求 估 計 ，使 。1x 2x 3x ix nx??y a bx??1121 1 1( ) ,( ) ( ) .nniiiin n ni i i ii i in a x b yx a x b x y??? ? ???????? ? ?整理得正規(guī)方程系數(shù)行列式 ? ?? ? ? ? ? ?2211, , ,.i i x x ii i ix y i i y y iiiy y x x S x xnnS x x y y S y y? ? ? ?? ? ? ? ?? ? ???記 號 ：? ??, , / .x y x xa b a y x b b S S? ? ?的 最 小 二 乘 估 計 ：? ?? ,. x x x ya x b y S b S? ? ?將 正 規(guī) 方 程 整 理 得 ：為 了 給 出 另 一 個 參 數(shù)?的 估計 ， ? 定義 殘 差 。 記iii yye ???, 稱ie為 殘 差 。 殘 差 可 以 看成 是 不 可 觀測 的 誤 差i?的 估計 。 ? 采 用 殘 差 平 方 和? ????niiiyy12?作 為2?的 估計 。 ? ??????niiiyyns122?21， 可 以 證 明2s為2?的 無 偏 估計 。 在誤差為正態(tài)分布假定下 ， 最小二乘估計等價于極大似然估計 。 ? ?? ?? ?2212 211, e xp2niiniL a b y a bx??? ???? ? ? ??????? ? ? ?21,niiiL a b y a bx????對 最 大 化 等 價 于 對最 小 化 ， 即 最 小 二 乘 估 計 。? 采用最大似然估計給出參數(shù) a ,b的估計與最小二乘法給出的估計完全一致。 ? 采用最大似然估計給出誤差 的估計與最小二乘法給出的估計不一致。此時給出的估計不是無偏估計。 2?? ?????niii yyn122 ?1??例 1 高的資料。其中十對如下： 父親身高x（吋） 60 62 64 65 66 67 68 70 72 74 兒子身高y（吋） 66 70 求 Y關于 x的線性回歸方程。 2 , ,44794 , , , .i i iiix x x yyxx x ySS????????計 算 得 ：??, 35 .9 76 8 , 0. 46 46a b a b??的 最 小 二 乘 估 計 ：? 3 5 . 9 7 6 8 0 . 4 6 4 6 .? 6 7 . 0 1 0 . 4 6 4 6 ( 6 6 . 8 ) .yxyx??? ? ?回 歸 方 程 ：或 寫 成 ：參數(shù)性質 定理 9. 在模型的假設下 , ( 1) ? ?xxSbNb 2,~? ? （ 2 ）?????????????????221,~? ?xxSxnaNa ? ?1? ,x y x x x x i iib S S S x x Y?? ? ??證 明 ： 因 為 /? ? ? ?11?( ) ( ) ( )x x i i x x i iiiE b S x x E Y S x x a b x??? ? ? ? ???? ? ? ? 211x x i i x x iiib S x x x b S x x b??? ? ? ? ???即為正態(tài)隨機變量的線性組合，所以服從正態(tài)分布。 證明（ 1） ? ? xxxxniiSSxxbD22212)(]?[?? ?????（ 2）類似可得。 回歸方程顯著性檢驗 采用最小二乘法估計參數(shù) a和 b，并不需要事先知道 Y與 x之間一定具有相關關系。 因此 μ(x)是否為 x的線性函數(shù)： 一要根據(jù)專業(yè)知識和實踐來判斷， 二要根據(jù)實際觀察得到的數(shù)據(jù)用假設檢驗方法來判斷。 01: 0 , : 0 ,H b H b??即 要 檢 驗 假 設（ 1）影響 Y取值的，除了 x，還有其他不可忽略的因素； （ 2） E(Y)與 x的關系不是線性關系，而是其他關系； （ 3） Y與 x不存在關系。 若原假設被拒絕，說明回歸效果是顯著的，否則，若接受原假設，說明 Y與 x不是線性關系，回歸方程無意義?；貧w效果不顯著的原因可能有以下幾種： 假設的檢驗統(tǒng)計量 與方差分析方法類似，仍采用平方和分解。 我們可以總的平方和分解為二個部分 : ? ? ? ? ? ?? ? ? ????? 222 ?? yyyyyy iiii 而一般我們總是用 ? ?? 2)(? yySST i 來描述nyyy ??,21 ,之間的總的差異大小，把 SST 稱為總的平方和。 并稱 2)?(? ? ?? ii yySSE為模型的殘差平方和； 2)?(? ? ?? yySSR i為模型的回歸平方和； S S ES S RS S T ?? 我們可以總的平方和分解為二個部分 : ? ? ? ? ? ?? ? ? ????? 222 ?? yyyyyy iiii 而一般我們總是用 ? ?? 2)(? yySST i 來描述nyyy ??,21 ,之間的總的差異大小，把 SST 稱為總的平方和。 并稱 2)?(? ? ??ii yySSE為模型的殘差平方和； 2)?(? ? ?? yySSRi為模型的回歸平方和； S S ES S RS S T ?? 我們可以總的平方和分解為二個部分 : ? ? ? ? ? ?? ? ? ????? 222 ?? yyyyyy iiii 而一般我們總是用 ? ?? 2)(? yySST i 來描述 nyyy ??,21 , 之間的總的差異大小，把 SST 稱為總的平方和。 并稱 2)?(? ? ?? ii yySSE 為模型的殘差平方和； 2)?(? ? ?? yySSR i為模型的回歸平方和； S S ES S RS S T ?? 我們可以總的平方和分解為二個部分 : ? ? ? ? ? ?? ? ? ????? 222 ?? yyyyyy iiii 而一般我們總是用 ? ?? 2)(? yySST i 來描述nyyy ??,21 ,之間的總的差異大小，把 SST 稱為總的平方和。 并稱 2)?(? ? ??ii yySSE為模型的殘差平方和； 2)?(? ? ?? yySSRi為模型的回歸平方和； S S ES S RS S T ?? 我們可以總的平方和分解為二個部分 : ? ? ? ? ? ?? ? ? ????? 222 ?? yyyyyy iiii 而一般我們總是用 ? ?? 2)(? yySST i 來描述nyyy ??,21 ,之間的總的差異大小，把 SST 稱為總的平方和。 并稱 2)?(? ? ??ii yySSE為模型的殘差平方和； 2)?(? ? ?? yySSRi為模型的回歸平方和； S S ES S RS S T ?? 我們可以總的平方和分解為二個部分 :