【正文】 二、最小二乘估計(jì) 與一元線性回歸類似，我們采用最小二乘法估計(jì)參數(shù) p???? , 210 ? ，引入偏差平方和 ),( 10 pQ ??? ? =?? ?????ni ippiii xxxy1222110 )( ???? ? 最小二乘估計(jì)就是求 ?? = Tp ),( 10 ??? ???? ，使得 ?min ),( 10 pQ ??????? = ),( 10 pQ ??? ???? 因?yàn)?),( 10 pQ ??? ? 是 p??? , 10 ? 的非負(fù)二次型，故其最小值一定存在。 (2) 檢驗(yàn)回歸的顯著性 ( ?? )。 (2) 檢驗(yàn)一元線性回歸的顯著性 ( ?? )。 例題選講： 一元線性回歸模型 例 1 ( 講義例 1) 求引例中產(chǎn)品得率 Y 關(guān)于溫度 x 的回歸方程 . 例 2 (講義例 2) 對(duì)某地區(qū)生產(chǎn)同一產(chǎn)品的 8 個(gè)不同規(guī)模的鄉(xiāng)鎮(zhèn)企業(yè)進(jìn)行生產(chǎn)費(fèi)用調(diào)查 , 得產(chǎn)量 x(萬件 )和生產(chǎn)費(fèi)用 Y (萬元 )的數(shù)據(jù)如下 : 試據(jù)此建立 Y 關(guān)于 x 的回歸方程 . 回歸方程的顯著性檢驗(yàn) 例 3 (講義例 3) 以家庭為單 位 , 某種商品年需求量與該商品價(jià)格之間的一組調(diào)查數(shù)據(jù)如下表 : )( )( kgx需求量 元價(jià)格 (1) 求經(jīng)驗(yàn)回歸方程 xy 10 ??? ?? ?? 。Y 關(guān)于 39。,39。,39。,39。39。,39。39。,39。,ln,ln39。 2??? NbxaY ??? 3. ),0(~ln, 2???? ? NxY ?? (3) 其中 2, ??? 是與 x 無關(guān)的未知參數(shù) . 在 ????? xY 兩邊取對(duì)數(shù)得 ??? lnlnlnln ??? xY 令 ,ln39。39。 ?? 則 (2)可轉(zhuǎn)化為下列一元線性回歸模型 : ),0(~39。 YY? ,ln??a ,??b ,39。39。139。139。239。139。1 xx 當(dāng) 0?1?? 時(shí) , 控制范圍為 )。,( 39。139。139。22/1039。239。當(dāng) n 很大 , 并且 0x 較接近 x 時(shí) , 有 1)(11 20 ???? xxL xxn , 2/2/ )2( ?? unt ?? 則預(yù)測(cè)區(qū)間近似為 ).??,??( 2/02/0 ?? aa uyuy ?? 七、控制問題 控制問題是預(yù)測(cè)問題的反問題 ,所考慮的問題是：如果要求將 y 控制在某一定范圍內(nèi) , 問x 應(yīng)控制在什么范圍 ? 這里我們僅對(duì) n 很大的情形給出控制方法 ,對(duì)一般的情形 ,也可類似地進(jìn)行討論。 當(dāng) )2(|| 2 ?? ntt ? 時(shí)，接受 0H ,此時(shí)回歸效果不顯著 . 2. ?F 檢驗(yàn)法 由定理 2, 當(dāng) 0H 為真時(shí) , 取統(tǒng)計(jì)量 )2,1(~)2( ??? nFnS SF 剩 回 由給定顯著性水平 ? , 查表得 )2,1( ?nF? , 根據(jù)試驗(yàn)數(shù)據(jù) ),(,),(),( 2211 nn yxyxyx ?計(jì)算F 的值 , 若 )2,1( ?? nFF ? 時(shí) , 拒絕 0H , 表明回歸效果顯著；若 )2,1( ?? nFF ? 時(shí) , 接受 0H ,此時(shí)回歸效果不顯著 . 3. 相關(guān)系數(shù)檢驗(yàn)法 由第四章知，相關(guān)系數(shù)的大小可以表示兩個(gè)隨機(jī)變量線性關(guān)系的密切程度 . 對(duì)于線性 回歸中的變量 x 與 Y ，其樣本的相關(guān)系數(shù)為 yyxxxyniiniiniiiLLLYYxxYYxx????????????12121)()())((? , 它反映了普通變量 x 與隨機(jī)變量 Y 之間的線性相關(guān)程度 . 故取檢驗(yàn)統(tǒng)計(jì)量 yyxxxyLL Lr ? 對(duì)給定的顯著性水平 ? , 查相關(guān)系數(shù)表得 ),(nr? 根據(jù)試驗(yàn)數(shù)據(jù)),(,),(),( 2211 nn yxyxyx ?計(jì)算 R 的值 , 當(dāng) )(|| nrr ?? 時(shí) , 拒絕 0H ,表明回歸效果顯著 。所謂最小二乘法就是尋求 10 ??與 的估計(jì) 10 ?? ??， ,使 ).,(m in)?,?( 1010 ???? ? 利用微分的方法，求 Q 關(guān)于 10 ??， 的偏導(dǎo)數(shù) , 并令其為零 , 得 ?????????????????????????niiiiniiixxyQxyQ110111000)(20)(2?????? 整理得 ?????????????????????????????????????????????iniiniiniiniiniiyxxxyxn1112011110????， 稱此為正規(guī)方程組，解正規(guī)方程組得 ??????????????? ????????? ????????niiniii xnxxynyxxy1221110?????? （ 5） 其中 ???ni ixnx 11 , ???ni iyny 11 , 若記 yxnyxyyxxL ni iiini id e fxy ?? ?? ????? 11 )()( ， ?? ?? ???? ni ini id e fxx xnxxxL 1 221 2)( , 則 ????? ? ??xxxy LLxy110? ???? ?? )6( )5( 或 )6( 叫做 10,?? 的最小二乘估計(jì) . 而 xY 10 ??? ?? ?? 為 Y 關(guān)于 x 的一元經(jīng)驗(yàn)回歸方程 . 四、最小二乘估計(jì)的性質(zhì) 定理 1 若 10 ?,? ?? 為 10,?? 的最小二乘估計(jì)，則 10 ?,? ?? 分別是 10,?? 的無偏估計(jì) , 且 ?????????????????? ?xxLxnN 2200 1,~? ??? , ????????xxLN211 ,~? ??? )(? 五、回歸方程的顯著性檢驗(yàn) 前 面關(guān)于線性回歸方程 xy 10 ??? ?? ?? 的討論是在線性假設(shè) ??? ??? xY 10 , ),0(~ 2?? N 下進(jìn)行的 . 這個(gè)線性回歸方程是否有實(shí)用價(jià)值 , 首先要根據(jù)有關(guān)專業(yè)知識(shí)和實(shí)踐來判斷，其次還要根據(jù)實(shí)際觀察得到的數(shù)據(jù)運(yùn)用假設(shè)檢驗(yàn)的方法來判斷 . 由線性回歸模型 ??? ??? xY 10 ， ),0(~ 2?? N 可知，當(dāng) 01?? 時(shí)，就認(rèn)為 Y 與 x 之間不存在線性回歸關(guān)系，故需檢驗(yàn)如下假設(shè) : ,0: 10 ??H 0: 11 ??H . 為了檢驗(yàn)假設(shè) 0H , 先分析對(duì)樣本觀察值 nyyy , 21 ? 的差異 ,它可以用總的偏差平方和來度量 , 記為 21 )(?? ??ni i yyS總, 由正規(guī)方程組 , 有 21 )??(?? ????ni iii yyyyS 總 = 21112 )?()?)(?(2)?( ?????? ??????ni ini iiini i yyyyyyyy = 2121 )?()?( ?? ?? ???ni ini ii yyyy. 令 21 )?(?? ??ni i yyS回, 21 )?(?? ??ni ii yyS剩, 則有 回?？?SSS ?? 上式稱為總偏差平方和分解公式 . 回S 稱為回歸平方和 ,它由普通變量 x 的變化引起的 ,它 的大小 (在與誤差相比下 )反映了普遍變量 x 的重要程度 。 設(shè) ),(,),(),( 2211 nn YxYxYx ?是取自總體 ),( Yx 的一組樣本 ,而 ),(,),(),( 2211 nn yxyxyx ?是該樣本的觀察 值 ,在樣本和它的觀察值中的 nxxx , 21 ? 是取定的不完全相同的數(shù)值，而樣本中的 nYYY , 21 ? 在試驗(yàn)前為隨機(jī)變量，在試驗(yàn)或觀測(cè)后是具體的數(shù)值，一次抽樣的結(jié)果可以取得 n 對(duì)數(shù)據(jù) ),(,),(),( 2211 nn yxyxyx ?，則有 iii xy ??? ??? 10 , ni ,2,1 ?? (2) 其中 n??? , 21 ? 相互獨(dú)立。 本節(jié)主要介紹一元線性回歸模型估計(jì)、檢驗(yàn)以及相應(yīng)的預(yù)測(cè)和控制等問題。考慮用下列模型表示 )(xfY? . 但是，由于兩個(gè)變量之間不存在確定的函數(shù)關(guān)系， 因此必須把隨機(jī)波動(dòng)考慮進(jìn)去，故引入模型如下 ??? )(xfY 其中 Y 是隨機(jī)變量， x 是普通變量， ? 是隨機(jī)變量（稱為隨機(jī)誤差）。回歸分析是研究?jī)蓚€(gè)或兩個(gè)以上變量相關(guān)關(guān)系的一種重要的統(tǒng)計(jì)方法。我們稱這類非確定性關(guān)系為相關(guān)關(guān)系。 每個(gè)水平組合進(jìn)行兩次試驗(yàn) , 所得結(jié)果如表 (指標(biāo)值以大為好 ). 問通電 方法、液溫和它們的交互作用對(duì)該質(zhì)量指標(biāo)有無顯著影響 ( )?? ? 1B 2B 1A 2A 3A 1010 1010 第三節(jié) 一元線性回歸 在客觀世界中 , 普遍存在著變量之間的關(guān)系 .數(shù)學(xué)的一個(gè)重要作用就是從數(shù)量上來揭示、表達(dá)和分析這些關(guān)系。1(),1)(1(( ??? trssrF? 實(shí)際分析中，常采用如下簡(jiǎn)便算法和記號(hào)： T=???? ? ? ?risjtk ij XrstX1 1 1 , T ?ij =??tk ijkX1, i=1， 2， ?， r， j=1， 2， ?， s， T??i =??? ?sjtk ijkX1 1， i=1， 2， ?， r， T ??j =??? ?ritk ijkX1 1， j=1， 2， ?， s. 則 ST =???? ? ?risjtk ijkX1 1 12 rstT2? , SA =st1 ?? ??ri iT12 rstT2? , SB =rt1 ?? ??sj jT12 rstT2? , S BA? =???????? ???? ? ?risj ij rstTTt1 1221 ,BA SS ?? , SE = ,BABAT SSSS ???? 可得如下方差分析表： 表 825 有重復(fù)試驗(yàn)雙因素方差分析表 1)1()1()1)(1()1)(1(1111???????????????????????rstStrsSStrsSSSFsr