【文章內(nèi)容簡介】 ?j)=E(?i)E(?j)=0， i≠j。 對于不同觀測值的 Yi 與 Yj完全相互獨立，互不相關(guān)、互不干擾； ⑶ Yi的分布假定： Yi ~ (?0+?1Xi， σ2)， Yi是一個關(guān)于他們的均值對稱的分布。 ▼ 以上假設(shè)也稱為線性回歸模型的 經(jīng)典假設(shè) 或 高斯（ Gauss）假設(shè) ， 滿足 經(jīng)典假設(shè) 的線性回歸模型 ， 也稱為 經(jīng)典線性回歸模型 （ Classical Linear Regression Model, CLRM） 。 41 其他假定 ○ 其他假定： 是關(guān)于方程形式的假定。 ⑴綜合變量應能夠正確歸并，即 Xi與 Yi分別表示各自的項目之和變量； ⑵所關(guān)心的方程已經(jīng)被識別，即假定要估計其系數(shù)的關(guān)系式具有唯一（不同其他）的數(shù)學形式； ⑶關(guān)系式的確定是正確的，即 模型沒有設(shè)定偏誤。 假定在確定解釋變量的過程中，沒有出現(xiàn)任何誤差，即已經(jīng)把所有重要的回歸自變量明確地包括在模型中了，其數(shù)學形式也是正確的。 42 二、參數(shù)的普通最小二乘估計（ OLS） ○ 最佳原則： 對于樣本回歸直線的確定，是以能夠最好的擬合觀測值為準則的。這個準則要求：選擇最佳的參數(shù)，使全部觀測值的殘差平方和達到最小，即：∑ei2=Min 。 △ 普通最小二乘法 △ 幾種離差變換形式 43 普通最小二乘法 ○ 給定一組樣本觀測值（ Xi, Yi）（ i=1,2,…n ），要求樣本回歸函數(shù)盡可能好地擬合這組值。 ○普通最小二乘法 （ Ordinary least squares, OLS）給出的判斷標準是：使二者之差（殘差）的平方和最小。 ∑ ei2= ○ 由于是已知的觀測值，那么根據(jù)極值的性質(zhì)，應有兩個關(guān)于未知參數(shù)的一階條件，從而使： ∑ ei2=Min 。 ?? ????? n iiin i XYYYQ121021))??(()?( ??44 方程組（ *）稱為 正規(guī)方程組 （ normal equations） 。 45 記 ? ? 2222 1)( ??? ? ????iiii XnXXXx? ? ? ? ?????? iiiiiiii YXnYXYYXXyx 1))((上述參數(shù)估計量可以寫成： ??????????XYxyxiii1021???????○ 稱為 OLS估計量的 離差形式 （ deviation form）。 ?○ 由于參數(shù)的估計結(jié)果是通過最小二乘法得到的，故稱其為 普通最小二乘估計量 （ ordinary least squares estimators）。 46 幾種離差變換形式 ⑴ 總體回歸模型的離差形式： yi=?1xi+?iū 對總體回歸模型 Yi=?0+?1Xi+?i，兩端連加并同除 n，得到：Y=?0+?1X+ū；兩式相減得到離差形式： yi=?1xi+?iū ⑵ 樣本回歸直線的離差形式： 對樣本回歸直線： ， 兩端連加并同除 n， 得到樣本均值回歸直線方程 。 兩式相減 ， 并根據(jù)均值性質(zhì) ， 得到樣本回歸直線的離差形式： ⑶ 正規(guī)方程組的離差形式： ∑eixi =0 根據(jù)已知一階條件： ∑ei=0， ∑eiXi =0， 將 xi =Xi X代入第二式得到： ∑eixi =0； ○ 將 樣本回歸模型 的離差形式 : +ei 代入 ∑eixi =0， 即： ∑（ ） xi =0 即可以得到樣本回歸模型的參數(shù)估計值的表達式 。 ○ 注意： ∑Yi=∑Y， ∑Xi=∑X； ∑xi=0， ∑yi=0 ii xy 1?? ??ii xy 1?? ??i i x y 1 ? ? ? i i x y 1 ? ? 47 三、參數(shù)估計的最大或然法 (ML) △ 基本原理 △ 似 （ 或 ） 然函數(shù) △ 參數(shù)的最大或然估計量 △ 案例分析 48 基本原理 ○ 最大或（似）然法 (Maximum Likelihood,簡稱 ML)，是從最大或然原理出發(fā)發(fā)展起來的其他估計方法的基礎(chǔ)。 最大似然原理能更本質(zhì)地揭示通過樣本估計總體參數(shù)的內(nèi)在機理。 ○ 當從模型總體中隨機抽取 n組樣本觀測值后： 對于 最小二乘法 ，最合理的參數(shù)估計量應該使得模型能夠最好地擬合樣本數(shù)據(jù)；對于 最大或然法 ，最合理的參數(shù)估計量應該使得從模型中抽取該 n組樣本觀測值的概率最大。 ○ 從總體中經(jīng)過 n次隨機取樣，抽到樣本容量為 n的樣本觀測值，在任一次隨機抽取中，樣本觀測值都以一定的概率出現(xiàn)，如果已經(jīng)知道總體的參數(shù)，則由變量的頻率函數(shù)可以計算其概率。 ○樣本觀測值已知， 如何確定哪個總體最可能產(chǎn)生已經(jīng)得到的樣本觀測值？顯然：對每個可能的正態(tài)總體，估計其取得樣本觀測值的聯(lián)合概率，然后選擇其參數(shù)使樣本觀測值的聯(lián)合概率最大的那個總體。 ○ 將樣本觀測值的聯(lián)合概率函數(shù)稱為 變量的似然函數(shù) 。通過似然函數(shù)極大化求得總體參數(shù)估計量的方法稱為 極大似然法 。 49 似（或）然函數(shù) ? 滿足基本假設(shè)條件下，對一元線性回歸模型： ? 隨機抽取 n組樣本觀測值（ Xi, Yi）（ i=1,2,…n ）。 ? 假如模型的參數(shù)估計量已經(jīng)求得，為： ? 那么 Yi服從如下的正態(tài)分布： ○ 于是， Yi的概率函數(shù)為： ○ 因為 Yi是相互獨立的，所以 Y的所有樣本觀測值的聯(lián)合概率，也即 或然函數(shù) (likelihood function)為： ? 將該或然函數(shù)極大化，即可求得到模型參數(shù)的 極大或然估計量 。 ),??(~ 210 ??? ii XNY ?2102 )??(2121)( ii XYi eYP?????????iii XY ??? ??? 10),(),?,?( 21210 nYYYPL ???????21022)??(21)2(1 iinXYne??????????50 參數(shù)的最大或然估計量 ? 由于或然函數(shù)的極大化與或然函數(shù)的對數(shù)的極大化是等價的，所以，取對數(shù)或然函數(shù)如下： ? 其極值的一階條件為： ○對 模型的參數(shù)估計量求解： ○ 可見 ， 在滿足一系列基本假設(shè)的情況下 ， 模型結(jié)構(gòu)參數(shù)的最大或然估計量 與 普通最小二乘估計量 是 相同的 。 2102*)??(21)2l n ()l n (ii XYnLL????? ???????51 案例分析 ? 案例 ：上述家庭可支配收入 消費支出例中，對于所抽出的一組樣本數(shù)，參數(shù)估計的計算可通過下表進行。 表 參數(shù)估計的計算表 i X i Y i x i y i i y x 2 i x 2 i y 2 i X 2 i Y 1 800 594 1350 973 1314090 1822500 947508 640000 352836 2 1100 638 1050 929 975870 1102500 863784 1210000 407044 3 1400 1122 750 445 334050 562500 198381 1960000 1258884 4 1700 1155 450 412 185580 202500 170074 2890000 1334025 5 2022 1408 1 50 159 23910 22500 25408 4000000 1982464 6 2300 1595 150 28 4140 22500 762 5290000 2544025 7 2600 1969 450 402 180720 202500 161283 6760000 3876961 8 2900 2078 750 511 382950 562500 260712 8410000 4318084 9 3200 2585 1050 1018 1068480 1102500 1035510 10240000 6682225 10 3500 2530 1350 963 1299510 1822500 926599 12250000 6400900 求和 21500 15674 5769300 7425000 4590020 53650000 29157448 平均 2150 1567 52 7 7 7 4 2 5 0 0 05 7 6 9 3 0 0?21 ??? ??iiixyx? 1 5 5 6 7?? 00 ??????? XY ??因此，由該樣本估計的回歸方程為： ii XY ???53 四、最小二乘估計量的性質(zhì) ○ 當模型參數(shù)估計出后，需考慮參數(shù)估計值的精度，即是否能代表總體參數(shù)的真值，或者說需考察參數(shù)估計量的統(tǒng)計性質(zhì)。 ○ 高斯 —馬爾可夫定理 (GaussMarkov theorem)： 在給定經(jīng)典線性回歸的假定下 ， 最小二乘估計量是具有最小方差的線性無偏估計量 。 △ 最小二乘估計量的性質(zhì) △ 線性特性 △ 無偏特性 △ 最小方差特性 54 最小二乘估計量的性質(zhì) ○ 考察總體的估計量，可從如下幾個方面考察其優(yōu)劣性： ⑴ 線性性 ，即是否是另一隨機變量的線性函數(shù)； ⑵ 無偏性 ，即其均值或期望值是否等于總體的真實值； ⑶ 有效性 ，即是否在所有線性無偏估計量中具有最小方差。 ○ 這三個準則也稱作估計量的小樣本性質(zhì)。 擁有這類性質(zhì)的估計量稱為 最佳線性無偏估計量 （ best liner unbiased estimator, BLUE）。 ○ 當不滿足小樣本性質(zhì)時 ，需進一步考察估計量的 大樣本 或 漸近性質(zhì)， 即樣本容量趨于無窮大時： ⑷ 漸近無偏性 ，是否它的均值序列趨于總體真值； ⑸ 一致性 ， 它是否依概率收斂于總體的真值； ⑹ 漸近有效性 ， 是否它在所有的一致估計量中具有最小的漸近方差 。 55 線性特性： 參數(shù)估計值的線性特性是指參數(shù)估計值的 表達式均為樣本觀測值 Yi的線性函數(shù)式。 ○ ki和 wi均是非隨機變量，是由離差 xi的非隨機特性決定的； ○ ki的幾個性質(zhì) ① ∑ki=∑(xi/∑xi2) =∑xi/∑xi2=0； ② ∑kiXi=∑(xiXi/∑xi2) =∑xi2/∑xi2=1 ③ ∑ki xi=∑(xi xi/∑xi2) =∑xi2 /∑xi2=1 ④ ∑ki2 =1/∑xi2 ○ wi的幾個性質(zhì) ① ∑wi=∑[1/nkiX] =∑1/n∑kiX =1； ② ∑wi Xi=∑[1/nkiX]Xi =∑Xi/n ∑ki X Xi= 0； ③ ∑wi xi=∑[1/nkiX]xi =∑xi /n ∑ki Xxi=X 56 參數(shù)估計值的無偏特性 ⑴ 證明： E（ 226。1） = a1 ? 將 Yi=a0+a1Xi+?i代入表達式： 226。1=∑kiYi， ? 得： 226。1=∑ki（ a0+a1Xi+?i） ? 將上式展開得到： ? 226。1=a1+∑ki ?i ，則： ? E（ 226。1） =a1+∑ki E（ ?i）=a1 ? 如果基本假定中的 E（ ?i）≠0， 則估計值就是有偏的。 ⑵ 證明： E（ 226。0） = a0 ? 將 Yi=a0+a1Xi+?i代入表達式：226。0 =∑wi Yi， ? 得： 226。0=∑wi（ a0+a1Xi+?i） ? 將上式展開得到： ? 226。0=a0+∑wi ?i ，則： ? E（ 226。0） =a0 +∑wi E（ ?i）=a 0 ? 如果基本假定中的 E（ ?i）≠0， 則估計值就是有偏的。 ○ 參數(shù)估計值的無偏特性是指參數(shù)估計值的期望值等于總體回歸參數(shù)的值。 57 參數(shù)估計值的最小方差特性 ○ 參數(shù)估計值的最小方差特性是指在所有的線性無偏參數(shù)估計值中，普通最小二乘法的參數(shù)估計量具有最小的方差特性，即其波動最小、最穩(wěn)定。 (1 ) 先 求 0?? 與 1?? 的 方 差 ? ?? ????? )v a r ()v a r ()v a r ()?v a r ( 21021 iiiiiii