【正文】 ??????? ? ? ? ?????解滿足這個(gè)樣本矩條件的就得到了參數(shù)的矩估計(jì)量 . 山東經(jīng)濟(jì)學(xué)院統(tǒng)計(jì)與數(shù)學(xué)學(xué)院計(jì)量經(jīng)濟(jì)教研室 01? ?,?? 事實(shí)上，它就是最小二乘估計(jì)量，因?yàn)檫@些樣本矩條件就是最小二乘估計(jì)量的正規(guī)條件。 xy 10 ?? ?? ?? xy 10 ?? ?? ??ii xy 10 ??? ?? ?? ),( yx殘差的均值為零，即 山東經(jīng)濟(jì)學(xué)院統(tǒng)計(jì)與數(shù)學(xué)學(xué)院計(jì)量經(jīng)濟(jì)教研室 例 21 某汽車廠銷售部經(jīng)理認(rèn)為，汽車的銷售量與廣告費(fèi)用之間存在著密切的關(guān)系。 10 ?,? ?? iy iy? 給定一組樣本觀測(cè)值（ xi, yi）（ i=1,2,… n） 要求樣本回歸函數(shù)盡可能好地?cái)M合這組值 . 普通最小二乘法 （ Ordinary least squares, OLS）給出的判斷標(biāo)準(zhǔn)是：二者差的平方和最小 22011? ?()ni i iiQ e y x???? ? ? ??? 山東經(jīng)濟(jì)學(xué)院統(tǒng)計(jì)與數(shù)學(xué)學(xué)院計(jì)量經(jīng)濟(jì)教研室 ?????????????????????????0)??(2?0)??(2?11011100niiiiniiixxyQxyQ?????? 和 應(yīng)滿足下列方程組： 1??0???????????????????????niiniiniiiniiniixxyxxny1211011101????????整理得正規(guī)方程組： () 山東經(jīng)濟(jì)學(xué)院統(tǒng)計(jì)與數(shù)學(xué)學(xué)院計(jì)量經(jīng)濟(jì)教研室 由克萊姆法則解得： ??????????????????????????????xyniiniiiniiniiniiniiniiixxyyxxxxnyxyxn10)())(()(1???1212112111??????niiyny11 ???niixnx11由（ ）或（ ）估計(jì)出的 和 稱為： 普通最小二乘估計(jì)量 （ Ordinary Least Squares EstimatorsOLSE） 0?? 1??其中： 山東經(jīng)濟(jì)學(xué)院統(tǒng)計(jì)與數(shù)學(xué)學(xué)院計(jì)量經(jīng)濟(jì)教研室 由最小二乘法確定的一元線性回歸方程 有以下性質(zhì)： ii xy 10 ??? ?? ??它是由所選取的樣本唯一決定的。其中， 是估計(jì)的回歸直線在 y軸上的截距，是總體回歸系數(shù) 的樣本估計(jì)值； 是直線的斜率，是總體回歸系數(shù) 的樣本估計(jì)值。它由兩部分組成： 稱為 系統(tǒng)分量 ，是可以被 x解釋的部分，也 稱為 可解釋分量 ； 是不能被解釋的部分，稱為殘差 (Residual),它是隨機(jī)項(xiàng) 的代表值，也稱為 不可 解釋分量 。 在假定 5成立的前提下，隨機(jī)變量 yi的 條件分布也 為正態(tài)分布，即： yi~N(β0+ β1xi, ?u2 ) i=1,2, …, n 以上假設(shè)也稱為線性回歸模型的 經(jīng)典假設(shè) 或 高斯 （ Gauss）假設(shè) ，滿足該假設(shè)的線性回歸模型，也 稱為 經(jīng)典線性回歸模型（ Classical Linear Regression Model, CLRM） 。這些假定通常稱為 古典假定 。用數(shù)學(xué)語(yǔ)言 表示為： 二是被解釋變量 y與參數(shù) β 之間為線性關(guān)系，即參數(shù) β 僅以一次方的形式出現(xiàn)在模型之中。 回歸分析 對(duì)變量的處理方法存在不對(duì)稱性，即區(qū)分應(yīng)變量（被解釋變量）和自變量（解釋變量）：前者是隨機(jī)變量，后者不是。 ３、進(jìn)行預(yù)測(cè)和控制。 山東經(jīng)濟(jì)學(xué)院統(tǒng)計(jì)與數(shù)學(xué)學(xué)院計(jì)量經(jīng)濟(jì)教研室 (二）回歸分析的主要內(nèi)容 一般認(rèn)為，回歸分析的主要內(nèi)容包括以下三個(gè)方面： １、進(jìn)行參數(shù)估計(jì)。這項(xiàng)研究結(jié)果表明，雖 然高個(gè)子父輩有生高個(gè)子兒子的趨勢(shì)，矮個(gè)子的父輩有生 山東經(jīng)濟(jì)學(xué)院統(tǒng)計(jì)與數(shù)學(xué)學(xué)院計(jì)量經(jīng)濟(jì)教研室 矮個(gè)子兒子的趨勢(shì)，但父輩身高增減一個(gè)單位，兒子身高僅增減半個(gè)單位左右。 山東經(jīng)濟(jì)學(xué)院統(tǒng)計(jì)與數(shù)學(xué)學(xué)院計(jì)量經(jīng)濟(jì)教研室 回歸分析 (regression analysis)是研究一個(gè)變量關(guān)于另一個(gè)（些）變量的具體依賴關(guān)系的計(jì)算方法和理論 。 若相互依賴的變量間沒(méi)有因果關(guān)系，則稱其有相關(guān) 關(guān)系。 模型的設(shè)定誤差。 一般說(shuō)來(lái)，隨機(jī)項(xiàng)來(lái)自以下幾個(gè)方面： 變量的省略。 山東經(jīng)濟(jì)學(xué)院統(tǒng)計(jì)與數(shù)學(xué)學(xué)院計(jì)量經(jīng)濟(jì)教研室 第二章 一元線性回歸模型 ? 第一節(jié) 一元線性回歸模型及其古典假定 ? 第二節(jié) 參數(shù)估計(jì) ? 第三節(jié) 最小二乘估計(jì)量的統(tǒng)計(jì)特性 ? 第四節(jié) 統(tǒng)計(jì)顯著性檢驗(yàn) ? 第五節(jié) 預(yù)測(cè)與控制 山東經(jīng)濟(jì)學(xué)院統(tǒng)計(jì)與數(shù)學(xué)學(xué)院計(jì)量經(jīng)濟(jì)教研室 第一節(jié) 回歸模型的一般描述 （ 1） 確定性關(guān)系 或 函數(shù)關(guān)系 ： 變量之間 有唯一確定性的函數(shù)關(guān)系 。由于人們認(rèn)識(shí)的局限不能窮盡所有的影響因素或由于受時(shí)間、費(fèi)用、數(shù)據(jù)質(zhì)量等制約而沒(méi)有 引入模型之中的對(duì)被解釋變量有一定影響的自變量。如在模型構(gòu)造時(shí)，非線性關(guān)系 用線性模型描述了；復(fù)雜關(guān)系用簡(jiǎn)單模型描述了；此 非線性關(guān)系用彼非線性模型描述了等等。 山東經(jīng)濟(jì)學(xué)院統(tǒng)計(jì)與數(shù)學(xué)學(xué)院計(jì)量經(jīng)濟(jì)教研室 ? 對(duì)變量間統(tǒng)計(jì)關(guān)系的分析主要是通過(guò) 相關(guān)分析 、方差分析 或 回歸分析 (regression analysis)來(lái)完成的。 其用意： 在于通過(guò)后者的已知或設(shè)定值，去估計(jì)和（或）預(yù)測(cè)前者的（總體）均值 。通俗地說(shuō)，一群特高個(gè)子父輩 的兒子們?cè)谕g人中平均僅為高個(gè)子，一群高個(gè)子父輩的兒子們?cè)谕g人中平均僅為略高個(gè)子；一群特矮個(gè)子父輩的兒子們?cè)谕g人中平均僅為矮個(gè)子，一群矮個(gè)子父輩的兒子們?cè)谕g人中平均僅為略矮個(gè)子，即子代的平均身高向中間回歸了。即如何根據(jù)既定的樣本觀測(cè)值 對(duì)回歸模型的參數(shù)進(jìn)行估計(jì)，求出具體的回歸方程。如何根據(jù)回歸方程進(jìn)行適當(dāng)?shù)? 預(yù)測(cè)和控制是回歸分析的最終目的。 ▲ 注意： 山東經(jīng)濟(jì)學(xué)院統(tǒng)計(jì)與數(shù)學(xué)學(xué)院計(jì)量經(jīng)濟(jì)教研室 對(duì)于總體回歸模型， 12( , , , )ky f x x x u??01y x u??? ? ? () 其中 和 為兩個(gè)待定參數(shù)， 為直線的截距， 為直 線的斜率。用數(shù)學(xué)語(yǔ)言表示為： 線性回歸模型”中的“線性”一詞在這里有兩重含義： 1yx ?? ??22 0yx? ??01y?? ??2200y?? ??1y x?? ??2210y?? ?? 山東經(jīng)濟(jì)學(xué)院統(tǒng)計(jì)與數(shù)學(xué)學(xué)院計(jì)量經(jīng)濟(jì)教研室 iii uxy ???110 ???? xx1iii uxy ??? ?10 ??就屬于被解釋變量 y與解釋變量 x之間不為線性關(guān)系的情形 ， 如果我們令 在計(jì)量經(jīng)濟(jì)學(xué)中，我們更關(guān)心被解釋變量 y與參數(shù) β之間的線性關(guān)系。 ),( ii yx0? 1?iu 山東經(jīng)濟(jì)學(xué)院統(tǒng)計(jì)與數(shù)學(xué)學(xué)院計(jì)量經(jīng)濟(jì)教研室 假定 1 E(ui|xi)=0 i=1,2, …, n； 隨機(jī)誤差項(xiàng) u具有零均值 . 假定 2 Var (ui|xi)=E{[uiE(ui)]2}=E(ui2)=?u2 i=1,2, …, n 隨機(jī)誤差項(xiàng) u具有同方差 . 假定 3 Cov(ui, uj)= E{[uiE(ui)] [ujE(uj)]}= 0 i≠j, i, j= 1,2, …, n 隨機(jī)誤差項(xiàng) u具有不序列相關(guān)性 . 假定 4 Cov(ui, xi)=0 i=1,2, …, n 隨機(jī)誤差項(xiàng) u與解釋變量 x之間不相關(guān) . 假定 5 ui~N(0, ?u2 ) i=1,2, …, n u服從零均值、同方差的正態(tài)分布 . 山東經(jīng)濟(jì)學(xué)院統(tǒng)計(jì)與數(shù)學(xué)學(xué)院計(jì)量經(jīng)濟(jì)教研室 注意 : 如果假設(shè) 2滿足，則假設(shè) 3也滿足 。 山東經(jīng)濟(jì)學(xué)院統(tǒng)計(jì)與數(shù)學(xué)學(xué)院計(jì)量經(jīng)濟(jì)教研室 第二節(jié) 參數(shù)估計(jì) 一、樣本回歸方程 二、普通最小二乘估計(jì)（ OLS） 三、一元線性回歸模型參數(shù)的極大似然 估計(jì) (ML) 四、一元線性回歸模型參數(shù)的矩估計(jì) (MM) 山東經(jīng)濟(jì)學(xué)院統(tǒng)計(jì)與數(shù)學(xué)學(xué)院計(jì)量經(jīng)濟(jì)教研室 一、樣本回歸方程 對(duì)于一元線性回歸模型 ，在滿 足古典假設(shè)條件下，兩邊取條件均值，得一 元線性回歸方程： 簡(jiǎn)稱 總體回歸線 。 ix10 ?? ?? ?ieiu（ ） ),( ii yx如果變量 x和 y之間存在線性相關(guān)關(guān)系，對(duì)于任意抽 取的若干個(gè)觀測(cè)（樣本）點(diǎn) ，有 : 山東經(jīng)濟(jì)學(xué)院統(tǒng)計(jì)與數(shù)學(xué)學(xué)院計(jì)量經(jīng)濟(jì)教研室 將系統(tǒng)分量表示為 : ii xy 10 ??? ?? ??（ ） ()稱為 一元線性樣本回歸方程 ，簡(jiǎn)稱 樣本回歸方程 。 的實(shí)際意義為 x每變動(dòng)一個(gè)單位時(shí)， y的平均變動(dòng)值，即 x的變動(dòng)對(duì) y變動(dòng)的邊際貢獻(xiàn)率。即對(duì)于一個(gè)給定的樣本，只能估計(jì)出一個(gè) ，但對(duì)于不同的樣本，估計(jì)出的 和 可能不相等，即它們是服從某種分布的隨機(jī)變量。為此，他收集了12個(gè)汽車銷售分公司的有關(guān)數(shù)據(jù)如下表，試求樣本回歸方程。最大似然估計(jì)量也可看成是一個(gè)矩估計(jì)量。 山東經(jīng)濟(jì)學(xué)院統(tǒng)計(jì)與數(shù)學(xué)學(xué)院計(jì)量經(jīng)濟(jì)教研室 第三節(jié) 最小二乘估計(jì)量的統(tǒng)計(jì)特性 ? 線性性 ? 無(wú)偏性 ? 最優(yōu)性 ? 隨機(jī)項(xiàng)方差的樣本估計(jì) ? 回歸系數(shù)的區(qū)間估計(jì) 山東經(jīng)濟(jì)學(xué)院統(tǒng)計(jì)與數(shù)學(xué)學(xué)院計(jì)量經(jīng)濟(jì)教研室 第三節(jié) 最小二乘估計(jì)量的統(tǒng)計(jì)特性 當(dāng)模型參數(shù)估計(jì)出后，需考慮參數(shù)估計(jì)值的精度，即是否能代表總體參數(shù)的真值，或者說(shuō)需考察參數(shù)估計(jì)量的統(tǒng)計(jì)性質(zhì)。 當(dāng)不滿足小樣本性質(zhì)時(shí)，需進(jìn)一步考察估計(jì)量的 大樣本或漸近性質(zhì) ： （ 5 ）一致性 ，即樣本容量趨于無(wú)窮大時(shí)，它是否依概率收斂于總體的真值；（ 6 ）漸近有效性 ，即樣本容量趨于無(wú)窮大時(shí)，是否它在所有的一致估計(jì)量中具有最小的漸近方差。要想使 的估計(jì)值 的方差小，在收集數(shù)據(jù)時(shí)，就應(yīng)該考慮 x的取值盡可能分散些，樣本容量也盡可能大一些。 山東經(jīng)濟(jì)學(xué)院統(tǒng)計(jì)與數(shù)學(xué)學(xué)院計(jì)量經(jīng)濟(jì)教研室 四、 隨機(jī)誤差項(xiàng)方差的樣本估計(jì) 在上述推導(dǎo)與計(jì)算中我們多次用到了隨機(jī)項(xiàng) ui的條件方差 ?u2. 實(shí)際上， ?u2是不可能知道的。置信區(qū)間長(zhǎng)度越短，說(shuō)明估計(jì)值 與參數(shù) 和 就越接近，估計(jì)值就越精確；反之，就越不精確。 ? 那么，在一次抽樣中，參數(shù)的估計(jì)值與真值的差異有多大，是否顯著，這就需要進(jìn)一步進(jìn)行統(tǒng)計(jì)檢驗(yàn) 。這就需要進(jìn)行 變量的顯著性檢驗(yàn)。 ? 假設(shè)檢驗(yàn)采用的邏輯推理方法是反證法。 )2(~)?(?11 ?? ntSt ?? 山東經(jīng)濟(jì)學(xué)院統(tǒng)計(jì)與數(shù)學(xué)學(xué)院計(jì)量經(jīng)濟(jì)教研室 t n )2(2 ??t n )2(2 ?? ? 接受域 拒絕域 拒絕域 山東經(jīng)濟(jì)學(xué)院統(tǒng)計(jì)與數(shù)學(xué)學(xué)院計(jì)量經(jīng)濟(jì)教研室 例 22：在上述汽車銷售例中，對(duì)回歸系數(shù) ?1首進(jìn)行顯著性檢驗(yàn)。普通最小二乘法所保證的最好擬合，是同一個(gè)問(wèn)題內(nèi)部的比較，擬合優(yōu)度檢驗(yàn)結(jié)果所表示的優(yōu)劣是不同問(wèn)題之間的比較。 yyi ?iiiii eyyyyyyyy ???????? )?()?()?(??? ???