【文章內(nèi)容簡介】
X values are fixed in repeated sampling. More technically, X is assumed to be nonstochastic. 注意:“ in repeated sampling”的含義是什么? ? 與隨機(jī)項不相關(guān)假設(shè)。 The covariances between Xi and μi are zero. 由確定性假設(shè)可以推斷。 c o v ( , ) 0 , 1 , 2 , ,( ) 0 , 1 , 2 , ,iiiiX i nE X i n?????? 上述兩層含義即 假設(shè) 2: 解釋變量 X是確定性變量,不是隨機(jī)變量,在重復(fù)抽樣中取固定值 假設(shè) 3分解如下 ? 觀測值變化假設(shè)。 X values in a given sample must not all be the same. ? 無完全共線性假設(shè)。 There is no perfect multicollinearity among the explanatory variables. 適用于多元線性回歸模型。 ? 樣本方差假設(shè)。 隨著樣本容量的無限增加,解釋變量 X的樣本方差趨于一有限常數(shù)。 ????? nQnXX i ,/)( 2時間序列數(shù)據(jù)作樣本時間適用 關(guān)于隨機(jī)項的假設(shè) ? 0均值假設(shè)。 The conditional mean value of μi is zero. ? 同方差假設(shè)。 The conditional variances of μi are identical. (Homoscedasticity) 由模型設(shè)定正確假設(shè)推斷。 ( ) 0 , 1 , 2 , ,iiE X i n? ??2( ) , 1 , 2 , ,iiV a r X i n?? ??是否滿足需要檢驗。 ? 序列不相關(guān)假設(shè)。 The correlation between any two μi and μj is zero. 是否滿足需要檢驗。 ( , , ) 0 , , 1 , 2 , , ,i j i jCo v X X i j n i j?? ? ? ?隨機(jī)項的正態(tài)性假設(shè) ? 在采用 OLS進(jìn)行參數(shù)估計時,不需要正態(tài)性假設(shè)。在利用參數(shù)估計量進(jìn)行統(tǒng)計推斷時,需要假設(shè)隨機(jī)項的概率分布。 ? 一般假設(shè)隨機(jī)項服從正態(tài)分布??梢岳弥行臉O限定理( central limit theorem, CLT)進(jìn)行證明。 ? 正態(tài)性假設(shè)。 The μ’s follow the normal distribution. 22~ ( 0 , ) ~ ( 0 , )iiN? ? ? ?? N ID CLRM 和 CNLRM ? 以上假設(shè)(正態(tài)性假設(shè)除外)也稱為線性回歸模型的 經(jīng)典假設(shè) 或 高斯( Gauss)假設(shè) ,滿足該假設(shè)的線性回歸模型,也稱為 經(jīng)典線性回歸模型 ( Classical Linear Regression Model, CLRM)。 ? 同時滿足正態(tài)性假設(shè)的線性回歸模型,稱為 經(jīng)典正態(tài)線性回歸模型 ( Classical Normal Linear Regression Model, CNLRM)。 167。 一元線性回歸模型的參數(shù)估計 (Estimation of Simple Linear Regression Model) 一、參數(shù)的普通最小二乘估計( OLS) 二、參數(shù)估計的最大或然法 (ML) 三、參數(shù)估計的矩法( MM) 四、最小二乘估計量的性質(zhì) 五、參數(shù)估計量的概率分布及隨機(jī)干擾項方差的估計 一、參數(shù)的普通最小二乘估計( OLS) 最小二乘原理 ? 根據(jù)被解釋變量的所有觀測值與估計值之差的平方和最小的原則求得參數(shù)估計量。 220111? ??( ) ( ( ) )nni i i iM in Q Y Y Y X??? ? ? ? ???? 為什么取平方和? 正規(guī)方程組 ? 該關(guān)于參數(shù)估計量的線性方程組稱為 正規(guī)方程組 ( normal equations)。 010?0?????????????????????????????0)??(0)??(1010iiiiiXXYXY????參數(shù)估計量 ? 求解正規(guī)方程組得到結(jié)構(gòu)參數(shù)的普通最小二乘估計量 ( ordinary least squares estimators) 及其離差形式: 20 221 22?()?()i i i i iiii i i iiiX Y X Y Xn X Xn Y X Y Xn X X??? ? ? ? ? ???? ? ???? ? ? ???? ? ? ??? 分布參數(shù)的普通最小二乘估計量 ??????????XYxyxiii1021??????2?22?? ?ne i? “ 估計量 ” ( estimator)和 “ 估計值 ” (estimate)的區(qū)別 ? 如果給出的參數(shù)估計結(jié)果是由一個具體樣本資料計算出來的,它是一個 “ 估計值 ” ,或者“ 點估計 ” ,是參數(shù)估計量的一個具體數(shù)值; ? 如果把上式看成參數(shù)估計的一個表達(dá)式,那么,則是 Yi的函數(shù),而 Yi是隨機(jī)變量,所以參數(shù)估計也是隨機(jī)變量,在這個角度上,稱之為 “ 估計量 ” 。 二、參數(shù)估計的最大似然法 (ML) 最大似然法 ? 最大似然法 (Maximum Likelihood,ML),也稱最大或然法 ,是不同于最小二乘法的另一種參數(shù)估計方法,是從最大或然原理出發(fā)發(fā)展起來的其它估計方法的基礎(chǔ)。 ? 基本原理: 當(dāng)從模型總體隨機(jī)抽取 n組樣本觀測值后,最合理的參數(shù)估計量應(yīng)該使得從模型中抽取該 n組樣本觀測值的概率最大。 ? ML必須已知隨機(jī)項的分布。 估計步驟 ),??(~ 210 ??? ii XNY ?2102 )??(2121)( ii XYi eYP?????????),(),?,?( 21210 nYYYPL ???????21022)??(21)2(1 iinXYne??????????Yi的分布 Yi的概率函數(shù) Y的所有樣本觀測值的聯(lián)合概率 —似然函數(shù) 2102*)??(21)2l n ()l n (ii XYnLL????? ??????????????????????0)??(?0)??(?21012100iiiiXYXY??????????????????????????????????2212220)(?)(?iiiiiiiiiiiiiXXnXYXYnXXnXYXYX??對數(shù)似然函數(shù) 對數(shù)似然函數(shù)極大化的一階條件 結(jié)構(gòu)參數(shù)的ML估計量 討論 ? 在滿足一系列基本假設(shè)的情況下,模型結(jié)構(gòu)參數(shù)的 最大似然估計量 與 普通最小二乘估計量 是相同的。 ? 但是,分布參數(shù)的估計結(jié)果不同。 neML i??22?: ?2?:22?? ?neO L S i?三、參數(shù)估計的矩法( MM) ? 基本原理: 用樣本矩估計總體矩 四、最小二乘估計量的性質(zhì) 概述 ? 當(dāng)估計出模型參數(shù)后,需考慮參數(shù)估計值的精度,即是否能代表總體參數(shù)的真值,或者說需考察參數(shù)估計量的統(tǒng)計性質(zhì)。 ? 準(zhǔn)則: – 線性性 (linear),即它是否是另一隨機(jī)變量的線性函數(shù); – 無偏性 (unbiased),即它的均值或期望值是否等于總體的真實值; – 有效性 (efficient),即它是否在所有線性無偏估計量中具有最小方差。 ? 這三個準(zhǔn)則也稱作估計量的 小樣本性質(zhì) 。 擁有這類性質(zhì)的估計量稱為 最佳線性無偏估計量( best liner unbiased estimator, BLUE) 。