【文章內(nèi)容簡(jiǎn)介】
X values are fixed in repeated sampling. More technically, X is assumed to be nonstochastic. 注意:“ in repeated sampling”的含義是什么? ? 與隨機(jī)項(xiàng)不相關(guān)假設(shè)。 The covariances between Xi and μi are zero. 由確定性假設(shè)可以推斷。 c o v ( , ) 0 , 1 , 2 , ,( ) 0 , 1 , 2 , ,iiiiX i nE X i n?????? 上述兩層含義即 假設(shè) 2: 解釋變量 X是確定性變量,不是隨機(jī)變量,在重復(fù)抽樣中取固定值 假設(shè) 3分解如下 ? 觀測(cè)值變化假設(shè)。 X values in a given sample must not all be the same. ? 無(wú)完全共線性假設(shè)。 There is no perfect multicollinearity among the explanatory variables. 適用于多元線性回歸模型。 ? 樣本方差假設(shè)。 隨著樣本容量的無(wú)限增加,解釋變量 X的樣本方差趨于一有限常數(shù)。 ????? nQnXX i ,/)( 2時(shí)間序列數(shù)據(jù)作樣本時(shí)間適用 關(guān)于隨機(jī)項(xiàng)的假設(shè) ? 0均值假設(shè)。 The conditional mean value of μi is zero. ? 同方差假設(shè)。 The conditional variances of μi are identical. (Homoscedasticity) 由模型設(shè)定正確假設(shè)推斷。 ( ) 0 , 1 , 2 , ,iiE X i n? ??2( ) , 1 , 2 , ,iiV a r X i n?? ??是否滿足需要檢驗(yàn)。 ? 序列不相關(guān)假設(shè)。 The correlation between any two μi and μj is zero. 是否滿足需要檢驗(yàn)。 ( , , ) 0 , , 1 , 2 , , ,i j i jCo v X X i j n i j?? ? ? ?隨機(jī)項(xiàng)的正態(tài)性假設(shè) ? 在采用 OLS進(jìn)行參數(shù)估計(jì)時(shí),不需要正態(tài)性假設(shè)。在利用參數(shù)估計(jì)量進(jìn)行統(tǒng)計(jì)推斷時(shí),需要假設(shè)隨機(jī)項(xiàng)的概率分布。 ? 一般假設(shè)隨機(jī)項(xiàng)服從正態(tài)分布??梢岳弥行臉O限定理( central limit theorem, CLT)進(jìn)行證明。 ? 正態(tài)性假設(shè)。 The μ’s follow the normal distribution. 22~ ( 0 , ) ~ ( 0 , )iiN? ? ? ?? N ID CLRM 和 CNLRM ? 以上假設(shè)(正態(tài)性假設(shè)除外)也稱為線性回歸模型的 經(jīng)典假設(shè) 或 高斯( Gauss)假設(shè) ,滿足該假設(shè)的線性回歸模型,也稱為 經(jīng)典線性回歸模型 ( Classical Linear Regression Model, CLRM)。 ? 同時(shí)滿足正態(tài)性假設(shè)的線性回歸模型,稱為 經(jīng)典正態(tài)線性回歸模型 ( Classical Normal Linear Regression Model, CNLRM)。 167。 一元線性回歸模型的參數(shù)估計(jì) (Estimation of Simple Linear Regression Model) 一、參數(shù)的普通最小二乘估計(jì)( OLS) 二、參數(shù)估計(jì)的最大或然法 (ML) 三、參數(shù)估計(jì)的矩法( MM) 四、最小二乘估計(jì)量的性質(zhì) 五、參數(shù)估計(jì)量的概率分布及隨機(jī)干擾項(xiàng)方差的估計(jì) 一、參數(shù)的普通最小二乘估計(jì)( OLS) 最小二乘原理 ? 根據(jù)被解釋變量的所有觀測(cè)值與估計(jì)值之差的平方和最小的原則求得參數(shù)估計(jì)量。 220111? ??( ) ( ( ) )nni i i iM in Q Y Y Y X??? ? ? ? ???? 為什么取平方和? 正規(guī)方程組 ? 該關(guān)于參數(shù)估計(jì)量的線性方程組稱為 正規(guī)方程組 ( normal equations)。 010?0?????????????????????????????0)??(0)??(1010iiiiiXXYXY????參數(shù)估計(jì)量 ? 求解正規(guī)方程組得到結(jié)構(gòu)參數(shù)的普通最小二乘估計(jì)量 ( ordinary least squares estimators) 及其離差形式: 20 221 22?()?()i i i i iiii i i iiiX Y X Y Xn X Xn Y X Y Xn X X??? ? ? ? ? ???? ? ???? ? ? ???? ? ? ??? 分布參數(shù)的普通最小二乘估計(jì)量 ??????????XYxyxiii1021??????2?22?? ?ne i? “ 估計(jì)量 ” ( estimator)和 “ 估計(jì)值 ” (estimate)的區(qū)別 ? 如果給出的參數(shù)估計(jì)結(jié)果是由一個(gè)具體樣本資料計(jì)算出來的,它是一個(gè) “ 估計(jì)值 ” ,或者“ 點(diǎn)估計(jì) ” ,是參數(shù)估計(jì)量的一個(gè)具體數(shù)值; ? 如果把上式看成參數(shù)估計(jì)的一個(gè)表達(dá)式,那么,則是 Yi的函數(shù),而 Yi是隨機(jī)變量,所以參數(shù)估計(jì)也是隨機(jī)變量,在這個(gè)角度上,稱之為 “ 估計(jì)量 ” 。 二、參數(shù)估計(jì)的最大似然法 (ML) 最大似然法 ? 最大似然法 (Maximum Likelihood,ML),也稱最大或然法 ,是不同于最小二乘法的另一種參數(shù)估計(jì)方法,是從最大或然原理出發(fā)發(fā)展起來的其它估計(jì)方法的基礎(chǔ)。 ? 基本原理: 當(dāng)從模型總體隨機(jī)抽取 n組樣本觀測(cè)值后,最合理的參數(shù)估計(jì)量應(yīng)該使得從模型中抽取該 n組樣本觀測(cè)值的概率最大。 ? ML必須已知隨機(jī)項(xiàng)的分布。 估計(jì)步驟 ),??(~ 210 ??? ii XNY ?2102 )??(2121)( ii XYi eYP?????????),(),?,?( 21210 nYYYPL ???????21022)??(21)2(1 iinXYne??????????Yi的分布 Yi的概率函數(shù) Y的所有樣本觀測(cè)值的聯(lián)合概率 —似然函數(shù) 2102*)??(21)2l n ()l n (ii XYnLL????? ??????????????????????0)??(?0)??(?21012100iiiiXYXY??????????????????????????????????2212220)(?)(?iiiiiiiiiiiiiXXnXYXYnXXnXYXYX??對(duì)數(shù)似然函數(shù) 對(duì)數(shù)似然函數(shù)極大化的一階條件 結(jié)構(gòu)參數(shù)的ML估計(jì)量 討論 ? 在滿足一系列基本假設(shè)的情況下,模型結(jié)構(gòu)參數(shù)的 最大似然估計(jì)量 與 普通最小二乘估計(jì)量 是相同的。 ? 但是,分布參數(shù)的估計(jì)結(jié)果不同。 neML i??22?: ?2?:22?? ?neO L S i?三、參數(shù)估計(jì)的矩法( MM) ? 基本原理: 用樣本矩估計(jì)總體矩 四、最小二乘估計(jì)量的性質(zhì) 概述 ? 當(dāng)估計(jì)出模型參數(shù)后,需考慮參數(shù)估計(jì)值的精度,即是否能代表總體參數(shù)的真值,或者說需考察參數(shù)估計(jì)量的統(tǒng)計(jì)性質(zhì)。 ? 準(zhǔn)則: – 線性性 (linear),即它是否是另一隨機(jī)變量的線性函數(shù); – 無(wú)偏性 (unbiased),即它的均值或期望值是否等于總體的真實(shí)值; – 有效性 (efficient),即它是否在所有線性無(wú)偏估計(jì)量中具有最小方差。 ? 這三個(gè)準(zhǔn)則也稱作估計(jì)量的 小樣本性質(zhì) 。 擁有這類性質(zhì)的估計(jì)量稱為 最佳線性無(wú)偏估計(jì)量( best liner unbiased estimator, BLUE) 。