統(tǒng)計(jì)學(xué)一元線性回歸模型(編輯修改稿)
2025-05-26 06:45 本頁面
【文章內(nèi)容簡介】 用中心極限定理（ central limit theorem, CLT）進(jìn)行證明。 ? 正態(tài)性假設(shè)。 The μ’s follow the normal distribution. 22~ ( 0 , ) ~ ( 0 , )iiN? ? ? ?? N ID CLRM 和 CNLRM ? 以上假設(shè)（正態(tài)性假設(shè)除外）也稱為線性回歸模型的 經(jīng)典假設(shè) 或 高斯（ Gauss）假設(shè) ，滿足該假設(shè)的線性回歸模型，也稱為 經(jīng)典線性回歸模型 （ Classical Linear Regression Model, CLRM）。 ? 同時(shí)滿足正態(tài)性假設(shè)的線性回歸模型，稱為 經(jīng)典正態(tài)線性回歸模型 （ Classical Normal Linear Regression Model, CNLRM）。 167。 一元線性回歸模型的參數(shù)估計(jì) (Estimation of Simple Linear Regression Model) 一、參數(shù)的普通最小二乘估計(jì)（ OLS） 二、參數(shù)估計(jì)的最大或然法 (ML) 三、最小二乘估計(jì)量的性質(zhì) 四、參數(shù)估計(jì)量的概率分布及隨機(jī)干 擾項(xiàng)方差的估計(jì) 一、參數(shù)的普通最小二乘估計(jì)（ OLS） 最小二乘原理 ? 根據(jù)被解釋變量的所有觀測(cè)值與估計(jì)值之差的平方和最小的原則求得參數(shù)估計(jì)量。 220111?( ) ( ( ) )nni i i iM i n Q Y Y Y X??? ? ? ? ???? 為什么取平方和？ 正規(guī)方程組 ? 該關(guān)于參數(shù)估計(jì)量的線性方程組稱為 正規(guī)方程組 （ normal equations）。 ????????0100??????????????????????0)??(0)??(1010iiiiiXXYXY????參數(shù)估計(jì)量 ? 求解正規(guī)方程組得到結(jié)構(gòu)參數(shù)的普通最小二乘估計(jì)量 （ ordinary least squares estimators） 及其離差形式： ????????????????????????2212220)(?)(?iiiiiiiiiiiiiXXnXYXYnXXnXYXYX??? 分布參數(shù)的普通最小二乘估計(jì)量 ??????????XYxyxiii1021??????2?22?? ?ne i? “ 估計(jì)量 ” （ estimator）和 “ 估計(jì)值 ” (estimate)的區(qū)別 ? 如果給出的參數(shù)估計(jì)結(jié)果是由一個(gè)具體樣本資料計(jì)算出來的，它是一個(gè) “ 估計(jì)值 ” ，或者“ 點(diǎn)估計(jì) ” ，是參數(shù)估計(jì)量的一個(gè)具體數(shù)值； ? 如果把上式看成參數(shù)估計(jì)的一個(gè)表達(dá)式，那么，則是 Yi的函數(shù)，而 Yi是隨機(jī)變量，所以參數(shù)估計(jì)也是隨機(jī)變量，在這個(gè)角度上，稱之為 “ 估計(jì)量 ” 。 二、參數(shù)估計(jì)的最大似然法 (ML) 最大似然法 ? 最大似然法 (Maximum Likelihood,ML)，也稱最大或然法 ，是不同于最小二乘法的另一種參數(shù)估計(jì)方法，是從最大或然原理出發(fā)發(fā)展起來的其它估計(jì)方法的基礎(chǔ)。 ? 基本原理： 當(dāng)從模型總體隨機(jī)抽取 n組樣本觀測(cè)值后，最合理的參數(shù)估計(jì)量應(yīng)該使得從模型中抽取該 n組樣本觀測(cè)值的概率最大。 ? ML必須已知隨機(jī)項(xiàng)的分布。 估計(jì)步驟 ),??(~ 210 ??? ii XNY ?2102 )??(2121)( ii XYi eYP?????????),(),?,?( 21210 nYYYPL ???????21022)??(21)2(1 iinXYne??????????Yi的分布 Yi的概率函數(shù) Y的所有樣本觀測(cè)值的聯(lián)合概率 —似然函數(shù) 2102*)??(21)2l n ()l n (ii XYnLL????? ??????????????????????0)??(?0)??(?21012100iiiiXYXY??????????????????????????????????2212220)(?)(?iiiiiiiiiiiiiXXnXYXYnXXnXYXYX??對(duì)數(shù)似然函數(shù) 對(duì)數(shù)似然函數(shù)極大化的一階條件 結(jié)構(gòu)參數(shù)的ML估計(jì)量 討論 ? 在滿足一系列基本假設(shè)的情況下，模型結(jié)構(gòu)參數(shù)的 最大似然估計(jì)量 與 普通最小二乘估計(jì)量 是相同的。 ? 但是，分布參數(shù)的估計(jì)結(jié)果不同。 neML i??22?: ?2?:22?? ?neO L S i?三、最小二乘估計(jì)量的性質(zhì) 概述 ? 當(dāng)模型參數(shù)估計(jì)出后，需考慮參數(shù)估計(jì)值的精度，即是否能代表總體參數(shù)的真值，或者說需考察參數(shù)估計(jì)量的統(tǒng)計(jì)性質(zhì)。 ? 準(zhǔn)則： – 線性性 (linear)，即它是否是另一隨機(jī)變量的線性函數(shù)； – 無偏性 (unbiased)，即它的均值或期望值是否等于總體的真實(shí)值； – 有效性 (efficient)，即它是否在所有線性無偏估計(jì)量中具有最小方差。 ? 這三個(gè)準(zhǔn)則也稱作估計(jì)量的 小樣本性質(zhì) 。 擁有這類性質(zhì)的估計(jì)量稱為 最佳線性無偏估計(jì)量（ best liner unbiased estimator, BLUE） 。 ? 當(dāng)不滿足小樣本性質(zhì)時(shí)，需進(jìn)一步考察估計(jì)量的 大樣本或漸近性質(zhì) (asymptotic properties)： – 漸近無偏性 ， 即樣本容量趨于無窮大時(shí) ， 是否它的均值序列趨于總體真值； – 一致性 ， 即樣本容量趨于無窮大時(shí) ， 它是否依概率收斂于總體的真值； – 漸近有效性 ， 即樣本容量趨于無窮大時(shí) ， 是否它在所有的一致估計(jì)量中具有最小的漸近方差 。 高斯 — 馬爾可夫定理 (GaussMarkov theorem) ? 在給定經(jīng)典線性回歸的假定下，最小二乘估計(jì)量是具有最小方差的線性無偏估計(jì)量。 ? 下面分別對(duì)最小二乘估計(jì)量的線性性、無偏性和有效性進(jìn)行證明，作為不熟悉的同學(xué)的自學(xué)內(nèi)容。 ★ 2 、無偏性 ， 即估計(jì)量 0?? 、 1?? 的均值（期望）等于總體回歸參數(shù)真值 ? 0 與 ? 1 證： ? ? ? ? ???????? iiiiiiiiii kXkkXkYk ??????? 10101 )(?易知 02 ??? ??iii xxk ? ? 1ii Xk故 ??? iik ??? 11??? ????? 1111 )()()?( ?????? iiii EkkEE同樣地，容易得出 ? ? ????? 0000 )()()()?( ?????? iiii EwEwEE3 、有效性（最小方差性） ， 即在所有線性無偏估計(jì)量中，最小二乘估計(jì)量 0?? 、 1?? 具有最小方差。 (1 ) 先 求 0?? 與 1?? 的 方 差 ? ?? ??
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1