【文章內(nèi)容簡介】 而 b0、 bi (i=1,2,… ,n)等回歸估計(jì)系數(shù)乃是由 Yi和 Xij的樣本值估計(jì)出來的 ， 自然也需對它們的性質(zhì)作進(jìn)一步的討論 。關(guān)于它們性質(zhì)的討論十分有用 ， 它影響到估計(jì)得到規(guī)律 （ 回歸方程 ） 的檢驗(yàn) ——可靠性 。 如果是非線性就不能采用最小二乘法 。 41 一元線性回歸模型的參數(shù)估計(jì) ＊ ? 最小二乘法原理 ? 擬合直線的性質(zhì) ? 隱含參數(shù) ?2的估計(jì) 42 最小二乘法原理 一 、 問題的提出 —— 研究最小二乘法的必要性 ?即使通過協(xié)方差或相關(guān)系數(shù)證實(shí)了變量之間存在線性關(guān)系 ， 但是 ， 這種分析僅只能提供變量之間線性相關(guān)的性質(zhì) ——正相關(guān)或者負(fù)相關(guān)以及相關(guān)程度的大小 。 ?既然經(jīng)濟(jì)變量之間存在線性關(guān)系 ， 接下來自然應(yīng)探求它們之間關(guān)系的表現(xiàn)形式是什么 ？ 最好用數(shù)學(xué)表達(dá)式將這種關(guān)系盡可能準(zhǔn)確 、 嚴(yán)謹(jǐn)?shù)谋硎境鰜?——Y=a+bX+μ——用方程得形式把它們之間的內(nèi)在聯(lián)系挖掘出來 。 也就是該直線中的截距 a=？ ；該直線的斜率 b=？ 43 最小二乘法原理 二 、 解決問題的思路 —— 探索經(jīng)濟(jì)變量間關(guān)系的可能性 ?尋找變量之間直線關(guān)系的方法很多 ， 譬如 ， 在 Y和X的散點(diǎn)圖上 ， 通過這些點(diǎn)可以徒手畫出許多條直線 ， 分別測量各個(gè)直線的截距和斜率 ， 從而求出直線方程 。 那么 ， 哪一條直線最好呢 ？ 于是 ， 應(yīng)當(dāng)從眾多方法 （ 包括徒手畫 ） 中尋找一種優(yōu)良的方法 ， 運(yùn)用優(yōu)良方法去求出線性模型 ——Y=a+bX+μ中的截距 a=？ ；直線的斜率 b=？ ?這個(gè)優(yōu)良的 、 探索經(jīng)濟(jì)變量間數(shù)量規(guī)律的方法正是本章介紹的最小二乘法 。 44 最小二乘法原理 二 、 解決問題的思路 —— 探索經(jīng)濟(jì)變量間關(guān)系的可能性 ?由最小二乘法所得的 、 表現(xiàn)變量之間線性關(guān)系的直線有些什么特性 ？ 用此直線代表所有觀察點(diǎn)可靠嗎 ？ 怎樣衡量此直線的可靠性 ？ 如何運(yùn)用所得變量的線性關(guān)系 ——回歸 （ 最小二乘 ）方程 ？ 45 三 、 關(guān)于普通最小二乘法的歷史回顧 ?普通 最小二乘法最早稱為回歸分析法 。 由著名的英國生物學(xué)家 、 統(tǒng)計(jì)學(xué)家高爾登（ ） ——達(dá)爾文的表弟所創(chuàng) 。 早年 ， 高爾登致力于化學(xué)和遺傳學(xué)領(lǐng)域的研究 。 高爾登研究英國男子中父親們的身高與兒子們的身高之間的關(guān)系時(shí) ， 創(chuàng)立了回歸分析法 。 46 三 、 關(guān)于普通最小二乘法的歷史回顧 ?普通 最小二乘法的地位與作用： 現(xiàn)在回歸分析法已遠(yuǎn)非高爾登的本意 （ 兒子們的身高向父親們的平均身高回歸 ， 以保持種族身高的穩(wěn)定性 ） ， 已經(jīng)成為探索變量之間關(guān)系最重要的方法 ， 用以找出變量之間關(guān)系的具體表現(xiàn)形式 。 后來 ， 回歸分析法從其方法的數(shù)學(xué)原理 ——?dú)?差平方和最小 （ 平方乃二乘也 ） 出發(fā) ， 改稱為普通最小二乘法 （ OLS)。 47 最小二乘法原理 四 、 最小二乘法的思路 1． 為了精確地描述 Y與 X之間的關(guān)系 ， 必須使用這兩個(gè)變量的每一對觀察值 ， 才不至于以 “ 點(diǎn) ” 概面 （ 作到同步與全面 ） 。 2． Y與 X之間是否是直線關(guān)系 （ 用協(xié)方差或相關(guān)系數(shù)衡量 ） ？ 若是 ， 將用一條直線描述它們之間的關(guān)系 。 3． 在 Y與 X的散點(diǎn)圖上畫出直線的方法很多 ——找出一條能夠最好地描述 Y與 X（ 代表所有點(diǎn) ） 之間關(guān)系的直線 。 48 最小二乘法原理 四 、 最小二乘法的思路 4． 什么是最好 ？ ——找出判斷 “ 最好 ” 的原則 。 最好指的是找這么一條直線 ， 使得所有點(diǎn)到該直線的縱向距離的平方和最小 。 5． 三種距離： “ 距離 ” ——度量實(shí)際值與擬合值是否相符的有效手段 ， 距離 為 0則完全相符 ， 距離越大越不相符 。 49 ? 點(diǎn)到直線的距離 ——點(diǎn)到直線的垂直線的長度 。 ? 橫向距離 ——點(diǎn)沿 （ 平行 ） X軸方向到直線的距離 。 ? 縱向距離 —— 點(diǎn)沿 （ 平行 ） Y軸方向到直線的距離 。 也就是實(shí)際觀點(diǎn)的 Y坐標(biāo)減去根據(jù)直線方程計(jì)算出來的 Y的擬合值 。 ? 這個(gè)差數(shù) （ 縱向距離 ） 稱為誤差 ， 或稱為殘差 ， 或稱為剩余 。 剩余指的是里面還有信息 ， 等待我們進(jìn)一步地去挖掘 。 50 最小二乘法原理 五 、 最小二乘法的數(shù)學(xué)原理 ?縱向距離是 Y的實(shí)際值與擬合值之差 .差異大 ,則擬合不好；差異小 ， 則擬合好 。 ?將所有縱向距離平方后相加 ， 即得殘差平方和 。 所以 ， “ 最好 ” 的直線就是使殘差平方和最小的直線 。 ?運(yùn)用求極值的原理 ， 將求 “ 最好 ” 的 擬合直線問題轉(zhuǎn)換為求殘差平方和最小的問題 。 51 樣本回歸線的幾何意義 52 參數(shù)的最小二乘法估計(jì) 53 數(shù)學(xué)推證過程： 54 數(shù)學(xué)推證過程 55 數(shù)學(xué)推證過程 56 對 OLS估計(jì)量的說明 (1） OLS估計(jì)量可由觀測值計(jì)算； (2) OLS估計(jì)量是點(diǎn)估計(jì)量； (3) 一旦從樣本數(shù)據(jù)得到 OLS估計(jì)值，就可畫出樣本回歸線。 57 例題 1L2 ? 例 1 為了研究年家庭收入 (X)與年食品支出 (Y)的關(guān)系 ,隨機(jī)抽取了 12個(gè)家庭的樣本 ,得到數(shù)據(jù)如表 . 求收入 Y對食品支出 X的樣本回歸方程 . L3 L4 58 例題 ? 解 計(jì)算并列出一元線性回歸分析計(jì)算表 (見表 1. 2) 59 例題 l2 60 擬合直線的性質(zhì) 這里討論擬合 ——依據(jù)全部觀察點(diǎn)采用由最小二法得到的 ——直線的性質(zhì) ， 目的在于通過這些客觀存在的合理的性質(zhì) ，誘導(dǎo)我們對即將探索的未知模型 （ 變量間關(guān)系 ） 作出類似的 、 合理的假設(shè) 。 一 、 殘差和為零 二 、 Y的真實(shí)值和擬合值有共同的均值 三 、 殘差與自變量不相關(guān) 四 、 殘差與擬合值不相關(guān) 61 擬合直線的性質(zhì) 一 、 殘差和為零 ， 并進(jìn)一步推出殘差的平均數(shù)也等于零；殘差離均差的平方和等殘差的平方和 。 ? ?????? ??????????????????ntnttttnttnttntttntte)ee()Y?Y(nene))(X??Y(?e1 122211121112011012 ???62 擬合直線的性質(zhì) 二 、 Y的真實(shí)值和擬合值有共同的均值 YY?Y?YeY?Y)eY?(YeY?Ynttnttnttnttnttntttnttttt??????????????????????????111111163 擬合直線的性質(zhì) 三 、 殘差與自變量不相關(guān) 01102111121212????????????????????????tte,XtntttnttttntttnttttntteXn)ee()XX(n)e,X(C OVXe)X)(X??Y(?e????64 擬合直線的性質(zhì) 四 、 殘差與擬合值不相關(guān) 01121111111111??????????????????????????????????tntttntttnttntttntttnttntttntttntttntttte)X??(eY?eY?eY?eY?eY?eY?e)Y?Y?(e)Y?Y?()ee()Y?Y?(n)e,Y?(C OV??65 擬合直線的性質(zhì) 關(guān)于回歸直線性質(zhì)的總結(jié)： ?以上關(guān)于擬合直線的一些性質(zhì) ， 實(shí)際上是關(guān)于殘差的一些性質(zhì) 。 注意： 殘差 =因變量的實(shí)際值－對應(yīng)因變量的擬合值 ?殘差又稱為擬合誤差 ， 但它不是模型的隨機(jī)擾動(dòng)項(xiàng) （ 未知總體的殘差 ） 。 殘差通過擬合直線可以計(jì)算出 ， 隨機(jī)擾動(dòng)項(xiàng)是未知的不能計(jì)算出 ，我們只能用殘差去估計(jì)模型的隨機(jī)擾動(dòng)項(xiàng) 。 既然殘差具有這些性質(zhì) ， 對未知的隨機(jī)擾動(dòng)項(xiàng)作出類似的假設(shè)也是合理的 。 66 擬合直線的性質(zhì) 67 隱含參數(shù) ?2的估計(jì) 無偏估計(jì)。是的即不加證明地給出：22221212222??????,)?(En)Y?Y(ne?niiinii??????????68 古典假設(shè)的一些內(nèi)涵與參數(shù)估計(jì)量的性質(zhì) ＃ Yi的分布 高斯 —— 馬爾科夫定理 一元