【文章內容簡介】 而 b0、 bi (i=1,2,… ,n)等回歸估計系數乃是由 Yi和 Xij的樣本值估計出來的 ， 自然也需對它們的性質作進一步的討論 。關于它們性質的討論十分有用 ， 它影響到估計得到規(guī)律 （ 回歸方程 ） 的檢驗 ——可靠性 。 如果是非線性就不能采用最小二乘法 。 41 一元線性回歸模型的參數估計 ＊ ? 最小二乘法原理 ? 擬合直線的性質 ? 隱含參數 ?2的估計 42 最小二乘法原理 一 、 問題的提出 —— 研究最小二乘法的必要性 ?即使通過協(xié)方差或相關系數證實了變量之間存在線性關系 ， 但是 ， 這種分析僅只能提供變量之間線性相關的性質 ——正相關或者負相關以及相關程度的大小 。 ?既然經濟變量之間存在線性關系 ， 接下來自然應探求它們之間關系的表現(xiàn)形式是什么 ？ 最好用數學表達式將這種關系盡可能準確 、 嚴謹的表示出來 ——Y=a+bX+μ——用方程得形式把它們之間的內在聯(lián)系挖掘出來 。 也就是該直線中的截距 a=？ ；該直線的斜率 b=？ 43 最小二乘法原理 二 、 解決問題的思路 —— 探索經濟變量間關系的可能性 ?尋找變量之間直線關系的方法很多 ， 譬如 ， 在 Y和X的散點圖上 ， 通過這些點可以徒手畫出許多條直線 ， 分別測量各個直線的截距和斜率 ， 從而求出直線方程 。 那么 ， 哪一條直線最好呢 ？ 于是 ， 應當從眾多方法 （ 包括徒手畫 ） 中尋找一種優(yōu)良的方法 ， 運用優(yōu)良方法去求出線性模型 ——Y=a+bX+μ中的截距 a=？ ；直線的斜率 b=？ ?這個優(yōu)良的 、 探索經濟變量間數量規(guī)律的方法正是本章介紹的最小二乘法 。 44 最小二乘法原理 二 、 解決問題的思路 —— 探索經濟變量間關系的可能性 ?由最小二乘法所得的 、 表現(xiàn)變量之間線性關系的直線有些什么特性 ？ 用此直線代表所有觀察點可靠嗎 ？ 怎樣衡量此直線的可靠性 ？ 如何運用所得變量的線性關系 ——回歸 （ 最小二乘 ）方程 ？ 45 三 、 關于普通最小二乘法的歷史回顧 ?普通 最小二乘法最早稱為回歸分析法 。 由著名的英國生物學家 、 統(tǒng)計學家高爾登（ ） ——達爾文的表弟所創(chuàng) 。 早年 ， 高爾登致力于化學和遺傳學領域的研究 。 高爾登研究英國男子中父親們的身高與兒子們的身高之間的關系時 ， 創(chuàng)立了回歸分析法 。 46 三 、 關于普通最小二乘法的歷史回顧 ?普通 最小二乘法的地位與作用： 現(xiàn)在回歸分析法已遠非高爾登的本意 （ 兒子們的身高向父親們的平均身高回歸 ， 以保持種族身高的穩(wěn)定性 ） ， 已經成為探索變量之間關系最重要的方法 ， 用以找出變量之間關系的具體表現(xiàn)形式 。 后來 ， 回歸分析法從其方法的數學原理 ——殘 差平方和最小 （ 平方乃二乘也 ） 出發(fā) ， 改稱為普通最小二乘法 （ OLS)。 47 最小二乘法原理 四 、 最小二乘法的思路 1． 為了精確地描述 Y與 X之間的關系 ， 必須使用這兩個變量的每一對觀察值 ， 才不至于以 “ 點 ” 概面 （ 作到同步與全面 ） 。 2． Y與 X之間是否是直線關系 （ 用協(xié)方差或相關系數衡量 ） ？ 若是 ， 將用一條直線描述它們之間的關系 。 3． 在 Y與 X的散點圖上畫出直線的方法很多 ——找出一條能夠最好地描述 Y與 X（ 代表所有點 ） 之間關系的直線 。 48 最小二乘法原理 四 、 最小二乘法的思路 4． 什么是最好 ？ ——找出判斷 “ 最好 ” 的原則 。 最好指的是找這么一條直線 ， 使得所有點到該直線的縱向距離的平方和最小 。 5． 三種距離： “ 距離 ” ——度量實際值與擬合值是否相符的有效手段 ， 距離 為 0則完全相符 ， 距離越大越不相符 。 49 ? 點到直線的距離 ——點到直線的垂直線的長度 。 ? 橫向距離 ——點沿 （ 平行 ） X軸方向到直線的距離 。 ? 縱向距離 —— 點沿 （ 平行 ） Y軸方向到直線的距離 。 也就是實際觀點的 Y坐標減去根據直線方程計算出來的 Y的擬合值 。 ? 這個差數 （ 縱向距離 ） 稱為誤差 ， 或稱為殘差 ， 或稱為剩余 。 剩余指的是里面還有信息 ， 等待我們進一步地去挖掘 。 50 最小二乘法原理 五 、 最小二乘法的數學原理 ?縱向距離是 Y的實際值與擬合值之差 .差異大 ,則擬合不好；差異小 ， 則擬合好 。 ?將所有縱向距離平方后相加 ， 即得殘差平方和 。 所以 ， “ 最好 ” 的直線就是使殘差平方和最小的直線 。 ?運用求極值的原理 ， 將求 “ 最好 ” 的 擬合直線問題轉換為求殘差平方和最小的問題 。 51 樣本回歸線的幾何意義 52 參數的最小二乘法估計 53 數學推證過程： 54 數學推證過程 55 數學推證過程 56 對 OLS估計量的說明 (1） OLS估計量可由觀測值計算； (2) OLS估計量是點估計量； (3) 一旦從樣本數據得到 OLS估計值，就可畫出樣本回歸線。 57 例題 1L2 ? 例 1 為了研究年家庭收入 (X)與年食品支出 (Y)的關系 ,隨機抽取了 12個家庭的樣本 ,得到數據如表 . 求收入 Y對食品支出 X的樣本回歸方程 . L3 L4 58 例題 ? 解 計算并列出一元線性回歸分析計算表 (見表 1. 2) 59 例題 l2 60 擬合直線的性質 這里討論擬合 ——依據全部觀察點采用由最小二法得到的 ——直線的性質 ， 目的在于通過這些客觀存在的合理的性質 ，誘導我們對即將探索的未知模型 （ 變量間關系 ） 作出類似的 、 合理的假設 。 一 、 殘差和為零 二 、 Y的真實值和擬合值有共同的均值 三 、 殘差與自變量不相關 四 、 殘差與擬合值不相關 61 擬合直線的性質 一 、 殘差和為零 ， 并進一步推出殘差的平均數也等于零；殘差離均差的平方和等殘差的平方和 。 ? ?????? ??????????????????ntnttttnttnttntttntte)ee()Y?Y(nene))(X??Y(?e1 122211121112011012 ???62 擬合直線的性質 二 、 Y的真實值和擬合值有共同的均值 YY?Y?YeY?Y)eY?(YeY?Ynttnttnttnttnttntttnttttt??????????????????????????111111163 擬合直線的性質 三 、 殘差與自變量不相關 01102111121212????????????????????????tte,XtntttnttttntttnttttntteXn)ee()XX(n)e,X(C OVXe)X)(X??Y(?e????64 擬合直線的性質 四 、 殘差與擬合值不相關 01121111111111??????????????????????????????????tntttntttnttntttntttnttntttntttntttntttte)X??(eY?eY?eY?eY?eY?eY?e)Y?Y?(e)Y?Y?()ee()Y?Y?(n)e,Y?(C OV??65 擬合直線的性質 關于回歸直線性質的總結： ?以上關于擬合直線的一些性質 ， 實際上是關于殘差的一些性質 。 注意： 殘差 =因變量的實際值－對應因變量的擬合值 ?殘差又稱為擬合誤差 ， 但它不是模型的隨機擾動項 （ 未知總體的殘差 ） 。 殘差通過擬合直線可以計算出 ， 隨機擾動項是未知的不能計算出 ，我們只能用殘差去估計模型的隨機擾動項 。 既然殘差具有這些性質 ， 對未知的隨機擾動項作出類似的假設也是合理的 。 66 擬合直線的性質 67 隱含參數 ?2的估計 無偏估計。是的即不加證明地給出：22221212222??????,)?(En)Y?Y(ne?niiinii??????????68 古典假設的一些內涵與參數估計量的性質 ＃ Yi的分布 高斯 —— 馬爾科夫定理 一元