【正文】 ???? ? ? ?? ????? ? ?? ??要 使 ，則 必 使 對 、 的 一 階 偏 導(dǎo) 數(shù) 等 于 ， 即 可 得 正 規(guī) 方 程 組 ：? ?01? ? 2001Y n XiiY X X Xi i i ii???????????????????????????? ? ? ???最小二乘估計(jì) （二）普通最小二乘法 ?（ 2） 求解正規(guī)方程組 (克拉姆法則 ) 2 2?0 222?1 222YXiiX Y X X Y X X Yi i i i i i i inXi n X XiiXXiinYiX X Y n X Y X Yi i i i i i inXi n X XiiXXii??????????????????? ?????????????????????????????????????????? ? ? ?????????????? ? ????????? 。2V a r ( ) , 1 , 2 , , 。 ?（ 2） 樣本回歸函數(shù) (Sample Regression Function， SRF) —— 如果把 Y的樣本條件均值 表示為解釋變量 X的某種函數(shù)，這個(gè)函數(shù)稱為樣本回歸函數(shù)。 ()E Y Xi( ) ( )E Y X f Xii??總體回歸函數(shù)的形式 （二）總體回歸函數(shù) ?（ 1）條件均值形式 —— 將 Y的條件 均值 是 解釋變量 X 的 線性函數(shù) ， 則： ()E Y Xi( ) ( ) 01E Y X f X Xi i i??? ? ??（ 2）隨機(jī)設(shè)定形式 01??其 中 ， ， 是 未 知 參 數(shù) ， 稱 為 回 歸 系 數(shù) 。 （二）總體回歸函數(shù) ※ 知識體系 ?條件分布與條件期望 ?總體回歸線與總體回歸函數(shù) ?總體回歸函數(shù)的形式 ? 引入模型的原因 i??條件分布與條件期望 （二）總體回歸函數(shù) ?（ 1） Y的條件分布 —— 解釋變量 X取某固定值時(shí)，被解釋變量 Y 的值不確定， Y的不同取值形成的分布。 研究對象 —— 相關(guān)分析僅從統(tǒng)計(jì)數(shù)據(jù)上測度變量間的相關(guān)程度，而無需考察兩者間是否有因果關(guān)系；回歸分析側(cè)重于變量間的因果關(guān)系分析。 （一）回歸分析與相關(guān)分析 ?相關(guān)系數(shù) —— 線性相關(guān)程度的度量 ?Note: （一）回歸分析與相關(guān)分析 ?回歸分析與相關(guān)分析的關(guān)系 ※ 回歸的起源 一般而言 ,父親身高 (矮 ),子女也身高 (矮 )。英國的遺傳學(xué)家弗朗西斯 〃 高爾頓 (Francis Galton)發(fā)現(xiàn) : 矮個(gè)的父親 ,如身高 的人群 ,他們的子女的平均身高會大于其父親的身高 ,且趨向于 (或回歸于 )所有人 (高和矮 )子女的平均身高；而對于高個(gè)的父親 ,其子女的平均身高會低于其父親的身高 , 而且也回歸到所有人子女的平均身高 ,即所謂回歸到中等。 變量特性 —— 變量在相關(guān)分析中的地位是對稱的，并且都是隨機(jī)變量；變量在回歸分析中的地位不對稱，區(qū)分為解釋變量和被解釋變量，經(jīng)常假定解釋變量為非隨機(jī)變量。 ?（ 2） Y的條件期望 —— 對于 X的每一個(gè)取值，由 Y的條件分布確定其期望，稱為 Y的條件期望，即： E Y Xi??????。()()()0 1 0 1X Y Y E Y Xi i iY E Y XiiiiY E Y X Y X Y Xi i i i i i i i??? ? ? ? ? ?? ? ? ? ? ? ? ? ?對 于 一 定 的 ， 的 各 個(gè) 個(gè) 別 值 分 布 在的 周 圍 ， 若 令 各 個(gè) 與 條 件 均 值 的 偏 差 為， 顯 然 是 隨 機(jī) 變 量 ， 則 ：?總體回歸函數(shù)的形式 （二）總體回歸函數(shù) ?（ 2）隨機(jī)設(shè)定形式 () 0 1 0 1Y E Y X Y X Y Xi i i i i i i i? ? ? ? ? ?? ? ? ? ? ? ? ? ?系統(tǒng)性部分 —— 非系統(tǒng)性部分 —— 隨機(jī)干擾項(xiàng) () 01E Y X Xii????i?? Note: 這表明被解釋變量 Y不僅受解釋變量 X的系統(tǒng)性影響，還受其它因素的隨機(jī)性影響， 代表所有未包含在模型中的其它因素。 Xi?Yi?Yi（三）樣本回歸函數(shù) ?樣本回歸線與樣本回歸函數(shù) ?Note： 每次抽樣都能獲得一個(gè)樣本，就可以擬合一條樣本回歸線，所以樣本回歸線隨抽樣波動而變化，可以有許多條； 樣本回歸線不是總體回歸線，只是未知總體回歸線的近似表現(xiàn)； 樣本回歸函數(shù)的形式應(yīng)與設(shè)定的總體回歸函數(shù)的形式一致。( , ) [ ( ) ] [ ( ) ]( ) 0 , 。 （二）普通最小二乘法 ?最小二乘估計(jì) ?（ 3） 形式變換 ?1 2( O L S )?。 = ,0 0 0 1 1 12222? ?2( , ) 。 Note: 樣本回歸線是對樣本觀測 值 的一種擬合，不同 的估計(jì)方法可擬合出不同的回歸線，擬合的回歸線與樣本觀測值總有偏離，因此，擬合優(yōu)度 的度量是 建立在總離差分解的基礎(chǔ)上。 2 2 2??22= 1 112 2 2y x eE S S R S S i i iRTS S TS S y y yi i i?????????????? ? ?? ? ? ? ? ?? ? ??（ 1）可決系數(shù) R2 ?（ 2）作用 —— 可決系數(shù)越大，說明由 解釋變量 解釋 了 的 那部分 離差 占 總離差的 比重越大， 模型對樣本觀測值的擬合程度越好，即模型的解釋能力越強(qiáng)。 （二）方程顯著性檢驗(yàn) ※ 知識體系 ?自由度 df（ ★ ★ ★ ★） ?構(gòu)造 F統(tǒng)計(jì)量（ ★ ★ ★） ? F檢驗(yàn)的步驟（ ★ ★ ） （二）方程顯著性檢驗(yàn) ?自由度（ degree of freedom, df） —— 在數(shù)學(xué)中，指能夠自由取值的變量個(gè)數(shù)；在統(tǒng)計(jì)學(xué)中，指計(jì)算某一統(tǒng)計(jì)量時(shí)， 取值不受限制的變量個(gè)數(shù)。 ?自由度 df （二）方程顯著性檢驗(yàn) ? ?11 2 1 2211122()112 2 2( 0 , 1 )1( 1 )2112nXXn iinS X XininX N X ndfiiiXT t nnd f nd f ndSnXnF X n Y n F n nfYnn?????? ? ? ? ? ?? ? ? ? ? ?? ? ? ? ? ?????????????????????樣 本 均 值 ： — —樣 本 方 差 ： — —分 布 ： — —分 布 ： — —分 布 ： ， ，?（ 4）舉例 表 35 一元線性回歸模型的 df 項(xiàng)目 一元線性回歸模型 樣本回歸模型 樣本回歸函數(shù) TSS ESS RSS ? ?01Y X ei i i??? ? ?df n?? ?? 01YXii???? 2df?22()TS S y Y Yii? ? ??? 1df n???22? ()ESS y Y Yii? ? ???1df??22()RSS e Y Yi i i? ? ??? 2df n??? ?? 01j j? ?， ， Note： 在回歸模型中， 看作常數(shù)，而在回歸函數(shù)中，卻看作隨機(jī)變量。 )012()2( 1 )2( 1 )2 2 22+2?2( 1 )2222( 2 )22? 222?1 12 2 2?2Y N X C ov Y Y i j n i ji i i jYYnS T SSinT SS E SS R SSyE SS ieR SS inxyE SS iiFR SS neni? ? ??? ? ?????????????????????????? ? ? ????? ? ? ??????????? ? ? ????又 分 布 具 有 可 分 解 性 ，( 1 2 )Fn ?，? F檢驗(yàn)的步驟 （二）方程顯著性檢驗(yàn) ?（ 1）分析問題，提出假設(shè) ?（ 2）確定檢驗(yàn)的統(tǒng)計(jì)量 ?（ 3）構(gòu)造小概率事件 0 1 1 1: 0 : 0HH????；1 (1 2 )2E S SF F nR S S n??? ， (1 2 )P F F n ?????????? ??，?（ 4）計(jì)算檢驗(yàn)統(tǒng)計(jì)量，判斷其落入的區(qū)域 010 ( 1 2 )( 1 2 )F F n H HF F n H?????— — 若 ， 時(shí) ， 則 拒 絕 ， 而 接 受 ，說 明 解 釋 變 量 對 被 解 釋 變 量 的 影 響 顯 著 ?！?— 若 時(shí) ， 則 接 受 ， 說 明 被 解 釋 變 量與 解 釋 變 量 的 線 性 關(guān) 系 不 顯 著 。（一）點(diǎn)預(yù)測 ? Y的個(gè)別值 的點(diǎn)預(yù)測 YF 0101(?( ) = ( )01)0?()1?E Y X E YF F FYXi i iX X Y Xi F F F FE Y XFFYY E Y XFFFYFYF?????? ? ???? ? ?? ? ? ? ?? ? ?????總 體 回 歸 模 型 為當(dāng) 時(shí) ，又不 僅 是 條 件 均 值 的 點(diǎn) 預(yù) 測 值 ， 也 是 個(gè) 別 值是 個(gè) 別 值 的 無 偏 估 計(jì) 量 。※ 基本思想 （二）區(qū)間預(yù)測 ?（ 1）構(gòu)造樞軸變量 ? Y的條件均值 的區(qū)間預(yù)測 ()E Y X F?( ) ( )012? ?? 1 2( ) ( )01 2? ? ?2? 1 2( ( ) ,??。※ 基本思想 YF（二）區(qū)間預(yù)測 ?（ 1）構(gòu)造樞軸變量 ? Y個(gè)別值 的區(qū)間預(yù)測 YF,2( , )012( , )012? ?1 2,01 2? ?( ) ( ) ( ) 02? ? 1( ) ( ) ( ) 1Y N XiiY N XFFXXFY N X Y YnF F F FxiE Y Y E Y E YF F F FXXFV ar Y Y V ar Y V ar YnF F F Fxi? ?