多元線性回歸模型的參數(shù)估(編輯修改稿)
2025-06-19 23:13 本頁面
【文章內(nèi)容簡介】 ? ? ? 估計值與觀測值之間的殘差： 隨機干擾項 μ的方差的普通最小二乘估計 對于多元回歸模型 Y = X ? + ? 由于被解釋變量的 ? e = Y ? X ? = X ? + ? ? X ( X X )?1 X ?( X ? + ? ) = ? ? X ( X ?X )?1 X ?? = [ I ? X ( X ?X )?1 X ?]? ? = M ? 殘差的平方和為： e?e = ??MM ? 因為 所以 M = I ? X ( X ?X )?1 X ? 為 對稱等冪矩陣 ，即 M = M ?, M 2 = M ?M = M e?e = ? ?M ? ? = ? = 所以 } ? E (e?e) = E {? ?[ I ? X ( X X )?1 X ?]? ? = ? 2tr[ I ? X ( X X )?1 X ?] = ? 2{trI ? tr[ X ( X ?X )?1 X ?]} = ? 2{n ? (k + 1)} 2 E (e?e) n ? k ? 1 2 e?e n ? k ? 1 () 其中 k為解 釋變量的個數(shù) (2? ) ? n (2? ) ? n 二、最大或然估計 *(ML) 對于多元線性回歸模型 Yi = ? 0 + ? 1 X 1i + ? 2 X 2 i + ? ? ? + ? k X ki + ? i 易知 Yi ~ N (X i β ,? 2 ) ? ) )? ? ? ? ? 2 2 ? ? = = 1 2? 1 2? e e 1 n 2 ? (Yi ?( ? 0 + ?1 X 1i + ? 2 X 2 i + + ? k X ki ))2 1 n 2 ( Y ? Xβ?( Y ? Xβ 即為變量 Y的 似然函數(shù) 其中 X i = (1 X 1i X 2i X ki ) Y的隨機抽取的 n組樣本觀測值的聯(lián)合概率 ? () 對數(shù)似然函數(shù)為 ? ) )? (Y ? Xβ (Y ? Xβ 1 2? 2 = ?nLn( 2? ? ) ? L* = Ln( L) () ? ) )? 對對數(shù)似然函數(shù)求極大值，也就是對 (Y ? Xβ ?(Y ? Xβ 求極小值。 因此，參數(shù)的 最大或然估計 為 ? β= (X?X) ?1 X?Y 顯然結(jié)果與參數(shù)的普通 最小二乘估計相同 () (Y ? X ? )?(Y ? X ? ) ? = = 與一元回歸相仿，容易得出多元回歸下隨機干 擾項方程的 方差估計 為： 2 i n ? en n () 四、參數(shù)估計量的性質(zhì) 在滿足基本假設的情況下，其結(jié)構(gòu)參數(shù) ? 的 普通 最小二乘估計 、 最大或然估計 及 矩估計 仍具有： 線性性 、 無偏性 、 有效性 。 同時，隨著樣本容量增加，參數(shù)估計量具有： 漸近無偏性、漸近有效性、一致性 。 線性 性 β= (X?X) ?1 X?Y = CY ? 由于 其中 ,C=(X’X) 1 X’ 為一僅與固定的 X有關的向量； 可見參數(shù)估計量是被解釋變量 Y的線性組合。 ? ? ? ? ? ? 無偏性 E ( β ) = E[( X X )?1 X Y ] = E[( X ?X )?1 X ?( X ? + ? )] = E[( X X )?1 X X ? ] + E[( X X )?1 X ?? ] = ? 這里利用了假設 : E(X’?)=0 () X X ) X E (???) X ( X X )?1 () ?1 有效性（最小方差性） 首先
法律信息相關推薦
鄂ICP備17016276號-1