多元線性回歸模型的參數(shù)估(完整版)
【正文】 β= ? ? = ? ? 2 ? ? ?? ? ? ? 估計(jì)值與觀測值之間的殘差： 隨機(jī)干擾項(xiàng) μ的方差的普通最小二乘估計(jì) 對于多元回歸模型 Y = X ? + ? 由于被解釋變量的 ? e = Y ? X ? = X ? + ? ? X ( X X )?1 X ?( X ? + ? ) = ? ? X ( X ?X )?1 X ?? = [ I ? X ( X ?X )?1 X ?]? ? = M ? 殘差的平方和為： e?e = ??MM ? 因?yàn)? 所以 M = I ? X ( X ?X )?1 X ? 為 對稱等冪矩陣 ，即 M = M ?, M 2 = M ?M = M e?e = ? ?M ? ? = ? = 所以 } ? E (e?e) = E {? ?[ I ? X ( X X )?1 X ?]? ? = ? 2tr[ I ? X ( X X )?1 X ?] = ? 2{trI ? tr[ X ( X ?X )?1 X ?]} = ? 2{n ? (k + 1)} 2 E (e?e) n ? k ? 1 2 e?e n ? k ? 1 () 其中 k為解 釋變量的個(gè)數(shù) (2? ) ? n (2? ) ? n 二、最大或然估計(jì) *(ML) 對于多元線性回歸模型 Yi = ? 0 + ? 1 X 1i + ? 2 X 2 i + ? ? ? + ? k X ki + ? i 易知 Yi ~ N (X i β ,? 2 ) ? ) )? ? ? ? ? 2 2 ? ? = = 1 2? 1 2? e e 1 n 2 ? (Yi ?( ? 0 + ?1 X 1i + ? 2 X 2 i + + ? k X ki ))2 1 n 2 ( Y ? Xβ?( Y ? Xβ 即為變量 Y的 似然函數(shù) 其中 X i = (1 X 1i X 2i X ki ) Y的隨機(jī)抽取的 n組樣本觀測值的聯(lián)合概率 ? () 對數(shù)似然函數(shù)為 ? ) )? (Y ? Xβ (Y ? Xβ 1 2? 2 = ?nLn( 2? ? ) ? L* = Ln( L) () ? ) )? 對對數(shù)似然函數(shù)求極大值，也就是對 (Y ? Xβ ?(Y ? Xβ 求極小值。 ? ??1 ? ? y1 ? ? x11 x21 xk1 ? ? ? ? ? y 2 ? ? ? ?? 2 ? y = ? ? x = ? ? β= ? ? ? x x x ? ? y ? 由此容易得到多元回顧分析中 樣本回歸函數(shù)的離 差形式 ? ? ? yi = ?1 x1i + ? 2 x2i + + ? k xki + ei i=1,2…n () 其 矩陣形式 為 其中 ? x12 x22 xk 2 ? ? ? ? ? ? ? ? ? ? n ? ? 1n 2 n kn ? ? ? k ? ?? ? 在 離差形式下，參數(shù)的最小二乘估計(jì)結(jié)果 為 y = x ? + e () ? ? k X k ??? = ( x?x)?1 x?y ? ???
法律信息相關(guān)推薦
鄂ICP備17016276號-1