多元線性回歸模型(2)(完整版)
【正文】 ? ?)(?結(jié)果與參數(shù)的普通最小二乘估計(jì)相同 最大或然估計(jì) 矩估計(jì) （ Moment Method, MM） OLS估計(jì)是通過(guò)得到一個(gè)關(guān)于參數(shù)估計(jì)值的正規(guī)方程組 YXβX)X( ??? ?并對(duì)它進(jìn)行求解而完成的。 ? 如果存在＞ k+1個(gè)變量與隨機(jī)項(xiàng)不相關(guān)，可以構(gòu)成一組包含＞ k+1方程的矩條件。 RSS:未被回歸直線解釋的部分，由解釋變量 X對(duì) Y影響以外的因素造成。因此，在選擇模型時(shí)不能單純憑決定系數(shù)的高低斷定模型的優(yōu)劣，有時(shí)為了通盤(pán)考慮模型的可靠度及其經(jīng)濟(jì)意義可以適當(dāng)降低對(duì)決定系數(shù)的要求。 22?1ienk? ???＝2R調(diào)整的可決系數(shù) （ adjusted coefficient of determination） 在樣本容量一定的情況下，增加解釋變量必定使得自由度減少，所以 調(diào)整的思路是 :將殘差平方和與總離差平方和分別除以各自的自由度，以剔除變量個(gè)數(shù)對(duì)擬合優(yōu)度的影響 : )1/()1/(12?????nT S SknR S SR其中： nk1為殘差平方和的自由度， n1為總體平方和的自由度。 線性性 線性性 CYYXXXβ ???? ? 1)(?其中 ,C=(X’X)1 X’ 為一僅與固定的 X有關(guān)的行向量 ? 無(wú)偏性 無(wú)偏性 βμXXXβμX βXXXYXXXβ11???????????????)()())()(())(()?(1EEEE這里利用了假設(shè) : E(X’?)=0 有效性（最小方差性） 有效性（最小方差性） 其中利用了 YXXXβ ??? ? 1)(?μXXXβμX βXXX??????????11)()()( 和 Iμμ 2)( ???E有效性（最小方差性） 高斯 馬爾科夫定律 ? 如果多元線性回歸模型滿足基本假定，則最 ? 小二乘估計(jì)量 是 的最優(yōu)線性無(wú)偏估計(jì)量（ Best Linear Unbiased Estimate, 簡(jiǎn)稱(chēng)為 BLUE），也就是說(shuō) 是所有線性無(wú)偏估計(jì)量中， 具有最小方差性。 ??解此正規(guī)方程組即得參數(shù)的 MM估計(jì)量。 假設(shè) 2，隨機(jī)誤差項(xiàng)具有零均值、同方差及不序列相關(guān)性 0)( ?iE ? 22 )()( ??? ?? ii EV a r0)(),( ?? jiji EC o v ???? njiji ,2,1, ??? 假設(shè) 3，解釋變量與隨機(jī)項(xiàng)不相關(guān) 0),( ?ijiXC o v ?假設(shè) 4，隨機(jī)項(xiàng)滿足正態(tài)分布 ),0(~ 2?? Nikj ,2,1 ??多元線性回歸模型的基本假定 上述假設(shè)的 矩陣符號(hào)表示 式： 假設(shè) 1， n?(k+1)矩陣 X是非隨機(jī)的，且 X的秩 ?=k+1，即 X滿秩。 一般表現(xiàn)形式 ： ikikiii XXXY ????? ????????? 22110i=1,2…,n 其中 :k為解釋變量的數(shù)目， ?j稱(chēng)為 回歸參數(shù) （ regression coefficient）。 或者說(shuō) ?j給出了 Xj的單位變化對(duì) Y均值的 “ 直接 ” 或“ 凈 ” （ 不含其他變量 ） 影響 。 該 正規(guī)方程組 可以從另外一種思路來(lái)導(dǎo) : μX βY ??μXX βXYX ?????μXX β(YX ???? )求期望 : 0X βYX ??? )((E0X βYX ??? )((E稱(chēng)為原總體回歸方程的一組 矩條件 ，表明了原總體回歸方程所具有的內(nèi)在特征。這就是 GMM。 總離差平方和的分解公式 TSS = RSS ＋ ESS 總離差平方和＝殘差平方和＋回歸平方和 自由度 ：（ n－ 1）＝（ n－ k－ 1）＋ k 總離差平方和的分解公式 多元樣本可決系數(shù) 多元樣本可決系數(shù) T S SR S ST S SE S SR ??? 12該統(tǒng)計(jì)量越接近于 1，模型的擬合優(yōu)度越高。 2R 2R修正的可決系數(shù) ? To be continued… 。但是，現(xiàn)實(shí)情況往往是，由增加解釋變量個(gè)數(shù)引起的 R2的增大與擬合好壞無(wú)關(guān) ，而且 ，在樣本容量一定的情況下，增加解釋變量使
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1