【正文】 1 第八章 對數(shù)極大似然估計 極大似然估計法 (maximum likelihood, ML)，是不同于最小二乘法的另一種參數(shù)估計方法，是從極大似然原理發(fā)展起來的其他估計方法的基礎(chǔ)。雖然其應(yīng)用沒有最小二乘法普遍，但在計量經(jīng)濟(jì)學(xué)理論上占據(jù)很重要的地位，因為極大似然原理比最小二乘原理更本質(zhì)地揭示了通過樣本估計母體參數(shù)的內(nèi)在機理，計量經(jīng)濟(jì)學(xué)理論的發(fā)展更多的是以極大似然估計原理為基礎(chǔ)的，對于一些特殊的計量經(jīng)濟(jì)學(xué)模型，只有極大似然方法才是很成功的估計方法。 2 EViews包含了一些常用方法，如最小二乘法、非線性最小二乘法、加權(quán)最小二乘法、 TSLS、 GMM、 ARIMA、ARCH、 GARCH等方法，這些方法可以解決可能遇到的大多數(shù)估計問題。但是，我們在研究中也可能會碰到一些不在上述之列的特殊的模型，這些模型可能是現(xiàn)存方法的一個擴(kuò)展，也可能是一類全新的問題。 為了能解決這些特殊的問題 ， EViews提供了 對數(shù)極大似然估計對象 這一工具來估計各種不同類型的模型 。 對數(shù)極大似然估計對象提供了一個一般的 ， 開放的工具 ， 可以通過這個工具極大化相關(guān)參數(shù)的似然函數(shù)對一大類模型進(jìn)行估計 。 3 使用對數(shù)極大似然估計對象估計時 ， 我們用 EViews的序列生成器 ， 將樣本中各個觀測值的對數(shù)似然貢獻(xiàn)描述為一個未知參數(shù)的函數(shù) 。 可以給出似然函數(shù)中一個或多個參數(shù)的解析微分 ， 也可以讓 EViews自動計算數(shù)值微分 。EViews將尋找使得指定的似然函數(shù)最大化的參數(shù)值 ， 并給出這些參數(shù)估計的估計標(biāo)準(zhǔn)差 。 在本章 ， 我們將詳細(xì)論述對數(shù)極大似然估計對象 ，說明其一般特征 。 并給出了一些可以使用該方法的具體的例子 。 4 167。 對數(shù)極大似然估計的基本原理 167。 極大似然估計的基本原理 設(shè)總體的概率密度函數(shù)為 P， 其類型是已知的 ， 但含有未知參數(shù) （ 向量 ） ?。 我們的目的就是依據(jù)從該總體抽得的隨機樣本 y1, y2, … , yT ， 尋求對 ? 的估計 。 觀測值 y1, y2, … , yT 的聯(lián)合密度函數(shù)被給定為 （ ） 其中： y = ( y1, y2, … , yT )?。 將這一聯(lián)合密度函數(shù)視為參數(shù) ? 的函數(shù) ， 稱為樣本的似然函數(shù) （ likelihood function） 。 ???TttyPL1)()。( ψy5 極大似然原理就是尋求參數(shù)的估計值 ， 使得所給樣本值的概率密度 （ 即似然函數(shù) ） 的值在這個參數(shù)值之下 ， 達(dá)到最大 。 在當(dāng)前的情形下 ， 就是尋求 ? 的估計值 ， 使得似然函數(shù) L(y 。 ?) 相對于給定的觀測值 y1, y2, … , yT 而言達(dá)到最大值 ， 就被稱為極大似然估計量 。 ψ?ψ?6 在 L(y 。 ?) 關(guān)于 ?i（ i =1, 2, … , n， n是未知參數(shù)的個數(shù) ）的偏導(dǎo)數(shù)存在時 ， 要使 L(y 。 ?) 取最大值 ， ? 必須滿足 , i =1, 2, …, n （ ） 由上式可解得 n?1 向量 ? 的極大似然估計值 ，而式 ()也被稱為似然函數(shù)。 0)。( ?? ? ψyLi?ψ?7 因為 L(y 。 ?) 與 ln[L(y 。 ?))] 在同一點處取極值 ， 所以也可以由 , i =1, 2, …, n （ ） 求得，因為對數(shù)可將乘積變成求和，所以，式 ()往往比直接使用式 ()來得方便。式 ()也被稱為對數(shù)似然函數(shù)。 0)。(ln ?? ? ψyLi?8 考慮多元線性回歸模型的一般形式 , t =1, 2 , … , T () 其中 k 是解釋變量個數(shù) ， T 是觀測值個數(shù) ， 隨機擾動項 ～ ， 那么 yt 服從如下的正態(tài)分布： ～ 其中 () tktkttt uxxxy ?????? ???? ?22110tu ),0( 2?Nty ),( 2?? tNktkttt xxx ????? ????? ?221109 y 的隨機抽取的 T 個樣本觀測值的聯(lián)合概率函數(shù)為 （ ） 這就是變量 y的似然函數(shù) ， 未知參數(shù)向量 ?={?1, ?2,… ?k, ?2}。 對似然函數(shù)求極大值和對數(shù)似然函數(shù)求極大值是等價 的 ， 式 ()的 對數(shù)似然函數(shù)形式 為： （ ） ?????????TtttyTTTttTeyPyyyPL122)(2121212π)2(1)(),(),(???? ?β??????????????????TtttTtttyyTL122212222)(21)π2l n (21)(21)π2l n (2),(ln???????β10 注意 ， 可以將對數(shù)似然函數(shù)寫成 t 時刻所有觀測值的對數(shù)似然貢獻(xiàn)和的形式 ， （ ） 這里對數(shù)似然的單個貢獻(xiàn) （ 用小寫字母表示 ） 由下面的式子給出： （ ） ),(),(ln 212 ?? ββ ???TttlL2222 )(21)π2l n (21),(ttt yl ???? ????βTt ,2,1 ??11 式 （ ） 也可用標(biāo)準(zhǔn)正態(tài)分布的密度函數(shù) ? 表示 （ ） 式中 標(biāo)準(zhǔn)正態(tài)分布的對數(shù)似然函數(shù) ? 為 （ ） 這里對數(shù)似然函數(shù)每個觀測值的貢獻(xiàn)式 ()又可以由下面的式子給出： （ ） ?????????TtttTtyTL122122 )(21)l n (21π)2l n (2),(ln ????β?? ?????? ????????? ?? Tttty12 )l n (21)(ln ?????????Tttt zTz1221π)2l n (2)(ln ? ?? tttyz ??)l n (21ln),( 2?? ??? ????????? ?? tttyl βTt ,2,1 ??12 167。 EViews極大似然對象概述 用對數(shù)極大似然估計來估計一個模型，主要的工作是建立用來求解似然函數(shù)的說明文本。用 EViews指定對數(shù)極大似然函數(shù)的說明是很容易的，因為似然函數(shù)的說明只是一系列對序列的賦值語句，這些賦值語句在極大化的過程中被反復(fù)的計算。我們所要做的只是寫下一組語句，在計算時，這些語句將描述一個包含每個觀測值對似然函數(shù)貢獻(xiàn)的序列。 13 注意到 ， 我們能將對數(shù)似然函數(shù)寫成所有觀測值 t 的對數(shù)似然貢獻(xiàn)和 的形式 ， 這里 單個貢獻(xiàn) 由下面的式子給出： ),(),(ln 212 ???? ???TttlL2222 )(21)2l n (21),(ttt yl ?????? ????Tt ,2,1 ??14 以只含一個解釋變量的一元線性回歸方程為例 , t =1, 2 , … , T 假定知道模型參數(shù)的真實值，并且想用 EViews產(chǎn)生一個包含每個觀測值的貢獻(xiàn)的序列。 ttt uxy ??? 110 ??),0(~ 2?Nu t2222 )(21)2l n (21),(ttt yl ?????? ????Tt ,2,1 ??15 未知參數(shù)向量 ? ={?0, ?1, ?2}, 可以將參數(shù)初值賦給系數(shù)向量的 c(1)到 c(3)元素 ， 然后把下面的賦值語句作為 EViews的命令或程序來執(zhí)行 。 Series res = yc(1)c(2)*x Series var = c(3) Series logL1 = log(2**var)/2 (res^2/var)/2 前面兩行語句描述了用來存儲計算時的中間結(jié)果的序列 。第一個語句創(chuàng)建了 殘差序列： res， 而第二個語句創(chuàng)建了 方差序列： var。 而序列 logL1包含了 每個觀測值的對數(shù)似然貢獻(xiàn)的集合 。 2222 )(21)2l n (21),(ttt yl ?????? ????16 下面考慮 2個變量的例子： 這里 ， y, x, w 是觀測序列 ， 而 ?? ={?1, ?2, ?3, ? 2}是模型的參數(shù) 。有 T個觀測值的樣本的對數(shù)似然函數(shù)可以寫成： 這里 ， ? 是標(biāo)準(zhǔn)正態(tài)分布的密度函數(shù) 。 ),0(~ 2321????Nuuwxyttttt ????? ?? ???????? TtTtttt wxyTL1 122321222)()l o g (21)2l o g (2),(l o g ?????????? ?????? ????????? ???? Ttttt wxy12321 )l o g (21(l o g ??????17 將這一例子的對數(shù)極大似然函數(shù)過程寫成下面的賦值語句： Series res=yc(1)c(2)*xc(3)*w Series var=c(4) Series logL1=log(@dnorm(res/@sqrt(var)))log(var)/2