【正文】 似然函數(shù)為 ?e? ???????????????NnkeTeekekenNnNmJ)()(de tl og)l og ()(),?(12121221??，于是，因 )?(d e tl o g)?()?( )2( ??? DJD Ne ??????????????NnkTNkeDkeJnNnNmDJ)()?()()?()l og ()())?(,?( )(?????12212122168 ：當 為正態(tài)分布不相關隨機向量時， 等價于 取極小，又等價于第 2種預報誤差準則 取極小。在這種意義下，極大似然法與預報誤差法也是等價的。 ))?(,?( ?? DJ)?()2( ?NJ結論 )(ke預報誤差法與極大似然法等價?；蛘哒f，極大似然法是預報誤差法的特例。 在上式中 ,右端各項為正 ,必有： 等價于 m in)?()2( ??NJm in))?(,?( ??? DJ ]?),()([ ?1?NUNYf . 由于似然函數(shù) 取極大 , 69 三、預報誤差參數(shù)估計方法 (NewtonRaphson法 ) ⒈ 預報誤差參數(shù)估計法實質 由于預報誤差準則 或 一般都是參數(shù) )?()1( ?NJ )?()2( ?NJ?的非線性函數(shù)，故令 極小化求 的方法， )2,1( )?()( ?lJ lN ? ??歸納為極小化 的最優(yōu)化算法。 )?()( ?lNJ?e若預報誤差 的協(xié)方差陣 已知，則取 )(ke )?()1( ?NJ作為預報誤差準則，且取權陣 ； ? ???? 1)1(enNW若 未知，則應選 為預報誤差準則。 ?e)?()2( ?NJ70 ⒉ 預報誤差準則極小化的最優(yōu)化算法 根據(jù) Newton—— Raphson原理， )2,1( m in)?()( ?? lJ lN ?的最優(yōu)化算法歸納為如下迭代方程： nTllnnnJJ?????????)(12)(21 ])([])([??111 ?????? ??式中： 1?n?—— 第 次迭代的參數(shù)估計值； 1n???? )()(lJ—— 預報誤差準則 關于 的梯度； )()( ?lJ ?71 2)(2 )(???? lJ —— Hessian矩陣； 1n?—— 迭代步長，使 m in)?(1)( 1 ??nlJ ?顯然，上述最優(yōu)化算法的關鍵是： 關于 的梯度 )()( ?lJ ?及 Hessian矩陣的具體計算式；利用一維搜索法求 ，使 1n?m in)?( 1)( 1 ??nlJ ? 。 72 ⒊ 梯度與 Hessian矩陣的計算 設 的協(xié)方差矩陣已知，即 已知，取權陣 )(ke ?e? ???? 1)1( enNW ，而 ?????NnkT DkekenN )?()()( ?11(n為系統(tǒng)階次 ) 因而： )?(1 ??? DW由矩陣運算公式： AXAXXXAXXAXXtr TTTT 2。][ ????73 其中 TAA ?可得梯度向量 的第 i個元素為： ???? )()1(JiNnkTNnkTiNnkTiiikeWkenNkWekenNkekWetrnNWDtrJ?????????????????????????????????)()(12)()(11])()([11)]([)()1((代入 表達式 ) )(?DAXXA X Xtr TT ?)(?AXAXXX TT 2????74 Hessian矩陣 的第 i行，第 j列的元素為： 2)1(2 )(???? J???????????????????????????????????????])([])([})()(])([])({[)()([)]([)()()(ieTNnkjijTiTNnkjNnkiTjijijkekekeWkekeWkenNkeWkenNJJ??????????????1211221212代入 表達式 iJ???? )()1(略去 75 需要指出：計算 Hessian矩陣元素時，忽略了 e(k)關于 的 ?二階導數(shù)，目的是簡化 Hessian矩陣計算，并可保證 Hessian矩陣正定性。 式中 為 的維數(shù)，即待辨識的參數(shù) nnNji 2。1,2,1, ??? ? ?]?),(),([)( ??? 11 ??? ????? kUkYfkeii個數(shù)，且 (預報誤差模型 ) ???????????????????????????????????????])([])([})()(])([])({[)()([)]([)()()(ieTNnkjijTiTNnkjNnkiTjijijkekekeWkekeWkenNkeWkenNJJ??????????????121122121276 ⒋ NewtonRaphson法迭代計算步驟 o1 設置初始狀態(tài) 和步長 ，賦 ； 1?n?1n?0:1 ?no2 計算 和 ， )?(,)( ? 11 nDke n ??1nke?? ?)(?? Nnnk ?, 1??]?),(),([)()( 111 nkUkYfkyke ?????????? NnkT kekenND )()()?(11?)(]?),(),([)(121111???????????nN,ikUkYfkenii? ???77 o3計算梯度 和 Hessian矩陣 1?)1( )(nJ?????1?2)1(2 )(nJ?????iNnkeTikekenNJ?????????? ? ??? )()()()(1112)。,(])([])([)()(1212 112????????????? ??nNjikekeJieTNnk jij? ?????o4 利用一維搜索法，求步長 ，使 1n?m i n 。)])([])([?(111?)1(12)1(2)1( ?????? ?nTnnJJJ???????78 o5計算 11? ?n?。])([])([??1111?)1(12)1(21nTnnnJJ?????????????? ??o6給定迭代精度正小數(shù) ，若 ????????111???1nnn則停止迭代；否則，賦 ，返回 。 1: 11 ?? nn o2