【正文】 設(shè)下列方程，具有唯一的解 當(dāng) 函數(shù)的形式及條件概率密度函數(shù) 都不知道時(shí)，求上述方程的解析解是困難的，可以利用 隨機(jī)逼近法求解。 ???? }|{)( xyExh)(xh )|( xyp79 ? 隨機(jī)逼近法 ? 利用變量 及其對(duì)應(yīng)的隨機(jī)變量 ? 通過迭代計(jì)算 ? 逐步逼近方程（ 29）式的解 ?, 21 xx?),(),( 21 xyxy80 ? 常用的 迭代算法 ? Robbins – Monro 算法 ? Kiefer – Wolfowitz 算法 Robbins – Monro 算法 ? 其中： 稱為收斂因子。如果滿足： ? 則由（ C）確定的 在均方意義下收斂于方程（ 29）式的解。 ))](()[()()1( kxykkxkx ???? ?? （ D） ????????????????????121)(。)(0)(l i m。,0)(kkkkkkkk????)(k?)(kx（ C） 一般 ?。? ? 另外：當(dāng)滿足以下條件時(shí) ? 由（ C）確定的滿足： )(k?kabkkk ??? )(。1)( ?????????????????????????????????????0)(i n f,0,)(,)()。(,)(,)()()]([2012121002?????????xhxxxhxxxhxxdcxhxydpxhyxx1})(l i m{Pr 0 ???? xkxob kKiefer－ Wolfowitz算法： ? 目的：確定回歸函數(shù) 的極值點(diǎn)。 ? 若收斂因子 滿足條件（ D），則由（ E）確定的收斂到回歸函數(shù)的極值點(diǎn)。 )()()()1( kxdxdykkxkx ????)(k?)(xh（ E） ? 考察準(zhǔn)則函數(shù) 的極值問題，若 在點(diǎn)上 取得極值 ，則 的迭代算法為： ? 若收斂因子滿足條件（ D），則 在均方意義下收斂于真值 ，即 )(?)()()(?)1(?kJkkk??? ???????????θθθθ)(θJ θ θ ?)(θJ θ ?0]})(?[])(?{[l i m 00 ????? θθθθ kkEk ?0θ（ F） )(? kθ隨機(jī)逼近參數(shù)估計(jì)方法 考察參數(shù)辨識(shí)問題： 設(shè)準(zhǔn)則函數(shù)為： 其中： 為標(biāo)量函數(shù)； 表示時(shí)刻 k以前的輸入輸出數(shù)據(jù)集合。 )()()( kekkz ?? θh ?)},({)( khEJ Dθθ ?)(?h kD（ G） 準(zhǔn)則函數(shù)的一階負(fù)梯度為： 則參數(shù)辨識(shí)問題（ G）可以歸結(jié)為求解以下方程 由隨機(jī)逼近原理，可得： 其中 為滿足條件（ D）的收斂因子。 ),(?),()( kkhEJ DθqDθθθθ ?????????????????????????? ??0Dθq ?),( k)),1(?()()1(?)(? kkkkk Dθqθθ ???? ?)(k? 若具體的準(zhǔn)則函數(shù)?。? ? 則有： ? 下面考察以下參數(shù)辨識(shí)問題： ? 其中： 是均值為零，方差為 的白噪聲，輸入輸出帶有噪聲，即 }])()({[21)}({21)( 22 θhθ kkzEkeEJ ????)]1(?)()()[()()1(?)(? ????? kkkzkkkk θhhθθ ??)()()()()( 11 kvkuzBkyzA ?? ?????????)()()()()()(kskukxkwkykz)(kv 2v?（ H） ? 其中 和 分別是均值為零，方差為 和 的白噪聲，并且 、 、 和 兩兩不相關(guān)，且 令： ??????????????????????bbaannnnzbzbzbzBzazazazA??2211122111)(1)()(ks )(kw 2s?2w? )(kv )(ks )(kw)(ku????????????????? )()()()()()(],,[)](,),1(),(,),1([)(112121kvkszBkwzAkebbbaaankxkxnkzkzkba nnba??????θh則模型（ H）化為最小二乘格式： 其中的噪聲具有以下性質(zhì)： 取準(zhǔn)則函數(shù)： )()()( kekkz ?? θh ???????????????????0)}()({},m a x {,0,)}()({0)}({kekEnnnnjinjijeieEkeEbah有限值}])()({[21)}({21)( 22 θhθ nknkzEnkeEJ ?????? ?利用隨機(jī)逼近原理，可得參數(shù)值的隨機(jī)逼近算法： ? 收斂因子必須滿足條件（ D），一般取 或 ? 注意，（ I）式算法所獲得的參數(shù)估計(jì)是有偏的估計(jì)，因?yàn)橛校? ????????????????）（步長(zhǎng)取 132,2,1)]1(?)()()[()()1(?)(?nnnkknknkznklknk θhhθθ ??1?? kl11???nkl0101)}()({)} ]()({[)}()({)} ]()({[?θhhhθhhhθ??????????????nkenkEnknkEnkznkEnknkE??因?yàn)? 022)}()({ θI00Ih????????????bansnwnkenkE??（ I） 由此可以得到修正的無偏算法（ RSAA） 可以證明由（ J）獲得的估計(jì)值在均方意義下是一致收斂的，即 ???????????????????????????????）（步長(zhǎng)取 132,2,1)}1(?)]1(?)()() { [()()1(?)(?22nnnkkknknkznklknkbansnwθI00Iθhhθθ????0]})(?[])(?{[l i m 00 ??????? θθθθ nknkEk ?（ J） 隨機(jī)牛頓法 ? 研究隨機(jī)逼近法的估計(jì)公式： ? 假定取定收斂因子 ，則當(dāng)搜索點(diǎn)接近準(zhǔn)則函數(shù)的極小值時(shí)，這種算法的收斂速度變得很慢，為此我們可以采用如下牛頓算法： )1(?)()()1(?)(?????????????kJkkk??? θθθθ)1(?122 )()()1(?)(? ?????????????????????kJJkk??θθθθθθ)(k?（ K） 其中： 表示準(zhǔn)則函數(shù) 的關(guān)于 的二階導(dǎo)數(shù)，稱為 Hessian矩陣，它是一對(duì)稱矩陣。 若準(zhǔn)則函數(shù) 是一確定性函數(shù)，則牛頓算法（ K）有較快的收斂速度和辨識(shí)精度。若準(zhǔn)則函數(shù)取回歸函數(shù)，即 ，則 Hessian矩陣不易求，因此牛頓算法不能適用。一般來說，對(duì)于隨機(jī)問題，我們采用以下隨機(jī)牛頓算法 其中： 且 R(k)是 Hessian矩陣在 點(diǎn)上的近似形式，在特定的準(zhǔn)則函數(shù)下，它可以用隨機(jī)逼近法確定。 22 )(θθ?? J )(θJ θ)(θJ)},({)( khEJ Dθθ ?)1(?1 )),1(?()()()1(?)(??? ????kkkkkkk?? DθqRθθ),(?),()( kkhEJ DθqDθθθθ ?????????????????????????? ??)1(? ?kθ下面考察以下辨識(shí)問題： 取準(zhǔn)則函數(shù)： 則有： 且 Hessian矩陣為： )()()( kekkz ?? θh ?}])()({[21)}({21)( 22 θhθ kkzEkeEJ ????])()()[(),( θhhDθq kkzkk ???)}()({)( 22kkEJ ?hhθ θ ???? 設(shè) 是 Hessian矩陣在 k時(shí)刻的估計(jì)值，則有 ? 由 Robbins－ Monro算法，得 的隨機(jī)逼近算法： ? 于是得到模型的隨機(jī)牛頓算法（ SNA）如下： ? 其中為滿足條件（ D）的收斂因子。 )(kR0Rhh ?? )}()()({ kkkE ?)(kR)]1()()()[()1()( ????? kkkkkk RhhRR ??????????????? ?)]1()()()[()1()()]1(?)()()[()()()1(?)(? 1kkkkkkkkkzkkRkkkRhhRRθhhθθ????