【文章內(nèi)容簡(jiǎn)介】 制策略 34 圖 611 BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 第 6章 新型控制策略 35 3． BP網(wǎng)絡(luò)的逼近 圖 612 BP神經(jīng)網(wǎng)絡(luò)逼近 第 6章 新型控制策略 36 用于逼近的 BP網(wǎng)絡(luò)如圖 613所示。 圖 613 用于逼近的 BP網(wǎng)絡(luò) 第 6章 新型控制策略 37 BP算法的學(xué)習(xí)過程 由 正向傳播 和 反向傳播 組成。在正向傳播過程中，輸入信息從輸入層經(jīng)隱層逐層處理，并傳向輸出層，每層神經(jīng)元 (節(jié)點(diǎn) )的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果在輸出層不能得到期望的輸出，則轉(zhuǎn)至反向傳播，將誤差信號(hào) (理想輸出與實(shí)際輸出之差 )按連接通路反向計(jì)算，由梯度下降法調(diào)整各層神經(jīng)元的權(quán)值，使誤差信號(hào)減小。 (1)正向傳播：計(jì)算網(wǎng)絡(luò)的輸出。 (2)反向傳播：采用 學(xué)習(xí)算法，調(diào)整各層間的權(quán)值。 ?第 6章 新型控制策略 38 (1)正向傳播：計(jì)算網(wǎng)絡(luò)的輸出。 隱層神經(jīng)元的輸入為所有輸入的加權(quán)之和，即 j ij iix w x? ?隱層神經(jīng)元的輸出 39。jx采用 S函數(shù)激發(fā) jx，得 39。 1()1 jjj xx f x e ??? ? 39。39。39。(1 )jjjjx xxx? ???則輸出層神經(jīng)元的輸出為 39。()n jk jjy k w x? ?第 6章 新型控制策略 39 誤差性能指標(biāo)函數(shù)為 21 ()2E e k?網(wǎng)絡(luò)輸出與理想輸出誤差為 ( ) ( ) ( )ne k y k y k??第 6章 新型控制策略 40 (2)反向傳播：采用 學(xué)習(xí)算法，調(diào)整各層間的權(quán)值。 ?根據(jù)梯度下降法，權(quán)值的學(xué)習(xí)算法如下： 輸出層及隱層的連接權(quán)值 jkw學(xué)習(xí)算法為 39。( ) ( )njk jjk jkyEw e k e k xww? ? ???? ? ? ? ? ? ? ? ???式中， ?為學(xué)習(xí)速率， [0,1]??。 k十 1時(shí)刻網(wǎng)絡(luò)的權(quán)值為 ( 1 ) ( )jk jk jkw k w k w? ? ? ?隱層及輸入層連接權(quán)值 ij學(xué)習(xí)算法為 () nijij ijyEw e kww????? ? ? ? ? ???式中， 39。39。39。39。39。 ( 1 )j j jnnjk i jk j j iij j j ij jx x xyy w x w x x xw x x w x? ? ??? ? ? ? ? ? ? ? ? ? ?? ? ? ? ?。 問題 :如何調(diào)整權(quán)值 W，使 E最小?？捎锰荻认陆捣▉砬蠼?，其基本思想是沿 E的負(fù)梯度方向不斷修正權(quán)值，直到 E達(dá)到最小。 第 6章 新型控制策略 41 k十 1時(shí)刻網(wǎng)絡(luò)的權(quán)值為 ( 1 ) ( )ij ij ijw k w k w? ? ? ?為廠避免權(quán)值的學(xué)習(xí)過程發(fā)生振蕩、收斂速度慢，需要考慮上次權(quán)值變化對(duì)本次權(quán)值變化的影響，即加入動(dòng)量因子 。 ?此時(shí)的權(quán)值為 ( 1 ) ( ) ( ( ) ( 1 ) )jk jk jk jk jkw k w k w w k w k?? ? ? ? ? ? ?( 1 ) ( ) ( ( ) ( 1 ) )ij ij ij ij ijk w k w w k w k?? ? ? ? ? ? ?式中， ?為動(dòng)量因子， 。 [0,1]? ?第 6章 新型控制策略 42 4. BP網(wǎng)絡(luò)逼近仿真實(shí)例 使用 BP網(wǎng)絡(luò)逼近對(duì)象 32( 1 )( ) ( )1 ( 1 )yky k u kyk?????第 6章 新型控制策略 43 圖 614 BP網(wǎng)絡(luò)逼近效果 第 6章 新型控制策略 44 圖 615 BP網(wǎng)絡(luò)逼近誤差 第 6章 新型控制策略 45 圖 616 Jacobian信息的辯識(shí) 第 6章 新型控制策略 46 5. BP網(wǎng)絡(luò)的憂缺點(diǎn) BP網(wǎng)絡(luò)的優(yōu)點(diǎn)： ， BP網(wǎng)絡(luò)可以逼近任意的非線性映射關(guān)系； 由于 BP網(wǎng)絡(luò)具有很好的逼近非線性映射的能力 ，該網(wǎng)絡(luò)在 模式識(shí)別 、 圖像處理 、 系統(tǒng)辨識(shí) 、 函數(shù)擬合 、優(yōu)化計(jì)算 、 最優(yōu)預(yù)測(cè) 和 自適應(yīng)控制 等領(lǐng)域有著較為廣泛的應(yīng)用。 ，具有較強(qiáng)的泛化能力，可用于神經(jīng)網(wǎng)絡(luò)控制器的設(shè)計(jì) 。 權(quán)中，個(gè)別神經(jīng)元的損壞只對(duì)輸入輸出關(guān)系有較小的影響，因而 BP網(wǎng)絡(luò)具有較好的容錯(cuò)性。 第 6章 新型控制策略 47 BP網(wǎng)絡(luò)的主要缺點(diǎn)為： 1. 待尋優(yōu)的參數(shù)多，收斂速度慢；難以適應(yīng)實(shí)時(shí)控制的要求。 2. 目標(biāo)函數(shù)存在多個(gè)極值點(diǎn)，按梯度下降法進(jìn)行學(xué)習(xí)，很容易陷入局部極小值； 3. 難以確定隱層及隱層節(jié)點(diǎn)的數(shù)目。目前，如何根據(jù)特定的問題來確定具體的網(wǎng)絡(luò)結(jié)構(gòu)尚無很好的方法，仍需根據(jù)經(jīng)驗(yàn)來試湊。 第 6章 新型控制策略 48 6. BP網(wǎng)絡(luò)模式識(shí)別 由于神經(jīng)網(wǎng)絡(luò)具有 自學(xué)習(xí) 、 自組織 和 并行處理 等特征，并具有很強(qiáng)的 容錯(cuò)能力 和 聯(lián)想能力 ，因此， 神經(jīng)網(wǎng)絡(luò)具有模式識(shí)別的能力。 在神經(jīng)網(wǎng)絡(luò)模式識(shí)別中，根據(jù) 標(biāo)準(zhǔn)的輸入輸出模式對(duì) ，采用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法，以標(biāo)準(zhǔn)的模式作為學(xué)習(xí)樣本進(jìn)行訓(xùn)練，通過學(xué)習(xí)調(diào)整神經(jīng)網(wǎng)絡(luò)的連接權(quán)值。當(dāng)訓(xùn)練滿足要求后， 得到的神經(jīng)網(wǎng)絡(luò)權(quán)值構(gòu)成了模式識(shí)別的知識(shí)庫，利用神經(jīng)網(wǎng)絡(luò)并行推理算法 便可對(duì)所需要的輸入模式進(jìn)行識(shí)別。 第 6章 新型控制策略 49 神經(jīng)網(wǎng)絡(luò)模式識(shí)別具有較強(qiáng)的魯棒性 。 當(dāng)待識(shí)別的輸入模式與訓(xùn)練樣本中的某個(gè)輸入模式相同時(shí) ， 神經(jīng)網(wǎng)絡(luò)識(shí)別的結(jié)果就是與訓(xùn)練樣本中相對(duì)應(yīng)的輸出模式。 當(dāng)待識(shí)別的輸入模式與訓(xùn)練樣本中所有輸入模式都不完全相同時(shí) ， 則可得到與其相近樣本相對(duì)應(yīng)的輸出模式 。 當(dāng)待識(shí)別的輸入模式與訓(xùn)練樣本中所有輸入模式相差較遠(yuǎn)時(shí)， 就不能得到正確的識(shí)別結(jié)果 ， 此時(shí)可將這一模式作為新的樣本進(jìn)行訓(xùn)練，使神經(jīng)網(wǎng)絡(luò)獲取新的知識(shí)，并存儲(chǔ)到網(wǎng)絡(luò)的權(quán)值矩陣中，從而增強(qiáng)網(wǎng)絡(luò)的識(shí)別能力 。 第 6章 新型控制策略 50 BP網(wǎng)絡(luò)的訓(xùn)練過程如下 ： 正向傳播 是 輸入信號(hào)從輸入層經(jīng)隱層傳向輸出層 ，若輸出層得到了期望的輸出，則學(xué)習(xí)算法結(jié)束； 否則，轉(zhuǎn)至反向傳播 。 第 6章 新型控制策略 51 以第 p個(gè)樣本為例，用于訓(xùn)練的 BP網(wǎng)絡(luò)結(jié)構(gòu)如圖 617所示。 圖 617 BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 第 6章 新型控制策略 52 網(wǎng)絡(luò)的學(xué)習(xí)算法如下： (1) 正向傳播 ：計(jì)算網(wǎng)絡(luò)的輸出。 (2) 反向傳播 ：采用梯度下降法，調(diào)整各層間的權(quán)值。 第 6章 新型控制策略 53 (1)正向傳播：計(jì)算網(wǎng)絡(luò)的輸出。 隱層神經(jīng)元的輸入為所有輸入的加權(quán)之和，即 j ij iix w x? ?隱層神經(jīng)元的輸出 39。jx采用 S函數(shù)