【導(dǎo)讀】絡(luò)模型訓(xùn)練中普遍存在的局部極小點(diǎn)問題。后與純BP算法相比較。再用改進(jìn)的GA-BP算法進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練和檢驗(yàn)，運(yùn)用Matlab軟件。顯高于未進(jìn)行優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)，將兩者結(jié)合從而得到比現(xiàn)有學(xué)習(xí)算法更好的學(xué)習(xí)效果。

　　

【正文】 化神經(jīng)網(wǎng)絡(luò)權(quán)值，能夠更好地防止搜索陷入局部極小值。遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)權(quán)值的主要步驟如圖 所示。 重慶郵電大學(xué)本科畢業(yè)設(shè)計(jì)（論文） 23 圖 遺傳算法優(yōu)化 BP神經(jīng)網(wǎng)絡(luò)權(quán)值流程 GABP 優(yōu)化方案及算法實(shí)現(xiàn) 在實(shí)際應(yīng)用中，絕大部分神經(jīng)網(wǎng)絡(luò)模型都是采用 BP 神經(jīng)網(wǎng)絡(luò)及其變換形式， BP 神經(jīng)網(wǎng)絡(luò)是前饋神經(jīng)網(wǎng)絡(luò)的核心部分，同時(shí) BP網(wǎng)絡(luò)也存在著學(xué)習(xí)收斂速度慢、不能保證收斂到全 局最小點(diǎn)等缺陷 [8]。其權(quán)值通常用梯度法來確定，因此經(jīng)常經(jīng)過多次反復(fù)試驗(yàn)卻很難找到最優(yōu)的權(quán)值，加之實(shí)際問題的求解空間往往是極其復(fù)雜的多維曲面存在多個(gè)局部極值點(diǎn)，使得 BP算法陷入局部極值點(diǎn)的可能性增大。另外網(wǎng)絡(luò)結(jié)構(gòu)在實(shí)際的應(yīng)用研究中，還沒有一種比較成熟的理論方法，往往采用遞增或遞減的試探方法來確定，網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)基本上依賴于經(jīng)驗(yàn)。利用遺傳算法全局搜索的特性，優(yōu)化神經(jīng)網(wǎng)絡(luò)的連接權(quán)和網(wǎng)絡(luò)結(jié)構(gòu)可以較好地克服這些問題并且有效提高神經(jīng)網(wǎng)絡(luò)的性能。 遺傳算法學(xué)習(xí) BP 網(wǎng)絡(luò)的算法如下： 設(shè)有三層 BP 網(wǎng)絡(luò)， iI 為輸入層中第 i 個(gè)結(jié)點(diǎn)的輸出； iH 為隱含層中第 i 個(gè)結(jié)點(diǎn)的輸出； iO 為輸出層中第 i 個(gè)結(jié)點(diǎn)的輸出； ijWIH 為輸入層中第 i 個(gè)結(jié)點(diǎn)與隱 含層第 j 個(gè)結(jié)點(diǎn)的連接權(quán)值； jiWHO 為隱含層中第 j 個(gè)結(jié)點(diǎn)與輸出層第 i 個(gè)結(jié)點(diǎn)的連接權(quán)值。 (1)、初始化種群 P ，包括交叉規(guī)模、交叉概率 cP 、突變概率 mP 以及對任一ijWIH 和 jiWHO 初始化；在編碼中，采用實(shí)數(shù)進(jìn)行編碼，初始化種群取 30； (2)、計(jì)算每一個(gè)個(gè)體評價(jià)函數(shù)，并將其排序；可按下式概率值選擇網(wǎng)絡(luò)個(gè)體： 1Ns i iip f f?? ? 種群 改進(jìn) BP網(wǎng)絡(luò) 作為初始權(quán)值和閾值 后代種群 遺傳操作 重慶郵電大學(xué)本科畢業(yè)設(shè)計(jì)（論文） 24 其中 if 為個(gè)體 i 的適配值， 可用誤差平方和 E來衡量，即： ( ) 1 ( )f i E i? 2( ) ( )kkpkE i V T???? (3)、 以概率 cP 對個(gè)體 iG 和 1iG? 交叉操作，產(chǎn)生新個(gè)體 39。iG 和 39。1iG? ，沒有進(jìn)行交叉操作的個(gè)體直接進(jìn)行復(fù)制； 其中 1, ,iN? 代表染色體數(shù)； 1, ,4k? 為輸出層節(jié)點(diǎn)數(shù)； 1, ,5p? 為學(xué)習(xí)樣本數(shù)； kT 為教師信號。 (4)、 利用概率 mP 突變產(chǎn)生 jG 的新個(gè)體 39。jG ； (5)、 將新個(gè)體插入到種群 P 中，并計(jì)算新個(gè)體的評價(jià)函數(shù)； (6)、 如果找到了滿意的個(gè)體， 則結(jié)束，否則轉(zhuǎn) (3)。 達(dá)到所要求的性能指標(biāo)后，將最終群體中的最優(yōu)個(gè)體解碼即可得到優(yōu)化后的網(wǎng)絡(luò)連接權(quán)系數(shù)。 GABP 仿真實(shí)現(xiàn) 在某型導(dǎo)彈測試設(shè)備故障診斷神經(jīng)網(wǎng)絡(luò)知識庫的組建中，針對導(dǎo)彈地面設(shè)備結(jié)構(gòu)復(fù)雜，系統(tǒng)性強(qiáng)，各分系統(tǒng)相互影響、制約的特點(diǎn)，對系統(tǒng)進(jìn)行了特點(diǎn)分析和分類歸納，采用層次分類原理進(jìn)行層次分類，然后分層次診斷，以保證診斷的快速性。 導(dǎo)彈地面測試設(shè)備的故障是與測試步驟、測試動作相聯(lián)系的，而且故障又可歸類在指示燈、測試儀表及其它三類之中，指示燈涵蓋了測試設(shè)備的所有指示燈，對于每一個(gè)指示 燈的故障又可細(xì)分為動作過后不亮、不滅或具有時(shí)延性的亮或滅等；對于儀表故障，可分為無讀數(shù)或讀數(shù)不成故障的定位，它通過對測試信號的判別 (在線 )或用戶的選擇 (離線 )對故障進(jìn)行分類，其輸出對應(yīng)第二層的輸入。 在建立的故障診斷系統(tǒng)的諸多神經(jīng)子網(wǎng)絡(luò)中，有一儀表網(wǎng)絡(luò)，其輸入輸出符號定義如下： x1: 電壓表 1是否指示正確 0 正確 1 不正確 x2: 漏電表顯示是否漏電 0 不漏電 1 漏電 x3： 電壓表 2是否指示正確 0 正確 1 不正確 x4： 壽命鐘是否有顯示 0 有顯示 1 無顯示 x5： 溫度表 p6是否損壞 0 未損壞 1 損壞 重慶郵電大學(xué)本科畢業(yè)設(shè)計(jì)（論文） 25 y1： 調(diào)壓旋鈕 BP1,BP2是否有故障 0 沒有 1 有 y2： 計(jì)算機(jī)組合與系統(tǒng)地是否絕緣 0 絕緣 1 不絕緣 y3： 壽命鐘是否損壞 0 未損壞 1 損壞 y4： CZ/CT等是否不通 0 通暢 1 不通 據(jù)此建立神經(jīng)網(wǎng)絡(luò)，它具有 5個(gè)輸入神經(jīng)元， 4個(gè)輸出神經(jīng)元，隱含神經(jīng)元數(shù)取為 6個(gè)。其訓(xùn)練樣本如表 1所示。 表 某子網(wǎng)絡(luò)訓(xùn)練樣本 樣本號 輸 入 輸 出 x1 x2 x3 x4 x5 y1 y2 y3 y4 1 0 0 0 0 0 0 0 0 0 2 1 0 0 0 1 1 0 0 0 3 0 1 0 0 1 0 1 0 0 4 0 0 1 0 0 0 0 1 0 5 0 0 0 1 0 0 0 0 1 隨后編制程序自動將上述表格分別讀入不同的初始文件中，再用 GABP算法進(jìn)行神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)，并將結(jié)果權(quán)值存入知識庫中，即建立了其中一個(gè)神經(jīng)子網(wǎng)絡(luò)知識庫。 采用 編程實(shí)現(xiàn)算法和完成相應(yīng)的數(shù)據(jù)處理，有關(guān)程序的實(shí)現(xiàn)需要gaot 工具箱。 用 GA直接訓(xùn)練 BP 網(wǎng)絡(luò)的權(quán)值算 法 經(jīng)過大約 600代的搜索后染色體的平均適應(yīng)度趨于穩(wěn)定 ,誤差平方和曲線和適應(yīng)度曲線見圖 。 回想結(jié)果 TT為： TT = Elapsed time is seconds.(運(yùn)行時(shí)間 ) 重慶郵電大學(xué)本科畢業(yè)設(shè)計(jì)（論文） 26 圖 誤差平方和曲線和適應(yīng)度曲線 理想輸出 TT為： 0 1 0 0 0 0 0 1 0 0 0 0 0 1 0 0 0 0 0 1 純 BP算法 為便于比較，圖 BP算法的訓(xùn)練目標(biāo)曲線，這里 err_goal=，lr=。 從圖 看出， BP算法 913步可以收斂到誤差目標(biāo)值 ， 回想結(jié)果 TT為： 重慶郵電大學(xué)本科畢業(yè)設(shè)計(jì)（論文） 27 TT = Elapsed time is seconds.(運(yùn)行時(shí)間 ) 圖 純 BP算法的訓(xùn)練目標(biāo)曲線 理想結(jié)果 TT為： 0 1 0 0 0 0 0 1 0 0 0 0 0 1 0 0 0 0 0 1 重慶郵電大學(xué)本科畢業(yè)設(shè)計(jì)（論文） 28 GA訓(xùn)練 BP網(wǎng)絡(luò) 的權(quán)值與純 BP算法的比較 從以上的結(jié)果中可看出，用 GA訓(xùn)練 BP網(wǎng)絡(luò)的 權(quán)值盡管可以得到滿意的回想結(jié)果，但與 BP算法相比，其運(yùn)行時(shí)間明 顯要長得多。其主要原因是 GA收斂是依靠類似于窮舉法的啟發(fā)式搜索，再加之網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜性，要運(yùn)算的數(shù)據(jù)相當(dāng)大，比如，上面的神經(jīng)網(wǎng)絡(luò)的權(quán)值與閾值的個(gè)數(shù)為 :5*6+6+6*4+4=64個(gè)， 30個(gè)種群就是64*30=1920個(gè)，對這些數(shù)進(jìn)行編碼、解碼、交叉、變異等遺傳操作，這樣進(jìn)行的遺傳操作相比 BP算法的正、反向的一步操作，要處理的數(shù)據(jù)大得多 ， 因而不可避免會出現(xiàn)搜索時(shí)間長的問題。 混合 GABP算法 考慮到 BP算法尋優(yōu)具有精確性，但易陷入局部極小、收斂速度慢的缺點(diǎn)，而遺傳算法具有很強(qiáng)的宏觀搜索能力， 可避免局部極小，若將兩者結(jié)合起來就會發(fā)揮各自的優(yōu)勢。 混合 GABP算法 就是在 BP算法之前，先用 GA在隨機(jī)點(diǎn)集中遺傳出優(yōu)化初值，然后以此作為 BP算法的初始權(quán)值，再由 BP算法進(jìn)行訓(xùn)練。 GABP算法的步驟 (1)、初始化種群 P ，包括交叉規(guī)模、交叉概率 cP 、突變概率 mP 以及對任一ijWIH 和 jiWHO 初始化；在編碼中，采用實(shí)數(shù)進(jìn)行編碼，初始化種群取 30； (2)、計(jì)算每一個(gè)個(gè)體評價(jià)函數(shù)，并將其排序；可按下式概率值選擇網(wǎng)絡(luò)個(gè)體： 1Ns i iip f f?? ? 其中 if 為個(gè)體 i 的適配值， 可用誤差平方和 E來衡量，即： ( ) 1 ( )f i E i? 2( ) ( )kkpkE i V T???? (3)、 以概率 cP 對個(gè)體 iG 和 1iG? 交叉操作，產(chǎn)生新個(gè)體 39。iG 和 39。1iG? ，沒有進(jìn)行交叉操作的個(gè)體直接進(jìn)行復(fù)制； 其中 1, ,iN? 代表染色體數(shù)； 1, ,4k? 為輸出層節(jié)點(diǎn)數(shù)； 1, ,5p? 為學(xué)習(xí)樣本數(shù)； kT 為教師信號。 (4)、 利用概率 mP 突變產(chǎn)生 jG 的新個(gè)體 39。jG ； (5)、 將新個(gè)體插入到種群 P 中，并計(jì)算新個(gè)體的評價(jià)函數(shù)； (6)、 計(jì)算 ANN的誤差平方和， 若達(dá)到預(yù)定值 GA? ，則轉(zhuǎn) (7)，否則轉(zhuǎn) (3)，繼續(xù)重慶郵電大學(xué)本科畢業(yè)設(shè)計(jì)（論文） 29 進(jìn)行遺傳操作； (7)、 以 GA遺傳出的優(yōu)化初值作為初始權(quán)值，用 BP算法訓(xùn)練網(wǎng)絡(luò)，直到指定精度 ()BP BP GA? ? ?? 。 實(shí)驗(yàn)結(jié)果及分析 用 GABP算法訓(xùn)練前面的神經(jīng)網(wǎng)絡(luò)，其遺傳算法 誤差平方和曲線、適應(yīng)度曲線(圖 )和 BP算法的訓(xùn)練目標(biāo)曲線 (圖 )。 圖 遺傳算法 誤差平方和曲線、適應(yīng)度曲線 GA的初始種群 Pop=30， GA? =； BP算法的 err_goal=， lr=。 回想結(jié)果 TT為 ： TT = 重慶郵電大學(xué)本科畢業(yè)設(shè)計(jì)（論文） 30 Elapsed time is seconds.(運(yùn)行時(shí)間 ) 圖 BP算法的訓(xùn)練目標(biāo)曲線 可以看出， GA進(jìn)行了 80代的遺傳操作達(dá)到了目標(biāo)值 GA? ； BP算法進(jìn)行了 881步收斂到指定精度 BP? ，運(yùn)行時(shí)間 Elapsed_time=。 通過比較可明顯得出結(jié)論：混合 GABP算法無論是收斂速度還是運(yùn)行時(shí)間都比純 BP算法好 。 混合 GABP算法能同時(shí)對解空間內(nèi)的許多點(diǎn)進(jìn)行遺傳選優(yōu)，在找到優(yōu)化點(diǎn)后，再由 BP算法按負(fù)梯度方向進(jìn)行搜索，既能避免 BP算法陷入局部最小點(diǎn)、收斂速度慢的問題，又能克服 GA以類似窮舉的形式尋找最優(yōu)解而引起的搜索時(shí)間長、速度重慶郵電大學(xué)本科畢業(yè)設(shè)計(jì)（論文） 31 慢的缺點(diǎn)，是一種快速可靠的方法。 綜上，可以看到 GABP學(xué)習(xí)算法比現(xiàn)有的標(biāo)準(zhǔn) BP 算 法 無論在收斂速度上，還是在誤差及精度上，都取得了很好的效果。仿真也說明了 GA算法能以較快的速度較小了搜索空間范圍，而且不易陷入局部極小點(diǎn)，而 BP 算法則具有局部搜索效率高的特點(diǎn)，將兩者結(jié)合從而得到比現(xiàn)有的學(xué)習(xí)算法更好的學(xué)習(xí)效果。 本章小結(jié) 本章先簡單介紹了遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)和網(wǎng)絡(luò)連接權(quán)值及相關(guān)的算法實(shí)現(xiàn)，然后將遺傳算法與 BP 算法融合并用具體的程序加以實(shí)現(xiàn)，與純 BP算法得出結(jié)論： 混合 GABP算法無論是收斂速度還是運(yùn)行時(shí)間都比純 BP 算法好 。 重慶郵電大學(xué)本科畢業(yè)設(shè)計(jì)（論文） 32 結(jié) 論 本文主要做了以下幾個(gè)方面的工 作： (1)、 熟悉和研究了遺傳算法和 BP 神經(jīng)網(wǎng)絡(luò)的相關(guān)知識和理論，包括二者存在的問題和改進(jìn)措施，繼而選擇改進(jìn)的 GABP 算法，并通過仿真分析了方法的有效性。 (2)、 遺傳算法優(yōu)化 BP 神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)，采用改進(jìn)的遺傳算法優(yōu)化 BP 神經(jīng)網(wǎng)絡(luò)權(quán)值，使神經(jīng)網(wǎng)絡(luò)克服自身的缺點(diǎn)以實(shí)現(xiàn)對動態(tài)過程的有效控制，并通過Matlab 語言編程對該 GABP 算法系統(tǒng)進(jìn)行仿真，仿真結(jié)果表明：基于遺傳算法的BP 神經(jīng)網(wǎng)絡(luò)有著較好的自學(xué)和自適應(yīng)能力。 由于時(shí)間緊促和作者水平有限，本文存在著很多不足之處，有待進(jìn)一步研究完善，主要有：