【正文】 性型、閾值型和S型(Sigmoid)等。按神經(jīng)元連接方式的特別痛可以把神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)分為兩大類，即層狀結(jié)構(gòu)與網(wǎng)狀結(jié)構(gòu)。按照層與層之間是否存在反饋連接,又可以把層狀結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)分成兩種，即前饋網(wǎng)絡(luò)和反饋網(wǎng)絡(luò)。Hpofield網(wǎng)絡(luò)就是一種最典型的反饋神經(jīng)網(wǎng)絡(luò)。隨著神經(jīng)元個(gè)數(shù)的增加,互聯(lián)網(wǎng)絡(luò)的結(jié)構(gòu)會(huì)快速?gòu)?fù)雜化,將會(huì)增加網(wǎng)絡(luò)的計(jì)算量。有監(jiān)督學(xué)習(xí)中，需要為學(xué)習(xí)規(guī)則提供一系列正確的網(wǎng)絡(luò)輸入/輸出的實(shí)例,即訓(xùn)練樣本。無監(jiān)督學(xué)習(xí)中，權(quán)值和閾值的調(diào)整只與網(wǎng)絡(luò)的輸入有關(guān)系，沒有有效的期望值。神經(jīng)網(wǎng)絡(luò)經(jīng)過學(xué)習(xí)后,權(quán)值和閾值中儲(chǔ)存了學(xué)習(xí)樣本中信息,就可以根據(jù)新輸入矢量,給出相應(yīng)的輸出矢量。它也是前向網(wǎng)絡(luò)的核心部分，體現(xiàn)了人工神經(jīng)網(wǎng)絡(luò)的精華。數(shù)據(jù)壓縮：減少輸出矢量維數(shù)以便于傳輸或存儲(chǔ)。網(wǎng)絡(luò)隱層神經(jīng)元個(gè)數(shù)的取值目前還沒有一個(gè)確定的標(biāo)準(zhǔn)來確定,其值通常是通過反復(fù)地試驗(yàn)試湊之后,將最適合網(wǎng)絡(luò)的隱層節(jié)點(diǎn)數(shù)目作為最終選擇。BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程如圖3所示，一般工作順序?yàn)椋菏紫冉邮找唤M訓(xùn)練樣本集的輸入，再依次計(jì)算網(wǎng)絡(luò)各層的輸出，完成前向過程（Forward Pass）；然后根據(jù)網(wǎng)絡(luò)的實(shí)際輸出值與期望輸出值，計(jì)算網(wǎng)絡(luò)的誤差；最后根據(jù)誤差反向傳播的規(guī)則，依次調(diào)整輸出層和隱層之間、各個(gè)隱層之間以及隱層與輸出層之間的權(quán)值和閾值，以達(dá)到減少誤差的目的，完成誤差反向傳播過程（Error Back Propagation）。圖3 BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程(2) BP 算法BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)規(guī)則的基本思想是：對(duì)網(wǎng)絡(luò)的權(quán)值和閾值的調(diào)整是向著函數(shù)下降最快的那個(gè)方向，即負(fù)梯度方向。輸入節(jié)點(diǎn)到隱層節(jié)點(diǎn)間的網(wǎng)絡(luò)權(quán)值為，閾值為；隱層節(jié)點(diǎn)到輸出節(jié)點(diǎn)間的網(wǎng)絡(luò)權(quán)值為，閾值為。其主要特點(diǎn)是實(shí)現(xiàn)起來簡(jiǎn)單，學(xué)習(xí)時(shí)間長(zhǎng)。BP算法的改進(jìn)主要包括兩種途徑：一種是使用啟發(fā)式學(xué)習(xí)算法，即分析表現(xiàn)函數(shù)的梯度，其中含有彈性梯度下降法（trainrp）、自適應(yīng)學(xué)習(xí)速率梯度下降法(traingda)、有動(dòng)量的梯度下降法（traingdm）等。其基本原理是：權(quán)值和閾值的變化大小由不同的修正值決定。彈性梯度下降法的迭代公式為: （51）其中,表示前一次的修正值,為目標(biāo)函數(shù)的梯度。人工神經(jīng)網(wǎng)絡(luò)體系在結(jié)構(gòu)上有兩大特性：一是并行性的數(shù)據(jù)處理方式；二是數(shù)據(jù)存儲(chǔ)的分布性可以解決馮BP網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)是一個(gè)多層前饋性網(wǎng)絡(luò)，各層神經(jīng)元的傳輸函數(shù)是可導(dǎo)函數(shù)。而BP網(wǎng)絡(luò)的泛化能力主要依賴于網(wǎng)絡(luò)的設(shè)計(jì)。BP網(wǎng)絡(luò)適用于求解函數(shù)逼近、模式識(shí)別、分類、數(shù)據(jù)壓縮等非精確解的問題。所以當(dāng)出現(xiàn)一定比例的神經(jīng)元或者連接損壞的情況時(shí)，僅可能使系統(tǒng)的整體性能有所下降，而很難使整個(gè)系統(tǒng)完全失效，因此BP網(wǎng)絡(luò)具有較強(qiáng)容錯(cuò)性。如圖5是一個(gè)功率放大器電路，本章將分別利用BP神經(jīng)網(wǎng)絡(luò)和基于遺傳算法優(yōu)化的BP網(wǎng)絡(luò)對(duì)其進(jìn)行仿真分析。本文采集訓(xùn)練樣本的方式為：首先選擇功率放大器電路中標(biāo)明的1～16號(hào)可測(cè)節(jié)點(diǎn)作為電壓測(cè)試節(jié)點(diǎn)；然后在每一種故障狀態(tài)下，測(cè)量電路中16個(gè)可測(cè)節(jié)點(diǎn)的電壓值，并將測(cè)量數(shù)據(jù)保存在表表3中。電位器Rp2和二極管D1也做一樣處理。由于電路的輸入信號(hào)電壓V17=、直流電源Vcc=12V、直流負(fù)電源Vee=12v在電路工作正常與故障時(shí)取值都不變，因此在表中不予給出。利用故障字典法進(jìn)行模擬電路故障診斷的基本原理是：首先，提取模擬電路在各種可能的故障狀態(tài)下的電路特征(如測(cè)試點(diǎn)的電壓、電路的幅頻特性等)；然后，將電路特征與故障狀態(tài)一一對(duì)應(yīng)的關(guān)系制作成一個(gè)故障字典。本節(jié)將以一個(gè)功率放大器電路為例，對(duì)基于BP神經(jīng)網(wǎng)絡(luò)的模擬電路故障診斷進(jìn)行分析。由于本例中有16個(gè)可測(cè)節(jié)點(diǎn)，故輸入層的神經(jīng)元數(shù)目為16。在25組樣本中，第一組為正常狀態(tài)，第2組至第25組分別為功放電路的24種單故障狀態(tài)。因此，當(dāng)使用梯度下降法來訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)時(shí)，它的梯度數(shù)量級(jí)將會(huì)非常小，從而減小網(wǎng)絡(luò)的權(quán)值和閾值的調(diào)整范圍，即使沒有達(dá)到最優(yōu)解，也會(huì)出現(xiàn)訓(xùn)練 停止的結(jié)果。BP網(wǎng)絡(luò)的傳遞函數(shù)通常采用logsigmoid型函數(shù)logsig()、tansigmoid型函數(shù)tansig()以及純線性函數(shù)purelin()，本文在隱層中采用的激勵(lì)函數(shù)為tansig函數(shù)，在輸出層中采用的激勵(lì)函數(shù)為logsig函數(shù)。訓(xùn)練完成后的調(diào)用sim函數(shù)對(duì)網(wǎng)絡(luò)進(jìn)行仿真。倘若期望的輸出與實(shí)際輸出一致，那么表明網(wǎng)絡(luò)故障診斷是正確的，反之則不正確。從表4中的網(wǎng)絡(luò)實(shí)際輸出數(shù)據(jù)與期望輸出數(shù)據(jù)對(duì)比，即可發(fā)現(xiàn)，每一個(gè)實(shí)際輸出值與其對(duì)應(yīng)的期望輸出值非常接近，網(wǎng)路的均方誤差為，因此本文設(shè)計(jì)的BP神經(jīng)網(wǎng)絡(luò)達(dá)到了設(shè)計(jì)要求。通過多次統(tǒng)計(jì)測(cè)試的輸出結(jié)果，本文設(shè)計(jì)的BP神經(jīng)網(wǎng)絡(luò)故障診斷系統(tǒng)的正確率接近100%。但BP神經(jīng)網(wǎng)絡(luò)還不是一個(gè)十分完善的網(wǎng)絡(luò),具有收斂速度慢、不易收斂到全局最小值等缺陷。進(jìn)化論認(rèn)為自然界中的每一種生物都是在不斷發(fā)展的過程中逐漸變得更適應(yīng)環(huán)境的。遺傳算法在優(yōu)化問題中，是將問題的解表示成“染色體”(編碼產(chǎn)生字符串),從一群“染色體”串出發(fā),按照適者生存的法則,將它們置于待解決的問題（環(huán)境）中,選擇出適應(yīng)性強(qiáng)的“染色體”進(jìn)行復(fù)制,然后通過交叉、變異產(chǎn)生新一代更適應(yīng)環(huán)境的“染色體”新種群。為突出遺傳算法的優(yōu)越性，下面先介紹三種傳統(tǒng)的尋優(yōu)算法類型。以上兩種方法的主要有兩個(gè)缺點(diǎn):一是它們最后求得的是局部極值而非全局極值。在實(shí)際的問題中，往往有很大的搜索空間，而枚舉法不可能搜索到所有的情況。該算法是在搜索空間中進(jìn)行隨機(jī)地取值并記錄所取得的最好結(jié)果，考慮到效率問題,搜索到一定程度就終止搜索。遺傳算法是通過先對(duì)參數(shù)空間編碼再用隨機(jī)選擇作為工具使得搜索過程沿著更高效的方向變化。遺傳 算法是將參數(shù) 的編碼作為運(yùn)算對(duì)象的，而傳統(tǒng)的優(yōu)化算法一般是 直接用參數(shù)的本身進(jìn)行優(yōu)化運(yùn)算。遺傳算法則與之相反，采用的是同時(shí)處理種群中多個(gè)個(gè)體的方法,也就是對(duì)搜索空間的多個(gè)解同時(shí)進(jìn)行評(píng)估,這使遺傳算法具有良好的全局搜索能力,該方法也是遺傳算法特有的一種隱含的并行性。概率也只是作為一種工具，用以引導(dǎo)搜索過程向著搜索空間中更優(yōu)解的區(qū)域移動(dòng),表面上看起來這是一種盲目的搜索方法,實(shí)際上是有明確的搜索方向,而且具有隱含并行的搜索機(jī)制。更為重要的是遺傳算法確定進(jìn)一步的搜索方向和搜索范圍而不需要依靠目標(biāo)函數(shù)的導(dǎo)數(shù)值和其他輔助信息。 6) 遺傳算法的可擴(kuò)展性,使之易于同其他優(yōu)化算法混合使用,從而提高處理問題的能力。在遺傳算法中描述問題的可行解，也就是把問題的可行解空間轉(zhuǎn)換至遺傳算法可以處理的搜索空間的方法就稱為編碼。二進(jìn)制 編碼的缺點(diǎn)是存在漢明懸崖（Hamming Cliff），即在一些相鄰整數(shù)的二進(jìn)制代碼之間存在很大的漢明距離，致使遺傳算法的 交叉和變異都難以跨越 。下面介紹幾種主要的編碼方法。二進(jìn)制編碼的缺點(diǎn)是：首先，二進(jìn)制編碼存在連續(xù)函數(shù)離散化時(shí)的映射誤差。 為了改 進(jìn)這個(gè) 特征， 人們提出 用格雷碼來對(duì) 個(gè)體進(jìn)行編碼。3）浮點(diǎn)數(shù)編碼對(duì)于一些多維、高精度的連續(xù)函數(shù)優(yōu)化問題，使用二進(jìn)制編碼來表示個(gè)體時(shí)會(huì)有一些不利之處。因?yàn)檫@種編碼方法使用的是決策變量的真實(shí)值，所以浮點(diǎn)數(shù)編碼方法也叫做真值編碼方法。d) 改善了遺傳 算法的計(jì)算復(fù) 雜性、提高了 運(yùn)算效率。目前尚無一套嚴(yán)格又完整的知道理論及評(píng)價(jià)標(biāo)準(zhǔn)來幫助我們?cè)O(shè)計(jì)編碼方案，必須具體問題具體分析，采用不同的編碼方法。應(yīng)該注意， 嚴(yán)格滿足上 述規(guī)范的編碼 方法和提高遺傳 算法的效率 并無關(guān)系。種群的規(guī)模N可 以人為確定。適應(yīng) 度函數(shù)的值越大，表示 該個(gè)體的適應(yīng) 度越高，也就是該個(gè)體更 能適應(yīng)目標(biāo)函數(shù)定 義的生存環(huán)境，所以也應(yīng)該比其 它個(gè)體擁有更多的機(jī)會(huì)來參與 遺傳操作，且將其優(yōu)良性能復(fù)制遺傳給更多的子代。對(duì)于求最大值問題，做下列變換： （55）式中，為的最小值估計(jì)，可以是一個(gè)合適的輸入值。（4）遺傳算子最常見的遺傳算子 主要有選擇（復(fù)制）、交叉 和變異。這樣就可以使得群體中個(gè)體的適應(yīng)度值不斷接近最優(yōu)解。選擇算子確定不當(dāng)，會(huì)造成群體中相似度值偏大的個(gè)體誤導(dǎo)群體的發(fā)展方向，使遺傳失去多樣性，產(chǎn)生早熟問題。輪盤賭選擇方法（Roulette Wheel Selection）是一種回放式隨機(jī)采樣方法。由于群體規(guī)模有限和隨機(jī)操作等原因，使得個(gè)體實(shí)際被選中的次數(shù)與它應(yīng)該被選中的期望值之間可能存在著一定的誤差，因此這種選擇方法的選擇誤差比較大，有時(shí)甚至連適應(yīng)度較高的個(gè)體也選不上。在遺傳算法中，通過對(duì)個(gè)體進(jìn)行交叉、變異等遺傳操作而不斷產(chǎn)生出新的個(gè)體。為達(dá)到這個(gè)目的，可以使用最優(yōu)保存策略進(jìn)化模型來進(jìn)行優(yōu)勝劣汰操作，即當(dāng)前群體中適應(yīng)度最高的個(gè)體不參與交叉運(yùn)算和變異運(yùn)算，而是用它來替換掉本代群體中進(jìn)過交叉、變異等操作后所產(chǎn)生的適應(yīng)度最低的個(gè)體。但另一方面，它也容易使得某個(gè)局部最優(yōu)個(gè)體不易被淘汰掉反而快速擴(kuò)散，從而使得算法的全局搜索能力不強(qiáng)。交配重組是生物遺傳和進(jìn)化過程中的一個(gè)主要環(huán)節(jié)。交叉算子的設(shè)計(jì)包括如何確定交叉點(diǎn)位置和如何進(jìn)行部分基因交換兩個(gè)方面的內(nèi)容。目前常用的配對(duì)算法策略時(shí)隨機(jī)配對(duì)，即將群體中的N個(gè)個(gè)體以隨機(jī)的方式組成對(duì)配對(duì)個(gè)體組。單點(diǎn)交叉（Onepoint Crossover）又稱為簡(jiǎn)單交叉，它是指在個(gè)體編碼串中只隨機(jī)設(shè)置一個(gè)交叉點(diǎn)然后在該點(diǎn)相互交換兩個(gè)配對(duì)個(gè)體的部分染色體。兩點(diǎn)交叉的具體操作過程是：首先，在相互配對(duì)的兩個(gè)個(gè)體編碼串中隨機(jī)設(shè)置兩個(gè)交叉點(diǎn)；其次，交換兩個(gè)個(gè)體在所設(shè)定的兩個(gè)交叉點(diǎn)之間的部分染色體。多點(diǎn)交叉又稱為廣義交叉，其操作過程與單點(diǎn)交叉和兩點(diǎn)交叉相類似。為了能夠進(jìn)行線性組合運(yùn)算，算術(shù)交叉的操作對(duì)象一般由浮點(diǎn)數(shù)編碼所表示的個(gè)體。由交叉算子的搜索能力，可以得出結(jié)論：只在交叉算子作用下，隨著演化代數(shù)的增加，模式內(nèi)部的各基因?qū)②呌讵?dú)立，并且只要組成模式的各基因都存在，則該模式一定能被搜索到，此時(shí)模式的極限概率等于組成該模式各基因的初始化概率（也就是基因的極限概率）的乘積，并且與模式的定義距無關(guān)，從而說明了交叉算子能使群體分布擴(kuò)充的特性。在遺傳算法中也引入了變異算子來產(chǎn)生新的個(gè)體。交叉算子與變異算子相互配合，共同完成對(duì)搜索空間的全局搜索，從而使得遺傳算法能夠以良好的搜索性能完成最優(yōu)化問題的尋優(yōu)過程。其具體操作過程是：首先，依次指定個(gè)體編碼串中的每個(gè)基因座為變異點(diǎn)；其次是對(duì)每一個(gè)變異點(diǎn)，以變異概率從對(duì)應(yīng)基因的取值范圍內(nèi)取一隨機(jī)數(shù)來替代原有值。對(duì)每個(gè)基因座都以相同的概率進(jìn)行變異運(yùn)算之后，相當(dāng)于整個(gè)解相量在解空間中作了輕微的變動(dòng)。由正態(tài)分布的特性可知，高斯變異也是重點(diǎn)搜索原個(gè)體附近某個(gè)局部區(qū)域。三是生物能夠進(jìn)行自我繁殖。首先初始化遺傳算法的初始運(yùn)行參數(shù)，主要有最大進(jìn)化代數(shù)、種群大小、交叉概率、變異概率等；然后隨機(jī)產(chǎn)生個(gè)個(gè)體作為初始種群。選擇一個(gè)適合待解決問題的選擇算子對(duì)種群進(jìn)行選擇操作。選擇一個(gè)適合待解決問題的變異算子對(duì)種群進(jìn)行變異操作。遺傳算法的實(shí)現(xiàn)流程圖如圖10所示。二是優(yōu)化網(wǎng)絡(luò)的權(quán)值和閾值；三是優(yōu)化神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則。利用遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)可根據(jù)一些性能標(biāo)準(zhǔn)來評(píng)價(jià)，如網(wǎng)絡(luò)的泛化能力、學(xué)習(xí)速度等，從搜索結(jié)構(gòu)空間中找出滿足問題要求的最優(yōu)結(jié)構(gòu)。4)將適應(yīng)度最大的個(gè)體直接復(fù)制給下一代。BP網(wǎng)絡(luò)權(quán)值的整體分布存儲(chǔ)了BP網(wǎng)絡(luò)系統(tǒng)的所有知識(shí),傳統(tǒng)權(quán)值的獲取方式是利用某種確定的調(diào)整規(guī)則,在網(wǎng)絡(luò)訓(xùn)練過程中逐步調(diào)整網(wǎng)絡(luò)權(quán)值,最終獲得一個(gè)較好的權(quán)值分布。則誤差越小，適應(yīng)度函數(shù)值就越大。如圖11所示為遺傳算法優(yōu)化BP網(wǎng)絡(luò)權(quán)值流程圖。具體優(yōu)化步驟如下：1)采用某種編碼方法對(duì)學(xué)習(xí)規(guī)則編碼，隨機(jī)生成個(gè)個(gè)體組成一個(gè)種群。5)對(duì)每個(gè)編碼的個(gè)體進(jìn)行交叉、變異等遺傳操作，產(chǎn)生新一代群體。 遺傳算法設(shè)置(1) 編碼方式選擇本文所創(chuàng)建的神經(jīng)網(wǎng)絡(luò)的輸入層節(jié)點(diǎn)數(shù)為16，雙隱層節(jié)點(diǎn)數(shù)分別為125，輸出層節(jié)點(diǎn)數(shù)為5，因此網(wǎng)絡(luò)連接權(quán)的個(gè)數(shù)可以根據(jù)下式進(jìn)行計(jì)算。利用浮點(diǎn)數(shù)編碼方式對(duì)BP網(wǎng)絡(luò)的每個(gè)連接權(quán)值與閾值都用一個(gè)浮點(diǎn)數(shù)表示。本文采用了一個(gè)兩全的策略，即在新一代的種群的平均適應(yīng)度大于上一代的的平均適應(yīng)度時(shí)，即新一代的種群已經(jīng)得到優(yōu)化，適當(dāng)?shù)販p少群體的大小。(3) 適應(yīng)度函數(shù)本文的目標(biāo)函數(shù)是神經(jīng)網(wǎng)絡(luò)訓(xùn)練后的實(shí)際輸出值與網(wǎng)絡(luò)期望輸出值的均方誤差E，適應(yīng)度函數(shù)為 （61）(4) 遺傳操作參數(shù)的選取1）選擇運(yùn)算本文采用的是選擇算子是輪盤賭法，該算子是遺傳算法中使用最普遍的選擇算子。因?yàn)榉N群中個(gè)體的向量維數(shù)較大，知識(shí)使用均勻交叉對(duì)種群的進(jìn)化影響很小，為避免這個(gè)問題的出現(xiàn)，讓交叉運(yùn)算更有意義，本文還使用了兩點(diǎn)交叉。3）變異運(yùn)算變異運(yùn)算可以增加種群的多樣性。 GABP算法診斷結(jié)果分析（1）訓(xùn)練結(jié)果分析利用遺傳算法優(yōu)化BP網(wǎng)絡(luò)的權(quán)值和閾值之后，將最優(yōu)網(wǎng)絡(luò)權(quán)值和閾值作為BP網(wǎng)絡(luò)的初始權(quán)值和閾值，訓(xùn)練之后的BP網(wǎng)絡(luò)仿真誤差曲線如圖12所示，由圖可知遺傳算法優(yōu)化后的網(wǎng)絡(luò)在迭代訓(xùn)練1051次后達(dá)到目標(biāo)精度的要求，將網(wǎng)絡(luò)的實(shí)際輸出與期望輸出保存在表6中,例如在故障狀態(tài)5的情況下，,，與期望輸出0，0，1，0，1五位二進(jìn)制數(shù)十分接近，即可判定為故障狀態(tài)5故障。從測(cè)試結(jié)果可以發(fā)現(xiàn)，本設(shè)計(jì)的基于GABP算法的模擬電路故障診斷系統(tǒng)能夠準(zhǔn)確的診斷出斷功率放大器電路的故障狀態(tài)。傳統(tǒng)的模擬電路故障診斷方法普遍存在故障模型建立困難，抗干擾能力差的特點(diǎn)，隨著人工智能技術(shù)的發(fā)展，特別是人工神經(jīng)網(wǎng)絡(luò)在不同領(lǐng)域內(nèi)廣泛應(yīng)用，基于神經(jīng)網(wǎng)絡(luò)的模擬電路故障診斷技術(shù)逐漸成為一個(gè)研究熱點(diǎn)。MATLAB仿真結(jié)果表明，基于神經(jīng)網(wǎng)絡(luò)的模擬電路故障診斷在診斷效率的精度上都達(dá)到了很好的效果，具有廣闊的應(yīng)用前景。2) 研究神經(jīng)網(wǎng)絡(luò)在模擬電路多故障診斷中的方法。32 / 32