【正文】 情況是當(dāng)輸入為，輸出值為1和0時(shí)，的表達(dá)式為： （4）(3) S型S型函數(shù)是連續(xù)單調(diào)可微的函數(shù)，也有兩種表達(dá)式：一種是對(duì)數(shù)sigmoid函數(shù)，即logsig函數(shù)，輸出取值范圍為（0,1）。按神經(jīng)元連接方式的特別痛可以把神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)分為兩大類，即層狀結(jié)構(gòu)與網(wǎng)狀結(jié)構(gòu)。神經(jīng)網(wǎng)絡(luò)的每一層都包含了一定量的神經(jīng)元。按照層與層之間是否存在反饋連接,又可以把層狀結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)分成兩種，即前饋網(wǎng)絡(luò)和反饋網(wǎng)絡(luò)。網(wǎng)絡(luò)中的每個(gè)神經(jīng)元可接收來自前一層的多個(gè)輸入,并產(chǎn)生一個(gè)輸出傳給下一層的神經(jīng)元,輸入信息只能從輸入層開始一層一層向前傳遞。Hpofield網(wǎng)絡(luò)就是一種最典型的反饋神經(jīng)網(wǎng)絡(luò)。網(wǎng)狀結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)（又稱互聯(lián)網(wǎng)絡(luò)）的特點(diǎn)是在任何兩個(gè)神經(jīng)元之間都具有雙向的連接關(guān)系,即每個(gè)神經(jīng)元既可以是輸入節(jié)點(diǎn),也可以是輸出節(jié)點(diǎn)。隨著神經(jīng)元個(gè)數(shù)的增加,互聯(lián)網(wǎng)絡(luò)的結(jié)構(gòu)會(huì)快速復(fù)雜化,將會(huì)增加網(wǎng)絡(luò)的計(jì)算量。學(xué)習(xí)就是應(yīng)用一系列的輸入矢量樣本,通過預(yù)先確定的學(xué)習(xí)算法來調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值。有監(jiān)督學(xué)習(xí)中，需要為學(xué)習(xí)規(guī)則提供一系列正確的網(wǎng)絡(luò)輸入/輸出的實(shí)例,即訓(xùn)練樣本。當(dāng)網(wǎng)絡(luò)輸入時(shí)，將網(wǎng)絡(luò)輸出和相應(yīng)的期望值進(jìn)行比較，然后應(yīng)用學(xué)習(xí)規(guī)則調(diào)整權(quán)值和閾值，使網(wǎng)絡(luò)的輸出接近于期望值。無監(jiān)督學(xué)習(xí)中，權(quán)值和閾值的調(diào)整只與網(wǎng)絡(luò)的輸入有關(guān)系，沒有有效的期望值。這類算法大多用聚類法，將輸入模式歸類于有限的類別，尤其應(yīng)用于向量中。神經(jīng)網(wǎng)絡(luò)經(jīng)過學(xué)習(xí)后,權(quán)值和閾值中儲(chǔ)存了學(xué)習(xí)樣本中信息,就可以根據(jù)新輸入矢量,給出相應(yīng)的輸出矢量。由于權(quán)值的調(diào)整采用誤差反向傳播,因此稱其為BP網(wǎng)絡(luò)。它也是前向網(wǎng)絡(luò)的核心部分，體現(xiàn)了人工神經(jīng)網(wǎng)絡(luò)的精華。模式識(shí)別：用一個(gè)待定的輸出將它與輸入聯(lián)系起來。數(shù)據(jù)壓縮：減少輸出矢量維數(shù)以便于傳輸或存儲(chǔ)。BP網(wǎng)絡(luò)的層與層之間互相連接,每層神經(jīng)元之間無連接。網(wǎng)絡(luò)隱層神經(jīng)元個(gè)數(shù)的取值目前還沒有一個(gè)確定的標(biāo)準(zhǔn)來確定,其值通常是通過反復(fù)地試驗(yàn)試湊之后,將最適合網(wǎng)絡(luò)的隱層節(jié)點(diǎn)數(shù)目作為最終選擇。第一層為網(wǎng)絡(luò)的輸入層，有R個(gè)輸入、s個(gè)神經(jīng)元，第二層有s個(gè)輸入、h個(gè)神經(jīng)元，第三層有h個(gè)輸入、k個(gè)神經(jīng)元，第四層為網(wǎng)絡(luò)的輸出層。BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程如圖3所示，一般工作順序?yàn)椋菏紫冉邮找唤M訓(xùn)練樣本集的輸入，再依次計(jì)算網(wǎng)絡(luò)各層的輸出，完成前向過程（Forward Pass）；然后根據(jù)網(wǎng)絡(luò)的實(shí)際輸出值與期望輸出值，計(jì)算網(wǎng)絡(luò)的誤差；最后根據(jù)誤差反向傳播的規(guī)則，依次調(diào)整輸出層和隱層之間、各個(gè)隱層之間以及隱層與輸出層之間的權(quán)值和閾值，以達(dá)到減少誤差的目的，完成誤差反向傳播過程（Error Back Propagation）。隨著網(wǎng)絡(luò)學(xué)習(xí)過程的進(jìn)行，各層之間的權(quán)值不斷地調(diào)整，誤差會(huì)不斷地減小，最后網(wǎng)絡(luò)的輸出將以設(shè)定的精度接近于網(wǎng)絡(luò)的期望輸出。圖3 BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程(2) BP 算法BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)規(guī)則的基本思想是：對(duì)網(wǎng)絡(luò)的權(quán)值和閾值的調(diào)整是向著函數(shù)下降最快的那個(gè)方向，即負(fù)梯度方向。下面詳細(xì)介紹BP算法的推導(dǎo)過程。輸入節(jié)點(diǎn)到隱層節(jié)點(diǎn)間的網(wǎng)絡(luò)權(quán)值為，閾值為；隱層節(jié)點(diǎn)到輸出節(jié)點(diǎn)間的網(wǎng)絡(luò)權(quán)值為，閾值為。BP算法的程序流程如圖4所示。其主要特點(diǎn)是實(shí)現(xiàn)起來簡單，學(xué)習(xí)時(shí)間長。（4）改進(jìn)的BP算法BP算法本質(zhì)上為梯度下降法，其所要求的目標(biāo)函數(shù)又較為復(fù)雜，這必會(huì)導(dǎo)致BP算法的效率較低。BP算法的改進(jìn)主要包括兩種途徑：一種是使用啟發(fā)式學(xué)習(xí)算法，即分析表現(xiàn)函數(shù)的梯度，其中含有彈性梯度下降法（trainrp）、自適應(yīng)學(xué)習(xí)速率梯度下降法(traingda)、有動(dòng)量的梯度下降法（traingdm）等。由于彈性梯度下降法具有簡單易行、收斂速度快等優(yōu)點(diǎn)，本文后面將用這種改進(jìn)算法作為BP網(wǎng)絡(luò)的訓(xùn)練函數(shù)，下面對(duì)該方法進(jìn)行詳細(xì)地介紹。其基本原理是：權(quán)值和閾值的變化大小由不同的修正值決定。這樣調(diào)整的結(jié)果是，權(quán)值的變化呈震蕩的趨勢，不過權(quán)值的變化量逐步減小了。彈性梯度下降法的迭代公式為: （51）其中,表示前一次的修正值,為目標(biāo)函數(shù)的梯度。 BP網(wǎng)絡(luò)應(yīng)用特點(diǎn)若把BP網(wǎng)絡(luò)的功能視為一種從輸入到輸出的高度非線性映射，設(shè)輸入節(jié)點(diǎn)數(shù)目為M個(gè)，輸出節(jié)點(diǎn)數(shù)目為N個(gè)，那么BP網(wǎng)絡(luò)就可以實(shí)現(xiàn)從M維的歐氏空間到N維的歐氏空間的映射，從原則上來講，對(duì)M和N是沒有大小限制的，因此，BP網(wǎng)絡(luò)在眾多領(lǐng)域中獲得廣泛的應(yīng)用。人工神經(jīng)網(wǎng)絡(luò)體系在結(jié)構(gòu)上有兩大特性：一是并行性的數(shù)據(jù)處理方式；二是數(shù)據(jù)存儲(chǔ)的分布性可以解決馮因此，BP網(wǎng)絡(luò)的工作速度很高，便于使用超大規(guī)模集成電路（VLSI）的技術(shù)來實(shí)現(xiàn)可以充分利用到硬件的超高速。BP網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)是一個(gè)多層前饋性網(wǎng)絡(luò)，各層神經(jīng)元的傳輸函數(shù)是可導(dǎo)函數(shù)。3）泛化能力強(qiáng)。而BP網(wǎng)絡(luò)的泛化能力主要依賴于網(wǎng)絡(luò)的設(shè)計(jì)。除此之外，還可通過在訓(xùn)練樣本的輸入信號(hào)中加入噪聲的方法來提高BP網(wǎng)絡(luò)的泛化能力。BP網(wǎng)絡(luò)適用于求解函數(shù)逼近、模式識(shí)別、分類、數(shù)據(jù)壓縮等非精確解的問題。5）對(duì)內(nèi)部硬件故障具有良好的容錯(cuò)性。所以當(dāng)出現(xiàn)一定比例的神經(jīng)元或者連接損壞的情況時(shí)，僅可能使系統(tǒng)的整體性能有所下降，而很難使整個(gè)系統(tǒng)完全失效，因此BP網(wǎng)絡(luò)具有較強(qiáng)容錯(cuò)性。設(shè)計(jì)功放電路的基本要求是在負(fù)載一定的情況下，輸出的功率盡可能大，輸出信號(hào)的非線性失真盡可能地小，效率盡可能的高。如圖5是一個(gè)功率放大器電路，本章將分別利用BP神經(jīng)網(wǎng)絡(luò)和基于遺傳算法優(yōu)化的BP網(wǎng)絡(luò)對(duì)其進(jìn)行仿真分析。在圖5中，功率放大器電路的輸入信號(hào)Vi是幅度為200mv，頻率為1Khz的正弦信號(hào)。本文采集訓(xùn)練樣本的方式為：首先選擇功率放大器電路中標(biāo)明的1～16號(hào)可測節(jié)點(diǎn)作為電壓測試節(jié)點(diǎn)；然后在每一種故障狀態(tài)下，測量電路中16個(gè)可測節(jié)點(diǎn)的電壓值，并將測量數(shù)據(jù)保存在表表3中。需要說明的有以下三點(diǎn)：1）本文元件故障的設(shè)置是利用Multisim軟件人為地設(shè)設(shè)置開路和短路狀態(tài)。電位器Rp2和二極管D1也做一樣處理。功率放大器電路在工作正常和故障時(shí)各節(jié)點(diǎn)的電壓數(shù)據(jù)以及各種狀態(tài)下對(duì)應(yīng)的二進(jìn)制編碼如表表3。由于電路的輸入信號(hào)電壓V17=、直流電源Vcc=12V、直流負(fù)電源Vee=12v在電路工作正常與故障時(shí)取值都不變，因此在表中不予給出。由于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本都是理想值，為突出神經(jīng)網(wǎng)絡(luò)的泛化能力、魯棒性等優(yōu)點(diǎn)，本文等間隔地從訓(xùn)練樣本集中選擇幾組訓(xùn)練樣本，將選擇的樣本中的每一個(gè)數(shù)值的容差作為網(wǎng)絡(luò)的測試樣本。利用故障字典法進(jìn)行模擬電路故障診斷的基本原理是：首先，提取模擬電路在各種可能的故障狀態(tài)下的電路特征(如測試點(diǎn)的電壓、電路的幅頻特性等)；然后，將電路特征與故障狀態(tài)一一對(duì)應(yīng)的關(guān)系制作成一個(gè)故障字典。模擬電路的特征向量是一個(gè)可以反映電路狀態(tài)(包括正常工作狀態(tài)以及各種故障狀態(tài))特征的向量，一般由測試電路節(jié)點(diǎn)電壓經(jīng)過一定的數(shù)學(xué)處理獲得，考慮到電路元件的容差，假設(shè)由測試值所獲得的特征向量是維向量，電路的故障狀態(tài)數(shù)目為，那么BP網(wǎng)絡(luò)分類器就需要完成從維特征空間的點(diǎn)及其鄰域到維空間的點(diǎn)及其鄰域的映射。本節(jié)將以一個(gè)功率放大器電路為例，對(duì)基于BP神經(jīng)網(wǎng)絡(luò)的模擬電路故障診斷進(jìn)行分析。根據(jù)以往的經(jīng)驗(yàn)以及對(duì)本例的多次試驗(yàn)，本例選用雙隱層的BP神經(jīng)網(wǎng)絡(luò)，第一層隱層神經(jīng)元數(shù)目選為19，第二層隱層神經(jīng)元數(shù)目選為25。由于本例中有16個(gè)可測節(jié)點(diǎn)，故輸入層的神經(jīng)元數(shù)目為16。綜上所述，本系統(tǒng)構(gòu)成了一個(gè)1619255的BP神經(jīng)網(wǎng)絡(luò)。在25組樣本中，第一組為正常狀態(tài)，第2組至第25組分別為功放電路的24種單故障狀態(tài)。（3）訓(xùn)練函數(shù)與激活函數(shù)采用不同的訓(xùn)練函數(shù)對(duì)網(wǎng)絡(luò)的性能有較大的影響，如收斂速度、存儲(chǔ)占用等。因此，當(dāng)使用梯度下降法來訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)時(shí)，它的梯度數(shù)量級(jí)將會(huì)非常小，從而減小網(wǎng)絡(luò)的權(quán)值和閾值的調(diào)整范圍，即使沒有達(dá)到最優(yōu)解，也會(huì)出現(xiàn)訓(xùn)練 停止的結(jié)果。而且彈性梯度下降法訓(xùn)練多層的神經(jīng)網(wǎng)絡(luò)，收斂速度快，網(wǎng)絡(luò)的訓(xùn)練誤差也比較小。BP網(wǎng)絡(luò)的傳遞函數(shù)通常采用logsigmoid型函數(shù)logsig()、tansigmoid型函數(shù)tansig()以及純線性函數(shù)purelin()，本文在隱層中采用的激勵(lì)函數(shù)為tansig函數(shù)，在輸出層中采用的激勵(lì)函數(shù)為logsig函數(shù)。，網(wǎng)絡(luò)訓(xùn)練次數(shù)為5000 次，根據(jù)試驗(yàn)，BP在5000次內(nèi)可以達(dá)到目標(biāo)精度的要求。訓(xùn)練完成后的調(diào)用sim函數(shù)對(duì)網(wǎng)絡(luò)進(jìn)行仿真。（4）網(wǎng)絡(luò)的測試階段由于電路元件普遍存在容差，因此本例在構(gòu)建測試樣本時(shí)，隨機(jī)選擇幾組故障狀態(tài)，然后將這些狀態(tài)人為地加上一定比例的容差，構(gòu)成測試樣本。倘若期望的輸出與實(shí)際輸出一致，那么表明網(wǎng)絡(luò)故障診斷是正確的，反之則不正確。（5）結(jié)果分析1）網(wǎng)絡(luò)訓(xùn)練結(jié)果分析本例所設(shè)計(jì)的BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程如圖6所示，由圖可看出在經(jīng)過的3123迭代訓(xùn)練后網(wǎng)絡(luò)輸出達(dá)到了目標(biāo)精度要求。從表4中的網(wǎng)絡(luò)實(shí)際輸出數(shù)據(jù)與期望輸出數(shù)據(jù)對(duì)比，即可發(fā)現(xiàn)，每一個(gè)實(shí)際輸出值與其對(duì)應(yīng)的期望輸出值非常接近，網(wǎng)路的均方誤差為，因此本文設(shè)計(jì)的BP神經(jīng)網(wǎng)絡(luò)達(dá)到了設(shè)計(jì)要求。將測試樣本輸入已經(jīng)訓(xùn)練好的BP網(wǎng)絡(luò)，測試輸出數(shù)據(jù)與期望輸出數(shù)據(jù)存放在表5中，現(xiàn)舉一例進(jìn)行說明，當(dāng)將第六組訓(xùn)練樣本（即故障狀態(tài)5下的16個(gè)電壓值）的容差的情況下，與期望輸出0，0，1，0，1五位二進(jìn)制數(shù)十分接近，可判定為故障狀態(tài)5故障。通過多次統(tǒng)計(jì)測試的輸出結(jié)果，本文設(shè)計(jì)的BP神經(jīng)網(wǎng)絡(luò)故障診斷系統(tǒng)的正確率接近100%。2）讀出故障點(diǎn)之后，并不能立刻知道電路中哪個(gè)元件發(fā)生故障，還需要根據(jù)故障狀態(tài)表查詢，這會(huì)使得測試效率比較低，所以為方便測試員立刻知道故障點(diǎn)的具體位置，本文添加了語音報(bào)錯(cuò)的功能，即將網(wǎng)絡(luò)診斷輸出的二進(jìn)制數(shù)轉(zhuǎn)變?yōu)槭M(jìn)制數(shù)并通過Matlab程序驅(qū)動(dòng)計(jì)算機(jī)聲卡，當(dāng)將一組特征向量輸入本文所設(shè)計(jì)的診斷系統(tǒng)時(shí)，如果診斷電路處于正常狀態(tài)，則會(huì)進(jìn)行雙語播報(bào)（中文和英文），如果存在故障，則會(huì)語音報(bào)出電路的故障點(diǎn)以及故障元件。但BP神經(jīng)網(wǎng)絡(luò)還不是一個(gè)十分完善的網(wǎng)絡(luò),具有收斂速度慢、不易收斂到全局最小值等缺陷。其不受其搜索空間約束條件的限制、不需要導(dǎo)數(shù)等相關(guān)輔助信息,可以有效的克服BP網(wǎng)絡(luò)存在的缺陷。進(jìn)化論認(rèn)為自然界中的每一種生物都是在不斷發(fā)展的過程中逐漸變得更適應(yīng)環(huán)境的。在自然界中,適應(yīng)環(huán)境能力強(qiáng)的個(gè)體存活下來,適應(yīng)能力弱的將會(huì)被淘汰，這就是進(jìn)化論中適者生存的原理。遺傳算法在優(yōu)化問題中，是將問題的解表示成“染色體”(編碼產(chǎn)生字符串),從一群“染色體”串出發(fā),按照適者生存的法則,將它們置于待解決的問題（環(huán)境）中,選擇出適應(yīng)性強(qiáng)的“染色體”進(jìn)行復(fù)制,然后通過交叉、變異產(chǎn)生新一代更適應(yīng)環(huán)境的“染色體”新種群。整個(gè)這個(gè)過程就如同自然界的生物進(jìn)化一樣,更能適應(yīng)環(huán)境的特征被不斷繼承下來,不適應(yīng)環(huán)境的特征逐漸被淘汰掉。為突出遺傳算法的優(yōu)越性，下面先介紹三種傳統(tǒng)的尋優(yōu)算法類型。其中直接法又被稱為爬山發(fā)，該算法的尋優(yōu)方式是讓梯度信息沿著最陡的方向逐次計(jì)算，以求得局部極值。以上兩種方法的主要有兩個(gè)缺點(diǎn):一是它們最后求得的是局部極值而非全局極值。（2）枚舉法枚舉法能夠克服解析法的兩個(gè)主要缺點(diǎn),可以尋找到全局極值,也不要求目標(biāo)函數(shù)需是連續(xù)光滑的。在實(shí)際的問題中，往往有很大的搜索空間，而枚舉法不可能搜索到所有的情況。枚舉法對(duì)于中等規(guī)模的問題,往往也無能為力。該算法是在搜索空間中進(jìn)行隨機(jī)地取值并記錄所取得的最好結(jié)果，考慮到效率問題,搜索到一定程度就終止搜索。就本質(zhì)上而言，隨機(jī)法還是屬于枚舉法。遺傳算法是通過先對(duì)參數(shù)空間編碼再用隨機(jī)選擇作為工具使得搜索過程沿著更高效的方向變化。而且遺傳算法不需要梯度信息,通過模擬自然的進(jìn)化過程來搜索 最優(yōu)解。遺傳 算法是將參數(shù) 的編碼作為運(yùn)算對(duì)象的，而傳統(tǒng)的優(yōu)化算法一般是 直接用參數(shù)的本身進(jìn)行優(yōu)化運(yùn)算。2)群體搜索性。遺傳算法則與之相反，采用的是同時(shí)處理種群中多個(gè)個(gè)體的方法,也就是對(duì)搜索空間的多個(gè)解同時(shí)進(jìn)行評(píng)估,這使遺傳算法具有良好的全局搜索能力,該方法也是遺傳算法特有的一種隱含的并行性。不少傳統(tǒng) 算法采用確定性 的搜索 方法，該方法從一個(gè) 搜索點(diǎn)到另 一搜索點(diǎn)轉(zhuǎn)移都 有確定的轉(zhuǎn) 移規(guī)則,而這種確定性的規(guī)則有可能使得搜索 永遠(yuǎn)達(dá)不到所需的最優(yōu)點(diǎn),很大程度上限制了 算法的 應(yīng)用。概率也只是作為一種工具，用以引導(dǎo)搜索過程向著搜索空間中更優(yōu)解的區(qū)域移動(dòng),表面上看起來這是一種盲目的搜索方法,實(shí)際上是有明確的搜索方向,而且具有隱含并行的搜索機(jī)制。傳統(tǒng)的優(yōu)化算法不但需要借助目標(biāo)函數(shù)值,而且還要目標(biāo)函數(shù)的導(dǎo)數(shù)值等其他輔助的信息。更為重要的是遺傳算法確定進(jìn)一步的搜索方向和搜索范圍而不需要依靠目標(biāo)函數(shù)的導(dǎo)數(shù)值和其他輔助信息。由于限制條件較小,遺傳算法的應(yīng)用范圍非常廣泛。 6) 遺傳算法的可擴(kuò)展性,使之易于同其他優(yōu)化算法混合使用,從而提高處理問題的能力。（1）參數(shù)的編碼編碼(Encoding)是對(duì)遺傳算法進(jìn)行應(yīng)用時(shí)需要執(zhí)行的首要問題，也是對(duì)遺傳算法設(shè)計(jì)時(shí)的一個(gè)十分關(guān)鍵步驟。在遺傳算法中描述問題的可行解，也就是把問題的可行解空間轉(zhuǎn)換至遺傳算法可以處理的搜索空間的方法就稱為編碼。遺傳算法的編碼即為 可行解的遺傳表示， 它是使用遺傳算法求 解問題 的第一步 。二進(jìn)制 編碼的缺點(diǎn)是存在漢明懸崖（Hamming Cliff），即在一些相鄰整數(shù)的二進(jìn)制代碼之間存在很大的漢明距離，致使遺傳算法的 交叉和變異都難以跨越 。對(duì)于一個(gè)具 體的應(yīng)用問題，怎樣設(shè) 計(jì)一種 完美的編碼方案一直都是遺傳 算法的應(yīng)用難點(diǎn)之一，也是遺 傳 算法的一個(gè)重要研究方向。下面介紹幾種主要的編碼方法。二進(jìn)制編碼串 的長度與問題 所要求 的求解精 度有關(guān)。二進(jìn)制編碼的缺點(diǎn)是：首先，二進(jìn)制編碼存在連續(xù)函數(shù)離散化時(shí)的映射誤差。其次 是它不能直 接反映出所求問 題的本身結(jié) 構(gòu)特征，這樣也就 不便于開發(fā) 針對(duì)問