【正文】 提取。小波分解的一個(gè)非常重要的優(yōu)點(diǎn)就在于其分解后所得分量包含了原信號(hào)的所有特征，這一點(diǎn)是傳統(tǒng)數(shù)字濾波和FFT無法做到的。小波變換實(shí)質(zhì)是一組共軛正交濾波器，對(duì)信號(hào)分析時(shí)，對(duì)于高頻譜信息，時(shí)間間隔相對(duì)小時(shí)能給出較好的精度；而對(duì)低頻譜信息，時(shí)間間隔相對(duì)寬時(shí)能給出完全的信息。在以后的章節(jié)里我們將利用小波變換提取模擬電路的故障特征量，從樣本信號(hào)中提取盡可能少的特征量，而且這些特征量完全包含電路各個(gè)故障狀態(tài)特征。第3章 基于小波變換的神經(jīng)網(wǎng)絡(luò)診斷方法的研究基于前兩章的分析，本文采用小波和神經(jīng)網(wǎng)絡(luò)相結(jié)合的方法診斷電路故障。本章將針對(duì)模擬電路的單、軟故障診斷對(duì)基于小波的神經(jīng)網(wǎng)絡(luò)診斷方法的總體方案、各部分的實(shí)現(xiàn)方法以及具體的技術(shù)環(huán)節(jié)做詳細(xì)的分析和討論。 診斷系統(tǒng)概述早期關(guān)于軟故障診斷的研究限于模型方法，即用辨識(shí)的方法得到正常工作下的模型，得到正常工作的動(dòng)態(tài)曲線，然后根據(jù)實(shí)際工作與正常工作下動(dòng)態(tài)曲線之間差別判斷故障的類別，這種診斷方法魯棒性和準(zhǔn)確性比較差。神經(jīng)網(wǎng)絡(luò)的一個(gè)成功應(yīng)用就是根據(jù)先前知識(shí)對(duì)所研究系統(tǒng)的學(xué)習(xí)來實(shí)現(xiàn)正確分類，不要求深入了解線性和非線性電路內(nèi)部更為清晰的模型。從節(jié)點(diǎn)電壓提取出來的特征量顯然會(huì)受故障狀態(tài)、元件容差和非線性的影響。這些特征量伴隨著故障種類作為輸入和輸出對(duì)在訓(xùn)練階段提供給神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)可以調(diào)整它的權(quán)值等參數(shù)以至于它的輸出盡可能的接近理想值（期望輸出值），以完善故障診斷模型。實(shí)際診斷時(shí)，只需將待診斷樣本送入學(xué)習(xí)過的神經(jīng)網(wǎng)絡(luò)，其輸出即為對(duì)應(yīng)的故障。簡言之，神經(jīng)網(wǎng)絡(luò)模型的故障診斷就是利用樣本訓(xùn)練收斂穩(wěn)定的節(jié)點(diǎn)連接權(quán)值，然后向網(wǎng)絡(luò)輸入待診斷的樣本，計(jì)算網(wǎng)絡(luò)的實(shí)際輸出值，根據(jù)輸出值確定故障種類。由于實(shí)際電路總是存在容差，且存在測量及觀察誤差等因素的影響，其實(shí)際值與理論值總存在著差異。但人工神經(jīng)網(wǎng)絡(luò)具有聯(lián)想推理能力，具有強(qiáng)大的魯棒性，它不僅能識(shí)別已經(jīng)訓(xùn)練過的樣本，而且也能通過聯(lián)想推理，識(shí)別未出現(xiàn)的樣本?；谏窠?jīng)網(wǎng)絡(luò)的模擬電路故障診斷系統(tǒng)是使用小波變換、主成分分析、歸一化作為預(yù)處理來從節(jié)點(diǎn)電壓處提取一些最佳特征量，將這些特征量用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)來診斷電路中的故障。根據(jù)要求設(shè)計(jì)的診斷系統(tǒng)框圖如圖31，每個(gè)功能單元具體的實(shí)現(xiàn)方案將在后面的章節(jié)中一一介紹。下面分別對(duì)系統(tǒng)的各個(gè)主要功能單元的實(shí)現(xiàn)作詳細(xì)介紹。該系統(tǒng)的主要功能單元有：1．小波分解：將信號(hào)進(jìn)行若干次小波分解，可以得到信號(hào)在各個(gè)頻段上的分量，這樣就實(shí)現(xiàn)了信號(hào)特征的分離。當(dāng)為多分辨分析時(shí)，提取的小波系數(shù)是信號(hào)在不同頻段的高頻系數(shù)或者低頻系數(shù)。當(dāng)進(jìn)行小波包分析時(shí)，提取的是信號(hào)在分解時(shí)同一層的高低頻系數(shù)。2．特征提?。喊ㄌ卣髁康奶崛〖疤幚?。首先提取小波變換后的特征量，然后通過數(shù)學(xué)變換降低特征維數(shù)（主成分分析）進(jìn)行歸一化處理，以達(dá)到快速有效診斷的目的。3．神經(jīng)網(wǎng)絡(luò)：將上述提取出的最佳故障特征量作為神經(jīng)網(wǎng)絡(luò)的輸入，這些特征量伴隨著故障種類對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)和訓(xùn)練，訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)可以正確完成故障診斷。圖31 診斷系統(tǒng)功能框圖Figure 31 Function diagram of diagnosis system 診斷系統(tǒng)各單元具體實(shí)現(xiàn) 小波變換對(duì)模擬電路故障信號(hào)，常采用小波變換來提取其故障特征量，然后再將這些故障特征量送入神經(jīng)網(wǎng)絡(luò)中進(jìn)行故障診斷。在本文這項(xiàng)工作中，訓(xùn)練神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)樣本都是從與節(jié)點(diǎn)電壓相關(guān)的小波變換系數(shù)變換過來的。我們的重點(diǎn)是在將小波系數(shù)變換后能夠區(qū)別屬于不同故障種類的節(jié)點(diǎn)電壓信號(hào)。由于基于多分辨分析和基于小波包分析提取的系數(shù)特征不同，下面將對(duì)它們對(duì)系數(shù)變換的方法和步驟做一介紹。任何一個(gè)信號(hào)的小波變換定義為： （31）在這個(gè)等式中，代表母小波，代表尺度函數(shù)，代表位置參數(shù)。由正交小波生成的小波級(jí)數(shù)表示為： （32）其中：，成為小波系數(shù)。小波系數(shù)是測量母小波的偏移與輸入信號(hào)的逼近程度。將信號(hào)分解成近似和細(xì)節(jié)兩部分，它們分別表示的低頻和高頻部分，然后對(duì)近似部分繼續(xù)分解，從而形成信號(hào)的多層分解結(jié)構(gòu)。根據(jù)被測信號(hào)的特性，對(duì)信號(hào)進(jìn)行多層分解直至能完全體現(xiàn)信號(hào)的低頻和高頻特性的層次，近似和細(xì)節(jié)的系數(shù)分別反映了信號(hào)的低頻和高頻成分，低頻成分是信號(hào)的基本結(jié)構(gòu)，而高頻則是其細(xì)節(jié)，近似部分的小波系數(shù)通常反映了信號(hào)的主要特征。因此，用多分辨分析提取特征量的步驟是：（1）對(duì)采樣信號(hào)進(jìn)行N層多分辨率分解，得到第1層到第N層的高頻小波分解系數(shù)序列{d1，d2，…，dN}；（2）構(gòu)造特征值。Dj為第j層高頻小波分解系數(shù)序列dj的絕對(duì)值之和，則有：，式中：n為序列中分量的個(gè)數(shù)；（3）特征向量構(gòu)成。按尺度順序，以各層高頻小波分解系數(shù)序列的絕對(duì)值之和為元素構(gòu)成特征向量。小波包分析能夠?yàn)樾盘?hào)提供一種更加精細(xì)的分析方法，它將頻帶進(jìn)行多層次劃分，對(duì)多分辨分析沒有細(xì)分的高頻部分進(jìn)一步分解。用小波包分析提取特征量的步驟是：（1）首先對(duì)某模式故障采樣信號(hào)進(jìn)行j層小波包分解，分別提取第j層從低頻到高頻的共個(gè)頻率成分的系數(shù)序列，即{，，…，}。（2）令表示的重構(gòu)信號(hào)，表示的重構(gòu)信號(hào)，其它依次類推，則 （33）（3）設(shè)對(duì)應(yīng)的能量為（其中i=0，1，2，…，），則有 （34）其中，（k=1，2，…，n）表示重構(gòu)信號(hào)的離散點(diǎn)的幅值。（4）以能量為元素構(gòu)建的維向量 （35）當(dāng)然，信號(hào)分解的層數(shù)不是任意的，例如長度為N的信號(hào)最多能分成log2N層。實(shí)際中，可以選擇適當(dāng)?shù)姆纸鈱訑?shù)。對(duì)選取的小波系數(shù)進(jìn)行主成分分析和歸一化處理，再通過神經(jīng)網(wǎng)絡(luò)做故障診斷。在本文不同故障對(duì)應(yīng)不同的小波系數(shù)特征。在下一章對(duì)它們提取故障特征分別進(jìn)行了仿真實(shí)驗(yàn)，最后比較了兩者提取故障特征的診斷效果。 特征提取特征提取部分包括特征量的提取和將特征量進(jìn)行主要分量分析及歸一化處理。小波變換后提取諸如均值、方差、峰值、功率及包絡(luò)曲線最大值等特征量。特征量應(yīng)能客觀反映故障狀態(tài)的變化，通常根據(jù)物理意義及先驗(yàn)知識(shí)確定。但是一般由此獲得的數(shù)據(jù)量是很大的，為了有效地實(shí)現(xiàn)分類識(shí)別，要對(duì)原始數(shù)據(jù)進(jìn)行選擇或變換，得到最能反應(yīng)分類本質(zhì)的特征，構(gòu)成特征向量，即主成分分析。為適應(yīng)神經(jīng)網(wǎng)絡(luò)S型函數(shù)特性還需對(duì)學(xué)習(xí)樣本進(jìn)行歸一化處理。此外，為突出特征，也可以將特征量進(jìn)行比例化，即將某一些分量乘以一個(gè)倍數(shù)。1．主成分分析（PCA）主成分分析的中心目的是將數(shù)據(jù)空間降維，以排除眾多信息共存時(shí)互相重疊的冗余信息。它的做法是將原變量進(jìn)行變換，使少數(shù)幾個(gè)新變量是原有諸變量的線性組合。同時(shí)這些新變量要能有效的表示原變量表達(dá)的數(shù)據(jù)結(jié)構(gòu)而不丟失或盡量少丟失信息。由于本文提取的特征量個(gè)數(shù)較少，不需進(jìn)行主成分分析，進(jìn)行主成分分析的具體方法見文獻(xiàn)[40]。2．歸一化由于網(wǎng)絡(luò)的各個(gè)輸入數(shù)據(jù)常常具有不同的物理意義和不同的量綱，歸一化使所有分量都在01之間變化，從而使網(wǎng)絡(luò)訓(xùn)練一開始就給各輸入分量以同等重要的地位；BP網(wǎng)的神經(jīng)元均采用Sigmoid轉(zhuǎn)移函數(shù)，變換后可防止因凈輸入的絕對(duì)值過大而使神經(jīng)元輸出飽和，繼而使權(quán)值調(diào)整進(jìn)入誤差曲面的平坦區(qū)[41]。為有效利用S型函數(shù)特性，對(duì)于數(shù)值型的學(xué)習(xí)樣本，要進(jìn)行歸一化處理。歸一化通常有兩種情況：一種常見的情況是，輸入神經(jīng)網(wǎng)絡(luò)各個(gè)輸入節(jié)點(diǎn)的原始數(shù)據(jù)是同源的，常常代表了時(shí)間間隔的取樣。例如電壓波形以一定的頻率采樣得到一定數(shù)目的采樣值成組的輸入網(wǎng)絡(luò)。在這種情況下，歸一化必須統(tǒng)一的進(jìn)行，這樣所有的值被歸一化成0和1之間的數(shù)。第二種常見的情況是，用不同種類的參數(shù)作為輸入，如電壓、持續(xù)時(shí)間、波形的尖峰參數(shù)等，還有可能是一些統(tǒng)計(jì)參數(shù)如標(biāo)準(zhǔn)方差、相關(guān)系數(shù)和K方檢驗(yàn)參數(shù)等等。這種情況對(duì)所有參數(shù)的歸一化會(huì)使網(wǎng)絡(luò)的訓(xùn)練失敗，要對(duì)每個(gè)參數(shù)單獨(dú)歸一化。本文所選為信號(hào)小波分解后的小波系數(shù)和小波包系數(shù)，即同一參數(shù)，歸一化需統(tǒng)一進(jìn)行。例如，有一特征向量，令： （36）則歸一化處理后的向量為： （37） 神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)將神經(jīng)網(wǎng)絡(luò)訓(xùn)練用作故障診斷的過程：1．設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)及算法（1）拓?fù)浣Y(jié)構(gòu)設(shè)計(jì)根據(jù)輸入特征量的維數(shù)和故障種類確定BP神經(jīng)網(wǎng)絡(luò)的輸入、輸出層節(jié)點(diǎn)數(shù)。假設(shè)輸入特征量的維數(shù)為N，網(wǎng)絡(luò)的輸入層節(jié)點(diǎn)數(shù)就選為N；如果有M種故障狀態(tài)，那么網(wǎng)絡(luò)輸出層節(jié)點(diǎn)數(shù)就選為M。理論可以證明，一個(gè)三層的BP網(wǎng)絡(luò)可以完成任意的N維到M維的映射，因而取隱層數(shù)目為1。隱層節(jié)點(diǎn)數(shù)要通過在實(shí)驗(yàn)中調(diào)整、比較、擇優(yōu)選取。隱節(jié)點(diǎn)的作用是從樣本中提取并存儲(chǔ)其內(nèi)在規(guī)律，每個(gè)隱節(jié)點(diǎn)有若干個(gè)權(quán)值，而每個(gè)權(quán)值都是增強(qiáng)網(wǎng)絡(luò)映射能力的一個(gè)參數(shù)。如果隱節(jié)點(diǎn)數(shù)太少，網(wǎng)絡(luò)從樣本中獲取的信息能力就差，不足以概括和體現(xiàn)訓(xùn)練集中的樣本規(guī)律；隱節(jié)點(diǎn)數(shù)量過多，又可能把樣本中非規(guī)律性的內(nèi)容記牢，從而出現(xiàn)“過度吻合”問題，反而降低了泛化能力。此外隱節(jié)點(diǎn)數(shù)太多還會(huì)增加訓(xùn)練時(shí)間?？上仍O(shè)置較少的隱節(jié)點(diǎn)訓(xùn)練網(wǎng)絡(luò)，然后逐漸增加隱節(jié)點(diǎn)數(shù)，用同一樣本集進(jìn)行訓(xùn)練，從中確定網(wǎng)絡(luò)誤差最小時(shí)對(duì)應(yīng)的隱節(jié)點(diǎn)數(shù)。設(shè)置多少個(gè)隱節(jié)點(diǎn)取決于訓(xùn)練樣本數(shù)的多少，樣本噪聲的大小以及樣本中蘊(yùn)含規(guī)律的復(fù)雜程度。如果增加隱節(jié)點(diǎn)仍不能明顯降低訓(xùn)練誤差的情況，應(yīng)當(dāng)嘗試一下增加隱層數(shù)。隱節(jié)點(diǎn)數(shù)針對(duì)實(shí)例擇優(yōu)選取。（2）算法的選擇傳統(tǒng)的利用神經(jīng)網(wǎng)絡(luò)診斷模擬電路方法一般是采用BP算法訓(xùn)練的前饋神經(jīng)網(wǎng)絡(luò)。前面已經(jīng)介紹：標(biāo)準(zhǔn)的BP網(wǎng)絡(luò)是根據(jù)WidrowHoff規(guī)則，采用梯度下降算法，在非線性多層網(wǎng)絡(luò)中，反向傳播計(jì)算梯度。BP算法理論具有依據(jù)可靠、推導(dǎo)過程嚴(yán)謹(jǐn)、精度較高、通用性較好等優(yōu)點(diǎn)，但標(biāo)準(zhǔn)BP算法存在以下缺點(diǎn)：收斂速度緩慢；容易陷入局部極小值；難以確定隱層數(shù)和隱層節(jié)點(diǎn)個(gè)數(shù)。在實(shí)際應(yīng)用中，BP算法很難勝任。因此近十幾年來，許多研究人員對(duì)其做了深入的研究，提出了許多改進(jìn)的算法，如使用動(dòng)量項(xiàng)的加快離線訓(xùn)練速度的方法、歸一化權(quán)值更新技術(shù)方法、快速傳播算法、δδ方法、擴(kuò)展卡爾曼濾波法、二階優(yōu)化以及最優(yōu)濾波法等。本文討論BP網(wǎng)絡(luò)的改進(jìn)算法有兩類，一類是采用啟發(fā)式技術(shù)，如附加動(dòng)量法、自適應(yīng)學(xué)習(xí)速率法；另一類是采用數(shù)字優(yōu)化技術(shù)，如LevenbergMarquardt（LM）方法等。1）附加動(dòng)量法附加動(dòng)量法使BP神經(jīng)網(wǎng)絡(luò)在修正其權(quán)重和閾值時(shí)，不僅考慮誤差在梯度上的作用，而且考慮在誤差曲面上變化趨勢的影響，它允許忽略網(wǎng)絡(luò)上的微小變化特性。該方法是在反向傳播法的基礎(chǔ)上，在每一個(gè)權(quán)重和閾值的變化上加上一項(xiàng)正比于前次權(quán)重和閾值變化量的值，并根據(jù)反向傳播法來產(chǎn)生新的權(quán)重和閾值的變化，帶有附加動(dòng)量因子的權(quán)重和閾值（X）調(diào)節(jié)公式為： （38）其中k為訓(xùn)練次數(shù)，mc為動(dòng)量因子，lr為學(xué)習(xí)速率，是常數(shù)，E為誤差函數(shù)。這種方法所加入的動(dòng)量項(xiàng)實(shí)質(zhì)上相當(dāng)于阻尼項(xiàng)，它減小了學(xué)習(xí)過程的振蕩趨勢，從而改善了收斂性，找到更優(yōu)的解。但是這種方法的缺點(diǎn)也是明顯的，參數(shù)的選取只能通過實(shí)驗(yàn)來確定，而且它的學(xué)習(xí)速度還不能滿足實(shí)時(shí)的工作需要。一旦訓(xùn)練達(dá)到了最大的訓(xùn)練次數(shù)，或者低于最小梯度，或者網(wǎng)絡(luò)函數(shù)指標(biāo)降低到期望誤差之下，都會(huì)使網(wǎng)絡(luò)停止學(xué)習(xí)。2）自適應(yīng)學(xué)習(xí)速率法自適應(yīng)調(diào)整學(xué)習(xí)速率有利于縮短學(xué)習(xí)時(shí)間。標(biāo)準(zhǔn)BP算法收斂速度慢的重要原因是學(xué)習(xí)速率選擇不當(dāng)。學(xué)習(xí)速率選得太小，收斂太慢；學(xué)習(xí)速率選取得太大，則有可能修正過頭，導(dǎo)致發(fā)散。因此出現(xiàn)了自適應(yīng)調(diào)整的改進(jìn)算法，其權(quán)重和閾值（X）更新公式為： （39） （310）其中，lr為學(xué)習(xí)速率，是變量，而公式（38）中l(wèi)r是常數(shù)。通常調(diào)節(jié)學(xué)習(xí)速率lr的準(zhǔn)則是：檢查權(quán)重的修正值是否真正降低了誤差函數(shù)，如果確實(shí)如此，則說明所選取的學(xué)習(xí)速率值小了，可以對(duì)其增加一個(gè)量；若不是這樣，而產(chǎn)生了過調(diào)，那么就應(yīng)減小學(xué)習(xí)速率的值。一旦訓(xùn)練達(dá)到了最大訓(xùn)練次數(shù)或者網(wǎng)絡(luò)函數(shù)指標(biāo)小于期望誤差，或超出規(guī)定計(jì)算的時(shí)間，都會(huì)使網(wǎng)絡(luò)停止學(xué)習(xí)。3）LevenbergMarquardt（LM）優(yōu)化方法在牛頓算法中，如果海森矩陣不是正定的，牛頓方向可能指向局部極大點(diǎn)，或是某個(gè)鞍點(diǎn)?？梢酝ㄟ^在海森矩陣上加一個(gè)正定矩陣，使海森矩陣改變?yōu)檎?。Levenberg和Marquardt在最小二乘問題中引入了這一概念。隨后，Goldfeld等首次將這一概念應(yīng)用于BP算法中，因此有了BP網(wǎng)絡(luò)的Levenberg Marquardt優(yōu)化方法，其權(quán)重和閾值更新公式為： （311）其中為誤差對(duì)權(quán)值微分的雅可比矩陣，為誤差向量，為一個(gè)標(biāo)量。依賴于的幅值，該方法光滑地在兩種極端情況之間變化：即牛頓法（當(dāng)→0）和著名的最陡下降法（當(dāng)→∞），隨著的增大，項(xiàng)可以忽略，因此學(xué)習(xí)過程主要根據(jù)梯度下降，即項(xiàng)。只要迭代使誤差增加，也會(huì)增加，直到誤差不再增加為止。當(dāng)已經(jīng)找到最小誤差時(shí)，會(huì)很大，使接近于零 ，則學(xué)習(xí)過程停止。采用LevenbergMarquardt優(yōu)化方法，可以使學(xué)習(xí)時(shí)間更短，在實(shí)際應(yīng)用中效果較好。但對(duì)于復(fù)雜的問題，網(wǎng)絡(luò)比較大，這種方法需要很大的內(nèi)存空間。綜合BP算法的缺點(diǎn)及各種改進(jìn)算法優(yōu)缺點(diǎn)考慮，本文將采用快速的LM學(xué)習(xí)規(guī)則和振蕩小的動(dòng)量法分別作為BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練函數(shù)和學(xué)習(xí)函數(shù)。2．訓(xùn)練神經(jīng)網(wǎng)絡(luò)為了讓BP神經(jīng)網(wǎng)絡(luò)能夠?qū)﹄娐饭收戏N類進(jìn)行識(shí)別，首先必須對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。網(wǎng)絡(luò)訓(xùn)練的基本思路是：把網(wǎng)絡(luò)學(xué)習(xí)時(shí)的輸出層出現(xiàn)的與“事實(shí)”不符的誤差，歸結(jié)為連接層中各節(jié)點(diǎn)間加權(quán)系數(shù)的“過錯(cuò)”，通過把輸出層節(jié)點(diǎn)的誤差逐層向輸入層逆向傳播以“分?jǐn)偂苯o各連接節(jié)點(diǎn)，從而可算出各連接節(jié)點(diǎn)的參考誤差，并根據(jù)此誤差對(duì)各加權(quán)系數(shù)進(jìn)行相應(yīng)的調(diào)整，使網(wǎng)絡(luò)適應(yīng)要求的映射。以信號(hào)特征量作為訓(xùn)練樣本的輸入，訓(xùn)練樣本的目標(biāo)輸出確定方法為：假設(shè)電路有M種故障，即故障1，故障2，...，故障j，...，故障k，...，故障m，網(wǎng)絡(luò)的輸出為{y1，y2，...，yj，...，yk，...，ym}，若電路處于故障種類j，則令yj=1，其余為零，則網(wǎng)絡(luò)輸出向量為{0，0，...，1，...，0，...，0}；對(duì)于多故障，即若電路同時(shí)處于故障j、故障k，神經(jīng)網(wǎng)絡(luò)的輸出為{0，0，...