【正文】 閾值 { j? }： 輸入層與隱含層連接權值修正： ijijij xtwtw ????? )()1( （ 222） 隱含值閾值修正： jjj t ???? ??? )1( （ 223） （ 7） 重復步驟 (2)，選取不同的訓練樣本，不斷執(zhí)行上述迭代過程，直至達到要求為止，使得誤差 k? 足夠小或變?yōu)榱?，停止學習。 MATLAB（ 即 matrix 和 laboratory） 的前三位字母組合，意為 “ 矩陣實驗室 ” 是美國 Math Works 公司自 1984 年開始推出的一種使用簡便的工程計算語言。 MATLAB 是一種用于工程計算的高級語言 ， 將計算、可視化、編程集成易于使 用的環(huán)境中，所有問題及解答 都 以熟悉的數(shù)學記法 進行 表達。它能夠讓你解決大量的工程計算問題，尤其是帶有矩陣和矢量分式，以標量非交互式語言，如 C 語言或 Fortran 語言來編程序。MATLAB 集成了 LAPACK 和 BLAS 庫，其為矩陣運算的嵌入式軟件。MATLAB 因添加一系列的特殊應用用途而稱為工具箱 ， 這個工具箱能使你學會應用專業(yè)技術，這對許多 MATLAB 用戶來說非常重要。工具箱可利用的范圍包括信號處理，控制系統(tǒng)、神經(jīng)網(wǎng)絡、模糊邏輯、小波、仿真 。它包括 MATLAB 桌面和命令窗口，歷史命令，編輯器和調(diào)試器，并且瀏覽器提供可視化幫助，工作區(qū)，文件和查找路徑。 （ 3） MATLAB 語言：這是一種高級矩陣 /數(shù)組語 言，以控制跟隨狀態(tài)，函數(shù)，數(shù)據(jù)結構，輸入 /輸出，和面向對象程序為特征。 （ 4） 圖形： MATLAB 能非常方便地顯示矢量和矩陣圖形，以及注釋和打印這些圖形。 （ 5） MATLAB 應用程序界面（ API）：以 C 語言和 Fortran 語言簡寫的與 MATLAB交流的庫。 15 神經(jīng)網(wǎng)絡工具箱及其相關函數(shù)簡介 BP 神經(jīng)網(wǎng)絡設計時，需要確定網(wǎng)絡的拓撲結構 (隱層的層數(shù)及各層的神經(jīng)元的數(shù)目 )及其神經(jīng)元的變換函數(shù)，網(wǎng)絡的初始化，誤差計算，學習規(guī)則及網(wǎng)絡訓練，訓練參數(shù)及訓練樣本的歸一化處理等方面的工作。 (一 ) 設計 BP 網(wǎng)絡的相關函數(shù)： （ 1）神經(jīng)元變換函數(shù)：線性變換函數(shù) purelin、對數(shù) S 型變換函數(shù) logsin、雙曲線正切 S 型變換函數(shù) tansig。這個函數(shù)有六個輸入?yún)?shù)，分別是：輸入向量的范圍、網(wǎng)絡結構、各層變換函數(shù)、訓練算法函數(shù)、學習函數(shù)和性能函數(shù)。 Si 是第 i 層網(wǎng)絡的神經(jīng) 元個數(shù)，網(wǎng)絡共有 N1 層。 BTF 是 BP 訓練算法函數(shù)，缺省為 是學習函數(shù)，缺省為learngdm。用缺省參數(shù)來初始化網(wǎng)絡中各個權值和閾值，產(chǎn)生一個可訓練的前饋網(wǎng)絡，即該函數(shù)的返回值 。 （二）初始化函數(shù) init： 它是對網(wǎng)絡的連接權值和閾值進行初始化。 （三）學習函數(shù)： 提供多種學習函數(shù)，用來修正權值和閾值。 （四）性能函數(shù)： 它是用來計算網(wǎng)絡的輸出誤差。 （五）訓練函數(shù) train： BP 網(wǎng)絡的訓練初始化后，可對它進行訓練。在逐變模式中，每輸入一個學習樣本就根據(jù)網(wǎng)絡性能指標函數(shù)對連接權值和閾值更新一次。使用批處理模式不需要為每一層的連接權值和閾值設定訓練函數(shù)，而只需為整個網(wǎng)絡指定一個訓練函數(shù)，使用起來相對方便，而且許多改進的快速訓練算法只能采用批處理模式。 （六） BP 訓練算法函數(shù)： 它是根據(jù)網(wǎng)絡的輸入、目標期望輸出，對由函數(shù) newff 生成的 BP 網(wǎng)絡進行計算，修正其權值和閾值，最終達到設定的網(wǎng)絡性能指標的要求。各算法的快慢及內(nèi)存要求依問題的復雜程度、訓練集大小、網(wǎng)絡的大小及誤差要求的不同而有所不同。需要注意的是 ： 減少內(nèi)存使用量實際是通過將雅可比矩陣分解為一個個小的亞矩陣來實現(xiàn)的，每次只計算其中一個亞矩陣，這勢必增加計算時間。擬牛頓算法 的速度僅次于 LevenbergMarquardt 算法而比共軛梯度法的速度快，內(nèi)存的需要量也介于這二者之間?？偟貋碇v，基于共軛梯度法、擬牛頓算法和LevenbergMarquardt 法等數(shù)值優(yōu)化算法的訓練函數(shù)的效率比基于啟發(fā)式算法的 traingd、traingdm、 traingdx 的效率高。 （七）仿真函數(shù) sim： 可以用來計算網(wǎng)絡在給定輸入下的輸出。 （九）數(shù)據(jù)預處理： 如果對神經(jīng)網(wǎng)絡的輸入和輸出數(shù)據(jù)進行一定的預處理，可以加快網(wǎng)絡的訓練速度。下面以歸一化處理為例說明其 用 法 ， 對于 輸 入矩 陣 p 和輸 出 矩陣 t 進 行 歸 一化 處 理的 語 句 為 ：[pn,minp,maxp,tn,mint,maxt]= premnmx(p,t)；訓練時應該用歸一化之后的數(shù)據(jù)，即 = train(,pn,tn) ；訓練結束后還應對網(wǎng)絡的輸出 an=sim(,pn) 作如下處理：a=postmnmx(an,mint,maxt)。對樣本數(shù)據(jù)的獲取，有以下幾種方法供選擇，具體采用那種方法，取決于數(shù)據(jù)的多少，數(shù)據(jù)文件的格式等。創(chuàng)建數(shù)據(jù)文件，通過 MATLAB 提供的裝載數(shù)據(jù)函數(shù)，從數(shù)據(jù)文件中讀取。 BP 神經(jīng)網(wǎng)絡的 MATLAB 實現(xiàn) 在進行 BP 神經(jīng)網(wǎng)絡設計時，需要考慮以下問題：網(wǎng)絡的 拓撲結構 (隱層的層數(shù)及各層的神經(jīng)元的數(shù)目 )；神經(jīng)元的變換函數(shù)選??；網(wǎng)絡的初始化 (連接權值和閾值的初始化 )；17 訓練參數(shù)設置；訓練樣本的歸一化處理；樣本數(shù)據(jù)導入方式等。 （ 2）初始化：通過函數(shù) init 實現(xiàn)，當 newff 在創(chuàng)建網(wǎng)絡對象的同時，自動調(diào)動初始化函數(shù) init，根據(jù)缺省的參數(shù)對網(wǎng)絡進行連接 權值和閾值初始化。 （ 4）網(wǎng)絡仿真：通過函數(shù) sim 實現(xiàn)，它根據(jù)已訓練好的網(wǎng)絡，對測試數(shù)據(jù)進行仿真計算。 本章主要是以模擬電路故障為 例，根據(jù)故障診斷的特點，并聯(lián)系前幾章的 BP 神經(jīng)網(wǎng)絡介紹，通過各種 BP 神經(jīng)網(wǎng)絡訓練方法的比較，分析設計了診斷故障的精確的 BP神經(jīng)網(wǎng)絡模型。經(jīng)實驗證明，這些方法是很有效的。 對于用 BP 神經(jīng) 網(wǎng)絡來進行故障診斷，工作可以分為測前工作和測后工作兩部分進行。但是，實際總是有容差的，且存在測量及觀察等因素的影響，其實際測量與理論值總存在著差異。 測前要完成故障集的選擇和激勵信號的選擇故障集的選擇，比較實際的方案是根據(jù)被測電路的特點和以往的經(jīng)驗及元件故障概率來選擇若干個 故障作為故障集。 表 41 故障狀態(tài)參數(shù) 故障 時域峰值 頻域峰值 時域能量 頻域能量 頻域峰值頻率 D4 峰峰值 D5 峰峰值 正常情況 故障 A 故障 B 故障 C 故障 D 故障 E 故障 F 19 下面將列舉的是故障對應的目標輸出表，這也是訓練網(wǎng)絡的重要數(shù)據(jù)之一。下面用各種算法對其進行訓練。； %訓練樣本需要轉置 T=[1 2 3 4 5 6 7]； 20 %創(chuàng)建前向型神經(jīng)網(wǎng)絡 %trainlm為改進的 BP 算法類型，可以選擇 %這里創(chuàng)建的是 1 個隱含層的 BP 神經(jīng) 網(wǎng)絡，也可以選擇 2 個或者 2 個以上的隱含層 %對于隱含層的傳遞函數(shù)類型可以有 tansig和 logsig兩種選擇 = newff(minmax(P),[3,1],{39。,39。},39。)； %顯示當前輸入層權值、閾值 inputWeight = {1,1} inputbias = {1} %顯示當前網(wǎng)絡層權值、閾值 layerWeight = {2,1} layerbias = {2} %設置 BP 網(wǎng)絡訓練參數(shù) = 50； = ； = ； = 1000； = ； %調(diào)用 trainlm算法訓練 BP 神經(jīng) 網(wǎng)絡 [,tr] = train(,P,T)； %進行實際仿真輸出 A = sim(,P1)； %根據(jù)貼近度輸出故障類型結果 A = round(A) 仿真的 輸出結果為 ： %以下為輸入層到第 1 隱含層的連接權值 inputWeight = Columns 1 through 7 %以下為輸入層到第 1 隱含層的閾值 inputbias = %以下為第 1 隱含層到第 2 隱含層的連接權值 layerWeight = 21 %以下為第 1 隱 含層到第 2 隱含層的閾值 layerbias = %以下為訓練達到目標精度的步數(shù) TRAINLM, Epoch 0/100, MSE , Gradient TRAINLM, Epoch 11/100, MSE , Gradient TRAINLM, Performance goal met. %以下為實際輸出結果 A = 1 2 3 4 5 6 7 誤差逼近曲線（以 TRAINLM 為例）如圖 41 所示 圖 41 實際輸出的誤差 逼近曲線 從上面的 實際輸出的誤差 逼近曲線可以看出，對于 TRAINLM 算法而言，由于它的收斂速度很快，當其訓練次數(shù)為 11 步時，便能達到目標且能達到很高的要求。大體上可以分為兩大類：一類是采用啟發(fā)式學習方法，如 引入動量因子學習算法（ traingdm函數(shù)）、變學習速率學習算法（ traingda 函數(shù)）、和“彈性”學習算法（ trainrp 函數(shù)）等；另一類是采用更有效的數(shù)值優(yōu)化方法，如共軛梯度學習算法（包括 traincgf 函數(shù)、 traincgp 函數(shù)、 traincgb 函數(shù)、 trainscg 函數(shù)等等）、quasiNewton 算法（包括 trainbfg、 trainoss 函數(shù)等）以及 LevenbergMarquardt 優(yōu)化方法（ trainlm函數(shù)）等。 下面進行各種算法的比較，主要包括 trainlm， traingdm， trainrp， trainscg， trainbfg， traingdx，traincgf， traincgp， traincgb， traingda 等 17 種改進型的 BP 算法。 trainlm 算法： traingdm 算法： 23 trainrp 算法： trainscg算法： 24 trainbfg算法： traingdx算法： 25 traincgf 算法： traincgp 算法： 26 traincgb 算法： traingda 算法 ： 27 圖 42 各種算法的誤差曲線 結合上面的分析可以繪制成下面的表格，可以方便的看出各個算法目標精度： 表 43 各種算法的目標精度比較 序號 函數(shù)名稱 目標精度 訓練 次數(shù) 在要求內(nèi)是否 達到精確 1 trainlm 11 是 2 traingdm 100 否 3 trainrp 85 是 4 trainscg 93 是 5 trainbfg 32 是 6 traingdx 100 否 7 traincgf 63 是 8 traincgp 35 是 9 traincgb 87 否 10 traingda 100 否 神經(jīng)網(wǎng)絡 結構的選擇 從上面的分析，我們知道運用 trainlm 算法比較合適。 BP 算法對 神經(jīng)網(wǎng)絡的結構也十分的敏感，而 BP 算法本身也沒有從理論上解決網(wǎng)絡結構的設置問題。 設置多少個隱含結點取決于訓練樣本數(shù)的多少，樣本噪聲的大小以及樣本中蘊含規(guī)律的復雜程度等多重因素。因此次收集的樣本不是很多，而且輸入層節(jié)點和輸出層節(jié)點也較少，所以，這里采 用先設置較少的隱含節(jié)點，然后通過增加節(jié)點數(shù)的方法來進行選擇確定。本文采用 兩個隱含層，其神經(jīng)元數(shù)分別為 5 和 3。 測試 BP 網(wǎng)絡 根據(jù)上面進行的函數(shù)類型和網(wǎng)絡結構兩個方面的比較，以及前面的分析，由此決定選用以下結構的神經(jīng)網(wǎng)絡： （ 1） 改進型 BP 網(wǎng)絡 trainlm函數(shù)； （ 2） 神經(jīng)網(wǎng)絡具有 1 個輸入層、 2 個隱含層、 1 個輸出層； （ 3） 每層神經(jīng)元數(shù)分別為： 1， 5， 3， 1； （ 4） 隱含層和輸出層的傳遞函數(shù)分別為： logsig， tansig， purelin。下面是當前測量的各種參數(shù)信息表和程