【正文】 % 學(xué)習(xí)步長 traingd,traingdm = 。, 39。,39。 % 貝葉斯正則化算法 % 有代表性的五種算法為 :39。 % One Step Secant Algorithm,計算量和內(nèi)存需求均比BFGS 算法小 ,比共軛梯度算法略大 % (中小型網(wǎng)絡(luò)的首選算法 函數(shù)擬合 ,模式識別 ) = 39。 % Scaled Conjugate Gradient 算法 ,內(nèi)存需求與FletcherReeves 修正算法相同 ,計算量比上面三種算法都小很多 % = 39。 % PolakRibiere 修正算法 ,內(nèi)存需求比 FletcherReeves 修正算法略大 % = 39。 % RPROP(彈性 BP)算法 ,內(nèi)存需求最小 % 共軛梯度算法 % = 39。 % 變學(xué)習(xí)率梯度下降算法 % = 39。 % 梯度下降算法 % = 39。purelin39。logsig39。tansig39。purelin39。logsig39。purelin39。 % 隱層節(jié)點數(shù) TypeNum = 3。 %然后再將樣本歸一化處理，這樣有利于我們簡便、準(zhǔn)確、定量結(jié)果。1。 32 P2 = [rand(3,5),rand(3,5)+1,rand(3,5)+2]。1。我們先自己隨機(jī)的輸入兩個樣本： %產(chǎn)生訓(xùn)練樣本與測試樣本，每一列為一個樣本 P1 = [rand(3,5),rand(3,5)+1,rand(3,5)+2]。如果將輸入層激活函數(shù)設(shè)為 tansig，則學(xué)習(xí)很快收斂且達(dá)到目標(biāo)誤差，仿真效果很好，且多次仿真結(jié)果比較穩(wěn)定，明顯要比輸入層激活函數(shù)設(shè)為 purelin 要好。 31 (a) 隨機(jī)設(shè)置權(quán)值 誤差曲線圖 （ b）獲取訓(xùn)練好的閾值和權(quán)值 誤差曲線圖 圖 314 兩程序段運行后誤差 曲線圖 從上面的仿真結(jié)果看，第一個程序用隨機(jī)的初始權(quán)值和閾值達(dá)到目標(biāo)誤差完成訓(xùn)練需要 264 個回合，而選用已訓(xùn)練好的權(quán)值和閾值僅用 167 個回合就完成了訓(xùn)練，因此選擇合適的初始化權(quán)值和閾值將加速網(wǎng)絡(luò)的訓(xùn)練，大大提高了學(xué)習(xí)的收斂速度。 pause plot(x,y1)。 =train(,x,y1)。 %從程序段一得出的數(shù)據(jù) {1,1}=。trainlm39。tansig39。 y1=sin((1/2)*pi*x)+sin(pi*x)。 hold on plot(x,y2,39。 %得出訓(xùn)練好的權(quán)值和閾值供 MATLAB 程序段二使用 {1,1} {1} {2,1} {2} y2=sim(,x)。 {2,1}.initF=39。 {2,1}.initF=39。 {2}.initF=39。 %initnw 據(jù) NguyenWidrow 規(guī)則初始化算法對網(wǎng)絡(luò)層的權(quán)值和閾值進(jìn)行初始 %化，該算法的初始化值，可以使網(wǎng)絡(luò)層中每 個神經(jīng)元的作用范圍近似地在 %網(wǎng)絡(luò)層的輸入空間均勻分布。)。,39。 =newff(minmax(x),[1,15,1],{39。由此進(jìn)行仿真分析。 其中共軛梯度法在訓(xùn)練的時候，訓(xùn)練次數(shù)為 769 次，均方誤差為 ，均未達(dá)到所設(shè)定的要求，產(chǎn)生了“ Minimum step size reached, performance goal was not met”的結(jié)果。 再根據(jù)前面對各種 BP 改進(jìn)算法的描述可知，彈性 BP 算法不需要進(jìn)行搜索，需要內(nèi)存比較小，因此在一些大型網(wǎng)絡(luò)中比較適用，但是需要很長的訓(xùn)練時間。從仿真結(jié)果和均方誤差綜合來看，只有 LM 算法達(dá)到了目標(biāo)誤差，可見對高要求的誤差來說， LM 算法的 優(yōu)勢要明顯的多，其余均未達(dá)到目標(biāo)誤差；從均方誤差的效果來看，所仿真的 BP 算法的優(yōu)劣（從優(yōu)到劣）順序依次為 LM 算法、共軛梯度法、彈性 BP 算法、動量及自適應(yīng)學(xué)習(xí)速率法、增加動量法、標(biāo)準(zhǔn) BP 算法。 圖 39 增加動量法 的訓(xùn)練過程以及 結(jié)果（原圖藍(lán)色線，仿真圖 +號線） 彈性 BP 算法（ trainrp）如圖 310 圖 310 彈性 BP 算法的訓(xùn)練過程以及結(jié)果（原圖藍(lán)色線，仿真圖 +號線） 動量及自適應(yīng)學(xué)習(xí)速率法（ traingdx）如圖 311。)。 res=norm(err)。 =。},39。,39。 MATLAB 程序段如下： x=4::4。 res(i)=norm(err)。 %設(shè)定目標(biāo)誤差為 =。},39。,39。 %隱含層的神經(jīng)元數(shù)目范圍 s=9:16。輸入層和輸出層神經(jīng)元個數(shù)為 1，只有一個隱含層，其個數(shù)根據(jù)上述的設(shè)計經(jīng)驗公式和本例的實際情況，選取 916 之間。由此可見， n 取不同的值對函數(shù)逼近的效果有很大的影響。 22 （ 1）頻率參數(shù)設(shè)為 k=8，當(dāng)隱層神經(jīng)元數(shù)目分別取 n=1 n=16 時，得到了訓(xùn)練后的網(wǎng)絡(luò)輸出結(jié)果如圖 35 所示。)。訓(xùn)練前網(wǎng)絡(luò)的仿真輸出 y139。 text(,39。)。原函數(shù)與網(wǎng)絡(luò)訓(xùn)練前后的仿真結(jié)果比較 39。,x,y2,39。 plot(x,y,39。)。次數(shù) 39。%神經(jīng)網(wǎng)絡(luò)訓(xùn)練的目標(biāo)誤差 =。將訓(xùn)練時間設(shè)置為 50，訓(xùn)練精度設(shè)置為 ，其余參數(shù)使用缺省值。y39。 xlabel(39。)。 plot(x,y,39。traingdx39。tansig39。 %網(wǎng)絡(luò)仿真 n=8。)。y39。 xlabel(39。函數(shù)的曲線如 18 圖 31 所示 %樣本選取 k=8。下面將通過實例來說明 BP 網(wǎng)絡(luò)在函數(shù)逼近方面的應(yīng)用。 BP 網(wǎng)絡(luò)訓(xùn)練函數(shù) 1） train 神經(jīng)網(wǎng)絡(luò)訓(xùn)練函數(shù)，調(diào)用其他訓(xùn)練函數(shù)，對網(wǎng)絡(luò)進(jìn)行訓(xùn)練。 3） purelin 17 該函數(shù)為線性傳遞函數(shù)。 BP 網(wǎng)絡(luò)經(jīng)常采用 S 型的對數(shù)或正切函數(shù)和線性函數(shù)。 為創(chuàng)建的新 BP 神經(jīng)網(wǎng)絡(luò)； PR 為網(wǎng)絡(luò)輸入向量取值范圍的矩陣； [S1 S2…SNl ]表示網(wǎng)絡(luò)隱含層和輸出層神經(jīng)元的個數(shù)； {TFl TF2…TFN1 }表示網(wǎng)絡(luò)隱含層和輸出層的傳輸函數(shù)，默認(rèn)為‘ tansig’； BTF 表示網(wǎng)絡(luò)的訓(xùn)練函數(shù)，默認(rèn)為‘ trainlm’； BLF 表示網(wǎng)絡(luò)的權(quán)值學(xué)習(xí)函數(shù)，默認(rèn)為‘ learngdm’； PF 表示性能數(shù)，默認(rèn)為‘ mse’。 針對控制邏輯的開發(fā)，協(xié) 議棧的仿真等要求， MathWorks 公司在 Simulink 平臺上還提供了用于描述復(fù)雜事件驅(qū)動系統(tǒng)的邏輯行為的建模仿真工具 16 — Stateflow，通過 Stateflow，用戶可以用圖形化的方式描述事件驅(qū)動系統(tǒng)的邏輯行為，并無縫的結(jié)合到 Simulink 的動態(tài)系統(tǒng)仿真中。 在 MATLAB 產(chǎn)品家族中， MATLAB 工具箱是整個體系的基座，它是一個語言編程型（ M 語言）開發(fā)平臺，提供了體系中其他工具所需要的集成環(huán)境（比如M 語言的解釋器）。而另外一部分函數(shù)則是通用的，幾乎可以用于所有類型的神經(jīng)網(wǎng)絡(luò)，如神經(jīng)網(wǎng)絡(luò)仿真函數(shù)、初始化函數(shù)和訓(xùn)練函數(shù)等。 神經(jīng)網(wǎng)絡(luò)工具箱是在 MATLAB 環(huán)境下開發(fā)出來的許多工具箱之一。 （ 6） BP 神經(jīng)網(wǎng)絡(luò)樣本依賴性問題：網(wǎng)絡(luò)模型的逼近和推廣能力與學(xué)習(xí)樣本的典型性密切相關(guān)，而從問題中選取典型樣本實例組成訓(xùn)練集是一個很困難的問題。 （ 5） BP 神經(jīng)網(wǎng)絡(luò)預(yù)測能力和訓(xùn)練能力的矛盾問題：預(yù)測能力也稱泛化能力或者推廣能力，而訓(xùn)練能力也稱逼近能力或者學(xué)習(xí)能力。網(wǎng)絡(luò)結(jié)構(gòu)選擇過大，訓(xùn)練中 效率不高，可能出現(xiàn)過擬合現(xiàn)象，造成網(wǎng)絡(luò)性能低，容錯性下降，若選擇過小，則又會造成網(wǎng)絡(luò)可能不收斂。加上 BP 神經(jīng)網(wǎng)絡(luò)對初始網(wǎng)絡(luò)權(quán)重非常敏感，以不同的權(quán)重初始化網(wǎng)絡(luò)，其往往會收斂于不同的局部極小，這也是很多學(xué)者每次訓(xùn)練得到不同結(jié)果的根本原因。 （ 4）容錯能力： BP 神經(jīng)網(wǎng)絡(luò)在其局部的或者部分的神經(jīng)元受到破壞后對全局的訓(xùn)練結(jié)果不會造成很大的影響，也就是說即使系統(tǒng)在受到局部損傷時還是可以正常工作的。 （ 2）自學(xué)習(xí)和自適應(yīng)能力： BP 神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時，能夠通過學(xué)習(xí)自動提取輸出、輸出數(shù)據(jù)間的“合理規(guī)則”，并自適應(yīng)的將學(xué)習(xí)內(nèi)容記憶于網(wǎng)絡(luò)的權(quán)值中。神經(jīng)網(wǎng)絡(luò)的運用展開了新的領(lǐng)域，解決其它模式識別不能解決的問題，其分類功能特別適合于模式識別與分類的應(yīng)用。 4) 容錯能力： BP 神經(jīng)網(wǎng)絡(luò)在其局部的或者部分的神經(jīng)元受到破壞后對 全局的訓(xùn)練結(jié)果不會造成很大的影響，也就是說即使系統(tǒng)在受到局部損傷時還是可以正常工作的。 2) 自學(xué)習(xí)和自適應(yīng)能力： BP 神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時，能夠通過學(xué)習(xí)自動提取輸出、輸出數(shù)據(jù)間的“合理規(guī)則”，并自適應(yīng)的將學(xué)習(xí)內(nèi)容記憶于網(wǎng)絡(luò)的權(quán)值中。 （ 3）分類：把輸入向量所定義的合適方式進(jìn)行分類。它也是前向網(wǎng)絡(luò)的核心部分，體現(xiàn)了人工神經(jīng)網(wǎng)絡(luò)的精 華。所以在一般情況下，傾向于選取較小的學(xué)習(xí)速率以保證系統(tǒng)的穩(wěn)定性，學(xué)習(xí)速率的選取范圍一般在 ～ 之間。 BP 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)率的選擇： 學(xué)習(xí)速率決定每一次循環(huán)訓(xùn)練所產(chǎn)生的權(quán)值的變化量?？梢愿鶕?jù)以下公式選擇最佳隱含層神經(jīng)元的數(shù)目。 BP 神經(jīng)網(wǎng)絡(luò)隱含層節(jié)點的選擇： 基于 BP 算法的神經(jīng)元網(wǎng)絡(luò)中各層節(jié)點數(shù)目的選擇對于網(wǎng)絡(luò)性能的影響很大，隱含層的神經(jīng)元數(shù)目選擇往往需要根據(jù)經(jīng)驗和多次試驗來確定，若隱含層單元數(shù)目選擇太多會致使學(xué)習(xí)時間過長 、誤差不一定最佳，也會導(dǎo)致容錯性差、不能識別以前沒有看到的樣本，節(jié)點的數(shù)目要選擇恰當(dāng)。生物神經(jīng)系統(tǒng)部分不嚴(yán)重?fù)p傷并不影響整體功能， BP 神經(jīng) 11 網(wǎng)絡(luò)也具有這種特性，網(wǎng)絡(luò)的高度連接意味著少量的誤差可能不會產(chǎn)生嚴(yán)重的后果，部分神經(jīng)元的損傷不破壞整體，它可以自動修正誤 差。人腦神經(jīng)元之間傳遞脈沖信號的速度遠(yuǎn)低于馮權(quán)值不斷調(diào)整的過程就是網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練過程。輸入信號經(jīng)輸入層輸入， 通過隱含層的復(fù)雜計算由輸出層輸出，輸出信號與期望輸出相比較，若有誤差，再將誤差信號反向由輸出層通過隱含層處理后向輸入層傳播。如輸出層不能得到期望的輸出，則轉(zhuǎn)入誤差反向傳播過程，誤差信號沿原來的連接通路返回，逐次調(diào)整網(wǎng)絡(luò)各層的權(quán)值和閾值，直至到達(dá)輸入層，再重復(fù)向計算。層與層之間有兩種信號在流通：一種是工作信號 (用實線表示 )，它是施加輸入信號后向前傳播直到在輸出端產(chǎn)生實際輸 出的信號，是輸入和權(quán)值的函數(shù)。 突觸：是軸突的終端，是神經(jīng)元之間相互連接的接口部分，即一個神經(jīng)元的神經(jīng)末梢與另一個神經(jīng)元的樹突相接觸的交界面，位于神經(jīng)元的神經(jīng)末梢尾端。（ 2）軸突 。 。 ：神經(jīng)網(wǎng)絡(luò)不僅能夠通過軟件而且借助軟件實現(xiàn)并行處理。是一個經(jīng)過適當(dāng)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，具有歸納全部數(shù)據(jù)的能力。 （ 3）對于每個節(jié)點 i 存在一個閾值 iq。 人工神經(jīng) 網(wǎng)絡(luò)主要具備以下幾方面的基本特征： ：神經(jīng)網(wǎng)絡(luò)具有高度的并行結(jié)構(gòu)和并行處理能力。而在相互結(jié)合網(wǎng)絡(luò)中，信號要在神經(jīng)元 之間反復(fù)傳遞，網(wǎng)絡(luò)處于一種不斷變化狀態(tài)的動態(tài)之中。例如，可利用橫向抑制機(jī)理把某層內(nèi)的具有最大輸出的神經(jīng)元挑選出來，從而抑制其他神經(jīng)元，使之處于無輸出狀態(tài)。感知器網(wǎng)絡(luò)和 BP 網(wǎng)絡(luò)均屬于前向網(wǎng)絡(luò)。 神經(jīng)網(wǎng)絡(luò)連接的幾種基本形式： 1）前向網(wǎng)絡(luò) 前向網(wǎng)絡(luò)結(jié)構(gòu)如 圖 23 所示，網(wǎng)絡(luò)中的神經(jīng)元是分層排列的，每個神經(jīng)元只與前一層的神經(jīng)元相連接。 如圖 21。 5 第二章 BP 神經(jīng)網(wǎng)絡(luò)概述 BP 神經(jīng)網(wǎng)絡(luò)介紹 BP（ Back Propagation） 網(wǎng)絡(luò)是 1986 年由 Rumelhart 和 McCelland 為首的 科學(xué)家 小組提出，是一種按 誤差 逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的 神經(jīng)網(wǎng)絡(luò)模型 之一。國內(nèi)外在參數(shù)選擇、質(zhì)量檢驗、質(zhì)量預(yù)測和實時控制方面都有研究，部分成果已得到應(yīng)用。 (10)化工領(lǐng)域。比如通過訓(xùn)練自主組合的多層感知器可以區(qū)分正常心跳和非正常心跳、基于 BP網(wǎng)絡(luò)的波形分類和特征提取在計算機(jī)臨床診斷中的應(yīng)用Mamp。能分別對通訊、語音、心電和腦電信號進(jìn)行處理分類；可用于海底聲納信號的檢測與分類，在反潛、掃雷等方面得到應(yīng)用。傳感器輸出非線性特性的矯正、傳感器故障檢測、濾波與除噪、環(huán)境影響因素的補(bǔ)償、多傳感信息融合。已成功應(yīng)用于手寫字符、汽車牌照、指紋和聲音識別，還可用于目標(biāo)的自動識別和定位、機(jī)器人傳感器的圖像識別以及地震信號的鑒別等。典型的例子是 20世紀(jì) 60年代初，美國“阿波羅”登月計劃中， Kilmer和 MeClloch 等人根據(jù)脊椎動物神經(jīng)系統(tǒng)中網(wǎng)狀結(jié)構(gòu)的工作原理，提出了一個 KMB 模型，以使登月車在遠(yuǎn)距離復(fù)雜環(huán)境下具有一定的自制能力。 一個經(jīng)濟(jì)活動或現(xiàn)象往往是多種因素合力的結(jié)果，各個因素之間往往存在耦合，在實際中往往難以對各個因素進(jìn)行合理的量化。例如運用模糊技術(shù)克服一般神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程復(fù)雜、收斂速度慢的弱點，并提高了模型的精度。如廣泛使用的 BP網(wǎng)絡(luò)就存在： (1)收斂速度慢，且收斂速度與初始權(quán)值選取有關(guān) (2)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計，即隱 層及接點數(shù)的選擇尚無理論指導(dǎo) (3)新加人的樣本會影響已訓(xùn)練好的樣本 (4)存在局部最小問題 人工神經(jīng)網(wǎng)絡(luò)自身的問題直接影響其應(yīng)用。 4）進(jìn)一步對生物神經(jīng)系統(tǒng)進(jìn)行研究 ， 不斷地豐富對人腦的認(rèn)識。 神經(jīng)網(wǎng)絡(luò)的研究現(xiàn)狀 進(jìn)入 20 世紀(jì) 90 年代以來，神經(jīng)網(wǎng)絡(luò)由于應(yīng)用面還不夠?qū)?，結(jié)果不夠精確，存在可信度問題，從而進(jìn)入了認(rèn)