【正文】 。%學習率=25。%最大迭代次數(shù)=。訓練后得到的誤差變化過程如圖33所示。步驟3：網(wǎng)絡(luò)訓練應(yīng)用train（）函數(shù)對網(wǎng)絡(luò)進行訓練之前，需要預(yù)先設(shè)置網(wǎng)絡(luò)訓練參數(shù)。)。ylabel(39。x39。)。title(39。r39。b39。figure。)。},39。,39。,39。net=newff(minmax(x),[1,n,1],{39。選擇隱層和輸出層神經(jīng)元傳遞函數(shù)分別為tansig函數(shù)和purelin函數(shù)，網(wǎng)絡(luò)訓練的算法采用Levenberg – Marquardt算法trainlm。圖31 逼近的非線性函數(shù)曲線步驟2：網(wǎng)絡(luò)的建立應(yīng)用newff()函數(shù)建立BP網(wǎng)絡(luò)結(jié)構(gòu)。要逼近的非線性函數(shù)39。)。ylabel(39。x39。%要逼近的函數(shù)plot(x,y)。x=[0::1]。 基于BP神經(jīng)網(wǎng)絡(luò)逼近函數(shù)步驟1：假設(shè)頻率參數(shù)k=8，繪制要逼近的非線性函數(shù)的曲線。要求設(shè)計一個BP網(wǎng)絡(luò)，逼近函數(shù)：g(x)=1+cos(k*pi/4*x)，實現(xiàn)對該非線性函數(shù)的逼近。 BP網(wǎng)絡(luò)在函數(shù)逼近中的應(yīng)用 問題的提出BP網(wǎng)絡(luò)由很強的映射能力，主要用于模式識別分類、函數(shù)逼近、函數(shù)壓縮等。該函數(shù)的調(diào)用格式為：[net,tr,Y,E,Pf,Af]=train(NET,P,T,Pi,Ai)[net,tr,Y,E,Pf,Af]=train(NET,P,T,Pi,Ai,VV,TV)2) traingd函數(shù)為梯度下降BP算法函數(shù)。調(diào)用格式為：[dW,ls]=learngd(W,P,Z,N,A,T,E,gW,gA,D,LP,LS)[db,ls]=learngd(b,ones(1,Q),Z,N,A,T,E,gW,gA,D,LP,LS)info=learngd(code)2) learngdm函數(shù)為梯度下降動量學習函數(shù)，它利用神經(jīng)元的輸入和誤差、權(quán)值或閾值的學習速率和動量常數(shù)，來計算權(quán)值或閾值的變化率。調(diào)用格式為：A=purelin（N）info=purelin（code）其中，N：Q個S維的輸入列向量；A：函數(shù)返回值，A=N。調(diào)用格式為：A=tansig（N）info=tansig（code）其中，N：Q個S維的輸入列向量；A：函數(shù)返回值，位于區(qū)間（1，1）之間。1) logsig該傳遞函數(shù)為S型的對數(shù)函數(shù)。傳遞函數(shù)又稱為激活函數(shù)，必須是連續(xù)可微的。 2）newcf函數(shù)用于創(chuàng)建級聯(lián)前向BP網(wǎng)絡(luò)，newfftd函數(shù)用于創(chuàng)建一個存在輸入延遲的前向網(wǎng)絡(luò)。用于在對話框中創(chuàng)建一個BP網(wǎng)絡(luò)。 BP網(wǎng)絡(luò)創(chuàng)建函數(shù)1) newff該函數(shù)用于創(chuàng)建一個BP網(wǎng)絡(luò)。針對控制邏輯的開發(fā)，協(xié)議棧的仿真等要求，MathWorks公司在Simulink平臺上還提供了用于描述復(fù)雜事件驅(qū)動系統(tǒng)的邏輯行為的建模仿真工具—MATLAB產(chǎn)品體系的演化歷程中最重要的一個體系變更是引入了Simulink，用來對動態(tài)系統(tǒng)建模仿真。同時由于MATLAB對矩陣和線性代數(shù)的支持使得工具箱本身也具有強大的數(shù)學計算能力?？茖W計算、建模仿真以及信息工程系統(tǒng)的設(shè)計開發(fā)上已經(jīng)成為行業(yè)內(nèi)的首選設(shè)計工具，全球現(xiàn)有超過五十萬的企業(yè)用戶和上千萬的個人用戶，廣泛的分布在航空航天，金融財務(wù)，機械化工，電信，教育等各個行業(yè)。的主要應(yīng)用方向在多種領(lǐng)域都有廣闊的應(yīng)用空間，特別是在由于其完整的專業(yè)體系和先進的設(shè)計開發(fā)思路，使得產(chǎn)品家族是美國這些函數(shù)的MATLAB實現(xiàn)，使得設(shè)計者對所選定網(wǎng)絡(luò)進行計算過程，轉(zhuǎn)變?yōu)閷瘮?shù)的調(diào)用和參數(shù)的選擇，這樣一來，網(wǎng)絡(luò)設(shè)計人員可以根據(jù)自己的的需要去調(diào)用工具箱中有關(guān)的設(shè)計和訓練程序，從煩瑣的編程中解脫出來，集中精力解決其他問題，從而提高工作效率。一部分函數(shù)特別針對某一種類型的神經(jīng)網(wǎng)絡(luò)的，如感知器的創(chuàng)建函數(shù)、BP網(wǎng)絡(luò)的訓練函數(shù)等。它以人工神經(jīng)網(wǎng)絡(luò)理論為基礎(chǔ)，利用MATLAB編程語言構(gòu)造出許多典型神經(jīng)網(wǎng)絡(luò)的框架和相關(guān)的函數(shù)。神經(jīng)網(wǎng)絡(luò)工具箱將很多原本需要手動計算的工作交給計算機，一方面提高了工作效率，另一方面，還提高了計算的準確度和精度，減輕了工程人員的負擔。 第三章 BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用快速發(fā)展的Matlab軟件為神經(jīng)網(wǎng)絡(luò)理論的實現(xiàn)提供了一種便利的仿真手段。（6）出現(xiàn)該現(xiàn)象的原因是網(wǎng)絡(luò)學習了過多的樣本細節(jié)導致，學習出的模型已不能反映樣本內(nèi)含的規(guī)律，所以如何把握好學習的度，解決網(wǎng)絡(luò)預(yù)測能力和訓練能力間矛盾問題也是BP神經(jīng)網(wǎng)絡(luò)的重要研究內(nèi)容。一般情況下，訓練能力差時，預(yù)測能力也差，并且一定程度上，隨著訓練能力地提高，預(yù)測能力會得到提高。（4）應(yīng)用實例與網(wǎng)絡(luò)規(guī)模的矛盾問題：BP神經(jīng)網(wǎng)絡(luò)難以解決應(yīng)用問題的實例規(guī)模和網(wǎng)絡(luò)規(guī)模間的矛盾問題，其涉及到網(wǎng)絡(luò)容量的可能性與可行性的關(guān)系問題，即學習復(fù)雜性問題。而網(wǎng)絡(luò)的結(jié)構(gòu)直接影響網(wǎng)絡(luò)的逼近能力及推廣性質(zhì)。神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)選擇不一：BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的選擇至今尚無一種統(tǒng)一而完整的理論指導，一般只能由經(jīng)驗選定。（2）BP神經(jīng)網(wǎng)絡(luò)算法的收斂速度慢：由于BP神經(jīng)網(wǎng)絡(luò)算法本質(zhì)上為梯度下降法，它所要優(yōu)化的目標函數(shù)是非常復(fù)雜的，因此，必然會出現(xiàn)“鋸齒形現(xiàn)象”，這使得BP算法低效；又由于優(yōu)化的目標函數(shù)很復(fù)雜，它必然會在神經(jīng)元輸出接近0或1的情況下，出現(xiàn)一些平坦區(qū)，在這些區(qū)域內(nèi)，權(quán)值誤差改變很小，使訓練過程幾乎停頓；BP神經(jīng)網(wǎng)絡(luò)模型中，為了使網(wǎng)絡(luò)執(zhí)行BP算法，不能使用傳統(tǒng)的一維搜索法求每次迭代的步長，而必須把步長的更新規(guī)則預(yù)先賦予網(wǎng)絡(luò)，這種方法也會引起算法低效。加上BP神經(jīng)網(wǎng)絡(luò)對初始網(wǎng)絡(luò)權(quán)重非常敏感，以不同的權(quán)重初始化網(wǎng)絡(luò)，其往往會收斂于不同的局部極小，這也是很多學者每次訓練得到不同結(jié)果的根本原因。（1）局部極小化問題：從數(shù)學角度看，傳統(tǒng)的缺點：鑒于BP神經(jīng)網(wǎng)絡(luò)的這些優(yōu)點，國內(nèi)外不少研究學者都對其進行了研究，并運用網(wǎng)絡(luò)解決了不少應(yīng)用問題。即BP神經(jīng)網(wǎng)絡(luò)具有一定的容錯能力。泛化能力：所謂泛化能力是指在設(shè)計模式分類器時，即要考慮網(wǎng)絡(luò)在保證對所需分類對象進行正確分類，還要關(guān)心網(wǎng)絡(luò)在經(jīng)過訓練后，能否對未見過的模式或有噪聲污染的模式，進行正確的分類。（2）自學習和自適應(yīng)能力：BP神經(jīng)網(wǎng)絡(luò)在訓練時，能夠通過學習自動提取輸出、輸出數(shù)據(jù)間的“合理規(guī)則”，并自適應(yīng)的將學習內(nèi)容記憶于網(wǎng)絡(luò)的權(quán)值中。這使得其特別適合于求解內(nèi)部機制復(fù)雜的問題，即BP神經(jīng)網(wǎng)絡(luò)具有較強的非線性映射能力。（1）為了更好的理解應(yīng)用神經(jīng)網(wǎng)絡(luò)進行問題求解,多層前向BP網(wǎng)絡(luò)是目前應(yīng)用最多的一種神經(jīng)網(wǎng)絡(luò)形式,最近由于人工神經(jīng)網(wǎng)絡(luò)的快速發(fā)展，它已經(jīng)成為模式識別的強有力的工具。NeuralBP神經(jīng)網(wǎng)絡(luò)的優(yōu)缺點介紹容錯能力：BP神經(jīng)網(wǎng)絡(luò)在其局部的或者部分的神經(jīng)元受到破壞后對全局的訓練結(jié)果不會造成很大的影響，也就是說即使系統(tǒng)在受到局部損傷時還是可以正常工作的。泛化能力：所謂泛化能力是指在設(shè)計模式分類器時，即要考慮網(wǎng)絡(luò)在保證對所需分類對象進行正確分類，還要關(guān)心網(wǎng)絡(luò)在經(jīng)過訓練后，能否對未見過的模式或有噪聲污染的模式，進行正確的分類。自學習和自適應(yīng)能力：BP神經(jīng)網(wǎng)絡(luò)在訓練時，能夠通過學習自動提取輸出、輸出數(shù)據(jù)間的“合理規(guī)則”，并自適應(yīng)的將學習內(nèi)容記憶于網(wǎng)絡(luò)的權(quán)值中。非線性映射能力：BP神經(jīng)網(wǎng)絡(luò)實質(zhì)上實現(xiàn)了一個從輸入到輸出的映射功能，數(shù)學理論證明三層的神經(jīng)網(wǎng)絡(luò)就能夠以任意精度逼近任何非線性連續(xù)函數(shù)。（4）數(shù)據(jù)壓縮：減少輸出向量維數(shù)以便傳輸或存儲。（2）模式識別：用一個待定的輸出向量將它與輸入向量聯(lián)系起來。BP網(wǎng)絡(luò)主要用于以下四方面。絕大部分的神經(jīng)網(wǎng)絡(luò)模型都采用BP神經(jīng)網(wǎng)絡(luò)及其變化形式。再根據(jù)訓練過程中梯度變化和均方差變化值來確定。為加快收斂，應(yīng)使 合理化，比如采用變步長算法。過大的學習速率可能導致系統(tǒng)的不穩(wěn)定，但是過小的學習速率將導致訓練時間較長，收斂速度很慢，不過能保證網(wǎng)絡(luò)的誤差值不跳出誤差表面的低谷而最終趨于最小的誤差值。隱含層結(jié)點數(shù)可根據(jù)公式(1)、(2)或(3)得出一個初始值，然后利用逐步增長或逐步修剪法．所謂逐步增長是先從一個較簡單的網(wǎng)絡(luò)開始，若不符合要求則逐步增加隱含層單元數(shù)到合適為止；逐步修剪則從一個較復(fù)雜的網(wǎng)絡(luò)開始逐步刪除隱含層單元，具體實現(xiàn)已有不少文獻討論。(1) ，其中，m為輸出神經(jīng)元數(shù)目；n為輸入神經(jīng)元數(shù)目；a為[1,10]之間的常數(shù)；(2) ，其中，n為輸入單元數(shù)。另一種是開始放入比較少的隱含層單元，學習一些次數(shù)后，還不成功就要增加隱含單元個數(shù)，一直達到比較合理的隱含單元數(shù)目為止。常用的解決辦法就是使隱含層數(shù)目可變。BP神經(jīng)網(wǎng)絡(luò)具有初步的自適應(yīng)與自組織能力，在學習或訓練中改變突觸權(quán)值以適應(yīng)環(huán)境，可以在使用過程中不斷學習完善自己的功能，并且同一網(wǎng)絡(luò)因?qū)W習方式的不同可以具有不同的功能，它甚至具有創(chuàng)新能力，可以發(fā)展知識，以至超過設(shè)計者原有的知識水平。這與現(xiàn)代計算機的脆弱性形成鮮明對比。3）具有容錯性。諾依曼計算機的工作速度，但是在很多問題上卻可以做出快速的判斷、決策和處理，這是由于人腦是一個大規(guī)模并行與串行組合的處理系統(tǒng)。2) 信息并行處理。BP 神經(jīng)網(wǎng)絡(luò)的信息處理方式具有如下特點: 1）信息分布存儲。這種信號正向傳播與誤差反向傳播的各層權(quán)值調(diào)整過程周而復(fù)始地進行著，直到網(wǎng)絡(luò)輸出的誤差減少到可以接受的程度，或進行到預(yù)先設(shè)定的學習次數(shù)為止。在這個過程中，誤差通過梯度下降算法，分攤給各層的所有單元，從而獲得各單元的誤差信號，以此誤差信號為依據(jù)修正各單元權(quán)值，網(wǎng)絡(luò)權(quán)值因此被重新分布。網(wǎng)絡(luò)的輸入層模擬的是神經(jīng)系統(tǒng)中的感覺神經(jīng)元，它接收輸入樣本信號。這兩個過程一次反復(fù)進行，不斷調(diào)整各層的權(quán)值和閾值，使得網(wǎng)絡(luò)誤差最小或達到人們所期望的要求時，學習過程結(jié)束。在前向計算過程中，輸入量從輸入層經(jīng)隱層逐層計算，并傳向輸出層，每層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。另一種是誤差信號(用虛線表示),網(wǎng)絡(luò)實際輸出與期望輸出間的差值即為誤差，它由輸出端開始逐層向后傳播。圖28為一個典型的三層BP網(wǎng)絡(luò)的拓撲結(jié)構(gòu)，層與層之間采用全互連方式，同一層之間不存在相互連接,隱層可以有一層或多層。（1）生物神經(jīng)元結(jié)構(gòu)示意圖：圖27圖27 生物神經(jīng)元結(jié)構(gòu)示意圖（2） 生物神經(jīng)元的工作狀態(tài)： 神經(jīng)元具有兩種常規(guī)工作狀態(tài)：興奮與抑制，當傳入的神經(jīng)沖動使細胞膜電位升高超過閾值時，細胞進入興奮狀態(tài)，產(chǎn)生神經(jīng)沖動并由軸突輸出；當傳入的神經(jīng)沖動使膜電位下降低于閾值時，細胞進入抑制狀態(tài)，沒有神經(jīng)沖動輸出。軸突的作用主要：是傳導信息，它將信息從軸突起點傳到軸突末梢。（3）樹突細胞體：是神經(jīng)元的中心，它一般又由細胞核、細胞膜等組成。神經(jīng)元主要由三部分構(gòu)成：（1）細胞體。在神經(jīng)網(wǎng)絡(luò)中，信息的存儲是分布在整個網(wǎng)絡(luò)中相互連接的權(quán)值上的，這就使得它比傳統(tǒng)計算機具有較高的抗毀性，少數(shù)幾個神經(jīng)元損壞或斷幾處連接，只會稍許降低系統(tǒng)的性能，而不至于破壞整個網(wǎng)絡(luò)系統(tǒng)，因而具有強的魯棒性和容錯性。：神經(jīng)網(wǎng)絡(luò)不僅能夠通過軟件而且借助軟件實現(xiàn)并行處理。這些特性特別適用于復(fù)雜、大規(guī)模和多變量的控制。是一個經(jīng)過適當訓練的神經(jīng)網(wǎng)絡(luò)，具有歸納全部數(shù)據(jù)的能力。（4）對于每個節(jié)點I,定義一個變換函數(shù),()iiijfxwi，ij；對于最一般的情況，此函數(shù)取()iijjj,fwxiq229。（3）對于每個節(jié)點i存在一個閾值iq。（2）從節(jié)點j至節(jié)點i存在一個連接權(quán)系統(tǒng)數(shù)ijw。人工神經(jīng)網(wǎng)絡(luò)是一種具有下列特征的有向圖：這特別適用于實時控制和動態(tài)控制。圖26 結(jié)合型網(wǎng)絡(luò)結(jié)構(gòu)綜上，可知神經(jīng)網(wǎng)絡(luò)有分層網(wǎng)絡(luò)、層內(nèi)連接的分層網(wǎng)絡(luò)、反饋連接的分層網(wǎng)絡(luò)、互連網(wǎng)絡(luò)等四種結(jié)構(gòu)，其神經(jīng)網(wǎng)絡(luò)模型有感知器網(wǎng)絡(luò)，線性神經(jīng)網(wǎng)絡(luò)，BP神經(jīng)網(wǎng)絡(luò)，徑向基函數(shù)網(wǎng)絡(luò)，反饋神經(jīng)網(wǎng)絡(luò)等，本文主要學習研究了BP神經(jīng)網(wǎng)絡(luò)，以及BP神經(jīng)網(wǎng)絡(luò)在函數(shù)逼近和樣本含量估計兩個實例中的應(yīng)用分析。信號從某初始狀態(tài)開始，經(jīng)過若干次變化，才會達到某種平衡狀態(tài)。在無反饋的前向網(wǎng)絡(luò)中，信號一旦通過某神經(jīng)元，該神經(jīng)元的處理就結(jié)束了。圖25 有相互結(jié)合的前向網(wǎng)絡(luò)結(jié)構(gòu)4) 相互結(jié)合型網(wǎng)絡(luò)相互結(jié)合型網(wǎng)絡(luò)結(jié)構(gòu)如圖26所示，這種網(wǎng)絡(luò)在任意兩個神經(jīng)元之間都可能有連接。這樣可以限制每層內(nèi)可以同時動作的神經(jīng)元素，或者把每層內(nèi)的神經(jīng)元分為若干組，讓每一組作為一個整體進行運作。圖23 前向網(wǎng)絡(luò)結(jié)構(gòu)2）從輸出到輸入有反饋的前向網(wǎng)絡(luò)其結(jié)構(gòu)如圖24所示，輸出層對輸入層有信息反饋，這種網(wǎng)絡(luò)可用于存儲某種模式序列，如神經(jīng)認知機和回歸BP網(wǎng)絡(luò)都屬于這種類型。輸入模式經(jīng)過各層次的順序傳播，最后在輸出層上得到輸出。神經(jīng)元分層排列，分別組成輸入層、中間層（也稱為隱含層，可以由若干層組成）和輸出層。圖22 人工神經(jīng)元（感知器）示意圖當神經(jīng)元j有多個輸入xi(i=1，2,…,m)和單個輸出yj時，輸入和輸出的關(guān)系可表示為: 其中j為閾值，wij為從神經(jīng)元i到神經(jīng)元j的連接權(quán)重因子，f( )為傳遞函數(shù)，或稱激勵函數(shù)。 圖21 BP網(wǎng)絡(luò)模型結(jié)構(gòu)圖歸納一下生物神經(jīng)元傳遞信息的過程