【文章內(nèi)容簡介】 絡又等價于邏輯回歸。調(diào)整節(jié)點間連接的權重就是在建立（也稱訓練）神經(jīng)網(wǎng)絡時要做的工作。最早的也是最基本的權重調(diào)整方法是錯誤回饋法，現(xiàn)在較新的有變化坡度法、類牛頓法、LevenbergMarquardt法、和遺傳算法等。無論采用那種訓練方法，都需要有一些參數(shù)來控制訓練的過程，如防止訓練過度和控制訓練的速度。 圖2　帶權重Wxy的神經(jīng)元網(wǎng)絡決定神經(jīng)網(wǎng)絡拓撲結(jié)構（或體系結(jié)構）的是隱含層及其所含節(jié)點的個數(shù)，以及節(jié)點之間的連接方式。要從頭開始設計一個神經(jīng)網(wǎng)絡，必須要決定隱含層和節(jié)點的數(shù)目，活動函數(shù)的形式，以及對權重做那些限制等，當然如果采用成熟軟件工具的話，他會幫你決定這些事情。在諸多類型的神經(jīng)網(wǎng)絡中，最常用的是前向傳播式神經(jīng)網(wǎng)絡，也就是我們前面圖示中所描繪的那種。人們下面詳細討論一下，為討論方便假定只含有一層隱含節(jié)點?？梢哉J為錯誤回饋式訓練法是變化坡度法的簡化，其過程如下：前向傳播：數(shù)據(jù)從輸入到輸出的過程是一個從前向后的傳播過程，后一節(jié)點的值通過它前面相連的節(jié)點傳過來，然后把值按照各個連接權重的大小加權輸入活動函數(shù)再得到新的值，進一步傳播到下一個節(jié)點?；仞仯寒敼?jié)點的輸出值與我們預期的值不同，也就是發(fā)生錯誤時，神經(jīng)網(wǎng)絡就要“學習”（從錯誤中學習）。我們可以把節(jié)點間連接的權重看成后一節(jié)點對前一節(jié)點的“信任”程度（他自己向下一節(jié)點的輸出更容易受他前面哪個節(jié)點輸入的影響）。學習的方法是采用懲罰的方法，過程如下：如果一節(jié)點輸出發(fā)生錯誤，那么他看他的錯誤是受哪個（些）輸入節(jié)點的影響而造成的，是不是他最信任的節(jié)點（權重最高的節(jié)點）陷害了他（使他出錯），如果是則要降低對他的信任值（降低權重），懲罰他們，同時升高那些做出正確建議節(jié)點的信任值。對那些收到懲罰的節(jié)點來說，他也需要用同樣的方法來進一步懲罰它前面的節(jié)點。就這樣把懲罰一步步向前傳播直到輸入節(jié)點為止。對訓練集中的每一條記錄都要重復這個步驟，用前向傳播得到輸出值，如果發(fā)生錯誤，則用回饋法進行學習。當把訓練集中的每一條記錄都運行過一遍之后，人們稱完成一個訓練周期。要完成神經(jīng)網(wǎng)絡的訓練可能需要很多個訓練周期，經(jīng)常是幾百個。訓練完成之后得到的神經(jīng)網(wǎng)絡就是在通過訓練集發(fā)現(xiàn)的模型，描述了訓練集中響應變量受預測變量影響的變化規(guī)律。由于神經(jīng)網(wǎng)絡隱含層中的可變參數(shù)太多，如果訓練時間足夠長的話，神經(jīng)網(wǎng)絡很可能把訓練集的所有細節(jié)信息都“記”下來，而不是建立一個忽略細節(jié)只具有規(guī)律性的模型，我們稱這種情況為訓練過度。顯然這種“模型”對訓練集會有很高的準確率，而一旦離開訓練集應用到其他數(shù)據(jù)，很可能準確度急劇下降。為了防止這種訓練過度的情況，人們必須知道在什么時候要停止訓練。在有些軟件實現(xiàn)中會在訓練的同時用一個測試集來計算神經(jīng)網(wǎng)絡在此測試集上的正確率，一旦這個正確率不再升高甚至開始下降時，那么就認為現(xiàn)在神經(jīng)網(wǎng)絡已經(jīng)達到做好的狀態(tài)了可以停止訓練。神經(jīng)元網(wǎng)絡和統(tǒng)計方法在本質(zhì)上有很多差別。神經(jīng)網(wǎng)絡的參數(shù)可以比統(tǒng)計方法多很多。由于參數(shù)如此之多，參數(shù)通過各種各樣的組合方式來影響輸出結(jié)果，以至于很難對一個神經(jīng)網(wǎng)絡表示的模型做出直觀的解釋。實際上神經(jīng)網(wǎng)絡也正是當作“黑盒”來用的，不用去管“盒子”里面是什么，只管用就行了。在大部分情況下，這種限制條件是可以接受的。比如銀行可能需要一個筆跡識別軟件，但他沒必要知道為什么這些線條組合在一起就是一個人的簽名，而另外一個相似的則不是。在很多復雜度很高的問題如化學試驗、機器人、金融市場的模擬、和語言圖像的識別，等領域神經(jīng)網(wǎng)絡都取得了很好的效果。神經(jīng)網(wǎng)絡的另一個優(yōu)點是很容易在并行計算機上實現(xiàn)，可以把他的節(jié)點分配到不同的CPU上并行計算。 神經(jīng)網(wǎng)絡使用注意事項在使用神經(jīng)網(wǎng)絡時有幾點需要注意：第一，神經(jīng)網(wǎng)絡很難解釋，目前還沒有能對神經(jīng)網(wǎng)絡做出顯而易見解釋的方法學。第二，神經(jīng)網(wǎng)絡會學習過度，在訓練神經(jīng)網(wǎng)絡時一定要恰當?shù)氖褂靡恍┠車栏窈饬可窠?jīng)網(wǎng)絡的方法，如前面提到的測試集方法和交叉驗證法等。這主要是由于神經(jīng)網(wǎng)絡太靈活、可變參數(shù)太多，如果給足夠的時間，他幾乎可以“記住”任何事情。第三，除非問題非常簡單，訓練一個神經(jīng)網(wǎng)絡可能需要相當可觀的時間才能完成。當然，一旦神經(jīng)網(wǎng)絡建立好了，在用它做預測時運行時還是很快得。第四，建立神經(jīng)網(wǎng)絡需要做的數(shù)據(jù)準備工作量很大。一個很有誤導性的神話就是不管用什么數(shù)據(jù)神經(jīng)網(wǎng)絡都能很好的工作并做出準確的預測。這是不確切的，要想得到準確度高的模型必須認真的進行數(shù)據(jù)清洗、整理、轉(zhuǎn)換、選擇等工作，對任何數(shù)據(jù)挖掘技術都是這樣，神經(jīng)網(wǎng)絡尤其注重這一點。比如神經(jīng)網(wǎng)絡要求所有的輸入變量都必須是01（或1+1）之間的實數(shù)，因此像“地區(qū)”之類文本數(shù)據(jù)必須先做必要的處理之后才能用作神經(jīng)網(wǎng)絡的輸入。 神經(jīng)網(wǎng)絡的發(fā)展趨勢人工神經(jīng)網(wǎng)絡特有的非線性適應性信息處理能力，克服了傳統(tǒng)人工智能方法對于直覺，如模式、語音識別、非結(jié)構化信息處理方面的缺陷，使之在神經(jīng)專家系統(tǒng)、模式識別、智能控制、組合優(yōu)化、預測等領域得到成功應用。人工神經(jīng)網(wǎng)絡與其它傳統(tǒng)方法相結(jié)合，將推動人工智能和信息處理技術不斷發(fā)展。近年來，人工神經(jīng)網(wǎng)絡正向模擬人類認知的道路上更加深入發(fā)展，與模糊系統(tǒng)、遺傳算法、進化機制等結(jié)合，形成計算智能，成為人工智能的一個重要方向，將在實際應用中得到發(fā)展。將信息幾何應用于人工神經(jīng)網(wǎng)絡的研究，為人工神經(jīng)網(wǎng)絡的理論研究開辟了新的途徑。神經(jīng)計算機的研究發(fā)展很快，已有產(chǎn)品進入市場。光電結(jié)合的神經(jīng)計算機為人工神經(jīng)網(wǎng)絡的發(fā)展提供了良好條件。 BP神經(jīng)網(wǎng)絡BP網(wǎng)絡模型處理信息的基本原理是：輸入信號Xi通過中間節(jié)點（隱層點）作用于輸出節(jié)點，經(jīng)過非線形變換，產(chǎn)生輸出信號Yk，網(wǎng)絡訓練的每個樣本包括輸入向量X和期望輸出量t，網(wǎng)絡輸出值Y與期望輸出值t之間的偏差，通過調(diào)整輸入節(jié)點與隱層節(jié)點的聯(lián)接強度取值Wij和隱層節(jié)點與輸出節(jié)點之間的聯(lián)接強度Tjk以及閾值，使誤差沿梯度方向下降，經(jīng)過反復學習訓練，確定與最小誤差相對應的網(wǎng)絡參數(shù)（權值和閾值），訓練即告停止。此時經(jīng)過訓練的神經(jīng)網(wǎng)絡即能對類似樣本的輸入信息，自行處理輸出誤差最小的經(jīng)過非線形轉(zhuǎn)換的信息。 BP神經(jīng)網(wǎng)絡模型BP網(wǎng)絡模型包括其輸入輸出模型、作用函數(shù)模型、誤差計算模型和自學習模型。（1）節(jié)點輸出模型隱節(jié)點輸出模型：Oj=f(∑WijXiq j) (1)輸出節(jié)點輸出模型：Yk=f(∑TjkOjq k) (2) f非線形作用函數(shù)；q 神經(jīng)單元閾值。（2）作用函數(shù)模型1. 作用函數(shù)是反映下層輸入對上層節(jié)點刺激脈沖強度的函數(shù)又稱刺激函數(shù)，一般取為(0,1)內(nèi)連續(xù)取值Sigmoid函數(shù)： f(x)= 1/(1+ex) （3）（3）誤差計算模型誤差計算模型是反映神經(jīng)網(wǎng)絡期望輸出與計算輸出之間誤差大小的函數(shù)： Ep=1/2∑(tpiOpi)2 (4)tpi i節(jié)點的期望輸出值；Opii節(jié)點計算輸出值。（4）自學習模型神經(jīng)網(wǎng)絡的學習過程，即連接下層節(jié)點和上層節(jié)點之間的權重拒陣Wij的設定和誤差修正過程。BP網(wǎng)絡有師學習方式需要設定期望值和無師學習方式只需輸入模式之分。自學習模型為 △Wij(n+1)= h ФiOj+a△Wij(n) （5）h 學習因子；Фi輸出節(jié)點i的計算誤差；Oj輸出節(jié)點j的計算輸出；a動量因子。 BP網(wǎng)絡模型的缺陷分析及優(yōu)化策略（1）學習因子h 的優(yōu)化采用變步長法根據(jù)輸出誤差大小自動調(diào)整學習因子，來減少迭代次數(shù)和加快收斂速度。h =h +a(Ep(n) Ep(n1))/ Ep(n) a為調(diào)整步長，0~1之間取值 （6）（2）隱層節(jié)點數(shù)的優(yōu)化 隱 節(jié)點數(shù)的多少對網(wǎng)絡性能的影響較大，當隱節(jié)點數(shù)太多時，會導致網(wǎng)絡學習時間過長，甚至不能收斂；而當隱節(jié)點數(shù)過小時，網(wǎng)絡的容錯能力差。利用逐步回歸分析 法并進行參數(shù)的顯著性檢驗來動態(tài)刪除一些線形相關的隱節(jié)點，節(jié)點刪除標準：當由該節(jié)點出發(fā)指向下一層節(jié)點的所有權值和閾值均落于死區(qū)（通常取177。、177。）之中，則該節(jié)點可刪除。最佳隱節(jié)點數(shù)L可參考下面公式計算：L=(m+n)1/2+c (7)m輸入節(jié)點數(shù)；n輸出節(jié)點數(shù)；c介于1～10的常數(shù)。（3）輸入和輸出神經(jīng)元的確定利用多元回歸分析法對神經(jīng)網(wǎng)絡的輸入?yún)?shù)進行處理，刪除相關性強的輸入?yún)?shù)，來減少輸入節(jié)點數(shù)。（4）算法優(yōu)化由于BP算法采用的是剃度下降法，因而易陷于局部最小并且訓練時間較長。用基于生物免疫機制地既能全局搜索又能避免未成熟收斂的免疫遺傳算法IGA取代傳統(tǒng)BP算法來克服此缺點。 神經(jīng)網(wǎng)絡仿真設備控對象的近似數(shù)學模型為： 式中，系統(tǒng)a（k）是慢時變的。神經(jīng)網(wǎng)絡的結(jié)構選擇261，學習速度 η==，輸入指令信號為：rin(k)=*sin(6*л*t)。仿真程序： 59 clear all。close all。xite=。alfa=。w2=rand(6,1)。w2_1=w2。w2_2=w2。w1=rand(2,6)。w1_1=w1。w1_2=w1。dw1=0*w1。x=[0,0]39。u_1=0。y_1=0。I=[0,0,0,0,0,0]39。Iout=[0,0,0,0,0,0]39。FI=[0,0,0,0,0,0]39。ts=。for k=1:1:1000time(k)=k*ts。u(k)=*sin(3*2*pi*k*ts)。a(k)=*(*exp(*k))。y(k)=a(k)*y_1/(1+y_1^2)+u_1。for j=1:1:6 I(j)=x39。*w1(:,j)。 Iout(j)=1/(1+exp(I(j)))。endyn(k)=w239。*Iout。e(k)=y(k)yn(k)。w2=w2_1+(xite*e(k))*Iout+alfa*(w2_1w2_2)。for j=1:1:6 FI(j)=exp(I(j))/(1+exp(I(j)))^2。endfor i=1:1:2 for j=1:1:6 dw1(i,j)=e(k)*xite*FI(j)*w2(j)*x(i)。 endendw1=w1_1+dw1+alfa*(w1_1w1_2)。x(1)=u(k)。x(2)=y(k)。w1_2=w1_1。w1_1=w1。w2_2=w2_1。w2_1=w2。u_1=u(k)。y_1=y(k)。endsubplot(2,1,1)。plot(time,y,39。r39。,time,yn,39。b39。)。xlabel(39。times39。)。ylabel(39。實際輸出和仿真輸出39。)。grid onsubplot(2,1,2)。plot(time,yyn,39。r39。)。xlabel(39。times39。)。ylabel(39。error39。)。grid on圖23 神經(jīng)網(wǎng)絡仿真圖3．動態(tài)矩陣控制DMC算法分為三部分:預測模型、滾動優(yōu)化和反饋校正。 預測模型在DMC算法中，首先需要測定對象單位階躍響應的采樣值,i=1,2,……。其中，T為采樣周期。對于漸進穩(wěn)定的對象，階躍響應在某一，后將趨于平穩(wěn)，以至(iN)與的誤差和量化誤差及測量誤差有相同的數(shù)量級，因而可認為，已近似等于階躍響應的穩(wěn)態(tài)值。這樣，對象的動態(tài)信息就可以近似用有限集合加以描述。這個集合的參數(shù)構成了DMC的模型參數(shù)，向量a=稱為模型向量，N稱為模型時域長度。雖然階躍響應是一種非參數(shù)模型，但由于線性系統(tǒng)具有比例和疊加性質(zhì)，故利用這組模型參數(shù)，已足以預測在任意輸入作用下系統(tǒng)在未來時刻的輸出值。在t=kT時刻，假如控制量不再變化時系統(tǒng)在未來N個時刻的輸出值為,那么，在控制增量作用后系統(tǒng)的輸出可由 （31）預測，其中表示在t=kT時刻預測的尚無作用時未來N個時刻的系統(tǒng)輸出。表示在t=kT時刻預測的有控制增量作用時未來N個時刻的系統(tǒng)輸出。為階躍響應模型向量，其元素為描述系統(tǒng)動態(tài)特性的N個階躍響應系數(shù)。式中，上標~表示預測，表示在t=kT時刻預測t=(k+i)T時刻。同樣，如果考慮到現(xiàn)在和未來M個時刻控制增量的變化，在t=kT時刻預測在控制增量,?,作用下系統(tǒng)在未來P個時刻的輸出為 （32）式中為t=kT時刻預測的無控制增量時未來P個時刻的系統(tǒng)輸出。為t=kT時刻預測的有M個控制增量,……，時未來P個時刻的系統(tǒng)輸出。為從現(xiàn)在起M個時刻的控制增量。稱為動態(tài)矩陣，其元素為描述系統(tǒng)動態(tài)特性的階躍響應系數(shù)。 滾動優(yōu)化DMC是一種以優(yōu)化確定控制策略的算法。在采樣時刻t=kT的優(yōu)化性能指標可取為+ （33）即通過選擇該時刻起M個時刻的控制增量,?，使系統(tǒng)在未來P（）個時刻的輸出值，…， 盡可能接近其期望值，…。性能指標中的第二項是對控制增量的約束，即不允許控制量的變化過于劇烈。式中，為權系數(shù)，P和M分別稱為優(yōu)化時域長度和控制時域長度。顯然，在不同時刻，優(yōu)化性能指標是不同的，但其相對形式卻是一致的，都具有類似于(31)的形式，所謂“滾動優(yōu)化”，就是指優(yōu)化時域隨時間不斷地向前推移。引入向量和矩陣記號， Q=diag(,…，)， R=diag(,…，)則優(yōu)化性能指標式(21)可改寫為 (34)式中，Q, R分別稱為誤差權矩陣和控制權矩陣。在不考慮輸入輸出約束的情況下，在t=kT時刻，均為己知，使J(k)取最小的可通過極值必要條件求得 (35)這就是t=kT時刻解得的最優(yōu)控制增量序列。由于這一最優(yōu)解完全是基于預測模型求得的因而是開環(huán)最優(yōu)解. 反饋校正由于模型誤差、弱非線性特性及其它在實際過程中存在的不確定因素，按預測模型式(32)得到的開環(huán)最優(yōu)控制規(guī)律式(35)不一定能導致系統(tǒng)輸出緊密地跟隨期望值，它也不能顧及對象受到的擾動。為了糾正模型預測與實際的不一致，必須及時地利用過程的誤差信息對輸出預測值進行修正，而不應等到這M個控制