前饋神經(jīng)網(wǎng)絡(luò)續(xù)ppt課件-資料下載頁
2025-01-05 07:11本頁面
【正文】 善。這也說明，對不連續(xù)函數(shù)，在不連續(xù)點附近，單隱層 BP是難于勝任的。 例 設(shè)計一 BP網(wǎng)絡(luò)，使之完成下面圖形的非線性映射。 采集訓練樣本集 ,每 X= (20訓練樣本對 )： 即 , 輸入矢量 X=l::1； 目標矢量 T=[ 0. 2183 ]。 echo on clc pause%按任意鍵看輸入數(shù)據(jù) clc %輸入訓練數(shù)據(jù) X=1::1。 T=[ ]。 pause clc %繪 XT圖 plot(X,T,39。+39。)。 title(39。Training vectors39。)。 xlabel(39。Input vector X39。)。 ylabel(39。Target vector T39。)。 pause%看初始化及訓練網(wǎng)絡(luò) clc %初始化網(wǎng)絡(luò) n1=5。 [W1,b1,W2,b2]=initff(X,n1,39。tansig39。,T,39。purelin39。)。 采用 151BP網(wǎng)絡(luò) %訓練網(wǎng)絡(luò) fpd=100。 %學習過程顯示頻率 mne=20220。%最大訓練步數(shù) sse=。%誤差平方和指標 lr=。%學習率 tp=[fpd,mne,sse,lr]。 [W1,b1,W2,b2,te,tr]=trainbp(W1,b1,39。tansig39。,W2,b2,39。purelin39。,X,T,tp)。%te實際訓練步數(shù) pause%看誤差相對訓練步數(shù)曲線 clc %看誤差和相對訓練步數(shù)曲線圖 ploterr(tr,sse)。 pause%按任意鍵看函數(shù)逼近 clc %函數(shù)逼近 x=。%訓練樣本的一個輸入 t=。%訓練樣本的對應目標 y=simuff(x,W1,b1,39。tansig39。,W2,b2,39。purelin39。)。 err=yt%檢查網(wǎng)絡(luò)對訓練樣本的逼近誤差 echo off TRAINBP: 10/20220 epochs, SSE = . err = TRAINBP: 50/20220 epochs, SSE = . err = TRAINBP: 400/20220 epochs, SSE = . err = TRAINBP: 2498/20220 epochs, SSE = . err = TRAINBP: 20220/20220 epochs, SSE = . TRAINBP: Network error did not reach the error goal. Further training may be necessary, or try different initial weights and biases and/or more hidden neurons. err = 討論 為什么會出現(xiàn)這種現(xiàn)象呢？ 網(wǎng)絡(luò)初始值是隨機選取的，因而每次初始值必不相同，這就使得網(wǎng)絡(luò)各 神經(jīng)元的凈輸入可大可小，落在傳遞函數(shù)不同的位置，因而獲得的導數(shù)值也是不同的。而權(quán)值修正公式中， delta函數(shù)正比于導數(shù)值，導數(shù)值較大時，修正量較大，故收斂也較快；反之網(wǎng)絡(luò)處于麻痹狀態(tài)，收斂較慢。 由此看來，當網(wǎng)絡(luò)訓練情況不理想時，不要急于改變各參數(shù)值，而是試著再訓練幾次，直到滿意為止。如果連續(xù)幾次訓練情況都不好，那就再考慮改變一些參數(shù)的設(shè)定。 2)隱結(jié)點數(shù)對訓練誤差的影響 當 nl=3時，連續(xù)四次運行，當訓練步數(shù)達到最大值時，誤差平方和均未達到其目標值，因而可以認為，隱結(jié)點數(shù)少了。 n1=8時，情況與 n1=5時差不多，網(wǎng)絡(luò)誤差平方和均少于給定目標值。 那么，選擇 n1=5還是 nl=8呢？如前所述，隱結(jié)點數(shù)越多，訓練誤差越小，但泛化誤差越大。因此，在達到訓練誤差的前提下，隱結(jié)點數(shù)越少越好。 表 2是 n1=3和 n1=8時的四次運行結(jié)果 3)學習率的影響 從圖可知 :當學習率 lr較小時， 誤差穩(wěn)步下降，直到收斂； 加大 lr，誤差開始急劇下降，但后期趨于平坦，收斂較慢； 進一步加大 lr， 誤差在開始出現(xiàn)巨烈波動，后期趨于平坦，收斂也較慢； 再加大 lr，誤差除早期巨烈波動外，在規(guī)定的最大訓練次數(shù)內(nèi)不收斂。 因此，本例選擇較小的學習率，以求穩(wěn)步收斂。 本例與上例比較可以看到 :盡管本例較上例曲線復雜 ,但采用單隱層逼近精度足夠 .無需增加隱層 .??? 本例是連續(xù)函數(shù) ,而上例是非連續(xù)函數(shù) 用神經(jīng)網(wǎng)絡(luò)開發(fā)工具（ Neural Network) 的 NNTOOL 做單隱層網(wǎng)絡(luò) (具有 GUI特點 )
教學課件相關(guān)推薦
鄂ICP備17016276號-1