前饋神經(jīng)網(wǎng)絡(luò)續(xù)ppt課件-資料下載頁(yè)
2025-01-05 07:11本頁(yè)面
【正文】 善。這也說(shuō)明，對(duì)不連續(xù)函數(shù)，在不連續(xù)點(diǎn)附近，單隱層 BP是難于勝任的。 例 設(shè)計(jì)一 BP網(wǎng)絡(luò)，使之完成下面圖形的非線性映射。 采集訓(xùn)練樣本集 ,每 X= (20訓(xùn)練樣本對(duì) )： 即 , 輸入矢量 X=l::1； 目標(biāo)矢量 T=[ 0. 2183 ]。 echo on clc pause%按任意鍵看輸入數(shù)據(jù) clc %輸入訓(xùn)練數(shù)據(jù) X=1::1。 T=[ ]。 pause clc %繪 XT圖 plot(X,T,39。+39。)。 title(39。Training vectors39。)。 xlabel(39。Input vector X39。)。 ylabel(39。Target vector T39。)。 pause%看初始化及訓(xùn)練網(wǎng)絡(luò) clc %初始化網(wǎng)絡(luò) n1=5。 [W1,b1,W2,b2]=initff(X,n1,39。tansig39。,T,39。purelin39。)。 采用 151BP網(wǎng)絡(luò) %訓(xùn)練網(wǎng)絡(luò) fpd=100。 %學(xué)習(xí)過(guò)程顯示頻率 mne=20220。%最大訓(xùn)練步數(shù) sse=。%誤差平方和指標(biāo) lr=。%學(xué)習(xí)率 tp=[fpd,mne,sse,lr]。 [W1,b1,W2,b2,te,tr]=trainbp(W1,b1,39。tansig39。,W2,b2,39。purelin39。,X,T,tp)。%te實(shí)際訓(xùn)練步數(shù) pause%看誤差相對(duì)訓(xùn)練步數(shù)曲線 clc %看誤差和相對(duì)訓(xùn)練步數(shù)曲線圖 ploterr(tr,sse)。 pause%按任意鍵看函數(shù)逼近 clc %函數(shù)逼近 x=。%訓(xùn)練樣本的一個(gè)輸入 t=。%訓(xùn)練樣本的對(duì)應(yīng)目標(biāo) y=simuff(x,W1,b1,39。tansig39。,W2,b2,39。purelin39。)。 err=yt%檢查網(wǎng)絡(luò)對(duì)訓(xùn)練樣本的逼近誤差 echo off TRAINBP: 10/20220 epochs, SSE = . err = TRAINBP: 50/20220 epochs, SSE = . err = TRAINBP: 400/20220 epochs, SSE = . err = TRAINBP: 2498/20220 epochs, SSE = . err = TRAINBP: 20220/20220 epochs, SSE = . TRAINBP: Network error did not reach the error goal. Further training may be necessary, or try different initial weights and biases and/or more hidden neurons. err = 討論 為什么會(huì)出現(xiàn)這種現(xiàn)象呢？ 網(wǎng)絡(luò)初始值是隨機(jī)選取的，因而每次初始值必不相同，這就使得網(wǎng)絡(luò)各 神經(jīng)元的凈輸入可大可小，落在傳遞函數(shù)不同的位置，因而獲得的導(dǎo)數(shù)值也是不同的。而權(quán)值修正公式中， delta函數(shù)正比于導(dǎo)數(shù)值，導(dǎo)數(shù)值較大時(shí)，修正量較大，故收斂也較快；反之網(wǎng)絡(luò)處于麻痹狀態(tài)，收斂較慢。 由此看來(lái)，當(dāng)網(wǎng)絡(luò)訓(xùn)練情況不理想時(shí)，不要急于改變各參數(shù)值，而是試著再訓(xùn)練幾次，直到滿意為止。如果連續(xù)幾次訓(xùn)練情況都不好，那就再考慮改變一些參數(shù)的設(shè)定。 2)隱結(jié)點(diǎn)數(shù)對(duì)訓(xùn)練誤差的影響 當(dāng) nl=3時(shí)，連續(xù)四次運(yùn)行，當(dāng)訓(xùn)練步數(shù)達(dá)到最大值時(shí)，誤差平方和均未達(dá)到其目標(biāo)值，因而可以認(rèn)為，隱結(jié)點(diǎn)數(shù)少了。 n1=8時(shí)，情況與 n1=5時(shí)差不多，網(wǎng)絡(luò)誤差平方和均少于給定目標(biāo)值。 那么，選擇 n1=5還是 nl=8呢？如前所述，隱結(jié)點(diǎn)數(shù)越多，訓(xùn)練誤差越小，但泛化誤差越大。因此，在達(dá)到訓(xùn)練誤差的前提下，隱結(jié)點(diǎn)數(shù)越少越好。 表 2是 n1=3和 n1=8時(shí)的四次運(yùn)行結(jié)果 3)學(xué)習(xí)率的影響 從圖可知 :當(dāng)學(xué)習(xí)率 lr較小時(shí)， 誤差穩(wěn)步下降，直到收斂； 加大 lr，誤差開(kāi)始急劇下降，但后期趨于平坦，收斂較慢； 進(jìn)一步加大 lr， 誤差在開(kāi)始出現(xiàn)巨烈波動(dòng)，后期趨于平坦，收斂也較慢； 再加大 lr，誤差除早期巨烈波動(dòng)外，在規(guī)定的最大訓(xùn)練次數(shù)內(nèi)不收斂。 因此，本例選擇較小的學(xué)習(xí)率，以求穩(wěn)步收斂。 本例與上例比較可以看到 :盡管本例較上例曲線復(fù)雜 ,但采用單隱層逼近精度足夠 .無(wú)需增加隱層 .??? 本例是連續(xù)函數(shù) ,而上例是非連續(xù)函數(shù) 用神經(jīng)網(wǎng)絡(luò)開(kāi)發(fā)工具（ Neural Network) 的 NNTOOL 做單隱層網(wǎng)絡(luò) (具有 GUI特點(diǎn) )
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1