人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第4講bp神經(jīng)網(wǎng)絡(luò)(編輯修改稿)
2024-11-22 20:05 本頁面
【文章內(nèi)容簡介】 一般情況下 k＝ , 2020/11/23 24 網(wǎng)絡(luò)訓(xùn)練 ? 變量表達(dá)：計(jì)算網(wǎng)絡(luò)各層輸出矢量 A1和 A2以及網(wǎng)絡(luò)誤差 E – A1＝ tansig(W1*P， B1)； – A2＝ purelin(W2*A1， B2)； – E＝ TA； ? 權(quán)值修正：計(jì)算各層反傳的誤差變化 D2和 D1并計(jì)算各層權(quán)值的修正值以及新權(quán)值： – D2＝ deltalin(A2， E)； – D1＝ deltatan(A1， D2， W2)； – [dlWl， dBl]＝ learnbp(P， D1， lr)； – [dW2， dB2]＝ 1earnbp(A1， D2， 1r)； – W1＝ W1十 dW1； B1＝ B1十 dBl； – W2＝ W2十 dW2； B2＝ B2十 dB2 2020/11/23 25 網(wǎng)絡(luò)訓(xùn)練 ? 計(jì)算權(quán)值修正后誤差平方和 – SSE＝ sumsqr(Tpurelin(W2*tansig(W1*P， B1)， B2)) ? 檢查： SSE是否小于 err_goal。若是，訓(xùn)練結(jié)束；否則繼續(xù) ? 以上所有的學(xué)習(xí)規(guī)則與訓(xùn)練的全過程，可以用函數(shù) – 它的使用只需定義有關(guān)參數(shù)：顯示間隔次數(shù)，最大循環(huán)次數(shù)，目標(biāo)誤差，以及學(xué)習(xí)速率。調(diào)用后返回訓(xùn)練后權(quán)值，循環(huán)總數(shù)和最終誤差 – TP＝ [disp_freq max_epoch err_goal 1r] – [W， B， epochs， errors]＝ trainbp(W， B，’ F’， P，T， TP) 2020/11/23 26 三、網(wǎng)絡(luò)設(shè)計(jì) 網(wǎng)絡(luò)的層數(shù) 隱含層神經(jīng)元數(shù) 初始權(quán)值的選取 學(xué)習(xí)速率 期望誤差的選取 應(yīng)用舉例 局限性 2020/11/23 27 網(wǎng)絡(luò)的層數(shù) ? 理論上已經(jīng)證明：具有偏差和至少一個 S型隱含層加上一個線性輸出層的網(wǎng)絡(luò)，能夠逼近任何有理函數(shù) – 定理： ? 增加層數(shù)主要可以進(jìn)一步的降低誤差，提高精度，但同時也使網(wǎng)絡(luò)復(fù)雜化，從而增加了網(wǎng)絡(luò)權(quán)值的訓(xùn)練時間。 ? 一般情況下應(yīng)優(yōu)先考慮增加隱含層中神經(jīng)元數(shù) ? 僅用具有非線性激活函數(shù)的單層網(wǎng)絡(luò)來解決問題沒有必要或效果不好 – 線性問題 – 非線性問題 2020/11/23 28 隱含層神經(jīng)元數(shù) ? 網(wǎng)絡(luò)訓(xùn)練精度的提高，可以通過采用一個隱含層，而增加其神經(jīng)元數(shù)的方法來獲得。這在結(jié)構(gòu)實(shí)現(xiàn)上，要比增加更多的隱含層簡單得多 ? 定理： – 實(shí)現(xiàn)任意 N個輸入向量構(gòu)成的任何布爾函數(shù)的前向網(wǎng)絡(luò)所需權(quán)系數(shù)數(shù)目為 ? 在具體設(shè)計(jì)時，比較實(shí)際的做法是通過對不同神經(jīng)元數(shù)進(jìn)行訓(xùn)練對比，然后適當(dāng)?shù)丶由弦稽c(diǎn)余量 2020/11/23 29 初始權(quán)值的選取 ? 一般取初始權(quán)值在 (1， 1)之間的隨機(jī)數(shù) ? 威得羅等人在分析了兩層網(wǎng)絡(luò)是如何對一個函數(shù)進(jìn)行訓(xùn)練后，提出一種選定初始權(quán)值的策略 – 選擇權(quán)值的量級為 ? 在 MATLAB工具箱中可采用函數(shù) W1和 B1。 ? 其方法僅使用在第一隱含層的初始值的選取上，后面層的初始值仍然采用隨機(jī)取數(shù) 2020/11/23 30 學(xué)習(xí)速率 ? 學(xué)習(xí)速率決定每一次循環(huán)訓(xùn)練中所產(chǎn)生的權(quán)值變化量 ? 大的學(xué)習(xí)速率可能導(dǎo)致系統(tǒng)的不穩(wěn)定 ? 小的學(xué)習(xí)速率導(dǎo)致較長的訓(xùn)練時間，可能收斂很慢，不過能保證網(wǎng)絡(luò)的誤差值不跳出誤差表面的低谷而最終趨于最小誤差值 ? 所以在一般情況下，傾向于選取較小的學(xué)習(xí)速率以保證系統(tǒng)的穩(wěn)定性。學(xué)習(xí)速率的選取范圍在 2020/11/23 31 期望誤差值選取 ? 在設(shè)計(jì)網(wǎng)絡(luò)的訓(xùn)練過程中，期望誤差值也應(yīng)當(dāng)通過對比訓(xùn)練后確定一個合
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1