ch7典型神經(jīng)網(wǎng)絡(luò)ok(編輯修改稿)
2025-02-01 02:54 本頁面
【文章內(nèi)容簡介】 的學習規(guī)則與訓(xùn)練的全過程，仍然可以用函數(shù) 。它的使用同樣只需要定義有關(guān)參數(shù)：顯示間隔次數(shù)，最大循環(huán)次數(shù)，目標誤差，以及學習速率，而調(diào)用后返回訓(xùn)練后權(quán)值，循環(huán)總數(shù)和最終誤差： TP＝ [disp_freq max_epoch err_goal 1r]； [W， B， epochs， errors]＝ trainbp(W， B， ’F’，P， T， TP)； BP網(wǎng)絡(luò)的設(shè)計 1 網(wǎng)絡(luò)的層數(shù)： 理論上已經(jīng)證明：具有偏差和至少一個 S型隱含層加上一個線性輸出層的網(wǎng)絡(luò)，能夠逼近任何有理函數(shù)。 增加層數(shù)主要可以更進一步的降低誤差，提高精度，但同時也使網(wǎng)絡(luò)復(fù)雜化，從而增加了網(wǎng)絡(luò)權(quán)值的訓(xùn)練時間。 一般情況下，應(yīng)優(yōu)先考慮增加隱含層中的神經(jīng)元數(shù)。 能不能僅用具有非線性激活函數(shù)的單層網(wǎng)絡(luò)來解決問題呢？結(jié)論是：沒有必要或效果不好。 2 隱含層的神經(jīng)元數(shù) 網(wǎng)絡(luò)訓(xùn)練精度的提高，可以通過采用一個隱含層，而增加其神經(jīng)元數(shù)的方法來獲得。這在結(jié)構(gòu)實現(xiàn)上，要比增加更多的隱含層要簡單得多。 在具體設(shè)計時，比較實際的做法是通過對不同神經(jīng)元數(shù)進行訓(xùn)練對比，然后適當?shù)丶由弦稽c余量。 3）初始權(quán)值的選取 一般取初始權(quán)值在 (1， 1)之間的隨機數(shù)。 在 MATLAB工具箱中可采用函數(shù) 化權(quán)值閾值。 由于每次訓(xùn)練時都對權(quán)值進行隨機初始化，所以每次訓(xùn)練得到的網(wǎng)絡(luò)權(quán)值都是不一樣的。 4 學習速率 學習速率決定每一次循環(huán)訓(xùn)練中所產(chǎn)生的權(quán)值變化量。 大的學習速率可能導(dǎo)致系統(tǒng)的不穩(wěn)定。 小的學習速率導(dǎo)致較長的訓(xùn)練時間，可能收斂很慢，不過能保證網(wǎng)絡(luò)的誤差值不跳出誤差表面的低谷而最終趨于最小誤差值。 所以在一般情況下，傾向于選取較小的學習速率以保證系統(tǒng)的穩(wěn)定性。學習速率的選取范圍在 0． 01— 0． 8之間。 5 期望誤差的選取 在設(shè)計網(wǎng)絡(luò)的訓(xùn)練過程中，期望誤差值也應(yīng)當通過對比訓(xùn)練后確定一個合適的值。 這個所謂的“合適”，是相對于所需要的隱含層的節(jié)點數(shù)來確定，因為較小的期望誤差值是要靠增加隱含層的節(jié)點，以及訓(xùn)練時間來獲得的。 一般情況下，作為對比，可以同時對兩個不同期望誤差值的網(wǎng)絡(luò)進行訓(xùn)練，最后通過綜合因素的考慮來確定采用其中一個網(wǎng)絡(luò)。 BP網(wǎng)絡(luò)的局限與不足 (1)需要較長的訓(xùn)練時間 因為涉及到求導(dǎo)的運算，需要的時間較長 (2)訓(xùn)練癱瘓問題 通常為了避免這種現(xiàn)象的發(fā)生，一是選取較小的初始權(quán)值，二是采用較小的學習速率，但這又增加了訓(xùn)練時間。 (3)局部極小值 BP算法可以使網(wǎng)絡(luò)權(quán)值收斂到一個解，但它并不能保證所求為誤差超平面的全局最小解，很可能是一個局部極小解。 W E W初始值不合適時，可能落入局部極小值。 反向傳播法的改進方法 目標：為了加快訓(xùn)練速度，避免陷入局部極小值。 1 附加動量法 附加動量法使網(wǎng)絡(luò)在修正其權(quán)值時，不僅考慮誤差在梯度上的作用，而且考慮在誤差曲面上變化趨勢的影響，其作用如同一個低通濾波器，它允許網(wǎng)絡(luò)忽略網(wǎng)絡(luò)上的微小變化特性。 利用附加動量的作用則有可能滑過局部極小值。 該方法是在反向傳播法的基礎(chǔ)上在每一個權(quán)值的變化上加上一項正比于前次權(quán)值變化量的值，并根據(jù)反向傳播法來產(chǎn)生新的權(quán)值變化。 附加動量法的實質(zhì)是將最后一次權(quán)值變化的影響，通過一個動量因子來傳遞。當動量因子取值為零時，權(quán)值的變化僅是根據(jù)梯度下降法產(chǎn)生；當動量因子取值為 1時，新的權(quán)值變化則是設(shè)置為最后一次權(quán)值的變化，而依梯度法產(chǎn)生的變化部分則被忽略掉了。 2 誤差函數(shù)的改進 包穆 (Baum)等人于 1988年提出一種誤差函數(shù)為： 不會產(chǎn)生不能完全訓(xùn)練的癱瘓現(xiàn)象。 3 自適應(yīng)學習速率 學習率 η也稱步長，在標準 BP
教學課件相關(guān)推薦
鄂ICP備17016276號-1