反向傳播網(wǎng)絡(luò)ppt課件(參考版)
2025-05-09 18:03本頁面
【正文】 輸入矢量 p=[3 2] 目標(biāo)矢量 t=[ ] 。 改進(jìn)技術(shù)可以用來使反向傳播法更加容易實(shí)現(xiàn)并需要更少的訓(xùn)練時間 。網(wǎng)絡(luò)的輸入神經(jīng)元數(shù)目及輸出層神經(jīng)元的數(shù)目是由問題的要求所決定的 ， 而輸入和輸出層之間的隱含層數(shù)以及每層的神經(jīng)元數(shù)是由設(shè)計(jì)者來決定的； 3)已證明 ， 兩層 S型線性網(wǎng)絡(luò) ， 如果 S型層有足夠的神經(jīng)元 ， 則能夠訓(xùn)練出任意輸入和輸出之間的有理函數(shù)關(guān)系； 4)反向傳播法沿著誤差表面的梯度下降 ， 使網(wǎng)絡(luò)誤差最小 ，網(wǎng)絡(luò)有可能陷入局部極小值； 5)附加動量法使反向傳播減少了網(wǎng)絡(luò)在誤差表面陷入低谷的可能性并有助于減少訓(xùn)練時間； 6)太大的學(xué)習(xí)速率導(dǎo)致學(xué)習(xí)的不穩(wěn)定 ， 太小值又導(dǎo)致極長的訓(xùn)練時間 。這個函數(shù)的調(diào)用和其他函數(shù)一樣，只是需要更多的初始參數(shù)而已： TP＝ [disp_freq max_epoch error_goal lr 1r_inc 1r_dec mom_const err_ratio]； [W， B， epochs， [error。使用方法為： [W， B， epochs， TE]＝ trainbpa(W， B， ’F’， P， T，TP) 可以將動量法和自適應(yīng)學(xué)習(xí)速率結(jié)合起來以利用兩方面的優(yōu)點(diǎn)。下式給出了一種自適應(yīng)學(xué)習(xí)速率的調(diào)整公式： MATLAB工具箱中帶有自適應(yīng)學(xué)習(xí)速率進(jìn)行反向傳播訓(xùn)練的函數(shù)為： 。 下面是對單層網(wǎng)絡(luò)使用函數(shù) ： [W， B， epochs， errors]＝ trainbpm(W， B， ’F’， P，T， TP)； 6． 6． 2 誤差函數(shù)的改進(jìn) 包穆 (Baum)等人于 1988年提出一種誤差函數(shù)為： 不會產(chǎn)生不能完全訓(xùn)練的麻痹現(xiàn)象。 在 MATLAB工具箱中，帶有動量因子的權(quán)值修正法是用函數(shù) 。 附加動量法的實(shí)質(zhì)是將最后一次權(quán)值變化的影響，通過一個動量因子來傳遞。 該方法是在反向傳播法的基礎(chǔ)上在每一個權(quán)值的變化上加上一項(xiàng)正比于前次權(quán)值變化量的值，并根據(jù)反向傳播法來產(chǎn)生新的權(quán)值變化。 6． 6． 1 附加動量法 附加動量法使網(wǎng)絡(luò)在修正其權(quán)值時，不僅考慮誤差在梯度上的作用，而且考慮在誤差曲面上變化趨勢的影響，其作用如同一個低通濾波器，它允許網(wǎng)絡(luò)忽略網(wǎng)絡(luò)上的微小變化特性。 (3)局部極小值 BP算法可以使網(wǎng)絡(luò)權(quán)值收斂到一個解，但它并不能保證所求為誤差超平面的全局最小解，很可能是一個局部極小解。 一般情況下，作為對比，可以同時對兩個不同期望誤差值的網(wǎng)絡(luò)進(jìn)行訓(xùn)練，最后通過綜合因素的考慮來確定采用其中一個網(wǎng)絡(luò)。 6． 4． 5 期望誤差的選取 在設(shè)計(jì)網(wǎng)絡(luò)的訓(xùn)練過程中，期望誤差值也應(yīng)當(dāng)通過對比訓(xùn)練后確定一個合適的值。 所以在一般情況下，傾向于選取較小的學(xué)習(xí)速率以保證系統(tǒng)的穩(wěn)定性。 大的學(xué)習(xí)速率可能導(dǎo)致系統(tǒng)的不穩(wěn)定。
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1