人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第4講bp神經(jīng)網(wǎng)絡(luò)-預(yù)覽頁
【正文】 f2’相乘來求得δ ki ? 由于隱含層中沒有直接給出目標矢量，所以利用輸出層的 δ ki反向傳遞來求出隱含層權(quán)值的變化量 Δw2 ki。 ? 一般情況下應(yīng)優(yōu)先考慮增加隱含層中神經(jīng)元數(shù) ? 僅用具有非線性激活函數(shù)的單層網(wǎng)絡(luò)來解決問題沒有必要或效果不好 – 線性問題 – 非線性問題 2020/11/23 28 隱含層神經(jīng)元數(shù) ? 網(wǎng)絡(luò)訓(xùn)練精度的提高，可以通過采用一個隱含層，而增加其神經(jīng)元數(shù)的方法來獲得。 ? 當動量因子取值為零時，權(quán)值變化僅根據(jù)梯度下降法產(chǎn)生 ? 當動量因子取值為 1時，新的權(quán)值變化則是設(shè)置為最后一次權(quán)值的變化，而依梯度法產(chǎn)生的變化部分則被忽略掉了 ? 促使權(quán)值的調(diào)節(jié)向著誤差曲面底部的平均方向變化，當網(wǎng)絡(luò)權(quán)值進入誤差曲面底部的平坦區(qū)時， δ i將變得很小，于是，Δw ij(k+1)≈Δw ij (k)，從而防止了 Δw ij=0的出現(xiàn)，有助于使網(wǎng)絡(luò)從誤差曲面的局部極小值中跳出 2020/11/23 41 附加動量法 ? 在 MATLAB工具箱中，帶有動量因子的權(quán)值修正法是用函數(shù) ? 的反向傳播網(wǎng)絡(luò) ? 下面是對單層網(wǎng)絡(luò)使用函數(shù) ： [W， B， epochs， errors]＝ trainbpm(W， B，’ F’， P， T， TP) 2020/11/23 42 誤差函數(shù)改進 ? 當 ak趨向 1時， E趨向一個常數(shù)，即處于 E的平坦區(qū)， f’(n)→0 ， 可能造成完全訓(xùn)練的麻痹現(xiàn)象 ? 當一個網(wǎng)絡(luò)的誤差曲面存在著平坦區(qū)時，可以選用別的誤差函數(shù) f(tk, ak)來代替 (tkak)2的形式，只要其函數(shù)在 ak=tk時能達到最小值 2020/11/23 43 誤差函數(shù)改進 ? 包穆 (Baum)等人于 1988年提出一種誤差函數(shù)為 ? 不會產(chǎn)生不能完全訓(xùn)練的麻痹現(xiàn)象 2020/11/23 44 誤差函數(shù)改進 ? 與常規(guī)的誤差函數(shù)的情況 δ ij=f’(n)(tkak)相比較，其中的 f’(n)項消失了 ? 當 n增大，進入激活函數(shù)的平坦區(qū)，使 f’(n)→0 時，不會產(chǎn)生不能完全訓(xùn)練的麻痹現(xiàn)象 ? 但由于失去了 f’(n)對 Δw 的控制作用，過大的 Δw 又有可能導(dǎo)致網(wǎng)絡(luò)過調(diào)或振蕩 ? 1989年，范爾曼 ()提出一種折中的方案，即取 δ k＝ [f’(n)+](tkak) ? 一方面恢復(fù)了 f’(n)的某些影響 ? 另一方面當 |n|變大時，仍能保持 δ k有一定的大小，從而避免了麻痹現(xiàn)象的發(fā)生 2020/11/23 45 自適應(yīng)學(xué)習(xí)速率 ? 通常調(diào)節(jié)學(xué)習(xí)速率的準則是，檢查權(quán)值的修正值是否真正降低了誤差函數(shù)，如果確實如此，則說明所選取的學(xué)習(xí)速率值小了，可以對其增加一個量；否則可認為產(chǎn)生過調(diào)，應(yīng)該減小學(xué)習(xí)速率的值 ? 一種自適應(yīng)學(xué)習(xí)速率的調(diào)整公式 2020/11/23 46 自適應(yīng)學(xué)習(xí)速率 ? MATLAB工具箱中帶有自適應(yīng)學(xué)習(xí)速率進行反向傳播訓(xùn)練的函數(shù)為 ? 可訓(xùn)練直至三層網(wǎng)絡(luò)。 – 網(wǎng)絡(luò)的輸入神經(jīng)元數(shù)目及輸出層神經(jīng)元的數(shù)目是由問題的要求所決定 – 輸入和輸出層之間的隱含層數(shù)以及每層的神經(jīng)元數(shù)是由設(shè)計者來決定的 ? 已經(jīng)證明，兩層 S型線性網(wǎng)絡(luò)，如果 S型層有足夠的神經(jīng)元，則能夠訓(xùn)練出任意輸入和輸出之間的有理函數(shù)關(guān)系 2020/11/23 49 五 、內(nèi)容小結(jié) ? 反向傳播法沿著誤差表面的梯度下降，使網(wǎng)絡(luò)誤差最小，網(wǎng)絡(luò)有可能陷入局部極小值 ? 附加動量法使反向傳播減少了網(wǎng)絡(luò)在誤差表面陷入低谷的可能性并有助于減少訓(xùn)練時間 ? 太大的學(xué)習(xí)速率導(dǎo)致學(xué)習(xí)的不穩(wěn)定，太小值又導(dǎo)致極長的訓(xùn)練時
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1