我的人工神經(jīng)網(wǎng)絡(luò)6bp網(wǎng)絡(luò)-資料下載頁
2025-05-28 01:43本頁面
【正文】 出現(xiàn)，有助于使網(wǎng)絡(luò)從誤差曲面的局部極小值中跳出 武漢工程大學(xué)計算機(jī)科學(xué)與工程學(xué)院 51 附加動量法 ? 在 MATLAB工具箱中，帶有動量因子的權(quán)值修正法是用函數(shù) ? 的反向傳播網(wǎng)絡(luò) ? 下面是對單層網(wǎng)絡(luò)使用函數(shù) ： [W， B， epochs， errors]＝ trainbpm(W， B，’ F’ ， P， T， TP) 武漢工程大學(xué)計算機(jī)科學(xué)與工程學(xué)院 52 誤差函數(shù)改進(jìn) ? 當(dāng) ak趨向 1時， E趨向一個常數(shù)，即處于 E的平坦區(qū)， f’ (n)→0 ， 可能造成完全訓(xùn)練的麻痹現(xiàn)象 ? 當(dāng)一個網(wǎng)絡(luò)的誤差曲面存在著平坦區(qū)時，可以選用別的誤差函數(shù) f(tk, ak)來代替 (tkak)2的形式，只要其函數(shù)在 ak=tk時能達(dá)到最小值 武漢工程大學(xué)計算機(jī)科學(xué)與工程學(xué)院 53 誤差函數(shù)改進(jìn) ? 包穆 (Baum)等人于 1988年提出一種誤差函數(shù)為 ? 不會產(chǎn)生不能完全訓(xùn)練的麻痹現(xiàn)象 武漢工程大學(xué)計算機(jī)科學(xué)與工程學(xué)院 54 誤差函數(shù)改進(jìn) ? 與常規(guī)的誤差函數(shù)的情況 δ ij=f’ (n)(tkak)相比較，其中的 f’ (n)項消失了 ? 當(dāng) n增大，進(jìn)入激活函數(shù)的平坦區(qū)，使 f’ (n)→0 時，不會產(chǎn)生不能完全訓(xùn)練的麻痹現(xiàn)象 ? 但由于失去了 f’ (n)對 Δw 的控制作用，過大的 Δw又有可能導(dǎo)致網(wǎng)絡(luò)過調(diào)或振蕩 ? 1989年，范爾曼 ()提出一種折中的方案，即取 δ k＝ [f’ (n)+](tkak) ? 一方面恢復(fù)了 f’ (n)的某些影響 ? 另一方面當(dāng) |n|變大時，仍能保持 δ k有一定的大小，從而避免了麻痹現(xiàn)象的發(fā)生 武漢工程大學(xué)計算機(jī)科學(xué)與工程學(xué)院 55 自適應(yīng)學(xué)習(xí)速率 ? 通常調(diào)節(jié)學(xué)習(xí)速率的準(zhǔn)則是，檢查權(quán)值的修正值是否真正降低了誤差函數(shù)，如果確實如此，則說明所選取的學(xué)習(xí)速率值小了，可以對其增加一個量；否則可認(rèn)為產(chǎn)生過調(diào)，應(yīng)該減小學(xué)習(xí)速率的值 ? 一種自適應(yīng)學(xué)習(xí)速率的調(diào)整公式 武漢工程大學(xué)計算機(jī)科學(xué)與工程學(xué)院 56 自適應(yīng)學(xué)習(xí)速率 ? MATLAB工具箱中帶有自適應(yīng)學(xué)習(xí)速率進(jìn)行反向傳播訓(xùn)練的函數(shù)為 ? 可訓(xùn)練直至三層網(wǎng)絡(luò)。 ? 使用方法 [W, B, epochs, TE]＝ trainbpa(W， B，’ F’， P， T， TP) ? 可以將動量法和自適應(yīng)學(xué)習(xí)速率結(jié)合起來以利用兩方面的優(yōu)點。這個技術(shù)已編入了函數(shù) ? 函數(shù)的調(diào)用和其他函數(shù)一樣，只是需要更多的初始參數(shù)而已 ? TP＝ [disp_freq max_epoch error_goal lr 1r_inc 1r_dec mom_const err_ratio]； ? [W， B， epochs， [error。 lr]]＝ trainbpx(W， B， F， P， T， TP) 武漢工程大學(xué)計算機(jī)科學(xué)與工程學(xué)院 57 五 、內(nèi)容小結(jié) 內(nèi)容安排 一、 內(nèi)容回顧 二、 BP網(wǎng)絡(luò) 三、網(wǎng)絡(luò)設(shè)計 四、改進(jìn) BP網(wǎng)絡(luò) 武漢工程大學(xué)計算機(jī)科學(xué)與工程學(xué)院 58 五 、內(nèi)容小結(jié) ? 反向傳播法可以用來訓(xùn)練具有可微激活函數(shù)的多層前向網(wǎng)絡(luò) ,以進(jìn)行函數(shù)逼近，模式分類等工作 ? 反向傳播網(wǎng)絡(luò)的結(jié)構(gòu)不完全受所要解決的問題所限制。 – 網(wǎng)絡(luò)的輸入神經(jīng)元數(shù)目及輸出層神經(jīng)元的數(shù)目是由問題的要求所決定 – 輸入和輸出層之間的隱含層數(shù)以及每層的神經(jīng)元數(shù)是由設(shè)計者來決定的 ? 已經(jīng)證明，兩層 S型線性網(wǎng)絡(luò)，如果 S型層有足夠的神經(jīng)元，則能夠訓(xùn)練出任意輸入和輸出之間的有理函數(shù)關(guān)系 武漢工程大學(xué)計算機(jī)科學(xué)與工程學(xué)院 59 五 、內(nèi)容小結(jié) ? 反向傳播法沿著誤差表面的梯度下降，使網(wǎng)絡(luò)誤差最小，網(wǎng)絡(luò)有可能陷入局部極小值 ? 附加動量法使反向傳播減少了網(wǎng)絡(luò)在誤差表面陷入低谷的可能性并有助于減少訓(xùn)練時間 ? 太大的學(xué)習(xí)速率導(dǎo)致學(xué)習(xí)的不穩(wěn)定，太小值又導(dǎo)致極長的訓(xùn)練時間。自適應(yīng)學(xué)習(xí)速率通過在保證穩(wěn)定訓(xùn)練的前提下，達(dá)到了合理的高速率，可以減少訓(xùn)練時間 ? 80％ 90％的實際應(yīng)用都是采用反向傳播網(wǎng)絡(luò)的。改進(jìn)技術(shù)可以用來使反向傳播法更加容易實現(xiàn)并需要更少的訓(xùn)練時間 武漢工程大學(xué)計算機(jī)科學(xué)與工程學(xué)院 60 五 、內(nèi)容小結(jié) ? 下次講課內(nèi)容 – 反饋網(wǎng)絡(luò) ? Hopfield網(wǎng)絡(luò) 武漢工程大學(xué)計算機(jī)科學(xué)與工程學(xué)院 61 作業(yè) 用 BP神經(jīng)網(wǎng)絡(luò)對一個簡單的非線性神經(jīng)元進(jìn)行訓(xùn)練 。 輸入矢量 p=[3 2] 目標(biāo)矢量 t=[ ]
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1