反向傳播網(wǎng)絡(luò)ppt課件-閱讀頁
2025-05-21 18:03本頁面
【正文】 訓(xùn)練步驟。 以上所有的學(xué)習(xí)規(guī)則與訓(xùn)練的全過程，仍然可以用函數(shù) 。 P=1::1； T=[ ]。 泛化性能：使網(wǎng)絡(luò)平滑地學(xué)習(xí)函數(shù)，使網(wǎng)絡(luò)能夠合理地響應(yīng)被訓(xùn)練以外的輸入。超出最大訓(xùn)練值的輸入必將產(chǎn)生大的輸出誤差。 增加層數(shù)主要可以更進(jìn)一步的降低誤差，提高精度，但同時(shí)也使網(wǎng)絡(luò)復(fù)雜化，從而增加了網(wǎng)絡(luò)權(quán)值的訓(xùn)練時(shí)間。 能不能僅用具有非線性激活函數(shù)的單層網(wǎng)絡(luò)來解決問題呢？結(jié)論是：沒有必要或效果不好。這在結(jié)構(gòu)實(shí)現(xiàn)上，要比增加更多的隱含層要簡單得多。 6． 4． 3初始權(quán)值的選取 一般取初始權(quán)值在 (— 1， 1)之間的隨機(jī)數(shù)。 在 MATLAB工具箱中可采用函數(shù) W1和 B1。 6． 4． 4 學(xué)習(xí)速率 學(xué)習(xí)速率決定每一次循環(huán)訓(xùn)練中所產(chǎn)生的權(quán)值變化量。 小的學(xué)習(xí)速率導(dǎo)致較長的訓(xùn)練時(shí)間，可能收斂很慢，不過能保證網(wǎng)絡(luò)的誤差值不跳出誤差表面的低谷而最終趨于最小誤差值。學(xué)習(xí)速率的選取范圍在0． 01— 0． 8之間。 這個(gè)所謂的“合適”，是相對于所需要的隱含層的節(jié)點(diǎn)數(shù)來確定，因?yàn)檩^小的期望誤差值是要靠增加隱含層的節(jié)點(diǎn)，以及訓(xùn)練時(shí)間來獲得的。 6． 5 限制與不足 (1)需要較長的訓(xùn)練時(shí)間 (2)完全不能訓(xùn)練 通常為了避免這種現(xiàn)象的發(fā)生，一是選取較小的初始權(quán)值，二是采用較小的學(xué)習(xí)速率，但這又增加了訓(xùn)練時(shí)間。 6． 6 反向傳播法的改進(jìn)方法 主要目標(biāo)是為了加快訓(xùn)練速度，避免陷入局部極小值。 利用附加動量的作用則有可能滑過局部極小值。 帶有附加動量因子的權(quán)值調(diào)節(jié)公式為： 其中 k為訓(xùn)練次數(shù)， mc為動量因子，一般取 0． 95左右。當(dāng)動量因子取值為零時(shí)，權(quán)值的變化僅是根據(jù)梯度下降法產(chǎn)生；當(dāng)動量因子取值為 1時(shí)，新的權(quán)值變化則是設(shè)置為最后一次權(quán)值的變化，而依梯度法產(chǎn)生的變化部分則被忽略掉了。 子的反向傳播網(wǎng)絡(luò)。 6． 6． 3 自適應(yīng)學(xué)習(xí)速率 通常調(diào)節(jié)學(xué)習(xí)速率的準(zhǔn)則是：檢查權(quán)值的修正值是否真正降低了誤差函數(shù)，如果確實(shí)如此，則說明所選取的學(xué)習(xí)速率值小了，可以對其增加一個(gè)量；若不是這樣，而產(chǎn)生了過調(diào)，那么就應(yīng)該減小學(xué)習(xí)速率的值。 它可以訓(xùn)練直至三層網(wǎng)絡(luò)。這個(gè)技術(shù)已編入了函數(shù) 。 lr]]＝ trainbpx(W， B， F， P，T， TP) 4． 7 本章小結(jié) 1)反向傳播法可以用來訓(xùn)練具有可微激活函數(shù)的多層前向網(wǎng)絡(luò)以進(jìn)行函數(shù)逼近 ， 模式分類等工作； 2)反向傳播網(wǎng)絡(luò)的結(jié)構(gòu)不完全受所要解決的問題所限制 。 自適應(yīng)學(xué)習(xí)速率通過在保證穩(wěn)定訓(xùn)練的前提下 ， 達(dá)到了合理的高速率 ， 可以減少訓(xùn)練時(shí)間； 7)80％ — 90％ 的實(shí)際應(yīng)用都是采用反向傳播網(wǎng)絡(luò)的 。 4． 8作業(yè) 用 BP神經(jīng)網(wǎng)絡(luò)對一個(gè)簡單的非線性神經(jīng)元進(jìn)行訓(xùn)
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1