反向傳播網(wǎng)絡(luò)ppt課件(完整版)
【正文】 活函數(shù)有 ； 3)對(duì)于 (6． 3)式所表示的誤差函數(shù) ， 可用函數(shù) 之； 4)有 (6． 4)、 (6． 7)、 (6． 8)和 (6． 10)式所表示的輸出層以及隱含層中權(quán)值與偏差的變化量； 5)由 ()和 ()式所表示的誤差的變化有函數(shù) 、 。 當(dāng)網(wǎng)絡(luò)完成訓(xùn)練后，對(duì)網(wǎng)絡(luò)輸入一個(gè)不是訓(xùn)練集合中的矢量，網(wǎng)絡(luò)將以泛化方式給出輸出結(jié)果。 要注意的是，泛化性能只對(duì)被訓(xùn)練的輸入／輸出對(duì)最大值范圍內(nèi)的數(shù)據(jù)有效，即網(wǎng)絡(luò)具有內(nèi)插值特性，不具有外插值性。 在具體設(shè)計(jì)時(shí)，比較實(shí)際的做法是通過對(duì)不同神經(jīng)元數(shù)進(jìn)行訓(xùn)練對(duì)比，然后適當(dāng)?shù)丶由弦稽c(diǎn)余量。 所以在一般情況下，傾向于選取較小的學(xué)習(xí)速率以保證系統(tǒng)的穩(wěn)定性。 6． 6． 1 附加動(dòng)量法 附加動(dòng)量法使網(wǎng)絡(luò)在修正其權(quán)值時(shí)，不僅考慮誤差在梯度上的作用，而且考慮在誤差曲面上變化趨勢(shì)的影響，其作用如同一個(gè)低通濾波器，它允許網(wǎng)絡(luò)忽略網(wǎng)絡(luò)上的微小變化特性。 下面是對(duì)單層網(wǎng)絡(luò)使用函數(shù) ： [W， B， epochs， errors]＝ trainbpm(W， B， ’F’， P，T， TP)； 6． 6． 2 誤差函數(shù)的改進(jìn) 包穆 (Baum)等人于 1988年提出一種誤差函數(shù)為： 不會(huì)產(chǎn)生不能完全訓(xùn)練的麻痹現(xiàn)象。網(wǎng)絡(luò)的輸入神經(jīng)元數(shù)目及輸出層神經(jīng)元的數(shù)目是由問題的要求所決定的 ， 而輸入和輸出層之間的隱含層數(shù)以及每層的神經(jīng)元數(shù)是由設(shè)計(jì)者來決定的； 3)已證明 ， 兩層 S型線性網(wǎng)絡(luò) ， 如果 S型層有足夠的神經(jīng)元 ， 則能夠訓(xùn)練出任意輸入和輸出之間的有理函數(shù)關(guān)系； 4)反向傳播法沿著誤差表面的梯度下降 ， 使網(wǎng)絡(luò)誤差最小 ，網(wǎng)絡(luò)有可能陷入局部極小值； 5)附加動(dòng)量法使反向傳播減少了網(wǎng)絡(luò)在誤差表面陷入低谷的可能性并有助于減少訓(xùn)練時(shí)間； 6)太大的學(xué)習(xí)速率導(dǎo)致學(xué)習(xí)的不穩(wěn)定 ， 太小值又導(dǎo)致極長(zhǎng)的訓(xùn)練時(shí)間 。 改進(jìn)技術(shù)可以用來使反向傳播法更加容易實(shí)現(xiàn)并需要更少的訓(xùn)練時(shí)間 。下式給出了一種自適應(yīng)學(xué)習(xí)速率的調(diào)整公式： MATLAB工具箱中帶有自適應(yīng)學(xué)習(xí)速率進(jìn)行反向傳播訓(xùn)練的函數(shù)為： 。 該方法是在反向傳播法的基礎(chǔ)上在每一個(gè)權(quán)值的變化上加上一項(xiàng)正比于前次權(quán)值變化量的值，并根據(jù)反向傳播法來產(chǎn)生新的權(quán)值變化。 6． 4． 5 期望誤差的選取 在設(shè)計(jì)網(wǎng)絡(luò)的訓(xùn)練過程中，期望誤差值也應(yīng)當(dāng)通過對(duì)比訓(xùn)練后確定一個(gè)合適的值。 威得羅等人在分析了兩層網(wǎng)絡(luò)是如何對(duì)一個(gè)函數(shù)進(jìn)行訓(xùn)練后，提出一種選定初始權(quán)值的策略。 6． 4 BP網(wǎng)絡(luò)的設(shè)計(jì) 6． 4． 1網(wǎng)絡(luò)的層數(shù) 理論上已經(jīng)證明：具有偏差和至少一個(gè) S型隱含層加上一個(gè)線性輸出層的網(wǎng)絡(luò)，能夠逼近任何有理函數(shù)。 1)用小的隨機(jī)數(shù)對(duì)每一層的權(quán)值 W和偏差 B初始化 ， 以保證網(wǎng)絡(luò)不被大的加權(quán)輸入飽和；并進(jìn)行以下參數(shù)的設(shè)定或初始化：
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1