ch7典型神經(jīng)網(wǎng)絡(luò)ok-wenkub
2023-01-20 02:54:29 本頁面
【正文】 梯度下降法 ijijjjEE????????????????22? ?221 keE?? ? ? ? 39。 1）輸入層單元無轉(zhuǎn)換函數(shù)，直接接收信號傳給下一層，所以有些書不認為輸入層是一個網(wǎng)絡(luò)層。 由于其權(quán)值的調(diào)整采用反向傳播（ Backpropagation） 的學(xué)習(xí)算法，因此被稱為 BP網(wǎng)絡(luò)，思想是梯度下降法，通過梯度搜索技術(shù)，使網(wǎng)絡(luò)實際輸出值與期望輸出值的誤差均方值最小。 反向傳播網(wǎng)絡(luò) (Back— Propagation Network，簡稱 BP網(wǎng)絡(luò) )是對非線性可微分函數(shù)進行權(quán)值訓(xùn)練的多層網(wǎng)絡(luò)。 2）只有當(dāng)希望對網(wǎng)絡(luò)的輸出進行限制，如限制在 0和 1之間，那么在輸出層應(yīng)當(dāng)包含 S 型激活函數(shù)，在一般情況下， …… …… …… x1 x2 xn y1 yp 均是在隱含層采用 S 型激活函數(shù)，而輸出層采用線性激活函數(shù)。222 jjnjj xkeykeE ????????????? ??????? ?? ? ])1([ 39。22????????kkxkekkjjjjj??????? ? ? ? ? ? ? ?? ?11 22222 ??????? kkkk jjjjj ??????? ? ? ? ? ? ? ?? ?11 ??????? kkkk ijijijijij ??????? ? ? ? ? ? ? ?? ?? ? ? ?? ? ? ?? ?1])1([1139。 3. 只有當(dāng)希望對網(wǎng)絡(luò)的輸出進行限制，如限制在 0和 1之間，那么在輸出層應(yīng)當(dāng)包含 S型激活函數(shù)，在一般情況下，均是在隱含層采用 S型激活函數(shù)，而輸出層采用線性激活函數(shù)。 、 BP學(xué)習(xí)規(guī)則 BP算法屬于 δ算法，是一種監(jiān)督式的學(xué)習(xí)算法。 BP算法學(xué)習(xí)過程由兩部分組成：信息的前向傳播與誤差的后向傳播。 、 BP網(wǎng)絡(luò)的訓(xùn)練過程 為了訓(xùn)練一個 BP網(wǎng)絡(luò)，需要計算網(wǎng)絡(luò)加權(quán)輸入矢量以及網(wǎng)絡(luò)輸出和誤差矢量，然后求得誤差平方和。 1)用小的隨機數(shù)對每一層的權(quán)值 W初始化 ，以保證網(wǎng)絡(luò)不被大的加權(quán)輸入飽和； 2)計算網(wǎng)絡(luò)各層輸出矢量 A1和 A2以及網(wǎng)絡(luò)誤差 E 3)計算各層反傳的誤差變化并計算各層權(quán)值的修正值以及新權(quán)值 4)再次計算權(quán)值修正后誤差平方和： 5)檢查誤差是否小于給定誤差，若是，訓(xùn)練結(jié)束；否則繼續(xù)。 一般情況下，應(yīng)優(yōu)先考慮增加隱含層中的神經(jīng)元數(shù)。 在具體設(shè)計時，比較實際的做法是通過對不同神經(jīng)元數(shù)進行訓(xùn)練對比，然后適當(dāng)?shù)丶由弦稽c余量。 4 學(xué)習(xí)速率 學(xué)習(xí)速率決定每一次循環(huán)訓(xùn)練中所產(chǎn)生的權(quán)值變化量。學(xué)習(xí)速率的選取范圍在 0． 01— 0． 8之間。 BP網(wǎng)絡(luò)的局限與不足 (1)需要較長的訓(xùn)練時間 因為涉及到求導(dǎo)的運算，需要的時間較長 (2)訓(xùn)練癱瘓問題 通常為了避免這種現(xiàn)象的發(fā)生，一是選取較小的初始權(quán)值，二是采用較小的學(xué)習(xí)速率，但這又增加了訓(xùn)練時間。 1 附加動量法 附加動量法使網(wǎng)絡(luò)在修正其權(quán)值時，不僅考慮誤差在梯度上的作用，而且考慮在誤差曲面上變化趨勢的影響，其作用如同一個低通濾波器，它允許網(wǎng)絡(luò)忽略網(wǎng)絡(luò)上的微小變化特性。當(dāng)動量因子取值為零時，權(quán)值的變化僅是根據(jù)梯度下降法產(chǎn)生；當(dāng)動量因子取值為 1時，新的權(quán)值變化則是設(shè)置為最后一次權(quán)值的變化，而依梯度法產(chǎn)生的變化部分則被忽略掉了。 通常調(diào)節(jié)學(xué)習(xí)速率的準(zhǔn)則是：檢查權(quán)值的修正值是否真正降低了誤差函數(shù)，如果確實如此，則說明所選取的學(xué)習(xí)速率值小了，可以對其增加一個量；若不是這樣，而產(chǎn)生了過調(diào)，那么就應(yīng)該減小學(xué)習(xí)速率的值。這個技術(shù)已編入了函數(shù)。 自適應(yīng)學(xué)習(xí)速率通過在保證穩(wěn)定訓(xùn)練的前提下 ， 達到了合理的高速率 ，可以減少訓(xùn)練時間； 7)
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1