人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第4講bp神經(jīng)網(wǎng)絡(luò)-文庫吧
2024-12-24 01:10 本頁面
【正文】 – 輸出層第 k個神經(jīng)元的輸出 – 定義誤差函數(shù) 2022/2/1 17 學(xué)習(xí)規(guī)則 ? 利用梯度下降法求權(quán)值變化及誤差的反向傳播 – 輸出層的權(quán)值變化 ? 其中 ? 同理可得 2022/2/1 18 學(xué)習(xí)規(guī)則 ? 利用梯度下降法求權(quán)值變化及誤差的反向傳播 – 隱含層權(quán)值變化 ? 其中 ? 同理可得 2022/2/1 19 學(xué)習(xí)規(guī)則 ? 對于 f1為對數(shù) S型激活函數(shù)， ? 對于 f2為線性激活函數(shù) 2022/2/1 20 誤差反向傳播圖形解釋 ? 誤差反向傳播過程實際上是通過計算輸出層的誤差 ek，然后將其與輸出層激活函數(shù)的一階導(dǎo)數(shù) f2’相乘來求得δ ki ? 由于隱含層中沒有直接給出目標(biāo)矢量，所以利用輸出層的 δ ki反向傳遞來求出隱含層權(quán)值的變化量 Δw2 ki。然后計算 ? 同樣通過將 ei與該層激活函數(shù)的一階導(dǎo)數(shù) f1’相乘，而求得 δ ij，以此求出前層權(quán)值的變化量 Δw1 ij ? 如果前面還有隱含層，沿用上述同樣方法依此類推，一直將輸出誤差 ek逐層的反推算到第一層為止 2022/2/1 21 誤差反向傳播圖形解釋 2022/2/1 22 網(wǎng)絡(luò)訓(xùn)練 ? 訓(xùn)練 BP網(wǎng)絡(luò)，需要計算網(wǎng)絡(luò)加權(quán)輸入矢量以及網(wǎng)絡(luò)輸出和誤差矢量，然后求誤差平方和 ? 當(dāng)所訓(xùn)練矢量的誤差平方和小于誤差目標(biāo)，訓(xùn)練停止；否則在輸出層計算誤差變化，且采用反向傳播學(xué)習(xí)規(guī)則來調(diào)整權(quán)值，然后重復(fù)此過程 ? 網(wǎng)絡(luò)完成訓(xùn)練后，對網(wǎng)絡(luò)輸入一個不是訓(xùn)練集合中的矢量，網(wǎng)絡(luò)將以泛化方式給出輸出結(jié)果 2022/2/1 23 網(wǎng)絡(luò)訓(xùn)練 ? 為了能夠較好地掌握 BP網(wǎng)絡(luò)的訓(xùn)練過程，我們用兩層網(wǎng)絡(luò)為例來敘述 BP網(wǎng)絡(luò)的訓(xùn)練步驟 ? 初始化：用小的隨機數(shù)初始化每一層的權(quán)值 W和偏差 B，保證網(wǎng)絡(luò)不被大的加權(quán)輸入飽和 – 期望誤差最小值 error_goal – 最大循環(huán)次數(shù) max_epoch – 修正權(quán)值的學(xué)習(xí)速率 1r，一般情況下 k＝ , 2022/2/1 24 網(wǎng)絡(luò)訓(xùn)練 ? 變量表達(dá)：計算網(wǎng)絡(luò)各層輸出矢量 A1和 A2以及網(wǎng)絡(luò)誤差 E – A1＝ tansig(W1*P， B1)； – A2＝ purelin(W2*A1， B2)； – E＝ TA； ? 權(quán)值修正：計算各層反傳的誤差變化 D2和 D1并計算各層權(quán)值的修正值以及新權(quán)值： – D2＝ deltalin(A2， E)； – D1＝ deltatan(A1， D2， W2)； – [dlWl， dBl]＝ learnbp(P， D1， lr)； – [dW2， dB2]＝ 1earnbp(A1， D2， 1r)； – W1＝ W1十 dW1； B1＝ B1十 dBl； – W2＝ W2十 dW2； B2＝ B2十 dB2 2022/2/1 25 網(wǎng)絡(luò)訓(xùn)練 ? 計算權(quán)值修正后誤差平方和 – SSE＝ sumsqr(Tpurelin(W2*tansig(W1*P， B1)， B2)) ? 檢查： SSE是否小于 err_goal。若是，訓(xùn)練結(jié)束；否則繼續(xù) ? 以上所有的學(xué)習(xí)規(guī)則與訓(xùn)練的全過程，可以用函數(shù) – 它的使用只需定義有關(guān)參數(shù)：顯示間隔次數(shù)，最大循環(huán)次數(shù)，目標(biāo)誤差，以及學(xué)習(xí)速率。調(diào)用后返回訓(xùn)練后權(quán)值，循環(huán)總數(shù)和最終誤差 – TP＝ [disp_freq max_epoch err_goal 1r] – [W， B， epochs， errors]＝ trainbp(W， B，’ F’， P，T， TP) 2022/2/1 26 三、網(wǎng)絡(luò)設(shè)計 網(wǎng)絡(luò)的層數(shù) 隱含層神經(jīng)元數(shù) 初始權(quán)值的選取 學(xué)習(xí)速率 期望誤差的選取 應(yīng)用舉例 局限性 2022/2/1 27 網(wǎng)絡(luò)的層數(shù) ? 理論上已經(jīng)證明：具有偏差和至少一個 S型隱含層加上一個線性輸出層的網(wǎng)絡(luò)，能夠逼近任何有理函數(shù) – 定理： ? 增加層數(shù)主要可以進一步的降低誤差，提高精度，但同時也使網(wǎng)絡(luò)復(fù)雜化，從而增加了網(wǎng)絡(luò)權(quán)值的訓(xùn)練時間。 ? 一般情況下應(yīng)優(yōu)先考慮增加隱含層中神經(jīng)元數(shù) ? 僅用具有非線性激活函數(shù)的單層網(wǎng)絡(luò)來解決問題沒有必要或效果不好 – 線性問題 – 非線性問題 2022/2/1 28 隱含層神經(jīng)元數(shù) ? 網(wǎng)絡(luò)訓(xùn)練精度的提高，可以通過采用一個隱含層，而增加其神經(jīng)元數(shù)的方法來獲得。這在結(jié)構(gòu)實現(xiàn)上，要比增加更多的隱含層簡單得多 ? 定理： – 實現(xiàn)任意 N個輸入向量構(gòu)成的任何布爾函數(shù)的前向網(wǎng)絡(luò)所需權(quán)系數(shù)數(shù)目為 ? 在具體設(shè)計時，比較實際的做法是通過對不同神經(jīng)元數(shù)進行訓(xùn)練對比，然后適當(dāng)?shù)丶由弦稽c余量 2022/2/1 29 初始權(quán)值的選取 ? 一般取初始權(quán)值在 (1， 1)之間的
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1