人工神經(jīng)網(wǎng)絡及其應用第4講bp神經(jīng)網(wǎng)絡-文庫吧資料
2024-10-25 20:05本頁面
【正文】 過一個動量因子來傳遞。這在結構實現(xiàn)上，要比增加更多的隱含層簡單得多 ? 定理： – 實現(xiàn)任意 N個輸入向量構成的任何布爾函數(shù)的前向網(wǎng)絡所需權系數(shù)數(shù)目為 ? 在具體設計時，比較實際的做法是通過對不同神經(jīng)元數(shù)進行訓練對比，然后適當?shù)丶由弦稽c余量 2020/11/23 29 初始權值的選取 ? 一般取初始權值在 (1， 1)之間的隨機數(shù) ? 威得羅等人在分析了兩層網(wǎng)絡是如何對一個函數(shù)進行訓練后，提出一種選定初始權值的策略 – 選擇權值的量級為 ? 在 MATLAB工具箱中可采用函數(shù) W1和 B1。調用后返回訓練后權值，循環(huán)總數(shù)和最終誤差 – TP＝ [disp_freq max_epoch err_goal 1r] – [W， B， epochs， errors]＝ trainbp(W， B，’ F’， P，T， TP) 2020/11/23 26 三、網(wǎng)絡設計 網(wǎng)絡的層數(shù) 隱含層神經(jīng)元數(shù) 初始權值的選取 學習速率 期望誤差的選取 應用舉例 局限性 2020/11/23 27 網(wǎng)絡的層數(shù) ? 理論上已經(jīng)證明：具有偏差和至少一個 S型隱含層加上一個線性輸出層的網(wǎng)絡，能夠逼近任何有理函數(shù) – 定理： ? 增加層數(shù)主要可以進一步的降低誤差，提高精度，但同時也使網(wǎng)絡復雜化，從而增加了網(wǎng)絡權值的訓練時間。然后計算 ? 同樣通過將 ei與該層激活函數(shù)的一階導數(shù) f1’相乘，而求得 δ ij，以此求出前層權值的變化量 Δw1 ij ? 如果前面還有隱含層，沿用上述同樣方法依此類推，一直將輸出誤差 ek逐層的反推算到第一層為止 2020/11/23 21 誤差反向傳播圖形解釋 2020/11/23 22 網(wǎng)絡訓練 ? 訓練 BP網(wǎng)絡，需要計算網(wǎng)絡加權輸入矢量以及網(wǎng)絡輸出和誤差矢量，然后求誤差平方和 ? 當所訓練矢量的誤差平方和小于誤差目標，訓練停止；否則在輸出層計算誤差變化，且采用反向傳播學習規(guī)則來調整權值，然后重復此過程 ? 網(wǎng)絡完成訓練后，對網(wǎng)絡輸入一個不是訓練集合中的矢量，網(wǎng)絡將以泛化方式給出輸出結果 2020/11/23 23 網(wǎng)絡訓練 ? 為了能夠較好地掌握 BP網(wǎng)絡的訓練過程，我們用兩層網(wǎng)絡為例來敘述 BP網(wǎng)絡的訓練步驟 ? 初始化：用小的隨機數(shù)初始化每一層的權值 W和偏差 B，保證網(wǎng)絡不被大的加權輸入飽和 – 期望誤差最小值 error_goal – 最大循環(huán)次數(shù) max_epoch – 修正權值的學習速率 1r，一般情況下 k＝ , 2020/11/23 24 網(wǎng)絡訓練 ? 變量表達：計算網(wǎng)絡各層輸出矢量 A1和 A2以及網(wǎng)絡誤差 E – A1＝ tansig(W1*P， B1)； – A2＝ purelin(W2*A1， B2)； – E＝ TA； ? 權值修正：計算各層反傳的誤差變化 D2和 D1并計算各層權值的修正值以及新權值： – D2＝ deltalin(A2， E)； – D1＝ deltatan(A1， D2， W2)； – [dlWl， dBl]＝ learnbp(P， D1， lr)； – [dW2， dB2]＝ 1earnbp(A1， D2， 1r)； – W1＝ W1十 dW1； B1＝ B1十 dBl； – W2＝ W2十 dW2； B2＝ B2十 dB2 2020/11/23 25 網(wǎng)絡訓練 ? 計算權值修正后誤差平方和 – SSE＝ sumsqr(Tpurelin(W2*tansig(W1*P， B1)， B2))
教學課件相關推薦
鄂ICP備17016276號-1