反向傳播網(wǎng)絡(luò)ppt課件-展示頁
2025-05-15 18:03本頁面
【正文】 圖 6． 4 誤差反向傳播法的圖形解釋 BP網(wǎng)絡(luò)的訓(xùn)練過程 為了訓(xùn)練一個 BP網(wǎng)絡(luò)，需要計算網(wǎng)絡(luò)加權(quán)輸入矢量以及網(wǎng)絡(luò)輸出和誤差矢量，然后求得誤差平方和。 然后計算 并同樣通過將 ei與該層激活函數(shù)的一階導(dǎo)數(shù) f1’相乘，而求得 δij， 以此求出前層權(quán)值的變化量 Δw1ij。 6． 2． 3 誤差反向傳播的流程圖與圖形解釋 誤差反向傳播過程實際上是通過計算輸出層的誤差 ek，然后將其與輸出層激活函數(shù)的一階導(dǎo)數(shù) f2’相乘來求得δki。 6． 2． 1信息的正向傳遞 1)隱含層中第 i個神經(jīng)元的輸出為： 2)輸出層第 k個神經(jīng)元的輸出為： 3)定義誤差函數(shù)為： () （ ） （ ） 6． 2． 2利用梯度下降法求權(quán)值變化及誤差的反向傳播 (1)輸出層的權(quán)值變化 對從第 i個輸入到第 k個輸出的權(quán)值有： 其中： 同理可得： （ ） （ ）（ ） （ ） (2)隱含層權(quán)值變化 對從第 j個輸入到第 i個輸出的權(quán)值，有： 其中： 同理可得： （ ） （ ） （ ） 通過 MATLAB的實現(xiàn)過程： 1)對于 (6． 1)式所表示的隱含層輸出 ， 若采用對數(shù) S型激活函數(shù) ， 則用函數(shù) ； 若采用雙曲正切 S型激活函數(shù) ， 則用函數(shù) ； 2)對于 (6． 2)式所表示的輸出層輸出 ， 若采用線性激活函數(shù)有 ； 3)對于 (6． 3)式所表示的誤差函數(shù) ， 可用函數(shù) 之； 4)有 (6． 4)、 (6． 7)、 (6． 8)和 (6． 10)式所表示的輸出層以及隱含層中權(quán)值與偏差的變化量； 5)由 ()和 ()式所表示的誤差的變化有函數(shù) 、 。 如果在輸出層沒有得到期望的輸出，則計算輸出層的誤差變化值，然后轉(zhuǎn)向反向傳播，通過網(wǎng)絡(luò)將誤差信號沿原來的連接通路反傳回來修改各層神經(jīng)元的權(quán)值直至達(dá)到期望目標(biāo)。 BP算法是由兩部分組成：信息的正向傳遞與誤差的反向傳播。 其主要思想為：對于 q個輸入學(xué)習(xí)樣本： P1，P2， ……P q， 已知與其對應(yīng)的輸出樣本為： T1，T2， ……T q。 只有當(dāng)希望對網(wǎng)絡(luò)的輸出進(jìn)行限制，如限制在 0和 1之間，那么在輸出層應(yīng)當(dāng)包含 S型激活函數(shù)，在一般情況下，均是在隱含層采用 S型激活函數(shù)，而輸出層采用線性激活函數(shù)。 BP網(wǎng)絡(luò)的激活函數(shù)必須是處處可微的，所以它就不能采用二值型的閥值函數(shù) {0， 1}或符號函數(shù){— 1， 1}， BP網(wǎng)絡(luò)經(jīng)常使用的是 S型的對數(shù)或正切激活函數(shù)和線性函數(shù)。 6． 1 BP網(wǎng)絡(luò)模型與結(jié)構(gòu) 一個具有 r個輸入和一個隱含層的神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu) 感知器和自適應(yīng)線性元件的主要差別在激活函數(shù)上：前者是二值型的，后者是線性的。 由于其權(quán)值的調(diào)整采用反向傳播（ Backpropagation） 的學(xué)
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1