bp神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)介紹-預(yù)覽頁
【正文】 (h) 非線性激活函數(shù) F(X)=kX+C F3(F2(F1(XW(1))W(2))W(3)) 2022/6/22 21 2022/6/22 22 x1 o1 輸出層 隱藏層 輸入層 x2 o2 om xn … … … … … … … 如果將輸出信號反饋到輸入端 ,就可構(gòu)成一個(gè)多層的循環(huán)網(wǎng)絡(luò) 。 隱藏層 ：除輸入層和輸出層以外的其它各層叫隱藏層。 層號確定層的高低：層號較小者 ， 層次較低 ， 層號較大者 ， 層次較高 。 ? S形函數(shù)有較好的增益控制 2022/6/22 8 2022/6/22 9 a+b o (0,c) a c=a+b/2 生物神經(jīng)網(wǎng) 六個(gè)基本特征 神經(jīng)元及其聯(lián)接 、 信號傳遞 、 訓(xùn)練 、 刺激 與 抑制 、 累積效果 、 閾值 。 2022/6/22 4 2022/6/22 5 γ γ θ θ o β if θ f（ ） = γ if ≤ θ β、 γ、 θ均為非負(fù)實(shí)數(shù) ， θ為閾值 二值形式： 1 if θ f（ ） = 0 if ≤ θ 雙極形式： 1 if θ f（ ） = 1 if ≤ θ 2022/6/22 6 β 2022/6/22 7 γ θ o 0 壓縮函數(shù) （ Squashing Function） 和邏輯斯特函數(shù)（ Logistic Function） 。 輸入： X=（ x1， x2， … ， xn） 聯(lián)接權(quán)： W=（ w1， w2， … ， wn） T 網(wǎng)絡(luò)輸入： =∑xiwi 向量形式： =XW 2022/6/22 2 xn wn ∑ x1 w1 x2 w2 =XW … 激活函數(shù)執(zhí)行對該神經(jīng)元所獲得的網(wǎng)絡(luò)輸入的變換 ，也可以稱為激勵(lì)函數(shù) 、 活化函數(shù)： o=f（ ） 線性函數(shù)（ Liner Function） f（ ） =k*+c 2022/6/22 3 o o c γ if ≥θ f（ ） = k* if ||θ γ if ≤θ γ0為一常數(shù)，被稱為飽和值，為該神經(jīng)元的最大輸出。 最簡單形式為： f（ ） = 1/(1+exp(d*)) 函數(shù)的飽和值為 0和 1。 穩(wěn)定性判定 2022/6/22 15 2022/6/22 16 輸出層 隱藏層 輸入層 o1 o2 om … x1 x2 xn … … … … … … 層次劃分 信號只被允許從較低層流向較高層 。 輸出層 ：它是網(wǎng)絡(luò)的最后一層 ， 具有該網(wǎng)絡(luò)的最大層號 ， 負(fù)責(zé)輸出網(wǎng)絡(luò)的計(jì)算結(jié)果 。 今后 ， 在需要的時(shí)候 ， 一般我們用 W（ j） 表示第 j層矩陣 。 穩(wěn)定 ：反饋信號會引起網(wǎng)絡(luò)輸出的不斷變化。 2022/6/22 23 人工神經(jīng)網(wǎng)絡(luò)最具有吸引力的特點(diǎn)是它的學(xué)習(xí)能力 。 2022/6/22 25 有導(dǎo)師學(xué)習(xí) (Supervised Learning)與有導(dǎo)師訓(xùn)練(Supervised Training)相對應(yīng) 。 優(yōu)點(diǎn)： 廣泛的適應(yīng)性和有效性 。 4）數(shù)據(jù)壓縮：減少輸出向量維數(shù)以便于傳輸或存儲。 向前傳播階段： （ 1） 從樣本集中取一個(gè)樣本 (Xp， Yp)， 將 Xp輸入網(wǎng)絡(luò)； （ 2） 計(jì)算相應(yīng)的實(shí)際輸出 Op： Op=Fl(… (F2(F1(XpW(1))W(2))… )W(L)) 2022/6/22 36 向后傳播階段 誤差傳播階段： （ 1） 計(jì)算實(shí)際輸出 Op與相應(yīng)的理想輸出 Yp的差； （ 2） 按極小化誤差的方式調(diào)整權(quán)矩陣 。如此獲得所有其它各層的誤差估計(jì)，并用這些估計(jì)實(shí)現(xiàn)對權(quán)矩陣的修改。 它更偏愛較后出現(xiàn)的樣本 給集中的樣本安排一個(gè)適當(dāng)?shù)捻樞?， 是非常困難的 。 對所有的 i， j， k： w (k)ij=0； 2022/6/22 50 對 S中的每一個(gè)樣本 （ Xp,Yp） ： 計(jì)算出 Xp對應(yīng)的實(shí)際輸出 Op； 計(jì)算出 Ep； E=E+Ep； 對所有 i， j根據(jù)相應(yīng)式子計(jì)算 ?p w (L)ij； 對所有 i， j： ? w (L)ij=? w (L)ij+?p w (L)ij； k=L1； while k≠0 do 對所有 i,j根據(jù)相應(yīng)式子計(jì)算 ?p w (k)ij； 對所有 i,j： ? w (k)ij=? w (k)ij+?p w (k)ij； k=k1 對所有 i， j， k： w (k)ij= w (k)ij+ ?w (k)ij。 逃離 統(tǒng)計(jì)方法； [Wasserman， 1986]將 Cauchy訓(xùn)練與 BP算法結(jié)合起來，可以在保證訓(xùn)練速度不被降低的情況下，找到全
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1