bp神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)介紹-wenkub.com
2025-05-22 22:34 本頁面
【正文】 根據(jù)相應(yīng)式子，此時(shí)的訓(xùn)練步長會變得非常小，進(jìn)而將導(dǎo)致訓(xùn)練速度降得非常低，最終導(dǎo)致網(wǎng)絡(luò)停止收斂 穩(wěn)定性問題 用修改量的綜合實(shí)施權(quán)的修改 連續(xù)變化的環(huán)境，它將變成無效的 2022/6/22 72 步長問題 BP網(wǎng)絡(luò)的收斂是基于無窮小的權(quán)修改量 步長太小，收斂就非常慢 步長太大，可能會導(dǎo)致網(wǎng)絡(luò)的癱瘓和不穩(wěn)定 自適應(yīng)步長，使得權(quán)修改量能隨著網(wǎng)絡(luò)的訓(xùn)練而不斷變化。 2022/6/22 53 1 用不同的小偽隨機(jī)數(shù)初始化 W， V； 2 初始化精度控制參數(shù) ε；學(xué)習(xí)率 α ； 3 循環(huán)控制參數(shù) E=ε+1；循環(huán)最大次數(shù) M；循環(huán)次數(shù)控制參數(shù) N=0； 4 while Eε amp。 w(k)ij=∑p w(k)ij 2022/6/22 49 1 for k=1 to L do 初始化 W(k)； 2 初始化精度控制參數(shù) ε； 3 E=ε+1。 4 while Eε do E=0。 δpk1= fk1′(p) (wp1δ1k+ wp2δ2k+… + wpmδm k) vhp=vhp+?vhp vhp=αδpk1ohk2 =αfk1 ′(p)( wp1δ1k+ wp2δ2k+ + wpmδmk)ohk2 =αopk1(1opk1)( wp1δ1k+ wp2δ2k+ + wpmδmk)ohk2 2022/6/22 41 ANp ANq ANh vhp δpk1 δ1k wp1 wpm δqk wpq δmk 第 k2層 第 k層 第 k1層 … … 基本 BP算法 ? i=x1w1i+x2w2i+ +xnwni 2022/6/22 42 n e ten etfo ???? 11)()1()()1(1)( 22 ooooeen e tf n e tn e t ????????? ??2022/6/22 43 x1 o1 輸出層 隱藏層 輸入層 x2 o2 om xn … … … … W V 樣本 權(quán)初始化 向前傳播階段 Op=Fn(…(F 2(F1(XpW(1))W(2))…)W (n)) 誤差測度 2022/6/22 44 ? ?????mjpjpjp oyE1221向后傳播階段 誤差傳播階段 輸出層權(quán)的調(diào)整 wpq= αδqop =αfn′ (q)(yqoq)op =αoq(1oq) (yqoq)op 隱藏層權(quán)的調(diào)整 2022/6/22 45 ANp ANq ANh vhp δpk1 δ1k wp1 wpq δqk wpm δmk … … vhp =αopk1(1opk1)( wp1δ1k+ wp2δ2k+ + wpmδmk)ohk2 樣本集： S={(X1,Y1),(X2,Y2),… ,(Xs,Ys)} 基本思想 ： 逐一地根據(jù)樣本集中的樣本 (Xk,Yk)計(jì)算出實(shí)際輸出 Ok和誤差測度 E1，對 W(1) ， W(2) ， … ， W(L)各做一次調(diào)整，重復(fù)這個(gè)循環(huán)，直到 ∑Epε。 4. BP網(wǎng)一般都選用二級網(wǎng)絡(luò) 。 2）模式識別：用一個(gè)特定的輸出向量將它與輸入向量聯(lián)系起來。 有導(dǎo)師學(xué)習(xí)的訓(xùn)練算法的主要步驟包括： 1） 從樣本集合中取一個(gè)樣本 （ Ai， Bi） ； 2） 計(jì)算出網(wǎng)絡(luò)的實(shí)際輸出 O； 3） 求 D=BiO； 4） 根據(jù) D調(diào)整權(quán)矩陣 W； 5） 對每個(gè)樣本重復(fù)上述過程 ， 直到對整個(gè)樣本集來說 ， 誤差不超過規(guī)定范圍 。 人工神經(jīng)網(wǎng)絡(luò)的表達(dá)能力大大地限制了它的學(xué)習(xí)能力 。當(dāng)變化最后消失時(shí)，網(wǎng)絡(luò)達(dá)到了平衡狀態(tài)。 輸入的原始信號被逐步地加強(qiáng) 、 被修復(fù) 。隱藏層不直接接受外界的信號，也不直接向外界發(fā)送信號 2022/6/22 18 輸出層 隱藏層 輸入層 o1 o2 om … x1 x2 xn … … … … … … 約定 : 輸出層的層號為該網(wǎng)絡(luò)的層數(shù)： n層網(wǎng)絡(luò) ， 或 n級網(wǎng)絡(luò) 。 輸入層 ：被記作第 0層 。 人工神經(jīng)元的基本構(gòu)成 2022/6/22 10 xn wn ∑ x1 w1 x2 w2 =XW … 激活函數(shù)與 MP模型 線性函數(shù)、非線性斜面函數(shù)、 閾值函數(shù) S形函數(shù) MP模型 2022/6/22 11 x2 w2 ∑ f o=f（ ） xn wn … =XW x1 w1 2022/6/22 12 … … x1 x2 … xn o1 o2 om wnm w11 w1m w2m wn1 輸出層 輸入層 W=（ wij） 輸出層的第 j個(gè)神經(jīng)元的網(wǎng)絡(luò)輸入記為 j： j=x1w1j+x2w2
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1