bp神經(jīng)網(wǎng)絡(luò)ppt課件(2)(參考版)
2025-01-11 03:59本頁面
【正文】 根據(jù)相應(yīng)式子，此時(shí)的訓(xùn)練步長會變得非常小，進(jìn)而將導(dǎo)致訓(xùn)練速度降得非常低，最終導(dǎo)致網(wǎng)絡(luò)停止收斂 穩(wěn)定性問題 用修改量的綜合實(shí)施權(quán)的修改 連續(xù)變化的環(huán)境，它將變成無效的 2022/2/2 101 幾個(gè)問題的討論 步長問題 BP網(wǎng)絡(luò)的收斂是基于無窮小的權(quán)修改量 步長太小，收斂就非常慢 步長太大，可能會導(dǎo)致網(wǎng)絡(luò)的癱瘓和不穩(wěn)定 自適應(yīng)步長，使得權(quán)修改量能隨著網(wǎng)絡(luò)的訓(xùn)練而不斷變化。 逃離 統(tǒng)計(jì)方法； [Wasserman， 1986]將 Cauchy訓(xùn)練與 BP算法結(jié)合起來，可以在保證訓(xùn)練速度不被降低的情況下，找到全局極小點(diǎn)。 2022/2/2 82 算法的主要實(shí)現(xiàn)步驟 1 用不同的小偽隨機(jī)數(shù)初始化 W， V； 2 初始化精度控制參數(shù) ε；學(xué)習(xí)率 α ； 3 循環(huán)控制參數(shù) E=ε+1；循環(huán)最大次數(shù) M；循環(huán)次數(shù)控制參數(shù) N=0； 4 while Eε amp。 對所有的 i， j， k： w (k)ij=0； 2022/2/2 79 對 S中的每一個(gè)樣本 （ Xp,Yp） ： 計(jì)算出 Xp對應(yīng)的實(shí)際輸出 Op； 計(jì)算出 Ep； E=E+Ep； 對所有 i， j根據(jù)相應(yīng)式子計(jì)算 ?p w (L)ij； 對所有 i， j： ? w (L)ij=? w (L)ij+?p w (L)ij； k=L1； while k≠0 do 對所有 i,j根據(jù)相應(yīng)式子計(jì)算 ?p w (k)ij； 對所有 i,j： ? w (k)ij=? w (k)ij+?p w (k)ij； k=k1 對所有 i， j， k： w (k)ij= w (k)ij+ ?w (k)ij。 w(k)ij=∑p w(k)ij 2022/2/2 78 消除樣本順序影響的 BP算法 1 for k=1 to L do 初始化 W(k)； 2 初始化精度控制參數(shù) ε； 3 E=ε+1。 它更偏愛較后出現(xiàn)的樣本 給集中的樣本安排一個(gè)適當(dāng)?shù)捻樞?， 是非常困難的 。 4 while Eε do E=0。如此獲得所有其它各層的誤差估計(jì)，并用這些估計(jì)實(shí)現(xiàn)對權(quán)矩陣的修改。 δpk1= fk1′(p) (wp1δ1k+ wp2δ2k+… + wpmδm k) 2022/2/2 69 隱藏層權(quán)的調(diào)整 vhp=vhp+?vhp vhp=αδpk1ohk2 =αfk1 ′(p)( wp1δ1k+ wp2δ2k+ + wpmδmk)ohk2 =αopk1(1opk1)( wp1δ1k+ wp2δ2k+ + wpmδmk)ohk2 ANp ANq ANh vhp δpk1 δ1k wp1 wpm δqk wpq δmk 第 k2層 第 k層 第 k1層 … … 2022/2/2 70 內(nèi)容回顧 基本 BP算法 – i=x1w1i+x2w2i+ +xnwni ne tene tfo ???? 11)()1()()1(1)( 22 ooooeene tf ne tne t ????????? ??2022/2/2 71 內(nèi)容回顧 x1 o1 輸出層 隱藏層 輸入層 x2 o2 om xn … … … … W V 2022/2/2 72 內(nèi)容回顧 樣本 權(quán)初始化 向前傳播階段 Op=Fn(…(F 2(F1(XpW(1))W(2))…)W (n)) 誤差測度 ? ?????mjpjpjp oyE12212022/2/2 73 內(nèi)容回顧 向后傳播階段 誤差傳播階段 輸出層權(quán)的調(diào)整 wpq= αδqop =αfn′ (q)(yqoq)op =αoq(1oq) (yqoq)op 隱藏層權(quán)的調(diào)整 ANp ANq ANh vhp δpk1 δ1k wp1 wpq δqk wpm δmk … … vhp =αopk1(1opk1)( wp1δ1k+ wp2δ2k+ + wpmδmk)ohk2 2022/2/2 74 4 基本的 BP算法 樣本集： S={(X1,Y1),(X2,Y2),… ,(Xs,Ys)} 基本思想 ： 逐一地根據(jù)樣本集中的樣本 (Xk,Yk)計(jì)算出實(shí)際輸出Ok和誤差測度 E1，對 W(1) ， W(2) ， … ， W(L)各做一次調(diào)整，重復(fù)這個(gè)循環(huán)，直到 ∑Epε。 向前傳播階段： （ 1） 從樣本集中取一個(gè)樣本 (Xp， Yp)， 將 Xp輸入網(wǎng)絡(luò)； （ 2） 計(jì)算相應(yīng)的實(shí)際輸出 Op： Op=Fl(… (F2(F1(XpW(1))W(2))… )W(L)) 2022/2/2 65 2 訓(xùn)練過程概述 向后傳播階段 誤差傳播階段： （ 1） 計(jì)算實(shí)際輸出 Op與相應(yīng)的理想輸出 Yp的差； （ 2） 按極小化誤差的方式調(diào)整權(quán)矩陣 。 4. BP網(wǎng)一般都選用二級網(wǎng)絡(luò) 。 4）數(shù)據(jù)壓縮：減少輸出向量維數(shù)以便于傳輸或存儲。 2）模式識別：用一個(gè)特定的輸出向量將它與輸入向量聯(lián)系起來。 優(yōu)點(diǎn)： 廣泛的適應(yīng)性和有效性 。 有導(dǎo)師學(xué)習(xí)的訓(xùn)練算法的主要步驟包括： 1） 從樣本集合中取一個(gè)樣本 （ Ai， Bi） ； 2） 計(jì)算出網(wǎng)絡(luò)的實(shí)際輸出 O； 3） 求 D=BiO； 4） 根據(jù) D調(diào)整權(quán)矩陣 W； 5） 對每個(gè)樣本重復(fù)上述過程 ， 直到對整個(gè)樣本集來說 ， 誤差不超過規(guī)定范圍 。 2022/2/2 54 有導(dǎo)師學(xué)習(xí) 有導(dǎo)師學(xué)習(xí) (Supervised Learning)與有導(dǎo)師訓(xùn)練(Supervised Training)相對應(yīng) 。 人工神經(jīng)網(wǎng)絡(luò)的表達(dá)能力大大地限制了它的學(xué)習(xí)能力 。 2022/2/2 52 人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練 人工神經(jīng)網(wǎng)絡(luò)最具有吸引力的特點(diǎn)是它的學(xué)習(xí)能力 。當(dāng)變化最后消失時(shí)，網(wǎng)絡(luò)達(dá)到了平衡狀態(tài)。 穩(wěn)定 ：反饋信號會引起網(wǎng)絡(luò)輸出的不斷變化。 輸入的原始信號被逐步地加強(qiáng) 、 被修復(fù) 。 今后 ， 在需要的時(shí)候 ， 一般我們用 W（ j） 表示第 j層矩陣 。隱藏層不直接接受外界的信號，也不直接向外界發(fā)送信號 輸出層 隱藏層 輸入層 o1 o2 om … x1 x2 xn … … … … … … 2022/2/2 47 約定 : 輸出層的層號為該網(wǎng)絡(luò)的層數(shù)： n層網(wǎng)絡(luò) ， 或 n級網(wǎng)絡(luò) 。 輸出層 ：它是網(wǎng)絡(luò)的最后一層 ， 具有該網(wǎng)絡(luò)的最大層號 ， 負(fù)責(zé)輸出網(wǎng)絡(luò)的計(jì)算結(jié)果 。 輸入層 ：被記作第 0層 。 穩(wěn)定性判定 2022/2/2 44 多級網(wǎng) 輸出層 隱藏層 輸入層 o1 o2 om … x1 x2 xn … … … … … … 2022/2/2 45 層次劃分 信號只被允許從較低層流向較高層 。 人工神經(jīng)元的基本構(gòu)成 xn wn ∑ x1 w1 x2 w2 =XW … 2022/2/2 39 上次課內(nèi)容回顧 激活函數(shù)與 MP模型 線性函數(shù)、非線性斜面函數(shù)、 閾值函數(shù) S形函數(shù) MP模型 x2 w2 ∑ f o=f（ ） xn wn
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1