神經(jīng)網(wǎng)絡(luò)原理及應(yīng)用(論文資料)-資料下載頁
2025-01-08 02:25本頁面
【正文】 形狀域 多層感知器 前饋神經(jīng)網(wǎng)絡(luò) 前饋神經(jīng)網(wǎng)絡(luò) 誤差反傳（ BP）算法 基于 BP算法的多層前饋網(wǎng)絡(luò)模型 o 1 ? o k ? o l W 1 ○ W k ○ W l ○ y 1 ○ y 2 ○ ? ○ y j ? ○ y m V 1 V m ○ ○ ○ ○ ○ x 1 x 2 ? x i ? x n1 x n輸入向量： X=(x1,x2,…,xi,…,xn)T 隱層輸出向量： Y=(y1,y2,…,yj,…,ym)T 輸出層輸出向量： O=(o1,o2,…,ok,…,ol)T 期望輸出向量： d=(d1, d2,…,dk,…,dl)T 輸入層到隱層之間的權(quán)值矩陣： V=(V1,V2,…,Vj,…,Vm) 隱層到輸出層之間的權(quán)值矩陣： W=(W1,W2,…,Wk,…,Wl) 前饋神經(jīng)網(wǎng)絡(luò) 誤差反傳（ BP）算法 基于 BP算法的多層前饋網(wǎng)絡(luò)模型 基于 BP算法的多層前饋網(wǎng)絡(luò)模型 )( kk n etfo ?對于輸出層： k=1,2,… ,l ???m0jjjkk ywne tk=1,2,… ,l 對于隱層： j=1,2,… ,m j=1,2,… ,m )( jj n e tfy ????n0iiijj xv 前饋神經(jīng)網(wǎng)絡(luò) 誤差反傳（ BP）算法 o 1 ? o k ? o l W 1 ○ W k○ W l ○ y 1 ○ y 2 ○ ? ○ y j ? ○ y m V 1 V m ○ ○ ○ ○ ○ x 1 x 2 ? x i ? x n1 x n雙極性 Sigmoid函數(shù)： xxe1e1xf?????)(單極性 Sigmoid函數(shù)： xe11xf???)( 基于 BP算法的多層前饋網(wǎng)絡(luò)模型 前饋神經(jīng)網(wǎng)絡(luò) 誤差反傳（ BP）算法 BP學(xué)習(xí)算法 一、網(wǎng)絡(luò)誤差 定義與權(quán)值調(diào)整思路 輸出誤差 E定義： 221E )( Od ??????l1k2kk od21 )(將以上誤差定義式展開至隱層： ????l1k2kk ne tfd21E )]([ ? ?? ???l1k2m0jjjkk ywfd21 )]([ 前饋神經(jīng)網(wǎng)絡(luò) 誤差反傳（ BP）算法 一、網(wǎng)絡(luò)誤差與權(quán)值調(diào)整 進(jìn)一步展開至輸入層： ? ?? ???l1k2m0jjjkk ne tfwfd21E ) ] }([{? ? ?? ? ???l1k2m0jn0iiijjkk xvfwfd21 )]}([{() BP學(xué)習(xí)算法 前饋神經(jīng)網(wǎng)絡(luò) 誤差反傳（ BP）算法 jkjk wEw???? ??j=0,1,2,… ,m。 k=1,2,… ,l () ijij vEv???? ??i=0,1,2,… ,n。 j=1,2,… ,m () 式中負(fù)號表示梯度下降，常數(shù) η∈ (0,1)表示比例系數(shù)。 在全部推導(dǎo)過程中，對輸出層有 j=0,1,2,… ,m。 k=1,2,… ,l 對隱層有 i=0,1,2,… ,n。 j=1,2,… ,m BP學(xué)習(xí)算法 前饋神經(jīng)網(wǎng)絡(luò) 誤差反傳（ BP）算法 BP學(xué)習(xí)算法 二、 BP算法推導(dǎo) 對于輸出層，式 ()可寫為 jkkkjkjk wne tne tEwEw?????????? ???() 對隱層，式 ()可寫為 () ijjjijij vne tne tEvEv?????????? ???對輸出層和隱層各定義一個誤差信號，令 kok ne tE?????() jyj ne tE?????() yj xi 綜合應(yīng)用上式 ， 可將式 ()的權(quán)值調(diào)整式改寫為 同理，可將式 ()的權(quán)值調(diào)整式改寫為 () jokjk yw ??? ?（ ) iyjij xv ??? ?可以看出，只要計(jì)算出式 ()中的誤差信號 ?o和 ?y，權(quán)值調(diào)整量的計(jì)算推導(dǎo)即可完成。下面繼續(xù)推導(dǎo)如何求 誤差信號 ?o和 ?y 。 對于輸出層 ， ?o可展開為 對于隱層 ， ?y可展開為 下面求式 ()中網(wǎng)絡(luò)誤差對各層輸出的偏導(dǎo)。 () )(39。 kkkkkkok ne tfoEne tooEne tE???????????????（ ) )(39。 jjjjjjyj ne tfyEne tyyEne tE???????????????對于輸出層： 對于隱層 ， 利用式 ()： ????l1k2kk od21E )(（ ) )( kkkodoE ?????可得： （ ) ???????l1kjkkkkjwne tf39。odyE)()(可得： ? ?? ???l1k2m0jjjkk ywfd21E )]([將以上結(jié)果代入式 xe11xf???)()()( kkkkok o1ood ????（ ) 得到： （ ) )(])()([ jl1kjkkkkyj ne tf39。wne tf39。od?????)()( jjl1kjkok y1yw??? ?至此兩個誤差信號的推導(dǎo)已完成。 并應(yīng)用式 )(39。 kkok ne tfoE????同理 將式 ()代回到式 ()，得到三層前饋網(wǎng)的 BP學(xué)習(xí)算法權(quán)值調(diào)整計(jì)算公式為： jkkkkjokjk yo1oodyw )()( ???? ????ijjl1kjkokiyjij xy1ywxv )()( ??? ???????() () )( kk n etfo ????m0jjjkk ywne t)( jj n e tfy ????n0iiijj xvxe11xf???)(????l1k2kk od21E )( ????l1k2kk ne tfd21 )]([ ? ?? ???l1k2m0jjjkk ywfd21 )]([? ?? ???l1k2m0jjjkk ne tfwfd21 ) ] }([{ ? ? ?? ? ???l1k2m0jn0iiijjkk xvfwfd21 )]}([{kokne tE?????jkkkjkjk wne tne tEwEw?????????? ???ijjjijij vne tne tEvEv?????????? ???jyjne tE?????jokjk yw ??? ?iyjij xv ??? ? BP算法的程序?qū)崿F(xiàn) (1)初始化； ???P1ppP1R M E EE(4)計(jì)算各層誤差信號； (5)調(diào)整各層權(quán)值； (6)檢查是否對所有樣本完成一次 輪訓(xùn)； (7)檢查網(wǎng)絡(luò)總誤差是否達(dá)到精 度要求。 (2)輸入訓(xùn)練樣本對 X? Xp、 d? dp 計(jì)算各層輸出； (3)計(jì)算網(wǎng)絡(luò)輸出誤差； 多層前饋網(wǎng) (感知器 )的主要能力 (1)非線性映射能力 多層前饋網(wǎng)能學(xué)習(xí)和存貯大量輸入 輸出模式映射關(guān)系，而無需事先了解描述這種映射關(guān)系的數(shù)學(xué)方程。只要能提供足夠多的樣本模式供 BP網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)訓(xùn)練，它便能完成由 n 維輸入空間到 m 維輸出空間的非線性映射。 (2)泛化能力 當(dāng)向網(wǎng)絡(luò)輸入訓(xùn)練時未曾見過的非樣本數(shù)據(jù)時，網(wǎng)絡(luò)也能完成由輸入空間向輸出空間的正確映射。這種能力稱為多層前饋網(wǎng)的泛化能力。 (3)容錯能力 輸入樣本中帶有較大的誤差甚至個別錯誤對網(wǎng)絡(luò)的輸入輸出規(guī)律影響很小。 多層前饋網(wǎng) (感知器 )的主要能力 誤差曲面與 BP算法的局限性 誤差函數(shù)的可調(diào)整參數(shù)的個數(shù) nw 等于各層權(quán)值數(shù)加上閾值數(shù)，即： )1()1( ?????? mlnmn w 誤差 E 是 nw+1 維空間中一個形狀極為復(fù)雜的曲面，該曲面上的每個點(diǎn)的“高度”對應(yīng)于一個誤差值，每個點(diǎn)的坐標(biāo)向量對應(yīng)著 nw 個權(quán)值，因此稱這樣的空間為誤差的權(quán)空間。 誤差曲面的分布有兩個特點(diǎn)： 特點(diǎn)之一：存在平坦區(qū)域 BP算法的局限性 特點(diǎn)之二：存在多個極小點(diǎn) 多數(shù)極小點(diǎn)都是 局部極小 ，即使是全局極小往往也不是唯一的，但其特點(diǎn)都是誤差梯度為零。 誤差曲面的平坦區(qū)域 會使訓(xùn)練次數(shù)大大增加，從而影響了收斂速度；而 誤差曲面的多極小點(diǎn) 會使訓(xùn)練陷入局部極小，從而使訓(xùn)練無法收斂于給定誤差。 BP算法的局限性 BP算法的改進(jìn) 標(biāo)準(zhǔn)的 BP算法在應(yīng)用中暴露出不少內(nèi)在的缺陷： ⑴ 易形成局部極小而得不到全局最優(yōu)； ⑵ 訓(xùn)練次數(shù)多使得學(xué)習(xí)效率低 ， 收斂速度慢； ⑶ 隱節(jié)點(diǎn)的選取缺乏理論指導(dǎo)； ⑷ 訓(xùn)練時學(xué)習(xí)新樣本有遺忘舊樣本的趨勢 。 針對上述問題，國內(nèi)外已提出不少有效的改進(jìn)算法。
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1