【正文】 形狀域 多層感知器 前饋神經網絡 前饋神經網絡 誤差反傳（ BP）算法 基于 BP算法的多層前饋網絡模型 o 1 ? o k ? o l W 1 ○ W k ○ W l ○ y 1 ○ y 2 ○ ? ○ y j ? ○ y m V 1 V m ○ ○ ○ ○ ○ x 1 x 2 ? x i ? x n1 x n輸入向量： X=(x1,x2,…,xi,…,xn)T 隱層輸出向量： Y=(y1,y2,…,yj,…,ym)T 輸出層輸出向量： O=(o1,o2,…,ok,…,ol)T 期望輸出向量： d=(d1, d2,…,dk,…,dl)T 輸入層到隱層之間的權值矩陣： V=(V1,V2,…,Vj,…,Vm) 隱層到輸出層之間的權值矩陣： W=(W1,W2,…,Wk,…,Wl) 前饋神經網絡 誤差反傳（ BP）算法 基于 BP算法的多層前饋網絡模型 基于 BP算法的多層前饋網絡模型 )( kk n etfo ?對于輸出層： k=1,2,… ,l ???m0jjjkk ywne tk=1,2,… ,l 對于隱層： j=1,2,… ,m j=1,2,… ,m )( jj n e tfy ????n0iiijj xv 前饋神經網絡 誤差反傳（ BP）算法 o 1 ? o k ? o l W 1 ○ W k○ W l ○ y 1 ○ y 2 ○ ? ○ y j ? ○ y m V 1 V m ○ ○ ○ ○ ○ x 1 x 2 ? x i ? x n1 x n雙極性 Sigmoid函數(shù)： xxe1e1xf?????)(單極性 Sigmoid函數(shù)： xe11xf???)( 基于 BP算法的多層前饋網絡模型 前饋神經網絡 誤差反傳（ BP）算法 BP學習算法 一、網絡誤差 定義與權值調整思路 輸出誤差 E定義： 221E )( Od ??????l1k2kk od21 )(將以上誤差定義式展開至隱層： ????l1k2kk ne tfd21E )]([ ? ?? ???l1k2m0jjjkk ywfd21 )]([ 前饋神經網絡 誤差反傳（ BP）算法 一、網絡誤差與權值調整 進一步展開至輸入層： ? ?? ???l1k2m0jjjkk ne tfwfd21E ) ] }([{? ? ?? ? ???l1k2m0jn0iiijjkk xvfwfd21 )]}([{() BP學習算法 前饋神經網絡 誤差反傳（ BP）算法 jkjk wEw???? ??j=0,1,2,… ,m。 k=1,2,… ,l () ijij vEv???? ??i=0,1,2,… ,n。 j=1,2,… ,m () 式中負號表示梯度下降，常數(shù) η∈ (0,1)表示比例系數(shù)。 在全部推導過程中，對輸出層有 j=0,1,2,… ,m。 k=1,2,… ,l 對隱層有 i=0,1,2,… ,n。 j=1,2,… ,m BP學習算法 前饋神經網絡 誤差反傳（ BP）算法 BP學習算法 二、 BP算法推導 對于輸出層，式 ()可寫為 jkkkjkjk wne tne tEwEw?????????? ???() 對隱層，式 ()可寫為 () ijjjijij vne tne tEvEv?????????? ???對輸出層和隱層各定義一個誤差信號，令 kok ne tE?????() jyj ne tE?????() yj xi 綜合應用上式 ， 可將式 ()的權值調整式改寫為 同理，可將式 ()的權值調整式改寫為 () jokjk yw ??? ?（ ) iyjij xv ??? ?可以看出，只要計算出式 ()中的誤差信號 ?o和 ?y，權值調整量的計算推導即可完成。下面繼續(xù)推導如何求 誤差信號 ?o和 ?y 。 對于輸出層 ， ?o可展開為 對于隱層 ， ?y可展開為 下面求式 ()中網絡誤差對各層輸出的偏導。 () )(39。 kkkkkkok ne tfoEne tooEne tE???????????????（ ) )(39。 jjjjjjyj ne tfyEne tyyEne tE???????????????對于輸出層： 對于隱層 ， 利用式 ()： ????l1k2kk od21E )(（ ) )( kkkodoE ?????可得： （ ) ???????l1kjkkkkjwne tf39。odyE)()(可得： ? ?? ???l1k2m0jjjkk ywfd21E )]([將以上結果代入式 xe11xf???)()()( kkkkok o1ood ????（ ) 得到： （ ) )(])()([ jl1kjkkkkyj ne tf39。wne tf39。od?????)()( jjl1kjkok y1yw??? ?至此兩個誤差信號的推導已完成。 并應用式 )(39。 kkok ne tfoE????同理 將式 ()代回到式 ()，得到三層前饋網的 BP學習算法權值調整計算公式為： jkkkkjokjk yo1oodyw )()( ???? ????ijjl1kjkokiyjij xy1ywxv )()( ??? ???????() () )( kk n etfo ????m0jjjkk ywne t)( jj n e tfy ????n0iiijj xvxe11xf???)(????l1k2kk od21E )( ????l1k2kk ne tfd21 )]([ ? ?? ???l1k2m0jjjkk ywfd21 )]([? ?? ???l1k2m0jjjkk ne tfwfd21 ) ] }([{ ? ? ?? ? ???l1k2m0jn0iiijjkk xvfwfd21 )]}([{kokne tE?????jkkkjkjk wne tne tEwEw?????????? ???ijjjijij vne tne tEvEv?????????? ???jyjne tE?????jokjk yw ??? ?iyjij xv ??? ? BP算法的程序實現(xiàn) (1)初始化； ???P1ppP1R M E EE(4)計算各層誤差信號； (5)調整各層權值； (6)檢查是否對所有樣本完成一次 輪訓； (7)檢查網絡總誤差是否達到精 度要求。 (2)輸入訓練樣本對 X? Xp、 d? dp 計算各層輸出； (3)計算網絡輸出誤差； 多層前饋網 (感知器 )的主要能力 (1)非線性映射能力 多層前饋網能學習和存貯大量輸入 輸出模式映射關系，而無需事先了解描述這種映射關系的數(shù)學方程。只要能提供足夠多的樣本模式供 BP網絡進行學習訓練，它便能完成由 n 維輸入空間到 m 維輸出空間的非線性映射。 (2)泛化能力 當向網絡輸入訓練時未曾見過的非樣本數(shù)據(jù)時，網絡也能完成由輸入空間向輸出空間的正確映射。這種能力稱為多層前饋網的泛化能力。 (3)容錯能力 輸入樣本中帶有較大的誤差甚至個別錯誤對網絡的輸入輸出規(guī)律影響很小。 多層前饋網 (感知器 )的主要能力 誤差曲面與 BP算法的局限性 誤差函數(shù)的可調整參數(shù)的個數(shù) nw 等于各層權值數(shù)加上閾值數(shù)，即： )1()1( ?????? mlnmn w 誤差 E 是 nw+1 維空間中一個形狀極為復雜的曲面，該曲面上的每個點的“高度”對應于一個誤差值，每個點的坐標向量對應著 nw 個權值，因此稱這樣的空間為誤差的權空間。 誤差曲面的分布有兩個特點： 特點之一：存在平坦區(qū)域 BP算法的局限性 特點之二：存在多個極小點 多數(shù)極小點都是 局部極小 ，即使是全局極小往往也不是唯一的，但其特點都是誤差梯度為零。 誤差曲面的平坦區(qū)域 會使訓練次數(shù)大大增加，從而影響了收斂速度；而 誤差曲面的多極小點 會使訓練陷入局部極小，從而使訓練無法收斂于給定誤差。 BP算法的局限性 BP算法的改進 標準的 BP算法在應用中暴露出不少內在的缺陷： ⑴ 易形成局部極小而得不到全局最優(yōu)； ⑵ 訓練次數(shù)多使得學習效率低 ， 收斂速度慢； ⑶ 隱節(jié)點的選取缺乏理論指導； ⑷ 訓練時學習新樣本有遺忘舊樣本的趨勢 。 針對上述問題，國內外已提出不少有效的改進算法。