【文章內(nèi)容簡介】 [1,1]、 Wjk(t)∈ [1,1],θj(t)∈ [1,1], θk(t)∈ [1,1]。 (一 ) 前向計算 ②輸入一個學習樣本（ XK,TK） ,其中 K∈ {1,2,…,N}、 N為樣本數(shù)， XK∈ Rn， TK∈ Rm 。 ③計算隱層各節(jié)點的輸出值： j∈ {1,2,…,n1} ? ?? ???????ninijKiijjiijj XWfYWfY1 112 )()( ??140 52 ④ 計算輸出層節(jié)點的輸出： k∈ {1,2,…,m} (二 ) 逆向誤差修正計算： ⑤輸出層節(jié)點和隱層節(jié)點之間連接權(quán)值修正量的計算： k∈ {1,2,…,m} ⑥ 隱層節(jié)點和輸入層節(jié)點間連接權(quán)值修正量的計算： ⑦用⑤求出的誤差修正量 δk來修正輸出層和隱層間連接權(quán)值矩陣 Wjk和閾值向量 θk。例如對節(jié)點 k和隱層 j的連接權(quán)值 Wjk和節(jié)點 k的閾值的修正為： ?????1123 )(njkjjkk YWfY ?)1()( 333 kkkKkk YYYT ?????????????mkjkkjjj WYY122 )1( ??140 53 ⑧ 用⑥求出的誤差修正量 δj來修正隱層和輸入層間連接權(quán)值矩陣 Wij和閾值向量 θj。例如隱層 j和輸入層節(jié)點 i的連接權(quán)值 Wij和節(jié)點 j的閾值的修正為： ⑨如果全部學習樣本未取完，則返②，否則， ⑩ 計算誤差函數(shù) E， 并判斷 E是否小于規(guī)定的誤差上限 ，如果 E小于誤差上限 ， 則算法結(jié)束；否則 ， 如果學習次數(shù)到算法結(jié)束；否則更新學習次數(shù) t = t+1， 返回 ② 。 kkkjkjkjkttYtWtW???????????????)()1()()1( 2jjjijijijttYtWtW???????????????)()1()()1( 1140 54 W和 ?的初始化 取一學習樣本做為輸入信號 中間層節(jié)點輸出的計算 輸出層節(jié)點輸出的計算 輸出層節(jié)點誤差的計算 中間層節(jié)點誤差的計算 中間層和輸出層間權(quán)值的更新，輸出層節(jié)點閾值更新 輸入層和中間層間權(quán)值的更新，中間層節(jié)點閾值更新 全部學習樣本取完？ 學習次數(shù)達到？ 誤差 E小于誤差上限？ 學習結(jié)束 開始 Y N N Y Y N 圖 BP算法程序流程圖 140 55 X修正值緩存區(qū)初始化 權(quán)值和閾值的更新 修正值緩存區(qū)更新 對每個學習樣本計算誤差 全部學習樣本取完嗎？ Y N 圖 一括修正部分程序 流程圖 一括修正法對圖 。 140 56 使用 Memond法修正權(quán)值向量和閾值向量時，要考慮到前一次修正量。如果 (t1)時刻的修正量為 △ W(t1)，t時刻計算的修正量為 △ W(t)，設(shè) Memond系數(shù)為 m，則Memond法對權(quán)值的修正量為： △ W (t+1) = △ W(t)+m△ W(t1) 當 t時刻計算的修正量為 △ W(t)和 Memond項 △ W(t1)符號相異時能使本次的修正量 △ W(t)值變小，即能抑制振蕩，因而能加快學習過程。為使本次修正量更接近于前一次的修正方向，應該使 Memond系數(shù)不斷增加，修改其修正量為： △ W (t+1) = △ W(t)+m(t)△ W(t1) m(t) = △ m + m(t1) 140 57 (b)一括修正法的學習曲線 學習次數(shù) 20 60 100 μ0= α= β= 誤差總和 416次限制 s函數(shù)的輸出 （ 304次） 誤差總和 誤差總和 (c)memond法的學習曲線 學習次數(shù) 20 60 100 μ0= α= β= m= 誤差總和 55次 (a)逐次修正法的學習曲線 學習 次數(shù) 誤差總和 20 60 100 μ0= α= β= 誤差總和 699次限制 s函數(shù)的輸出 （ 545次） (d)修正 memond法的學習曲線 學習次數(shù) 誤差總和 20 60 100 μ0= α= β= m= Δ m= 誤差總和 21次 圖 各種修正權(quán)值 方法 的比較 140 58 參數(shù) u0 Memond法 m= 修正 memond法m= △ m= 55 31 47 43 63 61 140 59 167。 BP算法收斂性定理 定理 令 φ(X)為一有界單調(diào)遞增連續(xù)函數(shù)， K為Rn維的有界閉集合， f(X)=f(X1,X2,…,Xn)是 K上的連續(xù)函數(shù)，那么對于任意的 ε0。存在正整數(shù) N和常數(shù) Ci、θi(i=1,2,…,N)和 Wij(i=1,2,…,N。j=1,2,…,n)使： () 成立 。 此定理說明對于任意 ε0， 存在一個三層網(wǎng)絡(luò) ， 其隱單元的輸出函數(shù)為 φ(X)， 輸入輸出單元為線性的 ，對于任意連續(xù)映射 f： Rn→R m， 在任意的有界閉集合上能以任意精度逼近 。 ?? ?????? ? ?? ??NinjijijinKXXWCXXXf1 121 )(),...,(m ax140 60 BP算法雖然簡單 ， 對各個方面都有重要意義 ， 但是它存在有以下問題： 1． 從數(shù)學上看它是一個非線性優(yōu)化的問題 ， 這就不可避免地存在局部極小的問題 。 2． 學習算法的收斂速度很慢 ， 通常需要幾千步迭代或更多 。 3． 網(wǎng)絡(luò)的運行還是單向傳播 ， 沒有反饋 ， 目前這種模型并不是一個非線性動力學系統(tǒng) ， 只是一個非線性映射 。 140 61 4． 網(wǎng)絡(luò)的隱節(jié)點數(shù)目選取尚無理論上的指導 ， 而是根據(jù)經(jīng)驗或?qū)嶒炦x取 。 5．對于新加入的樣本要影響已經(jīng)學完的樣本，不能在線學習，同時描述每一個樣本的特征數(shù)目也要求必須相同。 140 62 167。 誤差逆?zhèn)鞑ニ惴?(BP算法 )的若干改進 167。 基于全局學習速率自適應調(diào)整的 BP算法 167。 基于局部學習速率自適應調(diào)整的 BP算法 167。 BI(Back Impedance)算法 140 63 167。 基于全局學習速率自適應調(diào)整的BP算法 1． 加入動量項 其中 ， ?為動量系數(shù) ， 一般取 。 引入這個動量項之后 ， 使得調(diào)節(jié)向著底部的平均方向變化 ， 不致產(chǎn)生大的擺動 ， 即動量起到緩沖平滑的作用 。 若系統(tǒng)進入誤差曲面的平坦區(qū) ， 那么誤差將變化很小 ， 于是 △ ?(t+1)近似等于 △ ?(t) ， 而平均的△ ?將變?yōu)椋? 式中 ? / (1 ?)變化大 ， 將調(diào)節(jié)盡快脫離飽和區(qū)和截至區(qū) 。 )()1( twwEtw ???????? ??wEw?????????1140 64 2． 學習速率的經(jīng)驗公式法 對于批處理更新的學習速率，是基于相類似訓練模式產(chǎn)生類似梯度的假設(shè)。 ?= / ?= 3． 學習速率漸小法 從大的學習速率 ?(0)開始，在訓練期間，這個值減小到大約 ?(0)/(t+1)，后來為 ?(t) = ?(0)/(t+1) 22221 mNNN ??????140 65 4． 漸進自適應學習速率 用一種簡單的進化策略來調(diào)節(jié)學習速率。從某個值開始，下一步更新通過用增加和減小學習速率去完成。產(chǎn)生比較好性能中的一個被用作為下一步更新的起始點： ① 創(chuàng)建兩個一樣的網(wǎng)絡(luò)和初始學習速率 。 ②按下式調(diào)節(jié)兩個網(wǎng)絡(luò)的權(quán)。 EwEttwijij??????????????)()(?140 66 ③ 如果兩者總誤差已經(jīng)得到增加 (回溯 )， 放棄這些網(wǎng)絡(luò)并重新起動以前的網(wǎng)絡(luò)和初始學習速率 。 ④在減小總誤差的情況下，用具有比較小的總誤差的網(wǎng)絡(luò)以及學習速率以啟動下一個學習步。 140 67 167。 基于局部學習速率自適應調(diào)整的BP算法 1． 基于符號變換的學習速率自適應 工作步驟如下： ① 對每個權(quán)值 ， 選擇某個小初值 ?ij(0)； ②修改學習速率 ?ij(t)= ?ij(t1)? u 如果 否則 ? ? ? ? 01 ??????? tEtEijij ??? ? ? ? ? ? ????????????????? 1tEttijijijij ?????? ? ? ? ? ?1?????????? tEtt ijijijij ?????140 68 ③ 更新連接 只要保持 u?1/d，選擇合適的參數(shù)和是很容易的。推薦的值分別是 。如果總誤差增加。用回溯策略重新起動更新步驟，對于這種重新起動，所有學習速率被減半。 2． Delta—Bar—Delta技術(shù) Delta—Bar—Delta方法通過觀察指數(shù)平均梯度的符號變化來控制學習速率 。 通過加入常值代替乘這個值來提高學習速率： ① 對每個權(quán)重 ， 選擇某個小的初值 ?ij(0) 140 69 ② 修改學習速率 如果 如果 其他 其中 ?(t)表示指數(shù)平均梯度： ? ? ? ? utt ??? 1ijij ?? ? ? ? ? 01ij????? ttE ij??? ? ? ? dtt ??? 1ijij ?? ? ? ? ?01ij????? ttE ij??? ? ? ?1ijij ?? tt ??? ? ? ? ? ? ? ?11 ?????? ttEt ijijij ????140 70 ③ 更新連接 對于 u推薦很不同的值 (， ， ， )，對于 d ，采用 (， ， )和對于 ?采用 。特別是難于找到合適的 u ，小的值可能產(chǎn)生慢自適應，而大的值危及學習過程。 ? ? ? ?ijijijEtt??? ??????140 71 167。 BI(Back Impedance)算法 1． BI算法 ① 給權(quán)值賦予一個小的隨機數(shù) 。 ② 給定輸入函數(shù)值與相應的輸出函數(shù)值 。 ③計算每個節(jié)點的輸出值， ④計算輸出層節(jié)點的誤差項， )e x p (11? ????iiijj YWY)1()( lllll YYYT ??????? ?????lkllkkk WYY ?? )1(? ?????jjkkjjj WYY ?? )1(140 72 ⑤ 調(diào)整權(quán)值 Wij(t+1)= Wij(t) + a?j Y i + b(Wij(t) Wij(t1))+ c(Wij(t1) Wij(t2)) 式中， a學習率，相當于梯度下降算法中的學習步長； b影響從“前一次”權(quán)值改變到“當前”權(quán)值的權(quán)值空間運動方向，是影響權(quán)值變化的一個常數(shù)； c 影響從“再前一次”權(quán)值改變到“前一次”權(quán)值的權(quán)值空間運動方向，也是影響權(quán)值變化的常數(shù)。 a、 b、 c三個常數(shù)滿足下列關(guān)系，則收斂速度會加快： a= 1 / (1+J+M+D) b= (2J+M) / (J+M+D) c= － J / (J+M+D) 140 73 式中 J、 M、 D滿足： ⑥給定另一輸入函數(shù)值，返回②。所有的輸入函數(shù)值循環(huán)進行計算，直至所有權(quán)值穩(wěn)定，網(wǎng)絡(luò)誤差達到預定精度算法結(jié)束。 WEtWDtWMtWJ?