【文章內(nèi)容簡(jiǎn)介】 [1,1]、 Wjk(t)∈ [1,1],θj(t)∈ [1,1], θk(t)∈ [1,1]。 (一 ) 前向計(jì)算 ②輸入一個(gè)學(xué)習(xí)樣本（ XK,TK） ,其中 K∈ {1,2,…,N}、 N為樣本數(shù)， XK∈ Rn， TK∈ Rm 。 ③計(jì)算隱層各節(jié)點(diǎn)的輸出值： j∈ {1,2,…,n1} ? ?? ???????ninijKiijjiijj XWfYWfY1 112 )()( ??140 52 ④ 計(jì)算輸出層節(jié)點(diǎn)的輸出： k∈ {1,2,…,m} (二 ) 逆向誤差修正計(jì)算： ⑤輸出層節(jié)點(diǎn)和隱層節(jié)點(diǎn)之間連接權(quán)值修正量的計(jì)算： k∈ {1,2,…,m} ⑥ 隱層節(jié)點(diǎn)和輸入層節(jié)點(diǎn)間連接權(quán)值修正量的計(jì)算： ⑦用⑤求出的誤差修正量 δk來修正輸出層和隱層間連接權(quán)值矩陣 Wjk和閾值向量 θk。例如對(duì)節(jié)點(diǎn) k和隱層 j的連接權(quán)值 Wjk和節(jié)點(diǎn) k的閾值的修正為： ?????1123 )(njkjjkk YWfY ?)1()( 333 kkkKkk YYYT ?????????????mkjkkjjj WYY122 )1( ??140 53 ⑧ 用⑥求出的誤差修正量 δj來修正隱層和輸入層間連接權(quán)值矩陣 Wij和閾值向量 θj。例如隱層 j和輸入層節(jié)點(diǎn) i的連接權(quán)值 Wij和節(jié)點(diǎn) j的閾值的修正為： ⑨如果全部學(xué)習(xí)樣本未取完，則返②，否則， ⑩ 計(jì)算誤差函數(shù) E， 并判斷 E是否小于規(guī)定的誤差上限 ，如果 E小于誤差上限 ， 則算法結(jié)束；否則 ， 如果學(xué)習(xí)次數(shù)到算法結(jié)束；否則更新學(xué)習(xí)次數(shù) t = t+1， 返回 ② 。 kkkjkjkjkttYtWtW???????????????)()1()()1( 2jjjijijijttYtWtW???????????????)()1()()1( 1140 54 W和 ?的初始化 取一學(xué)習(xí)樣本做為輸入信號(hào) 中間層節(jié)點(diǎn)輸出的計(jì)算 輸出層節(jié)點(diǎn)輸出的計(jì)算 輸出層節(jié)點(diǎn)誤差的計(jì)算 中間層節(jié)點(diǎn)誤差的計(jì)算 中間層和輸出層間權(quán)值的更新，輸出層節(jié)點(diǎn)閾值更新 輸入層和中間層間權(quán)值的更新，中間層節(jié)點(diǎn)閾值更新 全部學(xué)習(xí)樣本取完？ 學(xué)習(xí)次數(shù)達(dá)到？ 誤差 E小于誤差上限？ 學(xué)習(xí)結(jié)束 開始 Y N N Y Y N 圖 BP算法程序流程圖 140 55 X修正值緩存區(qū)初始化 權(quán)值和閾值的更新 修正值緩存區(qū)更新 對(duì)每個(gè)學(xué)習(xí)樣本計(jì)算誤差 全部學(xué)習(xí)樣本取完嗎？ Y N 圖 一括修正部分程序 流程圖 一括修正法對(duì)圖 。 140 56 使用 Memond法修正權(quán)值向量和閾值向量時(shí)，要考慮到前一次修正量。如果 (t1)時(shí)刻的修正量為 △ W(t1)，t時(shí)刻計(jì)算的修正量為 △ W(t)，設(shè) Memond系數(shù)為 m，則Memond法對(duì)權(quán)值的修正量為： △ W (t+1) = △ W(t)+m△ W(t1) 當(dāng) t時(shí)刻計(jì)算的修正量為 △ W(t)和 Memond項(xiàng) △ W(t1)符號(hào)相異時(shí)能使本次的修正量 △ W(t)值變小，即能抑制振蕩，因而能加快學(xué)習(xí)過程。為使本次修正量更接近于前一次的修正方向，應(yīng)該使 Memond系數(shù)不斷增加，修改其修正量為： △ W (t+1) = △ W(t)+m(t)△ W(t1) m(t) = △ m + m(t1) 140 57 (b)一括修正法的學(xué)習(xí)曲線 學(xué)習(xí)次數(shù) 20 60 100 μ0= α= β= 誤差總和 416次限制 s函數(shù)的輸出 （ 304次） 誤差總和 誤差總和 (c)memond法的學(xué)習(xí)曲線 學(xué)習(xí)次數(shù) 20 60 100 μ0= α= β= m= 誤差總和 55次 (a)逐次修正法的學(xué)習(xí)曲線 學(xué)習(xí) 次數(shù) 誤差總和 20 60 100 μ0= α= β= 誤差總和 699次限制 s函數(shù)的輸出 （ 545次） (d)修正 memond法的學(xué)習(xí)曲線 學(xué)習(xí)次數(shù) 誤差總和 20 60 100 μ0= α= β= m= Δ m= 誤差總和 21次 圖 各種修正權(quán)值 方法 的比較 140 58 參數(shù) u0 Memond法 m= 修正 memond法m= △ m= 55 31 47 43 63 61 140 59 167。 BP算法收斂性定理 定理 令 φ(X)為一有界單調(diào)遞增連續(xù)函數(shù)， K為Rn維的有界閉集合， f(X)=f(X1,X2,…,Xn)是 K上的連續(xù)函數(shù)，那么對(duì)于任意的 ε0。存在正整數(shù) N和常數(shù) Ci、θi(i=1,2,…,N)和 Wij(i=1,2,…,N。j=1,2,…,n)使： () 成立 。 此定理說明對(duì)于任意 ε0， 存在一個(gè)三層網(wǎng)絡(luò) ， 其隱單元的輸出函數(shù)為 φ(X)， 輸入輸出單元為線性的 ，對(duì)于任意連續(xù)映射 f： Rn→R m， 在任意的有界閉集合上能以任意精度逼近 。 ?? ?????? ? ?? ??NinjijijinKXXWCXXXf1 121 )(),...,(m ax140 60 BP算法雖然簡(jiǎn)單 ， 對(duì)各個(gè)方面都有重要意義 ， 但是它存在有以下問題： 1． 從數(shù)學(xué)上看它是一個(gè)非線性優(yōu)化的問題 ， 這就不可避免地存在局部極小的問題 。 2． 學(xué)習(xí)算法的收斂速度很慢 ， 通常需要幾千步迭代或更多 。 3． 網(wǎng)絡(luò)的運(yùn)行還是單向傳播 ， 沒有反饋 ， 目前這種模型并不是一個(gè)非線性動(dòng)力學(xué)系統(tǒng) ， 只是一個(gè)非線性映射 。 140 61 4． 網(wǎng)絡(luò)的隱節(jié)點(diǎn)數(shù)目選取尚無理論上的指導(dǎo) ， 而是根據(jù)經(jīng)驗(yàn)或?qū)嶒?yàn)選取 。 5．對(duì)于新加入的樣本要影響已經(jīng)學(xué)完的樣本，不能在線學(xué)習(xí)，同時(shí)描述每一個(gè)樣本的特征數(shù)目也要求必須相同。 140 62 167。 誤差逆?zhèn)鞑ニ惴?(BP算法 )的若干改進(jìn) 167。 基于全局學(xué)習(xí)速率自適應(yīng)調(diào)整的 BP算法 167。 基于局部學(xué)習(xí)速率自適應(yīng)調(diào)整的 BP算法 167。 BI(Back Impedance)算法 140 63 167。 基于全局學(xué)習(xí)速率自適應(yīng)調(diào)整的BP算法 1． 加入動(dòng)量項(xiàng) 其中 ， ?為動(dòng)量系數(shù) ， 一般取 。 引入這個(gè)動(dòng)量項(xiàng)之后 ， 使得調(diào)節(jié)向著底部的平均方向變化 ， 不致產(chǎn)生大的擺動(dòng) ， 即動(dòng)量起到緩沖平滑的作用 。 若系統(tǒng)進(jìn)入誤差曲面的平坦區(qū) ， 那么誤差將變化很小 ， 于是 △ ?(t+1)近似等于 △ ?(t) ， 而平均的△ ?將變?yōu)椋? 式中 ? / (1 ?)變化大 ， 將調(diào)節(jié)盡快脫離飽和區(qū)和截至區(qū) 。 )()1( twwEtw ???????? ??wEw?????????1140 64 2． 學(xué)習(xí)速率的經(jīng)驗(yàn)公式法 對(duì)于批處理更新的學(xué)習(xí)速率，是基于相類似訓(xùn)練模式產(chǎn)生類似梯度的假設(shè)。 ?= / ?= 3． 學(xué)習(xí)速率漸小法 從大的學(xué)習(xí)速率 ?(0)開始，在訓(xùn)練期間，這個(gè)值減小到大約 ?(0)/(t+1)，后來為 ?(t) = ?(0)/(t+1) 22221 mNNN ??????140 65 4． 漸進(jìn)自適應(yīng)學(xué)習(xí)速率 用一種簡(jiǎn)單的進(jìn)化策略來調(diào)節(jié)學(xué)習(xí)速率。從某個(gè)值開始，下一步更新通過用增加和減小學(xué)習(xí)速率去完成。產(chǎn)生比較好性能中的一個(gè)被用作為下一步更新的起始點(diǎn)： ① 創(chuàng)建兩個(gè)一樣的網(wǎng)絡(luò)和初始學(xué)習(xí)速率 。 ②按下式調(diào)節(jié)兩個(gè)網(wǎng)絡(luò)的權(quán)。 EwEttwijij??????????????)()(?140 66 ③ 如果兩者總誤差已經(jīng)得到增加 (回溯 )， 放棄這些網(wǎng)絡(luò)并重新起動(dòng)以前的網(wǎng)絡(luò)和初始學(xué)習(xí)速率 。 ④在減小總誤差的情況下，用具有比較小的總誤差的網(wǎng)絡(luò)以及學(xué)習(xí)速率以啟動(dòng)下一個(gè)學(xué)習(xí)步。 140 67 167。 基于局部學(xué)習(xí)速率自適應(yīng)調(diào)整的BP算法 1． 基于符號(hào)變換的學(xué)習(xí)速率自適應(yīng) 工作步驟如下： ① 對(duì)每個(gè)權(quán)值 ， 選擇某個(gè)小初值 ?ij(0)； ②修改學(xué)習(xí)速率 ?ij(t)= ?ij(t1)? u 如果 否則 ? ? ? ? 01 ??????? tEtEijij ??? ? ? ? ? ? ????????????????? 1tEttijijijij ?????? ? ? ? ? ?1?????????? tEtt ijijijij ?????140 68 ③ 更新連接 只要保持 u?1/d，選擇合適的參數(shù)和是很容易的。推薦的值分別是 。如果總誤差增加。用回溯策略重新起動(dòng)更新步驟，對(duì)于這種重新起動(dòng)，所有學(xué)習(xí)速率被減半。 2． Delta—Bar—Delta技術(shù) Delta—Bar—Delta方法通過觀察指數(shù)平均梯度的符號(hào)變化來控制學(xué)習(xí)速率 。 通過加入常值代替乘這個(gè)值來提高學(xué)習(xí)速率： ① 對(duì)每個(gè)權(quán)重 ， 選擇某個(gè)小的初值 ?ij(0) 140 69 ② 修改學(xué)習(xí)速率 如果 如果 其他 其中 ?(t)表示指數(shù)平均梯度： ? ? ? ? utt ??? 1ijij ?? ? ? ? ? 01ij????? ttE ij??? ? ? ? dtt ??? 1ijij ?? ? ? ? ?01ij????? ttE ij??? ? ? ?1ijij ?? tt ??? ? ? ? ? ? ? ?11 ?????? ttEt ijijij ????140 70 ③ 更新連接 對(duì)于 u推薦很不同的值 (， ， ， )，對(duì)于 d ，采用 (， ， )和對(duì)于 ?采用 。特別是難于找到合適的 u ，小的值可能產(chǎn)生慢自適應(yīng)，而大的值危及學(xué)習(xí)過程。 ? ? ? ?ijijijEtt??? ??????140 71 167。 BI(Back Impedance)算法 1． BI算法 ① 給權(quán)值賦予一個(gè)小的隨機(jī)數(shù) 。 ② 給定輸入函數(shù)值與相應(yīng)的輸出函數(shù)值 。 ③計(jì)算每個(gè)節(jié)點(diǎn)的輸出值， ④計(jì)算輸出層節(jié)點(diǎn)的誤差項(xiàng)， )e x p (11? ????iiijj YWY)1()( lllll YYYT ??????? ?????lkllkkk WYY ?? )1(? ?????jjkkjjj WYY ?? )1(140 72 ⑤ 調(diào)整權(quán)值 Wij(t+1)= Wij(t) + a?j Y i + b(Wij(t) Wij(t1))+ c(Wij(t1) Wij(t2)) 式中， a學(xué)習(xí)率，相當(dāng)于梯度下降算法中的學(xué)習(xí)步長(zhǎng)； b影響從“前一次”權(quán)值改變到“當(dāng)前”權(quán)值的權(quán)值空間運(yùn)動(dòng)方向，是影響權(quán)值變化的一個(gè)常數(shù)； c 影響從“再前一次”權(quán)值改變到“前一次”權(quán)值的權(quán)值空間運(yùn)動(dòng)方向，也是影響權(quán)值變化的常數(shù)。 a、 b、 c三個(gè)常數(shù)滿足下列關(guān)系，則收斂速度會(huì)加快： a= 1 / (1+J+M+D) b= (2J+M) / (J+M+D) c= － J / (J+M+D) 140 73 式中 J、 M、 D滿足： ⑥給定另一輸入函數(shù)值，返回②。所有的輸入函數(shù)值循環(huán)進(jìn)行計(jì)算，直至所有權(quán)值穩(wěn)定，網(wǎng)絡(luò)誤差達(dá)到預(yù)定精度算法結(jié)束。 WEtWDtWMtWJ?