【正文】 活動： BP 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法 2． 3． 1 BP 神經(jīng)網(wǎng)絡(luò)信號流程 ①神經(jīng)元 j 是輸出節(jié)點 (從 yi(n)開始 到 yj(n)是神經(jīng)元 j) ②神經(jīng)元 j 是隱含層節(jié)點 (從 yj(n)開始 到 yk(n)是神經(jīng)元 k) 以 單個神經(jīng)元輸出為例。 ① 在圖 （ a）中，神經(jīng)元 j 在迭代 n 時，即訓(xùn)練第 n 個例子時，輸出誤差信號定義如下：（此時 j 為輸出節(jié)點） (式 ) 定義神經(jīng)元 j的誤差瞬時值為 因此，整個誤差瞬時值 (式 ) 即為輸出層 的所有神經(jīng)元的誤差瞬時值之和。 根據(jù) Delta 學(xué)習(xí)規(guī)則，由式 可得出 (式 ) 計算： (式 ) 根據(jù)式 至式 可得下式結(jié)果，再由下面的式子可以得出式 的計算結(jié)果： (式 ) ))(()()()()(nvfnynynwnvkkJjjjkk?? ?)()()( nyndne jjj ??)(21 2 nej?? Jj j nenE )(21)( 2)( )( nw nEw ijij ??? ??)()()()()()()()()()(nwnvnvnynynenenEnwnEijjjjjjjij ??????????????)()( )( nene nE jj???1)( )( ???? ny nejj))(()( )( nvfnv ny jjj ????)()( )( nynw nv iijj ??? )())(()()( )( nynvfnenw nE ijjij ????? 第 16 頁 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 如果 令（該為負向局 向 梯度） 取激勵函數(shù)為： （ sigmoid 函數(shù)，或稱邏輯函數(shù)） (式 ) 令 a=1， 對該激勵函數(shù) 并代入求導(dǎo)： 因此 (式 ) ②在圖 （ b）中，隱含層 I 和 J，輸出層為 k： (式 ) 由式 至式 和上述推導(dǎo)過程可得： (式 ) (式 ) 又根據(jù)反向傳播定義 可知 ： (式 ) 因為式 和式 代入式 可得： )()()()())(()()()()()()()()()()(nynnwnEnvfnenvnynynenenEnvnEnijijjjjjjjjjj???????????????????????),0(1 1)( ?????????? ? xaexfy ax))(1)(()( )())(( nynynv nynvf jjjjj ??????))(1()())()(())(1()()()( nynynyndnynynen jjjjjjjj ??????????)()()( )()( )()( )()( nynnw nvnv nEnw nEnw ijijjjijij ??????????????????????? ?????)()()1( nwnwnw ijijij ????))(()()()()( nvfndnyndne kkkkk ??????? Kk k nenE 1 2 )(21)())(()()()()()()()()()()()()()()()(nvfnynEnvnynynEnvnEnnwnvnvnEnwnEjjjjjjjijjjij??????????????????????????)()()()()()()()()()(11 nynvnvnenenynenenynEjkkkKk kjkKk kj ???????????? ???? 第 17 頁 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ (式 ) 將式 代入式 可得局 向 梯度為： 根據(jù)在圖 a 中替換下標 j 可以得出 k的局 向 梯度： 因此， 注： (注意換 j與 k下標 ) 前面計算有： 如此反向向前逐層傳播計算。 影響因素分析 2． 4． 1 權(quán)值初始值設(shè)置影響分析 經(jīng)過實際應(yīng)用中實踐得知，初始值過大或過小都會影響學(xué)習(xí)速度，一般認為權(quán)值的初始值應(yīng)選為均勻分布的小數(shù)經(jīng)驗值，常用的為 (,),也有人認為( FF /3,/3? ),F為所連輸入端個數(shù)；從算法 計算與 描述得知，初始值設(shè)置為隨機數(shù)，這是為避免每一步權(quán)值的調(diào)整是同時增加或同時減小 ，防止進入飽和區(qū)（ 訓(xùn)練誤差在很長 時間內(nèi)基本保持不變，但又不是陷入局部 極 小，因為一段時間后，誤差會繼續(xù)下降。 可以根據(jù)這樣一個分布來選擇權(quán)值的初始值 ， 這樣的分布即是 需要根據(jù) 其均值為0而方差將與神經(jīng)元的連接數(shù)目成反比 的均勻分布。順序方式即在標準的 BP算法中，沒輸入一個樣本就會反向傳播誤差并調(diào)整權(quán)值 ；而批處理方式是把所有樣本輸入之后，計算網(wǎng)絡(luò)的平均總誤差為學(xué)習(xí)目標，根據(jù)總誤差計算各層誤差信號并修正權(quán)值， 平均總誤差為： 其中 m 為第 m個訓(xùn)練實例， j為輸出神經(jīng)元， je 表示第 m個訓(xùn)練實例的輸出神經(jīng)元 j的誤差， M為訓(xùn)練樣本總數(shù)， J 為輸出神經(jīng)元總數(shù)。如果在順序方式中加入隨機的輸入樣本，有利于權(quán)值的空間搜索的隨機性，一定條件上可避免 陷入局部最小。但是批處理方式能夠精確計算梯度向量，容易確立誤差收斂條件，并進行并行處理。 S 型對數(shù) 函數(shù)的漸近值只能被期望輸出逼近，卻不能達到。所以實際中設(shè)計 BP 神經(jīng) 網(wǎng)絡(luò)時選用激活函數(shù)也顯得比較重要。 因此， f(1)=1,f(1)=1,f(0)=ab=在誤差反向傳播計算中所用的是 S型對數(shù)函數(shù)，同理可以使用 S型正切函數(shù)，并對其求導(dǎo)推導(dǎo) 。而雙極性 S 型正切函數(shù)除了本身符合連續(xù)可微的條件外，具有雙極性輸出，它常常被選用為要求輸入是177。 由此可見，研究 BP神經(jīng)網(wǎng)絡(luò)激活函數(shù)是今后研究的 一個重要課題。下面是理想學(xué)習(xí)率示意圖和一些規(guī)則： ????????? ? xaexf ax ,0。相反學(xué)習(xí)率η小可以避免網(wǎng)絡(luò)的 振蕩 ，但導(dǎo)致學(xué)習(xí)收斂速度的下降。 在 BP 改進算法中引入了動量法解決 η的學(xué)習(xí)過程變化問題，增加網(wǎng)絡(luò)的穩(wěn)定性，加快學(xué)習(xí)收斂速度 ，如 MATLAB 中使用 動量及自適應(yīng) lrBP 的梯度遞減訓(xùn)練函數(shù) 。 （參考文獻 10） 2． 4． 5 輸入 輸出 歸一化影響分析 在 輸入樣本訓(xùn)練網(wǎng)絡(luò)時，如果所有輸入樣本的輸入信號都為正值或負值，則與第一隱含層的神經(jīng)元權(quán)值只能同時增加或減小，從而導(dǎo)致學(xué)習(xí)速度很慢。 歸一化的問題旨在 是歸納統(tǒng)一樣本的統(tǒng)計分布性 ，改善其分布規(guī)律 ，具體是消除均值，去相關(guān)性以及均方差均衡 。網(wǎng)絡(luò)的各 個輸入數(shù)據(jù)常常具有不同的物理意義和不同的量綱 ，為此需要使網(wǎng)絡(luò)訓(xùn)練一開始就給各訓(xùn)練輸入向量以同等的身份地位。另外，期望輸出數(shù)據(jù)不進行歸一化會導(dǎo)致數(shù)值大的分量絕對誤差大，數(shù)值小的絕對誤差小，網(wǎng)絡(luò)訓(xùn)練時只針對輸出的總誤差調(diào)整權(quán)值，因此 在總誤差中所占份額少的輸出分量相對誤差較大。 處理的方法有， 利用合理的變換等式 將輸入輸出的數(shù)據(jù)變換為 [0,1]或 [1,+1]（其選擇主要看激活函數(shù)的選擇）之 間的數(shù)據(jù)；當(dāng)輸入輸出向量中某個分量的取值過于密集時，由此可以將數(shù)據(jù)的點拉開一定距離，適當(dāng)變換分布，改善分布規(guī)律。 ?? nAe?? 第 21 頁 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 2． 4． 6 其他影響因素分析 關(guān)于能夠改善 BP 神經(jīng)網(wǎng)絡(luò)性能和學(xué)習(xí)收斂速度的影響因素還 有很多，比如輸入樣本信息內(nèi)容的選擇問題、允許誤差ε的選擇問題， 從提示中學(xué)習(xí)的問題 以及改進誤差函數(shù) 等。此外，在一個迭代過程給網(wǎng)絡(luò)的訓(xùn)練樣本分布是變形的，如果含有例外點或錯誤標記的訓(xùn)練樣本將會損壞輸入空間更大區(qū)域的泛化能力 ，降低網(wǎng)絡(luò)的性能。 提示學(xué)習(xí)是利用現(xiàn)有的關(guān)于函數(shù)的先驗知識（如函數(shù)的不變性、對成 性以及其他特性）來提高函數(shù)的逼近能力，這就需要從學(xué)習(xí)樣本中提取有關(guān) 輸入輸出 函數(shù)的信息，推斷出能夠逼近輸入輸出函數(shù)的函數(shù)，在學(xué)習(xí)中嵌入這樣的提示，使用統(tǒng)計分布的方法建立虛擬樣本，也增加了網(wǎng)絡(luò)的泛化能力 ，加快了學(xué)習(xí)速度 。 在樣本學(xué)習(xí)初期，以絕對形式的誤差函數(shù)來指導(dǎo)權(quán)值的修正；學(xué)習(xí)后期，以相對形式函數(shù)誤差為主：則 1? 隨著學(xué)習(xí)次數(shù)的增加而減少 ， 則 2? 隨學(xué)習(xí)次數(shù)的增加而增加。 BP 學(xué)習(xí)算法的改進 2． 5． 1 BP 學(xué)習(xí)算法的 優(yōu) 缺點 ① BP學(xué)習(xí)算法優(yōu)點： BP 學(xué)習(xí)算法具有 數(shù)學(xué)理論 依據(jù)可靠，推導(dǎo)過程嚴謹，通用性好， 解決了求解非線性連續(xù) 函數(shù)的多層前饋神經(jīng)網(wǎng)絡(luò) 權(quán)值 調(diào)整問題 ， 具有實現(xiàn)任何復(fù)雜非線性映射的功能，特別適合求解內(nèi)部機制的復(fù)雜問題。 ? ?? Jj jj ydnE 2)(21)(jj yd ?2221 )1(4)(4)( ?? ???? Jj jjJj jj ydydnE ?? 第 22 頁 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ② BP學(xué)習(xí)算法缺點： 基于梯度下降法及目標函數(shù)復(fù)雜， 導(dǎo)致 訓(xùn)練次數(shù)多， 訓(xùn)練時間較長， 收斂緩慢 ；基于局部搜索的優(yōu)化方法， 導(dǎo)致 有時完全不能訓(xùn)練，失敗的可能性也較大，易陷于局部極小而得不到全局最優(yōu) ；網(wǎng)絡(luò)結(jié)構(gòu)的選擇尚無統(tǒng)一完整的理論指導(dǎo)， 隱含節(jié)點個數(shù)難 以確定， 而 網(wǎng)絡(luò)的結(jié)構(gòu)直接影響網(wǎng)絡(luò)的逼近能力及推廣性質(zhì) ； 訓(xùn)練過程有暫時遺忘的現(xiàn)象即學(xué)習(xí)新樣本有遺忘舊樣本的趨勢；學(xué)習(xí)復(fù)雜性問題，即 網(wǎng)絡(luò)容量的可能性與可行性的關(guān)系問題 ，難以解決應(yīng)用問題的實例規(guī)模和網(wǎng)絡(luò)規(guī)模的矛盾問題；還有諸如新加入訓(xùn)練樣本的要求及對已學(xué)習(xí)成功網(wǎng)絡(luò)的影響，網(wǎng)絡(luò)泛化能力和訓(xùn)練能力的極限問題等。 此外還有一些諸如增加遺忘因子、誤差曲面陡度因子的方法 ，以及將多種方法和相關(guān)數(shù)學(xué)原理相結(jié)合的方法 （ 具體 請 參考相關(guān)文獻） 。這樣通過動量法不僅考慮了誤差在梯度上的作用，而且考慮了誤差曲面上變化的方向。因此可以減小 振蕩 的趨勢，促使權(quán)值的調(diào)節(jié)向著誤差曲面的底部的平均方向變化 ， 降低了網(wǎng)絡(luò)對誤差曲面在局部細節(jié)的敏感性， 在一定程度上緩解局部極小問題，但是難以避免 收斂緩慢問題。所以在權(quán)值修正的時候僅僅用偏導(dǎo)的符號，而其幅值不影響權(quán)值的修正，即權(quán)值的修正取決于與幅值無關(guān)的修正值。 使其修正值增加；當(dāng)連續(xù)兩次迭代的梯度方向相反時 ， 可將權(quán)值和閾值的修正值乘以一個減量因子，使其修正值減??；當(dāng)梯度為零時，權(quán)值和閾值的修正值保持不變；當(dāng)權(quán)值的修正發(fā)生振蕩時，其修正值將會