【正文】 如果權(quán)值在相同的梯度上連續(xù)被修正，則其幅度必將增加，從而克服了梯度幅度的不利影響，即 )()1()1()1( nwnynnw ijijij ??????? ???xexf ??? 11)(???????????????)())(()())(()()1(nxkngs ig nnxkngs ig nnxnx d e cin c 第 23 頁(yè) ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊
。 當(dāng)連續(xù)兩次迭代的梯度方向相同時(shí)，可將權(quán)值和閾值的修正值乘以一個(gè)增量因子 。 2． 5． 3 彈性 BP 學(xué)習(xí) 算法 BP 學(xué)習(xí)算法常用 sigmoid 函數(shù)，即 其特點(diǎn)是可以把無(wú)限的輸入映射到有限的輸出，如果函數(shù)的輸入很大或很小的時(shí)候，函數(shù)的斜率接近于零， 這樣采用梯度下降法使用 sigmoid函數(shù)的網(wǎng)絡(luò)就帶來(lái)一個(gè)問(wèn)題：梯度幅度的不利影響，即 盡管權(quán)值和闞值離其最佳值相差甚遠(yuǎn)，但此時(shí)梯度的幅度非常小，導(dǎo)致權(quán)值和閾值的修正量也很小，使 得 訓(xùn)練時(shí)間變得很長(zhǎng) 。 其中α是動(dòng)量 因子 ，一般有α∈（ 0， 1）動(dòng)量項(xiàng)反應(yīng)了以前的調(diào)整經(jīng)驗(yàn)，對(duì)下一時(shí)刻的調(diào)整起到一定阻尼作用。 2． 5． 2 增加動(dòng)量項(xiàng) 在前面提到學(xué)習(xí)率的變化會(huì)影響網(wǎng)絡(luò)的性能，為此在權(quán)值調(diào)整公式中增加一個(gè)動(dòng)量項(xiàng)，達(dá)到 微調(diào) 權(quán)值 修正 量防止 振蕩 的效果。 鑒于 BP 學(xué)習(xí)算法的優(yōu)缺點(diǎn)，增強(qiáng) BP 神經(jīng)網(wǎng)絡(luò)的性能和應(yīng)用， 目前主要 有如下幾種改進(jìn)方法。它具有自學(xué)習(xí)、自組織、自適應(yīng)性和很強(qiáng)的信息綜合能力，能夠同時(shí)處理定量和定性信息，協(xié)調(diào)多種輸入的關(guān)系 并進(jìn)行推廣概括，實(shí)行并行處理，適用于處理復(fù)雜非線性和不確定的對(duì)象。有的學(xué)者提出采用熵類準(zhǔn)則函數(shù)或分類啟發(fā)準(zhǔn)則 （參見(jiàn) 參考文獻(xiàn) 11） 。 改進(jìn)誤差函數(shù)，標(biāo)準(zhǔn)的誤差函數(shù)采用的是 （這也是為了方便計(jì)算） 隨著學(xué)習(xí)次數(shù)的增加， 越來(lái)越小，使函數(shù)逼近速度減慢，這樣對(duì)高度非線性樣本的逼近精度得不到保證，為此用絕對(duì)和相對(duì)逼近精度來(lái)描述次誤差函數(shù)，即 其中 1? 和 2? 是 常量系數(shù)。 允許誤差ε的選擇也會(huì)影響學(xué)習(xí)的收斂速度和學(xué)習(xí)精度， 我們一般采取一開(kāi)始將允許誤差取大些，然后逐漸減少的做法，這樣是對(duì)網(wǎng)絡(luò)訓(xùn)練的寬容，也是因?yàn)榫W(wǎng)絡(luò)的訓(xùn)練往往很難達(dá)到期望的值，也是為了加快學(xué)習(xí)速度 ，也要參考具體問(wèn)題所要求的精度 。 在輸入樣本信息選擇問(wèn)題上，為能在對(duì)權(quán)空間進(jìn)行更多的搜索 ，需要 以下兩個(gè)原則選擇輸入樣本，使用訓(xùn)練誤差最大的樣本，使用的樣本要與以前使用的有根本區(qū)別。使用主分量分析法使訓(xùn)練樣本的輸入向量 互不相關(guān) ， 去相關(guān)后的輸入變量應(yīng)調(diào)整其長(zhǎng)度使它們的方差近似相等，因此可以使網(wǎng)絡(luò)中不同權(quán)值以大約相等的速度進(jìn)行學(xué)習(xí)。這些都將影響學(xué)習(xí)的速度。 BP 神經(jīng)網(wǎng)絡(luò)的神經(jīng)元一般采用 sigmoid 激活函數(shù)，歸一化可以防止輸入信號(hào)數(shù)據(jù)絕對(duì)值過(guò)大進(jìn)入飽和區(qū)。歸一化在 [0,1]之間是統(tǒng)計(jì)的概率分布，歸一化在[1,+1]之間是統(tǒng)計(jì)的坐標(biāo)分布 。因此需要對(duì)輸入信號(hào)進(jìn)行歸一化處理，使得所有樣本的輸入信號(hào)均值接近零或者其標(biāo)準(zhǔn)方差比較小。 此外有很多研究人員采用遺傳算法和免疫算法 BP 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)率進(jìn)行優(yōu)化設(shè)計(jì)并簡(jiǎn)歷數(shù)學(xué)模型，下面是一個(gè)簡(jiǎn)單的優(yōu)化的學(xué)習(xí)率變化公式： 其中 n 為迭代次數(shù)， A 和λ根據(jù)工程應(yīng)用的復(fù)雜性和結(jié)構(gòu)優(yōu)化的模糊性，對(duì)不同的系統(tǒng)和要求取不同的范圍，一般情況下， 1≤ A≤ 50， ≤λ≤ 。 經(jīng)過(guò)實(shí)踐證明來(lái)說(shuō)，輸出單元的局 向 梯度比輸入端大， 為此輸出單元的η應(yīng)小些；有較多輸入端 的神經(jīng)元的η要比有較少的輸入端的神經(jīng)元的η小些 ；對(duì)于一個(gè)給定的神經(jīng)元，其學(xué)習(xí)率應(yīng)與神經(jīng)元的突觸連接的平方根成反比。1 1)(aeaeeabxaxf bxbxbx ???????? ??? 1 211)t a nh()(迭代次數(shù) n E(n) 收斂速率 圖 理想學(xué)習(xí)率示意圖 第 20 頁(yè) ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 根據(jù)反向傳播計(jì)算 式得知，學(xué)習(xí)率η越大權(quán)值的變化就越大，則 BP 算法的學(xué)習(xí)收 斂速度就越快，過(guò)大則引起網(wǎng)絡(luò)的 振蕩 ，導(dǎo)致網(wǎng)絡(luò)的不穩(wěn)定以及性能低下 ，當(dāng)超過(guò)某一極值容易引起算法不穩(wěn)定 。 2． 4． 4 學(xué)習(xí) 率 η 選擇影響分析 首先，學(xué)習(xí)率是隨時(shí)間改變的 ，為了方便，在反向傳播算法計(jì)算過(guò)程中采用的是不變的學(xué)習(xí)率 。 1范圍的信號(hào)， 關(guān)于它們的選擇 主要從函數(shù)自身的工作范圍及其導(dǎo)數(shù)值的大小范圍以及結(jié)構(gòu)簡(jiǎn)單和運(yùn)算速度快等思想 考慮 。 S 型對(duì)數(shù) 函數(shù) 不是奇函數(shù) ，工作范圍是［ 0， 1］。 2/3=,斜率接近單位 1，在 x=1 時(shí)二階導(dǎo)數(shù)最大。 下面有兩種 S型函數(shù)， S型對(duì)數(shù)函數(shù)和 S 型正切函數(shù) ： ① S型對(duì)數(shù)函數(shù) ② S型正切函數(shù) 其中 a,b0 常數(shù)，通常 a==2/3。 有事實(shí)表明，前向 型 網(wǎng)絡(luò)的激活函數(shù)對(duì)網(wǎng)絡(luò)的收斂速度和收斂精度均有很大影響。 2． 4． 3 激 活 函數(shù)選擇影響分析 一般情況下，是選擇 可微 非線性 sigmoid 函數(shù)作為 BP 神經(jīng)網(wǎng)絡(luò)的激活函數(shù)， 這種函數(shù)有力的反 應(yīng)生物神經(jīng)元的非線性轉(zhuǎn)化且計(jì)算方便， 如果采用閾值或線性的激活函數(shù) 則難以解決異或問(wèn)題，同時(shí) 如果 選擇 奇函數(shù) ，實(shí)踐證明能夠加快 BP 算法的學(xué)習(xí)速度 ，因此雙極性的激活函數(shù) S型正切函數(shù)的效果更好 。 批處理方式的臨時(shí)空間要大一些， 訓(xùn)練速度要慢些，這是因?yàn)榕幚矸绞绞菍⒏?()()1( nwnwnw ijijij ????? ??? Mm Jj jeNE 1 221總 第 19 頁(yè) ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 樣本的誤差加在一起，故要一次存儲(chǔ)各樣本的誤差，根據(jù)其和值對(duì)權(quán)值調(diào)整，由于這些誤差可以相互抵消，這將降低算法的調(diào)整能力，降低學(xué)習(xí)速度；若改為誤差平方和，也不能避免陷入局部 極 小，也可能由誤差不為零 、 總和為零產(chǎn)生新的局部 極 小現(xiàn)象。 由此可見(jiàn)， 順序方式的臨時(shí)空間要小，訓(xùn)練速度要快一些，特別是在訓(xùn)練樣本集很大且重復(fù)的樣本很多時(shí)，這種優(yōu)勢(shì)更為顯而易見(jiàn)；但是這種方法只顧眼前，所以會(huì)有“暫時(shí)遺忘”現(xiàn)象，即學(xué)了新的忘了舊的，故需要重復(fù)地學(xué)習(xí)，導(dǎo)致收斂速度很慢，收斂條件難以建立。 2． 4． 2 權(quán)值調(diào)整方法影響分析 此權(quán)值調(diào)整方法正是構(gòu)成了網(wǎng)絡(luò)的訓(xùn)練方法，有兩種方法：順序方式和批處理方式。 ）或局部極小區(qū)，加快訓(xùn)練速度 。 2． 3． 3 BP 神經(jīng)網(wǎng)絡(luò)算法描述 以上的反向傳播算法計(jì)算過(guò)程是 BP 算法的基礎(chǔ)算法，下面是其算法描述： )())(()()( )(1nwnvfneny nE jkkKk kj????? ??)())(()()(()(1nwnvfnenvfn jkkKk kjj??? ???))(()()( )()( )()( )()( )()( nvfnenv nyny nene nEnv nEn kkkkkkkkk?????????????????)()()(()())(()()(()(11nwnnvfnwnvfnenvfn jkKk kjjkkKk kjj ?? ??????? ??))(1)(()( )())(( nynynv nynvf jjjjj ??????)()()( nynnw ijij ????)()()1( nwnwnw ijijij ????初始化 輸入樣本 計(jì)算各層輸出及輸出誤差 計(jì)算各層誤差信號(hào) 調(diào)整各層權(quán)值 n=n+1,m=m+1 開(kāi)始 第 18 頁(yè) ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ①初始化 ，設(shè)置樣本計(jì)數(shù)器 m 和訓(xùn)練（迭代）次數(shù)計(jì)數(shù)器 n,其最大值分別為 (M,N)；并將權(quán)值矩陣設(shè)立隨機(jī)數(shù)，誤差 E 置為 0，允許誤差值為ε，學(xué)習(xí)率 0η 1； ②輸 入訓(xùn)練樣本，包括實(shí)際訓(xùn)練樣本 X 和期望輸出樣本 d； ③ 計(jì)算各層輸出 V和 Y向量，并用 e=dy計(jì)算 輸出 誤差； ④ 計(jì)算各層誤差信號(hào)，包括誤差的局向梯度δ； ⑤ 調(diào)整各層權(quán)值，利用反向傳播計(jì)算原理調(diào)整 ⑥ 對(duì)樣本計(jì)數(shù)器 m進(jìn)行檢查，看是否完成所有樣本的訓(xùn)練； ⑦ 對(duì)訓(xùn)練結(jié)果產(chǎn)生的網(wǎng)絡(luò)誤差進(jìn)行比較，看是否在所允許的誤差之內(nèi)； ⑧ 若⑥⑦否則轉(zhuǎn)向②繼續(xù)訓(xùn)練，否則 訓(xùn)練結(jié)束。 注：此定義式這是個(gè)均方差式，求得實(shí)際輸出和期望輸出的誤差值，二分之一是為了方便計(jì)算。 2． 3． 2 誤差反向傳播計(jì)算 根據(jù)圖 （ a）可以初步寫出下面的式子： 一層或多層隱藏神經(jīng)元 輸出神經(jīng)元K Yk(n) ∑ dk(n) ek(n) 輸入向量 Xk(n) 圖 BP 神經(jīng)網(wǎng)絡(luò)方框圖 dj(n) y0=+1 閾值 θ 0 ej(n) ν j(n) yi(n) f() yj(n) + n+1 圖 （ a） BP 神經(jīng)網(wǎng)絡(luò)信號(hào)流圖 圖 （ b） BP 神經(jīng)網(wǎng)絡(luò)信號(hào)流圖 y0=+1 閾值 θ 0 y0=+1 閾值 θ 0 yi(n) ν j(n) yj(n) f() yk(n) ν k(n) f() dk(n) ek(n) n+1 + ))(()()()()(nvfnynynwnvjjIiiijj?? ? 第 15 頁(yè) ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ (式 ) (式 ) 根據(jù)圖 （ b）可以初步寫出下面的式子： (式 ) (式 ) 其中 i=1， 2， ? ,I； j=1,2,? ,J； k=1,2,? ,K； n為學(xué)習(xí) 步長(zhǎng) 。在誤差信號(hào)的反向傳播過(guò)程中，網(wǎng)絡(luò)的權(quán)值由誤差反饋進(jìn)行調(diào)節(jié)，即權(quán)值修正，經(jīng)過(guò)不斷的修正直到允許的誤差范圍。如果在輸出曾不能得到期望的輸出則會(huì)轉(zhuǎn)入誤差反 向傳播； ②誤差信號(hào)反向傳播。 2． 2． 2 BP 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過(guò)程描述 ① 工作信號(hào)正向傳播。 BP 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過(guò)程描述 2． 2． 1 BP 神經(jīng)網(wǎng)絡(luò)計(jì)算模型建立 注 ： Wpq是隱含層 P中 p（輸出）神經(jīng)元到隱含層 Q中 q（輸入）神經(jīng)元的連接 權(quán)值 。 然而根據(jù)網(wǎng)絡(luò)對(duì)輸入數(shù)據(jù)集合參數(shù)化的學(xué)習(xí)過(guò)程，我們可以 通過(guò)網(wǎng)絡(luò)的泛化能力即預(yù)測(cè)能力判斷網(wǎng)絡(luò)的收斂，當(dāng)泛化能力達(dá)到了比較強(qiáng)的一個(gè)標(biāo)準(zhǔn)時(shí)，可以認(rèn)為學(xué)習(xí)過(guò)程的停止，即已經(jīng)收斂。 分析：第一個(gè)準(zhǔn)則為了達(dá)到期望值，學(xué)習(xí)時(shí)間可能會(huì)很長(zhǎng)，而第二個(gè)準(zhǔn)則則有可能過(guò)O +1 +1 1 +1 +1 1 O O O （ a）階躍閾值函數(shù) （ b）符號(hào)閾值函數(shù) （ c） S 型對(duì)數(shù)函數(shù) （ d） S 型正切函數(shù) 圖 神經(jīng)元激活函數(shù)圖形 第 13 頁(yè) ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊