【導(dǎo)讀】隨著人工神經(jīng)網(wǎng)絡(luò)的研究和應(yīng)用越來越廣泛，誤差反向傳播算法的。提出，成功地解決了求解非線性連續(xù)函數(shù)的多層前饋神經(jīng)網(wǎng)絡(luò)權(quán)值調(diào)整問題，BP神。經(jīng)網(wǎng)絡(luò)如今成為最廣泛使用的網(wǎng)絡(luò)，研究它對(duì)探索非線性復(fù)雜問題具有重要意義，而。以BP神經(jīng)網(wǎng)絡(luò)為例，討論了BP神經(jīng)網(wǎng)絡(luò)及幾種改進(jìn)BP. 神經(jīng)網(wǎng)絡(luò)性能的算法；通過BP學(xué)習(xí)算法的推導(dǎo)和分析得知BP網(wǎng)絡(luò)是一種多層前饋網(wǎng)。絡(luò)，采用最小均方差的學(xué)習(xí)方式，缺點(diǎn)是僅為有導(dǎo)師訓(xùn)練，訓(xùn)練時(shí)間長(zhǎng)，易限于局部。極小；運(yùn)用MATLAB來實(shí)現(xiàn)各種BP神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)的設(shè)計(jì)與訓(xùn)練，比較不同BP神經(jīng)。網(wǎng)絡(luò)的性能，驗(yàn)證改進(jìn)BP網(wǎng)絡(luò)的優(yōu)勢(shì)，得出如何根據(jù)對(duì)象選取神經(jīng)網(wǎng)絡(luò)的結(jié)論。2．1．6BP神經(jīng)網(wǎng)絡(luò)

　　

【正文】 故需要重復(fù)地學(xué)習(xí)，導(dǎo)致收斂速度很慢，收斂條件難以建立。如果在順序方式中加入隨機(jī)的輸入樣本，有利于權(quán)值的空間搜索的隨機(jī)性，一定條件上可避免 陷入局部最小。 批處理方式的臨時(shí)空間要大一些， 訓(xùn)練速度要慢些，這是因?yàn)榕幚矸绞绞菍⒏?()()1( nwnwnw ijijij ????? ??? Mm Jj jeNE 1 221總 第 19 頁 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 樣本的誤差加在一起，故要一次存儲(chǔ)各樣本的誤差，根據(jù)其和值對(duì)權(quán)值調(diào)整，由于這些誤差可以相互抵消，這將降低算法的調(diào)整能力，降低學(xué)習(xí)速度；若改為誤差平方和，也不能避免陷入局部 極 小，也可能由誤差不為零 、 總和為零產(chǎn)生新的局部 極 小現(xiàn)象。但是批處理方式能夠精確計(jì)算梯度向量，容易確立誤差收斂條件，并進(jìn)行并行處理。 2． 4． 3 激 活 函數(shù)選擇影響分析 一般情況下，是選擇 可微 非線性 sigmoid 函數(shù)作為 BP 神經(jīng)網(wǎng)絡(luò)的激活函數(shù)， 這種函數(shù)有力的反 應(yīng)生物神經(jīng)元的非線性轉(zhuǎn)化且計(jì)算方便， 如果采用閾值或線性的激活函數(shù) 則難以解決異或問題，同時(shí) 如果 選擇 奇函數(shù) ，實(shí)踐證明能夠加快 BP 算法的學(xué)習(xí)速度 ，因此雙極性的激活函數(shù) S型正切函數(shù)的效果更好 。 S 型對(duì)數(shù) 函數(shù)的漸近值只能被期望輸出逼近，卻不能達(dá)到。 有事實(shí)表明，前向 型 網(wǎng)絡(luò)的激活函數(shù)對(duì)網(wǎng)絡(luò)的收斂速度和收斂精度均有很大影響。所以實(shí)際中設(shè)計(jì) BP 神經(jīng) 網(wǎng)絡(luò)時(shí)選用激活函數(shù)也顯得比較重要。 下面有兩種 S型函數(shù)， S型對(duì)數(shù)函數(shù)和 S 型正切函數(shù) ： ① S型對(duì)數(shù)函數(shù) ② S型正切函數(shù) 其中 a,b0 常數(shù)，通常 a==2/3。 因此， f(1)=1,f(1)=1,f(0)=ab= 2/3=,斜率接近單位 1，在 x=1 時(shí)二階導(dǎo)數(shù)最大。在誤差反向傳播計(jì)算中所用的是 S型對(duì)數(shù)函數(shù)，同理可以使用 S型正切函數(shù)，并對(duì)其求導(dǎo)推導(dǎo) 。 S 型對(duì)數(shù) 函數(shù) 不是奇函數(shù) ，工作范圍是［ 0， 1］。而雙極性 S 型正切函數(shù)除了本身符合連續(xù)可微的條件外，具有雙極性輸出，它常常被選用為要求輸入是177。 1范圍的信號(hào)， 關(guān)于它們的選擇 主要從函數(shù)自身的工作范圍及其導(dǎo)數(shù)值的大小范圍以及結(jié)構(gòu)簡(jiǎn)單和運(yùn)算速度快等思想 考慮 。 由此可見，研究 BP神經(jīng)網(wǎng)絡(luò)激活函數(shù)是今后研究的 一個(gè)重要課題。 2． 4． 4 學(xué)習(xí) 率 η 選擇影響分析 首先，學(xué)習(xí)率是隨時(shí)間改變的 ，為了方便，在反向傳播算法計(jì)算過程中采用的是不變的學(xué)習(xí)率 。下面是理想學(xué)習(xí)率示意圖和一些規(guī)則： ????????? ? xaexf ax ,0。1 1)(aeaeeabxaxf bxbxbx ???????? ??? 1 211)t a nh()(迭代次數(shù) n E(n) 收斂速率 圖 理想學(xué)習(xí)率示意圖 第 20 頁 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 根據(jù)反向傳播計(jì)算 式得知，學(xué)習(xí)率η越大權(quán)值的變化就越大，則 BP 算法的學(xué)習(xí)收 斂速度就越快，過大則引起網(wǎng)絡(luò)的 振蕩 ，導(dǎo)致網(wǎng)絡(luò)的不穩(wěn)定以及性能低下 ，當(dāng)超過某一極值容易引起算法不穩(wěn)定 。相反學(xué)習(xí)率η小可以避免網(wǎng)絡(luò)的 振蕩 ，但導(dǎo)致學(xué)習(xí)收斂速度的下降。 經(jīng)過實(shí)踐證明來說，輸出單元的局 向 梯度比輸入端大， 為此輸出單元的η應(yīng)小些；有較多輸入端 的神經(jīng)元的η要比有較少的輸入端的神經(jīng)元的η小些 ；對(duì)于一個(gè)給定的神經(jīng)元，其學(xué)習(xí)率應(yīng)與神經(jīng)元的突觸連接的平方根成反比。 在 BP 改進(jìn)算法中引入了動(dòng)量法解決 η的學(xué)習(xí)過程變化問題，增加網(wǎng)絡(luò)的穩(wěn)定性，加快學(xué)習(xí)收斂速度 ，如 MATLAB 中使用 動(dòng)量及自適應(yīng) lrBP 的梯度遞減訓(xùn)練函數(shù) 。 此外有很多研究人員采用遺傳算法和免疫算法 BP 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)率進(jìn)行優(yōu)化設(shè)計(jì)并簡(jiǎn)歷數(shù)學(xué)模型，下面是一個(gè)簡(jiǎn)單的優(yōu)化的學(xué)習(xí)率變化公式： 其中 n 為迭代次數(shù)， A 和λ根據(jù)工程應(yīng)用的復(fù)雜性和結(jié)構(gòu)優(yōu)化的模糊性，對(duì)不同的系統(tǒng)和要求取不同的范圍，一般情況下， 1≤ A≤ 50， ≤λ≤ 。 （參考文獻(xiàn) 10） 2． 4． 5 輸入 輸出 歸一化影響分析 在 輸入樣本訓(xùn)練網(wǎng)絡(luò)時(shí)，如果所有輸入樣本的輸入信號(hào)都為正值或負(fù)值，則與第一隱含層的神經(jīng)元權(quán)值只能同時(shí)增加或減小，從而導(dǎo)致學(xué)習(xí)速度很慢。因此需要對(duì)輸入信號(hào)進(jìn)行歸一化處理，使得所有樣本的輸入信號(hào)均值接近零或者其標(biāo)準(zhǔn)方差比較小。 歸一化的問題旨在 是歸納統(tǒng)一樣本的統(tǒng)計(jì)分布性 ，改善其分布規(guī)律 ，具體是消除均值，去相關(guān)性以及均方差均衡 。歸一化在 [0,1]之間是統(tǒng)計(jì)的概率分布，歸一化在[1,+1]之間是統(tǒng)計(jì)的坐標(biāo)分布 。網(wǎng)絡(luò)的各 個(gè)輸入數(shù)據(jù)常常具有不同的物理意義和不同的量綱 ，為此需要使網(wǎng)絡(luò)訓(xùn)練一開始就給各訓(xùn)練輸入向量以同等的身份地位。 BP 神經(jīng)網(wǎng)絡(luò)的神經(jīng)元一般采用 sigmoid 激活函數(shù)，歸一化可以防止輸入信號(hào)數(shù)據(jù)絕對(duì)值過大進(jìn)入飽和區(qū)。另外，期望輸出數(shù)據(jù)不進(jìn)行歸一化會(huì)導(dǎo)致數(shù)值大的分量絕對(duì)誤差大，數(shù)值小的絕對(duì)誤差小，網(wǎng)絡(luò)訓(xùn)練時(shí)只針對(duì)輸出的總誤差調(diào)整權(quán)值，因此 在總誤差中所占份額少的輸出分量相對(duì)誤差較大。這些都將影響學(xué)習(xí)的速度。 處理的方法有， 利用合理的變換等式 將輸入輸出的數(shù)據(jù)變換為 [0,1]或 [1,+1]（其選擇主要看激活函數(shù)的選擇）之 間的數(shù)據(jù)；當(dāng)輸入輸出向量中某個(gè)分量的取值過于密集時(shí)，由此可以將數(shù)據(jù)的點(diǎn)拉開一定距離，適當(dāng)變換分布，改善分布規(guī)律。使用主分量分析法使訓(xùn)練樣本的輸入向量 互不相關(guān) ， 去相關(guān)后的輸入變量應(yīng)調(diào)整其長(zhǎng)度使它們的方差近似相等，因此可以使網(wǎng)絡(luò)中不同權(quán)值以大約相等的速度進(jìn)行學(xué)習(xí)。 ?? nAe?? 第 21 頁 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 2． 4． 6 其他影響因素分析 關(guān)于能夠改善 BP 神經(jīng)網(wǎng)絡(luò)性能和學(xué)習(xí)收斂速度的影響因素還 有很多，比如輸入樣本信息內(nèi)容的選擇問題、允許誤差ε的選擇問題， 從提示中學(xué)習(xí)的問題 以及改進(jìn)誤差函數(shù) 等。 在輸入樣本信息選擇問題上，為能在對(duì)權(quán)空間進(jìn)行更多的搜索 ，需要 以下兩個(gè)原則選擇輸入樣本，使用訓(xùn)練誤差最大的樣本，使用的樣本要與以前使用的有根本區(qū)別。此外，在一個(gè)迭代過程給網(wǎng)絡(luò)的訓(xùn)練樣本分布是變形的，如果含有例外點(diǎn)或錯(cuò)誤標(biāo)記的訓(xùn)練樣本將會(huì)損壞輸入空間更大區(qū)域的泛化能力 ，降低網(wǎng)絡(luò)的性能。 允許誤差ε的選擇也會(huì)影響學(xué)習(xí)的收斂速度和學(xué)習(xí)精度， 我們一般采取一開始將允許誤差取大些，然后逐漸減少的做法，這樣是對(duì)網(wǎng)絡(luò)訓(xùn)練的寬容，也是因?yàn)榫W(wǎng)絡(luò)的訓(xùn)練往往很難達(dá)到期望的值，也是為了加快學(xué)習(xí)速度 ，也要參考具體問題所要求的精度 。 提示學(xué)習(xí)是利用現(xiàn)有的關(guān)于函數(shù)的先驗(yàn)知識(shí)（如函數(shù)的不變性、對(duì)成 性以及其他特性）來提高函數(shù)的逼近能力，這就需要從學(xué)習(xí)樣本中提取有關(guān) 輸入輸出 函數(shù)的信息，推斷出能夠逼近輸入輸出函數(shù)的函數(shù)，在學(xué)習(xí)中嵌入這樣的提示，使用統(tǒng)計(jì)分布的方法建立虛擬樣本，也增加了網(wǎng)絡(luò)的泛化能力 ，加快了學(xué)習(xí)速度 。 改進(jìn)誤差函數(shù)，標(biāo)準(zhǔn)的誤差函數(shù)采用的是 （這也是為了方便計(jì)算） 隨著學(xué)習(xí)次數(shù)的增加， 越來越小，使函數(shù)逼近速度減慢，這樣對(duì)高度非線性樣本的逼近精度得不到保證，為此用絕對(duì)和相對(duì)逼近精度來描述次誤差函數(shù)，即 其中 1? 和 2? 是 常量系數(shù)。 在樣本學(xué)習(xí)初期，以絕對(duì)形式的誤差函數(shù)來指導(dǎo)權(quán)值的修正；學(xué)習(xí)后期，以相對(duì)形式函數(shù)誤差為主：則 1? 隨著學(xué)習(xí)次數(shù)的增加而減少 ， 則 2? 隨學(xué)習(xí)次數(shù)的增加而增加。有的學(xué)者提出采用熵類準(zhǔn)則函數(shù)或分類啟發(fā)準(zhǔn)則 （參見 參考文獻(xiàn) 11） 。 BP 學(xué)習(xí)算法的改進(jìn) 2． 5． 1 BP 學(xué)習(xí)算法的 優(yōu) 缺點(diǎn) ① BP學(xué)習(xí)算法優(yōu)點(diǎn)： BP 學(xué)習(xí)算法具有 數(shù)學(xué)理論 依據(jù)可靠，推導(dǎo)過程嚴(yán)謹(jǐn)，通用性好， 解決了求解非線性連續(xù) 函數(shù)的多層前饋神經(jīng)網(wǎng)絡(luò) 權(quán)值 調(diào)整問題 ， 具有實(shí)現(xiàn)任何復(fù)雜非線性映射的功能，特別適合求解內(nèi)部機(jī)制的復(fù)雜問題。它具有自學(xué)習(xí)、自組織、自適應(yīng)性和很強(qiáng)的信息綜合能力，能夠同時(shí)處理定量和定性信息，協(xié)調(diào)多種輸入的關(guān)系 并進(jìn)行推廣概括，實(shí)行并行處理，適用于處理復(fù)雜非線性和不確定的對(duì)象。 ? ?? Jj jj ydnE 2)(21)(jj yd ?2221 )1(4)(4)( ?? ???? Jj jjJj jj ydydnE ?? 第 22 頁 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ② BP學(xué)習(xí)算法缺點(diǎn)： 基于梯度下降法及目標(biāo)函數(shù)復(fù)雜， 導(dǎo)致 訓(xùn)練次數(shù)多， 訓(xùn)練時(shí)間較長(zhǎng)， 收斂緩慢 ；基于局部搜索的優(yōu)化方法， 導(dǎo)致 有時(shí)完全不能訓(xùn)練，失敗的可能性也較大，易陷于局部極小而得不到全局最優(yōu) ；網(wǎng)絡(luò)結(jié)構(gòu)的選擇尚無統(tǒng)一完整的理論指導(dǎo)， 隱含節(jié)點(diǎn)個(gè)數(shù)難 以確定， 而 網(wǎng)絡(luò)的結(jié)構(gòu)直接影響網(wǎng)絡(luò)的逼近能力及推廣性質(zhì) ； 訓(xùn)練過程有暫時(shí)遺忘的現(xiàn)象即學(xué)習(xí)新樣本有遺忘舊樣本的趨勢(shì)；學(xué)習(xí)復(fù)雜性問題，即 網(wǎng)絡(luò)容量的可能性與可行性的關(guān)系問題 ，難以解決應(yīng)用問題的實(shí)例規(guī)模和網(wǎng)絡(luò)規(guī)模的矛盾問題；還有諸如新加入訓(xùn)練樣本的要求及對(duì)已學(xué)習(xí)成功網(wǎng)絡(luò)的影響，網(wǎng)絡(luò)泛化能力和訓(xùn)練能力的極限問題等。 鑒于 BP 學(xué)習(xí)算法的優(yōu)缺點(diǎn)，增強(qiáng) BP 神經(jīng)網(wǎng)絡(luò)的性能和應(yīng)用， 目前主要 有如下幾種改進(jìn)方法。 此外還有一些諸如增加遺忘因子、誤差曲面陡度因子的方法 ，以及將多種方法和相關(guān)數(shù)學(xué)原理相結(jié)合的方法 （ 具體 請(qǐng) 參考相關(guān)文獻(xiàn)） 。 2． 5． 2 增加動(dòng)量項(xiàng) 在前面提到學(xué)習(xí)率的變化會(huì)影響網(wǎng)絡(luò)的性能，為此在權(quán)值調(diào)整公式中增加一個(gè)動(dòng)量項(xiàng)，達(dá)到 微調(diào) 權(quán)值 修正 量防止 振蕩 的效果。這樣通過動(dòng)量法不僅考慮了誤差在梯度上的作用，而且考慮了誤差曲面上變化的方向。 其中α是動(dòng)量 因子 ，一般有α∈（ 0， 1）動(dòng)量項(xiàng)反應(yīng)了以前的調(diào)整經(jīng)驗(yàn)，對(duì)下一時(shí)刻的調(diào)整起到一定阻尼作用。因此可以減小 振蕩 的趨勢(shì)，促使權(quán)值的調(diào)節(jié)向著誤差曲面的底部的平均方向變化 ， 降低了網(wǎng)絡(luò)對(duì)誤差曲面在局部細(xì)節(jié)的敏感性， 在一定程度上緩解局部極小問題，但是難以避免 收斂緩慢問題。 2． 5． 3 彈性 BP 學(xué)習(xí) 算法 BP 學(xué)習(xí)算法常用 sigmoid 函數(shù)，即 其特點(diǎn)是可以把無限的輸入映射到有限的輸出，如果函數(shù)的輸入很大或很小的時(shí)候，函數(shù)的斜率接近于零， 這樣采用梯度下降法使用 sigmoid函數(shù)的網(wǎng)絡(luò)就帶來一個(gè)問題：梯度幅度的不利影響，即 盡管權(quán)值和闞值離其最佳值相差甚遠(yuǎn)，但此時(shí)梯度的幅度非常小，導(dǎo)致權(quán)值和閾值的修正量也很小，使 得 訓(xùn)練時(shí)間變得很長(zhǎng) 。所以在權(quán)值修正的時(shí)候僅僅用偏導(dǎo)的符號(hào)，而其幅值不影響權(quán)值的修正，即權(quán)值的修正取決于與幅值無關(guān)的修正值。 當(dāng)連續(xù)兩次迭代的梯度方向相同時(shí)，可將權(quán)值和閾值的修正值乘以一個(gè)增量因子 。 使其修正值增加；當(dāng)連續(xù)兩次迭代的梯度方向相反時(shí) ， 可將權(quán)值和閾值的修正值乘以一個(gè)減量因子，使其修正值減小；當(dāng)梯度為零時(shí)，權(quán)值和閾值的修正值保持不變；當(dāng)權(quán)值的修正發(fā)生振蕩時(shí)，其修正值將會(huì)減小。如果權(quán)值在相同的梯度上連續(xù)被修正，則其幅度必將增加，從而克服了梯度幅度的不利影響，即 )()1()1()1( nwnynnw ijijij ??????? ???xexf ??? 11)(???????????????)())(()())(()()1(nxkngs ig nnxkngs ig nnxnx d e cin c 第 23 頁 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊