【正文】 )(()( )())(( nynynv nynvf jjjjj ??????)()()( nynnw ijij ????)()()1( nwnwnw ijijij ????初始化 輸入樣本 計(jì)算各層輸出及輸出誤差 計(jì)算各層誤差信號(hào) 調(diào)整各層權(quán)值 n=n+1,m=m+1 開(kāi)始 第 18 頁(yè) ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線(xiàn) ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ①初始化 ，設(shè)置樣本計(jì)數(shù)器 m 和訓(xùn)練（迭代）次數(shù)計(jì)數(shù)器 n,其最大值分別為 (M,N)；并將權(quán)值矩陣設(shè)立隨機(jī)數(shù)，誤差 E 置為 0，允許誤差值為ε，學(xué)習(xí)率 0η 1； ②輸 入訓(xùn)練樣本，包括實(shí)際訓(xùn)練樣本 X 和期望輸出樣本 d； ③ 計(jì)算各層輸出 V和 Y向量，并用 e=dy計(jì)算 輸出 誤差； ④ 計(jì)算各層誤差信號(hào)，包括誤差的局向梯度δ； ⑤ 調(diào)整各層權(quán)值，利用反向傳播計(jì)算原理調(diào)整 ⑥ 對(duì)樣本計(jì)數(shù)器 m進(jìn)行檢查，看是否完成所有樣本的訓(xùn)練； ⑦ 對(duì)訓(xùn)練結(jié)果產(chǎn)生的網(wǎng)絡(luò)誤差進(jìn)行比較，看是否在所允許的誤差之內(nèi)； ⑧ 若⑥⑦否則轉(zhuǎn)向②繼續(xù)訓(xùn)練，否則 訓(xùn)練結(jié)束。 2． 4． 2 權(quán)值調(diào)整方法影響分析 此權(quán)值調(diào)整方法正是構(gòu)成了網(wǎng)絡(luò)的訓(xùn)練方法，有兩種方法：順序方式和批處理方式。 批處理方式的臨時(shí)空間要大一些， 訓(xùn)練速度要慢些，這是因?yàn)榕幚矸绞绞菍⒏?()()1( nwnwnw ijijij ????? ??? Mm Jj jeNE 1 221總 第 19 頁(yè) ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線(xiàn) ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 樣本的誤差加在一起，故要一次存儲(chǔ)各樣本的誤差，根據(jù)其和值對(duì)權(quán)值調(diào)整，由于這些誤差可以相互抵消，這將降低算法的調(diào)整能力，降低學(xué)習(xí)速度；若改為誤差平方和，也不能避免陷入局部 極 小，也可能由誤差不為零 、 總和為零產(chǎn)生新的局部 極 小現(xiàn)象。 有事實(shí)表明，前向 型 網(wǎng)絡(luò)的激活函數(shù)對(duì)網(wǎng)絡(luò)的收斂速度和收斂精度均有很大影響。 2/3=,斜率接近單位 1，在 x=1 時(shí)二階導(dǎo)數(shù)最大。 1范圍的信號(hào)， 關(guān)于它們的選擇 主要從函數(shù)自身的工作范圍及其導(dǎo)數(shù)值的大小范圍以及結(jié)構(gòu)簡(jiǎn)單和運(yùn)算速度快等思想 考慮 。1 1)(aeaeeabxaxf bxbxbx ???????? ??? 1 211)t a nh()(迭代次數(shù) n E(n) 收斂速率 圖 理想學(xué)習(xí)率示意圖 第 20 頁(yè) ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線(xiàn) ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 根據(jù)反向傳播計(jì)算 式得知，學(xué)習(xí)率η越大權(quán)值的變化就越大，則 BP 算法的學(xué)習(xí)收 斂速度就越快，過(guò)大則引起網(wǎng)絡(luò)的 振蕩 ，導(dǎo)致網(wǎng)絡(luò)的不穩(wěn)定以及性能低下 ，當(dāng)超過(guò)某一極值容易引起算法不穩(wěn)定 。 此外有很多研究人員采用遺傳算法和免疫算法 BP 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)率進(jìn)行優(yōu)化設(shè)計(jì)并簡(jiǎn)歷數(shù)學(xué)模型，下面是一個(gè)簡(jiǎn)單的優(yōu)化的學(xué)習(xí)率變化公式： 其中 n 為迭代次數(shù)， A 和λ根據(jù)工程應(yīng)用的復(fù)雜性和結(jié)構(gòu)優(yōu)化的模糊性，對(duì)不同的系統(tǒng)和要求取不同的范圍，一般情況下， 1≤ A≤ 50， ≤λ≤ 。歸一化在 [0,1]之間是統(tǒng)計(jì)的概率分布，歸一化在[1,+1]之間是統(tǒng)計(jì)的坐標(biāo)分布 。這些都將影響學(xué)習(xí)的速度。 在輸入樣本信息選擇問(wèn)題上，為能在對(duì)權(quán)空間進(jìn)行更多的搜索 ，需要 以下兩個(gè)原則選擇輸入樣本，使用訓(xùn)練誤差最大的樣本，使用的樣本要與以前使用的有根本區(qū)別。 改進(jìn)誤差函數(shù)，標(biāo)準(zhǔn)的誤差函數(shù)采用的是 （這也是為了方便計(jì)算） 隨著學(xué)習(xí)次數(shù)的增加， 越來(lái)越小，使函數(shù)逼近速度減慢，這樣對(duì)高度非線(xiàn)性樣本的逼近精度得不到保證，為此用絕對(duì)和相對(duì)逼近精度來(lái)描述次誤差函數(shù)，即 其中 1? 和 2? 是 常量系數(shù)。它具有自學(xué)習(xí)、自組織、自適應(yīng)性和很強(qiáng)的信息綜合能力，能夠同時(shí)處理定量和定性信息，協(xié)調(diào)多種輸入的關(guān)系 并進(jìn)行推廣概括，實(shí)行并行處理，適用于處理復(fù)雜非線(xiàn)性和不確定的對(duì)象。 2． 5． 2 增加動(dòng)量項(xiàng) 在前面提到學(xué)習(xí)率的變化會(huì)影響網(wǎng)絡(luò)的性能，為此在權(quán)值調(diào)整公式中增加一個(gè)動(dòng)量項(xiàng)，達(dá)到 微調(diào) 權(quán)值 修正 量防止 振蕩 的效果。 2． 5． 3 彈性 BP 學(xué)習(xí) 算法 BP 學(xué)習(xí)算法常用 sigmoid 函數(shù)，即 其特點(diǎn)是可以把無(wú)限的輸入映射到有限的輸出，如果函數(shù)的輸入很大或很小的時(shí)候，函數(shù)的斜率接近于零， 這樣采用梯度下降法使用 sigmoid函數(shù)的網(wǎng)絡(luò)就帶來(lái)一個(gè)問(wèn)題：梯度幅度的不利影響，即 盡管權(quán)值和闞值離其最佳值相差甚遠(yuǎn)，但此時(shí)梯度的幅度非常小，導(dǎo)致權(quán)值和閾值的修正量也很小，使 得 訓(xùn)練時(shí)間變得很長(zhǎng) 。如果權(quán)值在相同的梯度上連續(xù)被修正，則其幅度必將增加，從而克服了梯度幅度的不利影響，即 )()1()1()1( nwnynnw ijijij ??????? ???xexf ??? 11)(???????????????)())(()())(()()1(nxkngs ig nnxkngs ig nnxnx d e cin c 第 23 頁(yè) ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊
。 當(dāng)連續(xù)兩次迭代的梯度方向相同時(shí)，可將權(quán)值和閾值的修正值乘以一個(gè)增量因子 。 其中α是動(dòng)量 因子 ，一般有α∈（ 0， 1）動(dòng)量項(xiàng)反應(yīng)了以前的調(diào)整經(jīng)驗(yàn)，對(duì)下一時(shí)刻的調(diào)整起到一定阻尼作用。 鑒于 BP 學(xué)習(xí)算法的優(yōu)缺點(diǎn)，增強(qiáng) BP 神經(jīng)網(wǎng)絡(luò)的性能和應(yīng)用， 目前主要 有如下幾種改進(jìn)方法。有的學(xué)者提出采用熵類(lèi)準(zhǔn)則函數(shù)或分類(lèi)啟發(fā)準(zhǔn)則 （參見(jiàn) 參考文獻(xiàn) 11） 。 允許誤差ε的選擇也會(huì)影響學(xué)習(xí)的收斂速度和學(xué)習(xí)精度， 我們一般采取一開(kāi)始將允許誤差取大些，然后逐漸減少的做法，這樣是對(duì)網(wǎng)絡(luò)訓(xùn)練的寬容，也是因?yàn)榫W(wǎng)絡(luò)的訓(xùn)練往往很難達(dá)到期望的值，也是為了加快學(xué)習(xí)速度 ，也要參考具體問(wèn)題所要求的精度 。使用主分量分析法使訓(xùn)練樣本的輸入向量 互不相關(guān) ， 去相關(guān)后的輸入變量應(yīng)調(diào)整其長(zhǎng)度使它們的方差近似相等，因此可以使網(wǎng)絡(luò)中不同權(quán)值以大約相等的速度進(jìn)行學(xué)習(xí)。 BP 神經(jīng)網(wǎng)絡(luò)的神經(jīng)元一般采用 sigmoid 激活函數(shù)，歸一化可以防止輸入信號(hào)數(shù)據(jù)絕對(duì)值過(guò)大進(jìn)入飽和區(qū)。因此需要對(duì)輸入信號(hào)進(jìn)行歸一化處理，使得所有樣本的輸入信號(hào)均值接近零或者其標(biāo)準(zhǔn)方差比較小。 經(jīng)過(guò)實(shí)踐證明來(lái)說(shuō)，輸出單元的局 向 梯度比輸入端大， 為此輸出單元的η應(yīng)小些；有較多輸入端 的神經(jīng)元的η要比有較少的輸入端的神經(jīng)元的η小些 ；對(duì)于一個(gè)給定的神經(jīng)元，其學(xué)習(xí)率應(yīng)與神經(jīng)元的突觸連接的平方根成反比。 2． 4． 4 學(xué)習(xí) 率 η 選擇影響分析 首先，學(xué)習(xí)率是隨時(shí)間改變的 ，為了方便，在反向傳播算法計(jì)算過(guò)程中采用的是不變的學(xué)習(xí)率 。 S 型對(duì)數(shù) 函數(shù) 不是奇函數(shù) ，工作范圍是［ 0， 1］。 下面有兩種 S型函數(shù)， S型對(duì)數(shù)函數(shù)和 S 型正切函數(shù) ： ① S型對(duì)數(shù)函數(shù) ② S型正切函數(shù) 其中 a,b0 常數(shù)，通常 a==2/3。 2． 4． 3 激 活 函數(shù)選擇影響分析 一般情況下，是選擇 可微 非線(xiàn)性 sigmoid 函數(shù)作為 BP 神經(jīng)網(wǎng)絡(luò)的激活函數(shù)， 這種函數(shù)有力的反 應(yīng)生物神經(jīng)元的非線(xiàn)性轉(zhuǎn)化且計(jì)算方便， 如果采用閾值或線(xiàn)性的激活函數(shù) 則難以解決異或問(wèn)題，同時(shí) 如果 選擇 奇函數(shù) ，實(shí)踐證明能夠加快 BP 算法的學(xué)習(xí)速度 ，因此雙極性的激活函數(shù) S型正切函數(shù)的效果更好 。 由此可見(jiàn)， 順序方式的臨時(shí)空間要小，訓(xùn)練速度要快一些，特別是在訓(xùn)練樣本集很大且重復(fù)的樣本很多時(shí)，這種優(yōu)勢(shì)更為顯而易見(jiàn)；但是這種方法只顧眼前，所以會(huì)有“暫時(shí)遺忘”現(xiàn)象，即學(xué)了新的忘了舊的，故需要重復(fù)地學(xué)習(xí)，導(dǎo)致收斂速度很慢，收斂條件難以建立。 ）或局部極小區(qū)，加快訓(xùn)練速度 。 注：此定義式這是個(gè)均方差式，求得實(shí)際輸出和期望輸出的誤差值，二分之一是為了方便計(jì)算。在誤差信號(hào)的反向傳播過(guò)程中，網(wǎng)絡(luò)的權(quán)值由誤差反饋進(jìn)行調(diào)節(jié)，即權(quán)值修正，經(jīng)過(guò)不斷的修正直到允許的誤差范圍。 2． 2． 2 BP 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過(guò)程描述 ① 工作信號(hào)正向傳播。 然而根據(jù)網(wǎng)絡(luò)對(duì)輸入數(shù)據(jù)集合參數(shù)化的學(xué)習(xí)過(guò)程，我們可以 通過(guò)網(wǎng)絡(luò)的泛化能力即預(yù)測(cè)能力判斷網(wǎng)絡(luò)的收斂，當(dāng)泛化能力達(dá)到了比較強(qiáng)的一個(gè)標(biāo)準(zhǔn)時(shí)，可以認(rèn)為學(xué)習(xí)過(guò)程的停止，即已經(jīng)收斂。 SangiovanniVincentelli 準(zhǔn)則 : 當(dāng)梯度向量的歐幾里德范數(shù)達(dá)到一個(gè)充分小的梯度閾值時(shí)，認(rèn)為反向傳播算法已經(jīng)收斂。 綜合式 至式 得： (式 ) 其中 iij xnw ???? )( 式 中 jE （包括 jd 和 jo ）為 n 學(xué)習(xí)時(shí)刻的計(jì)算誤差， Delta 學(xué)習(xí)規(guī)則的學(xué)}])({[)(1 jIi ijiijjnxwfnO ?? ??? ??fodXWfXWfd jjTjTjj ?????? )()()]([?2)(21 jjj odE ??)()()()()()1(nwnEnwnwnwnwijjijijijij??????????iijijjijij xnwxfodnwnw ??? ??????? )()()()1( 第 12 頁(yè) ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線(xiàn) ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 習(xí)信號(hào) ? 也為在 n時(shí)刻。 2． 1． 3 神經(jīng)元數(shù)學(xué)模型 設(shè)在 n 時(shí)刻，神經(jīng)元 i 到神經(jīng)元 j 的信息傳遞，其輸入信息為 xi(n),輸出為Oj(n)，則神經(jīng)元 j的數(shù)學(xué)表達(dá)式為 (式 ) 其中 ijw 是神經(jīng)元 i到 j的突觸連接 權(quán)值 ij? 是 輸入和輸出間的突觸時(shí)延 j? 是神經(jīng)元 j 的閾值 f 是神經(jīng)元激活函數(shù) 如果 TIjjjj W ),. ..,( 21? , TIxxxX ),...,( 21? ,又 0x =1, jw0 = j? （ kb ）可得：)( XWfO Tjj ? 。 模擬的是生物神經(jīng)元的電位脈沖原理。但這種趨勢(shì)有一個(gè)極限，當(dāng)達(dá)到此極限時(shí)，隨訓(xùn)練能力的提高， 泛化 能力反而下降，即出現(xiàn)所謂“過(guò)擬合”現(xiàn)象。 注：在 MATLAB R2020 版本中 traingdx 為動(dòng)量及自適應(yīng) lrBP 的梯度遞減訓(xùn)練函數(shù) 。 1． 3． 2 研究 方法 通過(guò)參考 研究 學(xué)習(xí) 神經(jīng)網(wǎng)絡(luò) 研究和 工作者的著作和文章，理解神經(jīng)網(wǎng)絡(luò)，特別是BP 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)模型 和理論 ；利用現(xiàn)有的 數(shù)學(xué)理論知識(shí)和方法，推導(dǎo)反向傳播算法計(jì)算；利用計(jì)算機(jī)程序設(shè)計(jì)理論編寫(xiě) BP神經(jīng)網(wǎng)絡(luò) 學(xué)習(xí)算法的步驟和流程； 分析 BP標(biāo)準(zhǔn)算法關(guān)鍵因素，利用現(xiàn)有數(shù)學(xué)相關(guān)方法 （ 如啟發(fā)式方法 ， MATLAB 中幾種典型的BP神經(jīng)網(wǎng)絡(luò)算法： traingdm， 增 加動(dòng)量法 ； trainrp，彈性 BP算法； traingda， traingdx，自適應(yīng)學(xué)習(xí)速率法； traincgf，共軛梯度法； trainbfg，擬牛頓法 ； trainlm，LevenbergMarquardt 算法 ） 對(duì) BP 神經(jīng)網(wǎng)絡(luò) 算法改進(jìn)和理論推導(dǎo)； 利用優(yōu)秀數(shù)學(xué)軟件 MATLAB 進(jìn)行 BP 網(wǎng)絡(luò) 學(xué)習(xí)算法的仿真編程，分別建立 BP 神經(jīng)網(wǎng)絡(luò) 標(biāo)準(zhǔn)算法、改進(jìn)算法的編程程序，利用 MATLAB 得出相關(guān)圖表，分析其關(guān)鍵因素 ；應(yīng)用實(shí)例對(duì) BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用和仿真進(jìn)行驗(yàn)證；通過(guò)自己的理解和學(xué)習(xí)得出自己對(duì)神經(jīng)網(wǎng)絡(luò)（ BP 神經(jīng)網(wǎng)絡(luò)）的思考 。 目前， BP 神經(jīng) 網(wǎng)絡(luò)已成為廣泛使用的網(wǎng)絡(luò) ， 可用于語(yǔ)言綜合、語(yǔ)言識(shí)別、自適應(yīng)控制等 。隨著更多數(shù)學(xué)方法的引