【正文】 ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線(xiàn) ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 神經(jīng)網(wǎng)絡(luò)仿真 ...................................................... 26 仿真平臺(tái) MATLAB .................................................. 26 3． 1． 1 MATLAB 簡(jiǎn)介 ................................................ 26 3． 1． 2 仿真平臺(tái)的構(gòu)建和策略 ....................................... 26 仿真實(shí)驗(yàn) ........................................................ 27 3． 2． 1 BP 神經(jīng)網(wǎng)絡(luò) MATLAB 設(shè)計(jì) ..................................... 27 3． 2． 2 各種 BP 學(xué)習(xí)算法 MATLAB 仿真 ................................. 28 3． 2． 3 各種算法 仿真結(jié)果比較與分析 ................................. 30 3． 2． 4 調(diào)整初始權(quán)值和閾值的仿真 ................................... 31 3． 2． 5 其他影響因素仿真 ........................................... 33 神經(jīng)網(wǎng)絡(luò)應(yīng)用實(shí)例 .................................................. 36 實(shí)例概述 ........................................................ 36 網(wǎng)絡(luò)設(shè)計(jì) ........................................................ 36 網(wǎng)絡(luò)訓(xùn)練 ........................................................ 37 網(wǎng)絡(luò)測(cè)試 ........................................................ 37 實(shí)例總結(jié) ........................................................ 38 與展望 .......................................................... 40 BP 神經(jīng)網(wǎng)絡(luò)研究 總結(jié) .............................................. 40 神經(jīng)網(wǎng)絡(luò)研究展望 ................................................ 40 致謝 .................................................. 錯(cuò)誤 !未定義書(shū)簽。 以 BP 神經(jīng)網(wǎng)絡(luò)為例， 討論了 BP 神經(jīng)網(wǎng)絡(luò)及幾種改進(jìn) BP神經(jīng)網(wǎng)絡(luò)性能的算法 ； 通過(guò) BP 學(xué)習(xí) 算法 的推導(dǎo) 和分析 得知 BP網(wǎng)絡(luò)是一種多層前饋網(wǎng)絡(luò)，采用最小均方差的學(xué)習(xí)方式， 缺點(diǎn)是僅為有導(dǎo)師訓(xùn)練，訓(xùn)練時(shí)間長(zhǎng)，易限于局部極??； 運(yùn)用 MATLAB 來(lái)實(shí)現(xiàn)各種 BP 神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)的設(shè)計(jì)與訓(xùn)練 ，比較 不同 BP 神經(jīng)網(wǎng)絡(luò)的性能，驗(yàn)證改進(jìn) BP 網(wǎng)絡(luò)的優(yōu)勢(shì)，得出如何根據(jù)對(duì)象選取神經(jīng)網(wǎng)絡(luò)的結(jié)論。 人工神經(jīng)網(wǎng)絡(luò)（ Artificial Neural Networks, ANN） （注：簡(jiǎn)稱(chēng)為神經(jīng)網(wǎng)絡(luò)） ，一種模仿動(dòng)物神經(jīng)網(wǎng)絡(luò)行為特征，進(jìn)行分布式并行信息處理的算法數(shù)學(xué)模型。指出：“ 讓我們假設(shè)所有后繼推理的基礎(chǔ)遵循這樣的規(guī)則：當(dāng)兩個(gè)基本的腦細(xì)胞曾經(jīng)一起或相繼被激活過(guò)，其中一個(gè)受刺激激活時(shí)會(huì)將刺激傳播到另一個(gè) ” 。 1． 2． 2 神經(jīng)網(wǎng)絡(luò)的發(fā)展 歷程 1960 年，電機(jī)工程師 Bernard Widrow 和 Marcian Hoff 發(fā)表了《 Adaptive Switching Circuits》文章，不僅把人工神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)上仿真，而且用硬件電路實(shí)現(xiàn)了它。 1972 年，芬蘭的 教授提出了自組織映射（ SOM）理論，并稱(chēng)其神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 為“ associative memory”；與此同時(shí)，美國(guó)的神經(jīng)生理學(xué)家和心理學(xué)家，提出了一個(gè)類(lèi)似的神經(jīng)網(wǎng)絡(luò)“ interactive memory” ； 1986 年進(jìn)行認(rèn)知微觀結(jié)構(gòu)地研究，提出了并行分布處理的理論 ； 可見(jiàn)人工神經(jīng)網(wǎng)絡(luò)具有廣 泛的研究和應(yīng)用前景；以下是 1987 年后的一些發(fā)展 歷程 ： 1． 2． 4 神經(jīng)網(wǎng)絡(luò)研究現(xiàn)狀 神經(jīng)網(wǎng)絡(luò) 是可大規(guī)模并行處理和分布式信息存儲(chǔ)，具有良好的自學(xué)習(xí)、自適應(yīng)、自組織性，以及很強(qiáng)的聯(lián)想記憶和容錯(cuò)功能，可以充分逼近任意復(fù)雜的非線(xiàn)性關(guān)系，可有很強(qiáng)的信息綜合能力，能同時(shí)處理定量和定性信息，能很好的協(xié)調(diào)多種輸入信息關(guān)系，適用于處理復(fù)雜非線(xiàn)性和不確定對(duì)象。其中基于搜索的方法，若不從根本上進(jìn)行改變，很難克服其內(nèi)在固有的缺點(diǎn)，如基于局部最小的搜索算法，其中 BP 算法就有易限于局部極小的固有缺點(diǎn)；規(guī)劃方法因?yàn)槠渲杏小皟?yōu)化的步驟”，從理論上看其所得網(wǎng)絡(luò)性能要比其他方法要好，但如何確定核函數(shù)形式和參數(shù)問(wèn)題一直是未能很好解決的問(wèn)題，當(dāng)數(shù)據(jù)規(guī)模極大會(huì)引起計(jì)算量過(guò)大問(wèn)題；構(gòu)造性方法，因?yàn)檫M(jìn)行了局部化，計(jì)算量要小，由于未進(jìn)行全局優(yōu)化，故性能不及規(guī)劃方法，不需要確定映射關(guān)系就沒(méi)有了確定核函數(shù)的困難問(wèn)題；如果能夠?qū)⑷呦嗷ソY(jié)合，將規(guī)劃方法中優(yōu)化過(guò)程合理地引入到 構(gòu)造方法 中，也許即可克服規(guī)劃方法計(jì)算量大的問(wèn)題，核函數(shù)和參數(shù)確定問(wèn)題，也可以克服構(gòu)造性方法未進(jìn)行全局優(yōu)化的缺點(diǎn)；這些將是值得研究的問(wèn)題。直到誤差反向傳播算法（ BP 神經(jīng)網(wǎng)絡(luò) 算法）的提出，成功地解決了求解非線(xiàn)性連續(xù)函數(shù)的多層前饋神經(jīng)網(wǎng)絡(luò) 權(quán)值 調(diào)整問(wèn)題。 研究的主要目的是： 理解 BP 網(wǎng)絡(luò)結(jié)構(gòu)模型；學(xué)習(xí)誤差反向傳播算法和 BP神經(jīng) 網(wǎng)絡(luò)的學(xué)習(xí)算法；分析關(guān)鍵因素，得出 BP 網(wǎng)絡(luò)的優(yōu)缺點(diǎn)；綜合各種因素并使用啟發(fā)式方法 對(duì) BP神經(jīng)網(wǎng)絡(luò) 算法進(jìn)行改進(jìn)；應(yīng)用數(shù)學(xué)軟件 MATLAB對(duì) BP 神經(jīng)網(wǎng)絡(luò) 標(biāo)準(zhǔn)算法和改進(jìn)算法進(jìn)行仿真編程；利用仿真結(jié)果和圖表得出各個(gè)算法適用條件；進(jìn)而研究實(shí)際問(wèn)題的 BP神經(jīng) 網(wǎng)絡(luò)構(gòu)建和仿真。 研究問(wèn)題 3： BP 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的改進(jìn)有 （ MATLAB 神經(jīng)網(wǎng)絡(luò)工具箱中 ） ： 增 加動(dòng)量法 (traingdm)、 彈性 BP 算法（ trainrp）， 自適應(yīng)學(xué)習(xí)速率法 (traingdx)、 共軛梯度法 (traincgf)、 擬牛頓法 (trainbfg)以及 LevenbergMarquardt 算法（ trainlm） 等 。其次 網(wǎng)絡(luò)的泛化能力與訓(xùn)練能力 的矛盾，一般情況下，訓(xùn)練能力差時(shí)，預(yù)測(cè)能力也差，并且一定程度上 隨訓(xùn)練能力地提高， 泛化 能力也提高。 注：這里的 K為實(shí)例。由此可見(jiàn)，在執(zhí)行具體任務(wù)之前必須經(jīng)過(guò)學(xué)習(xí)，直到“學(xué)會(huì)”為止。 由式 Delta 規(guī)則要求連續(xù)可導(dǎo)的激活函數(shù)，如 Sigmoid 函數(shù)。 以下有兩種收斂準(zhǔn)則： ① Kramer amp。然而都需要計(jì)算一個(gè)梯度或變化率。 神經(jīng)元輸入用μ，激勵(lì)輸出用ν，激勵(lì)函數(shù)用 Sigmoid， μ Ii表示 I 層的第 i 個(gè)神經(jīng)元輸入 ,在這里即 xi； 訓(xùn)練樣本集 X=[x1,x2,? ,xI]T，訓(xùn)練實(shí)例 K 樣本集 Xk=[xk1,xk2,? ,xkI]T； 實(shí)際輸出 Yk=[yk1,yk2,? ,ykO]T,期望輸出 dk=[dk1,dk2,? ,dkO]T； 假設(shè) n為迭代次數(shù)，即訓(xùn)練步長(zhǎng)，權(quán)值和實(shí)際輸出是 n 的函數(shù)。網(wǎng)絡(luò)誤差信號(hào)即網(wǎng)絡(luò)的實(shí)際輸出與期望輸出之間的差值，該信輸入層 隱含層 輸出 層 誤 差 信 號(hào) 圖 BP 神經(jīng)網(wǎng)絡(luò) 計(jì)算 模型 輸 入 信 號(hào) x1 O 層 x2 2 xI y1 y2 yO Q 層 P 層 I 層 1 2 I 1 2 3 P 1 2 3 Q 1 2 O wqo wpq 第 14 頁(yè) ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線(xiàn) ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 號(hào)由輸出端 逐層向前傳播。 ① 在圖 （ a）中，神經(jīng)元 j 在迭代 n 時(shí)，即訓(xùn)練第 n 個(gè)例子時(shí)，輸出誤差信號(hào)定義如下：（此時(shí) j 為輸出節(jié)點(diǎn)） (式 ) 定義神經(jīng)元 j的誤差瞬時(shí)值為 因此，整個(gè)誤差瞬時(shí)值 (式 ) 即為輸出層 的所有神經(jīng)元的誤差瞬時(shí)值之和。 影響因素分析 2． 4． 1 權(quán)值初始值設(shè)置影響分析 經(jīng)過(guò)實(shí)際應(yīng)用中實(shí)踐得知，初始值過(guò)大或過(guò)小都會(huì)影響學(xué)習(xí)速度，一般認(rèn)為權(quán)值的初始值應(yīng)選為均勻分布的小數(shù)經(jīng)驗(yàn)值，常用的為 (,),也有人認(rèn)為( FF /3,/3? ),F為所連輸入端個(gè)數(shù)；從算法 計(jì)算與 描述得知，初始值設(shè)置為隨機(jī)數(shù)，這是為避免每一步權(quán)值的調(diào)整是同時(shí)增加或同時(shí)減小 ，防止進(jìn)入飽和區(qū)（ 訓(xùn)練誤差在很長(zhǎng) 時(shí)間內(nèi)基本保持不變，但又不是陷入局部 極 小，因?yàn)橐欢螘r(shí)間后，誤差會(huì)繼續(xù)下降。順序方式即在標(biāo)準(zhǔn)的 BP算法中，沒(méi)輸入一個(gè)樣本就會(huì)反向傳播誤差并調(diào)整權(quán)值 ；而批處理方式是把所有樣本輸入之后，計(jì)算網(wǎng)絡(luò)的平均總誤差為學(xué)習(xí)目標(biāo)，根據(jù)總誤差計(jì)算各層誤差信號(hào)并修正權(quán)值， 平均總誤差為： 其中 m 為第 m個(gè)訓(xùn)練實(shí)例， j為輸出神經(jīng)元， je 表示第 m個(gè)訓(xùn)練實(shí)例的輸出神經(jīng)元 j的誤差， M為訓(xùn)練樣本總數(shù)， J 為輸出神經(jīng)元總數(shù)。但是批處理方式能夠精確計(jì)算梯度向量，容易確立誤差收斂條件，并進(jìn)行并行處理。所以實(shí)際中設(shè)計(jì) BP 神經(jīng) 網(wǎng)絡(luò)時(shí)選用激活函數(shù)也顯得比較重要。在誤差反向傳播計(jì)算中所用的是 S型對(duì)數(shù)函數(shù)，同理可以使用 S型正切函數(shù)，并對(duì)其求導(dǎo)推導(dǎo) 。 由此可見(jiàn)，研究 BP神經(jīng)網(wǎng)絡(luò)激活函數(shù)是今后研究的 一個(gè)重要課題。相反學(xué)習(xí)率η小可以避免網(wǎng)絡(luò)的 振蕩 ，但導(dǎo)致學(xué)習(xí)收斂速度的下降。 （參考文獻(xiàn) 10） 2． 4． 5 輸入 輸出 歸一化影響分析 在 輸入樣本訓(xùn)練網(wǎng)絡(luò)時(shí)，如果所有輸入樣本的輸入信號(hào)都為正值或負(fù)值，則與第一隱含層的神經(jīng)元權(quán)值只能同時(shí)增加或減小，從而導(dǎo)致學(xué)習(xí)速度很慢。網(wǎng)絡(luò)的各 個(gè)輸入數(shù)據(jù)常常具有不同的物理意義和不同的量綱 ，為此需要使網(wǎng)絡(luò)訓(xùn)練一開(kāi)始就給各訓(xùn)練輸入向量以同等的身份地位。 處理的方法有， 利用合理的變換等式 將輸入輸出的數(shù)據(jù)變換為 [0,1]或 [1,+1]（其選擇主要看激活函數(shù)的選擇）之 間的數(shù)據(jù)；當(dāng)輸入輸出向量中某個(gè)分量的取值過(guò)于密集時(shí)，由此可以將數(shù)據(jù)的點(diǎn)拉開(kāi)一定距離，適當(dāng)變換分布，改善分布規(guī)律。此外，在一個(gè)迭代過(guò)程給網(wǎng)絡(luò)的訓(xùn)練樣本分布是變形的，如果含有例外點(diǎn)或錯(cuò)誤標(biāo)記的訓(xùn)練樣本將會(huì)損壞輸入空間更大區(qū)域的泛化能力 ，降低網(wǎng)絡(luò)的性能。 在樣本學(xué)習(xí)初期，以絕對(duì)形式的誤差函數(shù)來(lái)指導(dǎo)權(quán)值的修正；學(xué)習(xí)后期，以相對(duì)形式函數(shù)誤差為主：則 1? 隨著學(xué)習(xí)次數(shù)的增加而減少 ， 則 2? 隨學(xué)習(xí)次數(shù)的增加而增加。 ? ?? Jj jj ydnE 2)(21)(jj yd ?2221 )1(4)(4)( ?? ???? Jj jjJj jj ydydnE ?? 第 22 頁(yè) ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線(xiàn) ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ② BP學(xué)習(xí)算法缺點(diǎn)： 基于梯度下降法及目標(biāo)函數(shù)復(fù)雜， 導(dǎo)致 訓(xùn)練次數(shù)多， 訓(xùn)練時(shí)間較長(zhǎng)， 收斂緩慢 ；基于局部搜索的優(yōu)化方法， 導(dǎo)致 有時(shí)完全不能訓(xùn)練，失敗的可能性也較大，易陷于局部極小而得不到全局最優(yōu) ；網(wǎng)絡(luò)結(jié)構(gòu)的選擇尚無(wú)統(tǒng)一完整的理論指導(dǎo)， 隱含節(jié)點(diǎn)個(gè)數(shù)難 以確定， 而 網(wǎng)絡(luò)的結(jié)構(gòu)直接影響網(wǎng)絡(luò)的逼近能力及推廣性質(zhì) ； 訓(xùn)練過(guò)程有暫時(shí)遺忘的現(xiàn)象即學(xué)習(xí)新樣本有遺忘舊樣本的趨勢(shì)；學(xué)習(xí)復(fù)雜性問(wèn)題，即 網(wǎng)絡(luò)容量的可能性與可行性的關(guān)系問(wèn)題 ，難以解決應(yīng)用問(wèn)題的實(shí)例規(guī)模和網(wǎng)絡(luò)規(guī)模的矛盾問(wèn)題；還有諸如新加入訓(xùn)練樣本的要求及對(duì)已學(xué)習(xí)成功網(wǎng)絡(luò)的影響，網(wǎng)絡(luò)泛化能力和訓(xùn)練能力的極限問(wèn)題等。這樣通過(guò)動(dòng)量法不僅考慮了誤差在梯度上的作用，而且考慮了誤差曲面上變化的方向。所以在權(quán)值修正的時(shí)候僅僅用偏導(dǎo)的符號(hào)，而其幅值不影響權(quán)值的修正，即權(quán)值的修正取決于與幅值無(wú)關(guān)的修