【正文】 1 / 44摘 要隨著人工神經(jīng)網(wǎng)絡(luò)的研究和應(yīng)用越來(lái)越廣泛，誤差反向傳播算法（BP 算法）的提出，成功地解決了求解非線性連續(xù)函數(shù)的多層前饋神經(jīng)網(wǎng)絡(luò)權(quán)值調(diào)整問(wèn)題，BP 神經(jīng)網(wǎng)絡(luò)如今成為最廣泛使用的網(wǎng)絡(luò)，研究它對(duì)探索非線性復(fù)雜問(wèn)題具有重要意義，而且它具有廣泛的應(yīng)用前景。以 BP 神經(jīng)網(wǎng)絡(luò)為例，討論了 BP 神經(jīng)網(wǎng)絡(luò)及幾種改進(jìn)BP 神經(jīng)網(wǎng)絡(luò)性能的算法；通過(guò) BP 學(xué)習(xí)算法的推導(dǎo)和分析得知 BP 網(wǎng)絡(luò)是一種多層前饋網(wǎng)絡(luò)，采用最小均方差的學(xué)習(xí)方式，缺點(diǎn)是僅為有導(dǎo)師訓(xùn)練，訓(xùn)練時(shí)間長(zhǎng)，易限于局部極??；運(yùn)用 MATLAB 來(lái)實(shí)現(xiàn)各種 BP 神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)的設(shè)計(jì)與訓(xùn)練，比較不同BP 神經(jīng)網(wǎng)絡(luò)的性能，驗(yàn)證改進(jìn) BP 網(wǎng)絡(luò)的優(yōu)勢(shì)，得出如何根據(jù)對(duì)象選取神經(jīng)網(wǎng)絡(luò)的結(jié)論。關(guān)鍵詞：人工神經(jīng)網(wǎng)絡(luò)、BP 神經(jīng)網(wǎng)絡(luò)、誤差反向傳播算法、MATLAB、仿真2 / 44AbstractWith the artificial neural work of research and application of more and more widely, the error backpropagation algorithm (BP algorithm) is proposed, successfully resolved the continuous function for solving nonlinear multilayer feedforward neural work weights adjustment, BP work has bee now the most widely used works, Study to explore its plicated nonlinear problem has important significance, but also has broad application prospects. BP neural work is discussed and several improvements in the performance of BP neural work algorithm. BP learning algorithm through the derivation and analysis that the BP work is a multilayer feedforward works, the use of leastmeanvariance approach to learning, there is only disadvantage is that the training instructors, training time, limited to local minimum easily. The use of MATLAB to achieve a variety of BP neural work to achieve the design and training, to pare the performance of BP neural work to verify the advantages of improving the BP work, how to draw the object selected in accordance with the conclusions of neural works.Key words: Artificial neural work, BP neural works, error backpropagation algorithm, MATLAB, simulation3 / 44目 錄 ..................................................................5 引言 ..............................................................5 神經(jīng)網(wǎng)絡(luò)概述 ......................................................51．2．1 神經(jīng)網(wǎng)絡(luò)起源 ................................................51．2．2 神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程 ..........................................51．2．3 神經(jīng)網(wǎng)絡(luò)國(guó)內(nèi)發(fā)展概況 ........................................61．2．4 神經(jīng)網(wǎng)絡(luò)研究現(xiàn)狀 ............................................7 研究目的、方法和問(wèn)題（BP 神經(jīng)網(wǎng)絡(luò)） ................................81．3．1 研究目的 ....................................................81．3．2 研究方法 ....................................................81．3．3 研究問(wèn)題 ....................................................8 神經(jīng)網(wǎng)絡(luò) ..........................................................10 BP 神經(jīng)網(wǎng)絡(luò)相關(guān)原理 ...............................................102．1．1 神經(jīng)元非線性模型 ...........................................102．1．2 有教師監(jiān)督學(xué)習(xí) .............................................102．1．3 神經(jīng)元數(shù)學(xué)模型 .............................................112．1．4 Delta 學(xué)習(xí)規(guī)則 ..............................................112．1．5 神經(jīng)元激活函數(shù) .............................................122．1．6 BP 神經(jīng)網(wǎng)絡(luò)收斂準(zhǔn)則 .........................................12 BP 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過(guò)程描述 ...........................................132．2．1 BP 神經(jīng)網(wǎng)絡(luò)計(jì)算模型建立 .....................................132．2．2 BP 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過(guò)程描述 .....................................142．2．3 BP 神經(jīng)網(wǎng)絡(luò)方框圖 ...........................................14 BP 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法 ...............................................142．3．1 BP 神經(jīng)網(wǎng)絡(luò)信號(hào)流程 .........................................142．3．2 誤差反向傳播計(jì)算 ...........................................152．3．3 BP 神經(jīng)網(wǎng)絡(luò)算法描述 .........................................18 影響因素分析 .....................................................192．4．1 權(quán)值初始值設(shè)置影響分析 .....................................192．4．2 權(quán)值調(diào)整方法影響分析 .......................................192．4．3 激活函數(shù)選擇影響分析 .......................................202．4．4 學(xué)習(xí)率 η 選擇影響分析 ......................................202．4．5 輸入輸出歸一化影響分析 .....................................212．4．6 其他影響因素分析 ...........................................22 BP 學(xué)習(xí)算法的改進(jìn) .................................................222．5．1 BP 學(xué)習(xí)算法的優(yōu)缺點(diǎn) .........................................222．5．2 增加動(dòng)量項(xiàng) .................................................232．5．3 彈性 BP 學(xué)習(xí)算法 ............................................232．5．4 自適應(yīng)學(xué)習(xí)速率法 ...........................................242．5．5 共軛梯度法 .................................................252．5．6 LevenbergMarquardt 算法 ....................................254 / 44 神經(jīng)網(wǎng)絡(luò)仿真 ......................................................27 仿真平臺(tái) MATLAB...................................................273．1．1 MATLAB 簡(jiǎn)介 .................................................273．1．2 仿真平臺(tái)的構(gòu)建和策略 .......................................27 仿真實(shí)驗(yàn) .........................................................283．2．1 BP 神經(jīng)網(wǎng)絡(luò) MATLAB 設(shè)計(jì) ......................................283．2．2 各種 BP 學(xué)習(xí)算法 MATLAB 仿真 .................................293．2．3 各種算法仿真結(jié)果比較與分析 .................................323．2．4 調(diào)整初 始權(quán)值和閾值的仿真 ...................................333．2．5 其他影響因素仿真 ...........................................35 神經(jīng)網(wǎng)絡(luò)應(yīng)用實(shí)例 ..................................................37 實(shí)例概述 .........................................................37 網(wǎng)絡(luò)設(shè)計(jì) .........................................................37 網(wǎng)絡(luò)訓(xùn)練 .........................................................38 網(wǎng)絡(luò)測(cè)試 .........................................................39 實(shí)例總結(jié) .........................................................40 ...........................................................41 BP 神經(jīng)網(wǎng)絡(luò)研究總結(jié) ...............................................41 神經(jīng)網(wǎng)絡(luò)研究展望 .................................................42致謝 ...................................................................43參考文獻(xiàn) ...............................................................44附錄 ...................................................................465 / 44 引言隨 著 計(jì) 算 機(jī) 的 問(wèn) 世 與 發(fā) 展 ， 人 們 設(shè) 法 了 解 人 的 大 腦 ， 進(jìn) 而 構(gòu) 造 具 有 人 類 智 能的 智 能 計(jì) 算 機(jī) 。 在 具 有 人 腦 邏 輯 推 理 能 力 延 伸 的 計(jì) 算 機(jī) 戰(zhàn) 勝 人 類 棋 手 的 同 時(shí) 引發(fā) 人 們 對(duì) 模 擬 人 腦 信 息 處 理 的 人 工 神 經(jīng) 網(wǎng) 絡(luò) 的 研 究 。人 工 神 經(jīng) 網(wǎng) 絡(luò) （ Artificial Neural Networks, ANN） （ 注 ： 簡(jiǎn) 稱 為 神 經(jīng) 網(wǎng)絡(luò) ） ， 一 種 模 仿 動(dòng) 物 神 經(jīng) 網(wǎng) 絡(luò) 行 為 特 征 ， 進(jìn) 行 分 布 式 并 行 信 息 處 理 的 算