【正文】 入 ，如模擬退火算法、商空間 （即線性空間） 理論、統(tǒng)計(jì)推斷方法與啟發(fā)式搜索技術(shù)及其結(jié)合產(chǎn)物的引入 ， 促進(jìn)各種學(xué)習(xí)方法的改進(jìn)，將有力的推進(jìn)神經(jīng)網(wǎng)絡(luò)的進(jìn)一步發(fā)展。 目前的神經(jīng)網(wǎng)絡(luò)的研究中 主要有以下幾種類型：①松耦合模型：符號(hào)機(jī)制的專家系統(tǒng)和聯(lián)接機(jī)制的 神經(jīng)網(wǎng)絡(luò)通過一個(gè)中間媒介如數(shù)據(jù)文件進(jìn)行通信；②緊耦合模型：其通信數(shù)據(jù)是直接的內(nèi)部數(shù)據(jù)，具有很高的效率；③轉(zhuǎn)換模型：將專家系統(tǒng)知識(shí)轉(zhuǎn)換成神經(jīng)網(wǎng)絡(luò)，或把神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)換成專家系統(tǒng)知識(shí)，轉(zhuǎn)換需要在兩種機(jī)制之間，確定結(jié)構(gòu)上的一致性，目前主要問題還沒有一種能夠精確而完備的實(shí)現(xiàn)二者轉(zhuǎn)換；④綜合模型：將具有符號(hào)機(jī)制的邏輯功能和具有聯(lián)接機(jī)制的自適應(yīng)和容錯(cuò)性結(jié)合為一個(gè)整體，共享數(shù)據(jù)結(jié)構(gòu)和知識(shí)表示； ⑤混沌理論： 是系統(tǒng)從有序突然變?yōu)闊o序狀態(tài)的一種演化理論，是對(duì)確定性系統(tǒng)中出現(xiàn)的內(nèi)在 “ 隨機(jī)過程 ” 形成的途徑、機(jī)制的研討 ，從而與神經(jīng)網(wǎng)絡(luò)融 合，達(dá)到取長(zhǎng)補(bǔ)短的效果； ⑥模糊集理論：用語言和概念代表腦的宏觀功能，按照人為引入的隸屬度，將模糊性的語言信息進(jìn)行邏輯處理，與 神經(jīng)網(wǎng)絡(luò)結(jié)合，取長(zhǎng)補(bǔ)短；⑦遺傳算法： 模擬達(dá)爾文生物進(jìn)化論的自然選擇和遺傳學(xué)機(jī)理的生物進(jìn)化過程的計(jì)算模型，是一種通過模擬自然進(jìn)化過程搜索最優(yōu)解的方法 ，從而與神經(jīng)網(wǎng)絡(luò)融合，達(dá)到取長(zhǎng)補(bǔ)短的效果； ⑧混合神經(jīng)網(wǎng)絡(luò)：把神經(jīng)網(wǎng)絡(luò)與混沌理論、模糊集理論和遺傳算法相互結(jié)合的網(wǎng)絡(luò)模型。 1988 年， Broomhead Lower 提出徑向基函數(shù)網(wǎng)絡(luò)（ Radial Basis Function， RBF），網(wǎng)絡(luò)設(shè)計(jì)采用原理化方法，有堅(jiān)實(shí)的數(shù)學(xué)基礎(chǔ)； 1987 年首屆國(guó)際神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)會(huì)議在美國(guó)加州圣地亞哥召開，成立了國(guó)際神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)（ INNS）； 1980 年，日本東京 NHK 廣播科學(xué)研究實(shí)驗(yàn)室的福島邦彥（ Kunihiko Fukushima），發(fā)表了《 Neocognitron》，開發(fā)了一些神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練算法，還有一系列的改進(jìn)的文章，新認(rèn)知機(jī)在于視覺模式識(shí)別機(jī)制的模型 ； 因此 WidrowHoff 的學(xué)習(xí)訓(xùn)練算法（也稱δ（ 誤差大小 ）算法或最小均方（ LMS）算 第 6 頁 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 法）也應(yīng)運(yùn)而生 ； 1943 年，心理學(xué)家 和數(shù)理邏輯學(xué)家 建立了神經(jīng)網(wǎng)絡(luò)和數(shù)學(xué)模型，稱為 MP模型 ； 他還認(rèn)為在大腦皮層上的任意一點(diǎn)的刺激量是其他所有發(fā)射點(diǎn)進(jìn)入該點(diǎn)刺激總和。這種網(wǎng)絡(luò)依靠系統(tǒng)的 復(fù)雜程度，通過調(diào)整內(nèi)部大量節(jié)點(diǎn)之間相互連接的關(guān)系，從而達(dá)到處理信息的目的。 關(guān)鍵詞： 人工神經(jīng)網(wǎng)絡(luò) 、 BP神經(jīng)網(wǎng)絡(luò)、誤差反向傳播算法、 MATLAB、 仿真 第 2 頁 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ Abstract With the artificial neural work of research and application of more and more widely, the error backpropagation algorithm (BP algorithm) is proposed, successfully resolved the continuous function for solving nonlinear multilayer feedforward neural work weights adjustment, BP work has bee now the most widely used works, Study to explore its plicated nonlinear problem has important significance, but also has broad application prospects. BP neural work is discussed and several improvements in the performance of BP neural work algorithm. BP learning algorithm through the derivation and analysis that the BP work is a multilayer feedforward works, the use of leastmeanvariance approach to learning, there is only disadvantage is that the training instructors, training time, limited to local minimum easily. The use of MATLAB to achieve a variety of BP neural work to achieve the design and training, to pare the performance of BP neural work to verify the advantages of improving the BP work, how to draw the object selected in accordance with the conclusions of neural works. Key words: Artificial neural work, BP neural works, error backpropagation algorithm, MATLAB, simulation 第 3 頁 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 目 錄 ................................................................. 5 引言 ............................................................. 5 神經(jīng)網(wǎng)絡(luò)概述 ..................................................... 5 1． 2． 1 神經(jīng)網(wǎng)絡(luò)起源 ................................................ 5 1． 2． 2 神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程 .......................................... 5 1． 2． 3 神經(jīng)網(wǎng)絡(luò)國(guó)內(nèi)發(fā)展概況 ........................................ 6 1． 2． 4 神經(jīng)網(wǎng)絡(luò)研究現(xiàn)狀 ............................................ 7 、方法和問題（ BP神經(jīng)網(wǎng)絡(luò)） ............................... 7 1． 3． 1 研究目的 .................................................... 8 1． 3． 2 研究方法 .................................................... 8 1． 3． 3 研究問題 .................................................... 8 神經(jīng)網(wǎng)絡(luò) .......................................................... 10 BP 神經(jīng)網(wǎng)絡(luò)相關(guān)原理 .............................................. 10 2． 1． 1 神經(jīng)元非線性模型 ........................................... 10 2． 1． 2 有教師監(jiān)督學(xué)習(xí) ............................................. 10 2． 1． 3 神經(jīng)元數(shù)學(xué)模型 ............................................. 11 2． 1． 4 Delta 學(xué)習(xí)規(guī)則 ............................................. 11 2． 1． 5 神經(jīng)元激活函數(shù) ............................................. 12 2． 1． 6 BP 神經(jīng)網(wǎng)絡(luò)收斂準(zhǔn)則 ........................................ 12 BP 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程描述 .......................................... 13 2． 2． 1 BP 神經(jīng)網(wǎng)絡(luò)計(jì)算模型建立 .................................... 13 2． 2． 2 BP 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程描述 .................................... 13 2． 2． 3 BP 神經(jīng)網(wǎng)絡(luò)方框圖 .......................................... 14 BP 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法 .............................................. 14 2． 3． 1 BP 神經(jīng)網(wǎng)絡(luò)信號(hào)流程 ........................................ 14 2． 3． 2 誤差反向傳播計(jì)算 ........................................... 14 2． 3． 3 BP 神經(jīng)網(wǎng)絡(luò)算法描述 ........................................ 17 影響因素分析 .................................................... 18 2． 4． 1 權(quán)值初始值設(shè)置影響分析 ..................................... 18 2． 4． 2 權(quán)值調(diào)整方法影響分析 ....................................... 18 2． 4． 3 激活函數(shù)選擇影響分析 ....................................... 19 2． 4． 4 學(xué)習(xí)率 η 選擇影響分析 ...................................... 19 2． 4． 5 輸入輸出歸一化影響分析 ..................................... 20 2． 4． 6 其他影響因素分析 ........................................... 21 BP 學(xué)習(xí)算法的改進(jìn) ................................................ 21 2． 5． 1 BP 學(xué)習(xí)算法的優(yōu)缺點(diǎn) ........................................ 21 2． 5． 2 增加動(dòng)量項(xiàng) ................................................. 22 2． 5． 3 彈性 BP 學(xué)習(xí)算法 ............................................ 22 2． 5． 4 自適應(yīng)學(xué)習(xí)速率法 ........................................... 23 2． 5． 5 共軛 梯度法 ................................................. 23 2． 5． 6 LevenbergMarquardt 算法 ................................... 24 第 4 頁 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊