【正文】 對那些快速訓(xùn)練算法，缺省參數(shù)值基本上都是最有效的設(shè)置 [10]。相反，學(xué)習(xí)率過小又會造成訓(xùn)練時間過長。 對于非線性系統(tǒng)，選擇合適的學(xué)習(xí)率是一個重要的問題。當(dāng)然，感知器和線性神經(jīng)網(wǎng)絡(luò)能夠解決這類網(wǎng)絡(luò)問題。動量法因為學(xué)習(xí)率的提高通常比單純的梯度下降法要快一些，但在實際應(yīng)用中還是速度不夠，這兩種方法通常只應(yīng)用于遞增訓(xùn)練。不過 ， 其優(yōu)化計算存在局部極小問題 ， 必須通過改進完善 [13]。另外 ， BP 神經(jīng)網(wǎng)絡(luò)具有優(yōu)化計算能力。再次 ， BP 神經(jīng)網(wǎng)絡(luò)對外界輸入樣本有很強的識別與分類能力。 BP 神經(jīng)網(wǎng)絡(luò)通過預(yù)先存儲信息和學(xué)習(xí)機制進行自適應(yīng)訓(xùn)練 ， 可以從不完整的信息和噪聲干擾中恢復(fù)原始的完整信息。其次 ， BP 神經(jīng)網(wǎng)絡(luò)具有對外界刺激和輸入信息進行聯(lián)想記憶的能力。 BP 網(wǎng)絡(luò)的 優(yōu)點 以及局限性 BP 神經(jīng)網(wǎng)絡(luò)最主要的優(yōu)點是具有極強的非線性映射能力 [12]。 （ 3） 分類：把輸入向量所定義的合適方式進行分類。 （ 1） 函數(shù)逼近：用輸入向量和相應(yīng)的輸出向量訓(xùn)練一個網(wǎng)絡(luò)以逼近一個函數(shù)。它也是前向網(wǎng)絡(luò)的核心部分，體現(xiàn)了人工神經(jīng)網(wǎng)絡(luò)的精華。 基于 MATLAB 的 BP 神經(jīng)網(wǎng)絡(luò)應(yīng)用 9 BP神經(jīng)網(wǎng)絡(luò)的主要功能 目前，在人 工神經(jīng)網(wǎng)絡(luò)的實際應(yīng)用中。 4）具有自學(xué)習(xí)、自組織、自適應(yīng)的能力。生物神經(jīng)系統(tǒng)部分不 嚴重損傷并不影響整體功能 ， BP神經(jīng)網(wǎng)絡(luò)也具有這種特性 ， 網(wǎng)絡(luò)的高度連接意味著少量的誤差可能不會產(chǎn)生嚴重的后果 ， 部分神經(jīng)元的損傷不破壞整體 ， 它可以自動修正誤差。 BP神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)模仿人腦 ， 具有并行處理的特征 ， 大大提高了網(wǎng)絡(luò)功能。人腦神經(jīng)元之間傳遞脈沖信號的速度遠低于馮 人腦存儲信息的特點是利用突觸效能的變化來調(diào)整存儲內(nèi)容 ， 即信息存儲在神經(jīng)元之間的連接強度的分布上 ， B P神經(jīng)網(wǎng)絡(luò)模擬人腦的這一特點 ， 使信息以連接權(quán)值的形式分布于整個網(wǎng)絡(luò)。權(quán)值不斷調(diào)整的過程就是網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練過程。此過程完成后 ， 輸入信號再次由輸入層輸入網(wǎng)絡(luò) ， 重復(fù)上述過程。輸入信號經(jīng)輸入層輸入 ， 通過隱含層的復(fù)雜 計算由輸出層輸出 ， 輸出信號與期望輸出相比較 ， 若有誤差 ， 再將誤差信號反向由輸出層通過隱含層處理后向輸入層傳播。其結(jié)構(gòu)如 圖 示： 圖 BP神經(jīng)網(wǎng)絡(luò) 模型 生物神經(jīng)元信號的傳遞是通過突觸進行的一個復(fù)雜的電化學(xué)等過程 , 在人工神經(jīng)網(wǎng)絡(luò)中是將其簡化模擬成一組數(shù)字信號通過一定的學(xué)習(xí)規(guī)則而不斷變動更新的過程 ， 這組數(shù)字儲存在神經(jīng)元之間的連接權(quán)重。 基于 MATLAB 的 BP 神經(jīng)網(wǎng)絡(luò)應(yīng)用 8 BP 神經(jīng)網(wǎng)絡(luò) 模型及其 基本 原理 BP神經(jīng)網(wǎng)絡(luò)是誤差反向傳播神經(jīng)網(wǎng) 絡(luò)的簡稱，它由一個輸入層，一個或多個隱含層和一個輸出層構(gòu)成，每一次由一定數(shù)量的的神經(jīng)元構(gòu)成。然后按減小希望輸出與實際輸出誤差的方向，從輸出層經(jīng)各中間層逐層修正各連接權(quán)，回到輸入層。其由輸入層、中間層、輸出層組成的階層型神經(jīng)網(wǎng)絡(luò)，中間層可擴展為多層。 圖 結(jié)合型網(wǎng)絡(luò)結(jié)構(gòu) 綜上， 可知 神經(jīng)網(wǎng)絡(luò) 有分層網(wǎng)絡(luò)、層內(nèi)連接的分層網(wǎng)絡(luò)、反饋連接的分層網(wǎng)絡(luò)、互連網(wǎng)絡(luò)等四種結(jié)構(gòu)，其神經(jīng)網(wǎng)絡(luò)模型有 感知器網(wǎng)絡(luò)，線性神經(jīng)網(wǎng)絡(luò)， BP 神經(jīng)網(wǎng)絡(luò)，徑向基函數(shù)網(wǎng)絡(luò)，反饋神經(jīng)網(wǎng)絡(luò)等，本文主要學(xué)習(xí)研究了 BP 神經(jīng)網(wǎng)絡(luò)， 以及 BP 神經(jīng)網(wǎng)絡(luò) 在函數(shù)逼近 和 樣本 含量估計兩個實例中的應(yīng)用 分析 。信號從某初始狀態(tài)開始，經(jīng)過若干次變化，才會達到某種 平衡狀態(tài)。在無反饋的前向網(wǎng)絡(luò)中，信號一旦通過某神經(jīng)元，該神經(jīng)元的處理就結(jié)束了。 基于 MATLAB 的 BP 神經(jīng)網(wǎng)絡(luò)應(yīng)用 7 圖 有相互結(jié)合的前向網(wǎng)絡(luò)結(jié)構(gòu) 4) 相互結(jié)合型網(wǎng)絡(luò) 相互結(jié)合型網(wǎng)絡(luò)結(jié)構(gòu)如圖 所示，這種網(wǎng)絡(luò)在任意兩個神經(jīng)元之間都可能 有 連接。這樣可以限制每層內(nèi)可以同時動作的神經(jīng)元素，或者把每層內(nèi)的神經(jīng)元分為若干組，讓每一組作為一個整體進行運作 。 圖 前向 網(wǎng)絡(luò) 結(jié)構(gòu) 2） 從輸出到輸入有反饋的前向網(wǎng)絡(luò) 其結(jié)構(gòu)如圖 所示，輸出層對輸入層有信息反饋，這種網(wǎng)絡(luò)可用于存儲某種模式序列，如神經(jīng)認知機和回歸 BP 網(wǎng)絡(luò)都屬于這種類型。輸入模式經(jīng)過各層次的順序傳播， 最后在輸出層上得到輸出。神經(jīng)元分層排列，分別組成輸入層、中間層（也稱為隱含層，可以由若干層組成）和輸出層。 人工神經(jīng)網(wǎng)絡(luò)的構(gòu)成 基于 MATLAB 的 BP 神經(jīng)網(wǎng)絡(luò)應(yīng)用 6 神經(jīng)元的模型確定之后，一個神經(jīng)網(wǎng)絡(luò)的特性及能力主要取決于網(wǎng)絡(luò)的拓撲結(jié)構(gòu)及學(xué)習(xí)方法。常用的人工神經(jīng)元模型可用圖 模擬 。當(dāng)神經(jīng)元細胞體通過軸突傳到突觸前膜的脈沖幅度達到一定強度，即超 過其閾值電位后，突觸前膜將向突觸間隙釋放神經(jīng)傳遞的化學(xué)物質(zhì)。 如圖 所示。神經(jīng)元是大腦處理信息的基本單元，以細胞體為主體，由許多向周圍延伸的不規(guī)則樹枝狀纖維構(gòu)成的神經(jīng)細胞，其形狀很像一棵枯樹的枝干。因此，人工神經(jīng)網(wǎng)絡(luò)作為經(jīng)驗?zāi)Ｐ偷囊环N，在化工生產(chǎn)、研究和開發(fā)中得到了越來越多的用途 。 若干神經(jīng)元連接成網(wǎng)絡(luò)，其中的一個神經(jīng)元可以接受多個輸入信號，按照一定的規(guī)則轉(zhuǎn)換為輸出信號。神經(jīng)網(wǎng)絡(luò)的信息處理通過神經(jīng)元的互相作用來實現(xiàn)， 知識與信息的存儲表現(xiàn)為網(wǎng)絡(luò)元件互相分布式的物理聯(lián)系。為了模擬大腦的基本特性，在神經(jīng)科學(xué)研究的基礎(chǔ)上，提出了神經(jīng)網(wǎng)絡(luò)的模型。模仿生物神經(jīng) 網(wǎng)絡(luò)而建立的人工神經(jīng)網(wǎng)絡(luò)，對輸入信號有功能強大的反應(yīng)和處理能力 [9]。生物神經(jīng)元受到傳入的刺激 ， 其反應(yīng)又從輸出端傳到相聯(lián)的其它神經(jīng)元 ， 輸入和輸出之間的 變換關(guān)系一般是非線性的?？臻g交匯對接控制、導(dǎo)航信息智能管理、飛行器制導(dǎo)和飛行程序優(yōu)化管理等。自適應(yīng)均衡、回波抵消、路由選擇和 ATM 網(wǎng)絡(luò)中的呼叫接納識別和控制。股票市場預(yù)測、地震預(yù)報、有價證券管理、借貸風(fēng)險分析、 IC 卡管理和交通管理?；み^程控制、機器人運動控制、家電控制、半導(dǎo)體生產(chǎn)中摻雜控制、石油精煉優(yōu)化控制和超大規(guī)模集成電路布線設(shè)計等。印刷體和手寫字符識別、語音識別、簽字識別、指紋識別、人體病理分析、目標(biāo)檢測與識別、圖像壓縮和圖像復(fù)制等。 基于 MATLAB 的 BP 神經(jīng)網(wǎng)絡(luò)應(yīng)用 4 神經(jīng)網(wǎng)絡(luò)的應(yīng)用 神經(jīng)網(wǎng)絡(luò)理論的應(yīng)用取得了令人矚目的發(fā)展 ， 特別是在人工智能、自動控制、計算機科學(xué)、信息處理、機器人、模式識別、 CAD/CAM 等方面都有重大的應(yīng)用實例。而這些軟件往往只針對某一方面的問題有效 ， 并且在人機接口、用戶友好性等諸多方面存在一定的缺陷。例如 ， 由于訓(xùn)練中穩(wěn)定性的要求學(xué)習(xí)率很小 ， 所以梯度下降法使得訓(xùn)練很忙動量法因為學(xué)習(xí)率的提高通常比單純的梯度下降法要快 ， 但在實際應(yīng)用中還是很慢 [7]。 神經(jīng)網(wǎng)絡(luò)研究目前存在的問題 人工 神經(jīng)網(wǎng)絡(luò)的發(fā)展具有強大的生命力。這方面的工作也稱為技術(shù)模型研究。 （ 2） 建立理論模型：根據(jù)生物圓形的研究 ， 建立神經(jīng)元、神經(jīng)網(wǎng)絡(luò)的理論模型 ， 其中包括概念模型、知識模型、物理化學(xué)模型、數(shù)學(xué)模型等。 神經(jīng)網(wǎng)絡(luò)的研究內(nèi)容 和目前存在的問題 神經(jīng)網(wǎng)絡(luò)的研究內(nèi)容 神經(jīng)網(wǎng)絡(luò)的研究內(nèi)容 相當(dāng)廣泛 ， 反映了多科學(xué)交叉技術(shù)領(lǐng)域的特點。 3）希望在理論上尋找新的突破 ， 建立新的專用 /通用模型和算法。 1）開發(fā)現(xiàn)有模型的應(yīng)用 ， 并在應(yīng)用中根據(jù)實際運行情況對模型、算法加以改造 ， 以 提高網(wǎng)絡(luò)的訓(xùn)練速度和運行的準確度。 20世紀 80年代后期到 90年代初，神經(jīng)網(wǎng)絡(luò)系統(tǒng)理論形成了發(fā)展的熱點，多種模型、算法和應(yīng)用被提出，研究經(jīng)費重新變得充足，使得研究 基于 MATLAB 的 BP 神經(jīng)網(wǎng)絡(luò)應(yīng)用 3 者們完成了很多有意義的工作。他于 1982 年和 1984年在美國科學(xué)院院刊上發(fā)表了兩篇文章，提出了模擬人腦的神經(jīng)網(wǎng)絡(luò)模型，即最著名的 Hopfield 模型。 3） 20 世紀 80 年代 90 年代 ：第二次研究高潮 進入 20 世紀 80 年代 ， 神經(jīng)網(wǎng)絡(luò)研究進入高潮 。 Grossberg 提出了自適應(yīng)共振理論； Kohenen 提出了自組織映射； Fukushima 提出了神經(jīng)認知網(wǎng)絡(luò)理論； Anderson 提出了 BSB 模型； Webos 提出了 BP 理論等。 2） 20 世紀 60 年代 20 世紀 70 年代：低潮時期 到了 20 世紀 60 年代 ， 人們發(fā)現(xiàn)感知器存在一些缺陷 ， 例如 ， 它不能解決異或問題 ， 因而研究工作趨向低潮。 1） 20 世紀 50 年代 20 世紀 60 年代：第一次研究高潮 自 1943 年 MP 模型 開始 ， 至 20世紀 60年代為止，這一段時間可以稱為神經(jīng)網(wǎng)絡(luò)系統(tǒng)理論發(fā)展的初期階段。光電結(jié)合的神經(jīng)計算機為人工神經(jīng)網(wǎng)絡(luò)的發(fā)展提供了良好條件。將信息幾何應(yīng)用于人工神經(jīng)網(wǎng)絡(luò)的研究，為人工神經(jīng)網(wǎng)絡(luò)的理論研究開辟了新的途徑。人工神經(jīng)網(wǎng)絡(luò)與其它傳統(tǒng)方法相結(jié)合，將推動人工智能和信息處理技術(shù)不斷發(fā)展。（ 3）研究仿照腦神經(jīng)系統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)，將在模式識別、組合優(yōu)化和決策判斷等方面取得傳統(tǒng)計算機所難以達到的效果 。 近年來通過對人工神 經(jīng)網(wǎng)絡(luò)的研究，可以看出神經(jīng)網(wǎng)絡(luò)的研究目的和意義有以下三點：（ 1）通過 揭示物理平面與認知平面之間的映射，了解它們相互聯(lián)系和相互作用的機理，從而揭示思維的本質(zhì)，探索智能的本源。 人工神經(jīng)網(wǎng)絡(luò)就是模擬人思維的 一 種方式 ， 是一個非線性動力學(xué)系統(tǒng)，其特色在于信息的分布式存儲和并行協(xié)同處理。在解決實際問題中， 應(yīng)用 MATLAB 語言構(gòu)造典型神經(jīng)網(wǎng)絡(luò)的激活傳遞函數(shù)，編寫各種網(wǎng)絡(luò)設(shè)計與訓(xùn)練的子程序，網(wǎng)絡(luò)的設(shè)計者可以根據(jù)需要 調(diào)用工具箱中有關(guān)神經(jīng)網(wǎng)絡(luò)的設(shè)計訓(xùn)練程序 ，使自己能夠從煩瑣的編程中解脫出來 ， 減輕工程人員的負擔(dān)，從而提高工作效率。 為了 解決神經(jīng)網(wǎng)絡(luò)問題 中 的研究工作量和編程計算工作量 問題， 目前工程領(lǐng)域中較為流行的軟件 MATLAB，提供了現(xiàn)成的神經(jīng)網(wǎng)絡(luò)工具箱（ Neural Network Toolbox，簡稱 NNbox） [3]， 為解決這個矛盾提供了便利條件。近年來，神經(jīng)網(wǎng)絡(luò)在模擬人類認知的道路上更加深入發(fā)展，并與模糊系統(tǒng)、遺傳算法、進化機制等組合，形成計