【正文】 和訓(xùn)練函數(shù)等 [15]。 神經(jīng)網(wǎng)絡(luò)工具箱是在 MATLAB 環(huán)境下開發(fā)出來的許多工具箱之一。神經(jīng)元數(shù)目太少會造成網(wǎng)絡(luò)的不適性，而神經(jīng)元數(shù)目太多又會引起網(wǎng)絡(luò)的過適性 。 非線性網(wǎng)絡(luò)的誤差面比線性網(wǎng)絡(luò)的誤差面復(fù)雜得多，問題在于多層網(wǎng)絡(luò)中非線性傳遞函數(shù) 有 多個局部最優(yōu)解。在線性網(wǎng)絡(luò)中 ， 學(xué)習(xí)率過大會導(dǎo)致訓(xùn)練過程不穩(wěn)定。 多層神經(jīng)網(wǎng)絡(luò)可以應(yīng)用于線性系統(tǒng)和非線性系統(tǒng)中，對于任 意函數(shù)模擬逼近。 BP 神經(jīng)網(wǎng)絡(luò)本質(zhì)上是一個非線性優(yōu)化問題 , 它可以在已知的約束條件下 ， 尋找一組參數(shù)組合 ， 使該組合確定的目標函數(shù)達到最小。這種能力使其在圖像復(fù)原、語言處理、模式識別等方面具有重要應(yīng)用。理論上 ， 對于一個三層和三層以上的 BP網(wǎng)絡(luò) ， 只要隱層神經(jīng)元數(shù)目足夠多 ， 該網(wǎng)絡(luò)就能以任意精度逼近一個非線性函數(shù)。 （ 2） 模式識別：用一個待定的輸出向量將它與輸入向量聯(lián)系起來。絕大部分的神經(jīng)網(wǎng)絡(luò)模型都采用 BP 神經(jīng)網(wǎng)絡(luò)及其變化形式。這與現(xiàn)代計算機的脆弱性形成鮮明對比。 諾依曼計算機的工作速度 ， 但是在很多問題上卻可以做出快速的判斷、決策和處理 ， 這是由于人腦是一個大規(guī)模并行與串行組合的處理系統(tǒng)。 BP 神經(jīng)網(wǎng)絡(luò)的信息 處理方式具有如下特點 : 1）信息分布存儲。在這個過程中 ， 誤差通過梯度下降算法 ， 分攤給各層的所有單元 ， 從而獲得各單元的誤差信號 ， 以此誤差信號為依據(jù)修正各單元權(quán)值 ， 網(wǎng)絡(luò)權(quán)值因此被重新分布。這些神經(jīng)元如同人的神經(jīng)細胞一樣是互相關(guān)聯(lián)的。相鄰層之間各神經(jīng)元進行全連接，而每層各神經(jīng)元之間無連接，網(wǎng)絡(luò)按有教師示教的方式進行學(xué)習(xí)，當一對學(xué)習(xí)模式提供給網(wǎng)絡(luò)后，各神經(jīng)元獲得網(wǎng)絡(luò)的輸入響應(yīng)產(chǎn)生連接權(quán)值（ Weight）。根據(jù)網(wǎng)絡(luò)的結(jié)構(gòu)和神經(jīng)元的特性，網(wǎng)絡(luò)的 運行還有可能進入周期振蕩或其他如混沌平衡狀態(tài)。 Hopfield 網(wǎng)絡(luò)和Boltzmann 機均屬于這種類型。 圖 有反饋的前向網(wǎng)絡(luò)結(jié)構(gòu) 3) 層 內(nèi)互連前向網(wǎng)絡(luò) 其結(jié)構(gòu)如圖 所示，通過層內(nèi)神經(jīng)元的相互結(jié)合，可以實現(xiàn)同一層神經(jīng)元之間的橫向抑制或興奮機制。每一層的神經(jīng)元只接受來自前一層神經(jīng)元的輸入，后面的層對前面的層沒有信號反饋。 圖 人工神經(jīng)元（感知器）示意圖 當神經(jīng)元 j 有多個輸入 xi(i=1， 2,?, m)和單個輸出 yj時，輸入和輸出的關(guān)系可表示為 : ???????? ?? )(1jjjmi iijj sfyxws ? () 其中 j為閾值， wij為從神經(jīng)元 i 到 神經(jīng)元 j 的連接權(quán)重因子， f( )為傳遞函數(shù)，或稱激勵函數(shù)。 圖 生物神經(jīng)元 從神經(jīng)元各組成部分的功能來看，信息的處理與傳遞主要發(fā)生在突觸附近。 生物神經(jīng)元 基于 MATLAB 的 BP 神經(jīng)網(wǎng)絡(luò)應(yīng)用 5 人腦大約由 1012個神經(jīng)元組成，神經(jīng)元互相連接成神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)和識別取決于各種神經(jīng)元連接權(quán)系數(shù)的動態(tài)演化過程。 神經(jīng)網(wǎng)絡(luò)是由大量的處理單元（神經(jīng)元）互相連接而成的網(wǎng)絡(luò)。 2 神經(jīng) 網(wǎng)絡(luò)結(jié)構(gòu)及 BP 神經(jīng) 網(wǎng)絡(luò) 神經(jīng)元與網(wǎng)絡(luò)結(jié)構(gòu) 人工神經(jīng)網(wǎng)絡(luò)（ artificial neural work， ANN）是模仿生物神經(jīng)網(wǎng)絡(luò)功能的一種經(jīng)驗?zāi)Ｐ汀? （ 4）通信。 （ 2）控制和優(yōu)化。在微機飛速發(fā)展的今天 ， 很多都已不能滿足發(fā)展的需要。當前存在的問題是智能水平還不高 ， 許多應(yīng)用方面的要求還不能得到很好的滿足；網(wǎng)絡(luò)分析與綜合的一些理論性問題還未得到很好的解決。 （ 3） 網(wǎng)絡(luò)模型與算法研究：在理論模型研究的基礎(chǔ) 上構(gòu)成具體的神經(jīng)網(wǎng)絡(luò)模型 ， 以實現(xiàn)計算機模擬或準備制作硬件 ， 包括網(wǎng)絡(luò)學(xué)習(xí)算法的研究。 4）進一步對生物神經(jīng)系統(tǒng)進行研究 ， 不斷地豐富對人腦的認識。 神經(jīng)網(wǎng)絡(luò)的現(xiàn)狀 進入 20 世紀 90 年代以來，神經(jīng)網(wǎng) 絡(luò)由于應(yīng)用面還不夠?qū)?，結(jié)果不夠精確，存在可信度問題，從而進入了 認識與應(yīng)用研究期。這個時期最具有標志性的人物是美國加州工學(xué)院的物理學(xué)家 John Hopfield。不過仍 有 不少學(xué)者繼續(xù)對神經(jīng)網(wǎng)絡(luò)進行研究。 神經(jīng)網(wǎng)絡(luò)的發(fā)展 與 研究 現(xiàn)狀 神經(jīng)網(wǎng)絡(luò)的發(fā)展 神經(jīng)網(wǎng)絡(luò)起源于 20 世紀 40 年代，至今發(fā)展已半個多世紀，大致分為三個階段 【 7】 。近年來，人工神經(jīng)網(wǎng)絡(luò)正向模擬人類認知的道路上更加深入發(fā)展，與模糊系統(tǒng)、遺傳算法、進化機制等結(jié)合，形成計算智能，成為人工智能的一個重要方向，將在實際應(yīng)用中得到發(fā)展。（ 2）爭取構(gòu)造出盡可能與人腦具有相似功能的計算機，即神經(jīng)網(wǎng)絡(luò)計算機。 人工神經(jīng)網(wǎng)絡(luò)的研究背景和意義 人工神經(jīng)網(wǎng)絡(luò)是由具有適應(yīng)性的簡單單元組成的廣泛并行互連的網(wǎng)絡(luò)，它的組織能夠模擬生物神經(jīng)系 基于 MATLAB 的 BP 神經(jīng)網(wǎng)絡(luò)應(yīng)用 2 統(tǒng)對真實世界物體所作出的交互反應(yīng) [5]。 MATLAB 是一種科學(xué)與工程計算 的高級語言，廣泛地運用于包括信號與圖像處理，控制系統(tǒng)設(shè)計，系統(tǒng)仿真等諸多領(lǐng)域。神經(jīng)網(wǎng)絡(luò)的發(fā)展與神經(jīng)科學(xué)、數(shù)理科學(xué)、認知科學(xué)、計算機科學(xué)、人工智能、 信息科學(xué)、控制論、機器人學(xué)、微電子學(xué)、心理學(xué)、微電子學(xué)、心理學(xué)、光計算、分子生物學(xué)等有關(guān)，是一門新興的邊緣交叉學(xué)科。將神經(jīng)網(wǎng)絡(luò)算法應(yīng)用于 函數(shù)逼近和樣本含量估計 問題 中 ，并分析相關(guān)參數(shù)對算法運行結(jié)果的影響。 基于 MATLAB 的 BP 神經(jīng)網(wǎng)絡(luò)應(yīng)用 目 錄 1 緒論 ........................................................... 1 人工神經(jīng)網(wǎng)絡(luò)的研究背景和意義 ............................... 1 神經(jīng)網(wǎng)絡(luò)的發(fā)展與研究現(xiàn)狀 ................................... 2 神經(jīng)網(wǎng)絡(luò)的研究內(nèi)容 和目前存在的問題 ......................... 3 神經(jīng)網(wǎng)絡(luò)的應(yīng)用 ............................................ 4 2 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及 BP 神經(jīng) 網(wǎng)絡(luò) ...................................... 4 神經(jīng)元與網(wǎng)絡(luò)結(jié)構(gòu) .......................................... 4 BP 神經(jīng)網(wǎng)絡(luò)及其原理 ....................................... 7 BP 神經(jīng)網(wǎng)絡(luò)的主要功能 ...................................... 9 BP 網(wǎng)絡(luò)的 優(yōu)點以及 局限性 .................................... 9 3 BP 神經(jīng)網(wǎng)絡(luò)在 實例 中的應(yīng)用 ...................................... 10 基于 MATLAB 的 BP 神經(jīng)網(wǎng)絡(luò)工具箱函數(shù) ..................... 10 BP 網(wǎng)絡(luò)在函數(shù)逼近中的應(yīng)用 ................................. 12 BP 網(wǎng)絡(luò)在 樣本 含量估計中的應(yīng)用 ............................. 17 4 結(jié)束語 ........................................................ 23 參考文獻 : ....................................................... 24 英文摘要 ........................................................ 25 致 謝 ........................................................ 26 基于 MATLAB 的 BP 神經(jīng)網(wǎng)絡(luò)應(yīng)用 1 基于 MATLAB 的 BP 神經(jīng)網(wǎng)絡(luò)應(yīng)用 蔣亮亮 南京信息工程大學(xué) 濱江學(xué)院 自動化專業(yè)， 南京 210044 摘要 :本文首先說明課題研究的目的和意義，評述課題的國內(nèi)外研究現(xiàn)狀，引出目前存在的問題。最后對 BP 神經(jīng)網(wǎng)絡(luò)算法進行了展望。 神經(jīng)網(wǎng)絡(luò) 具 有非線性 自 適應(yīng) 的 信息處理能力，克服了傳統(tǒng)人工智能方法對于直覺的缺陷， 因而 在神經(jīng)專家系統(tǒng)、模式識別、智能控制、組合優(yōu)化、預(yù)測等領(lǐng)域得到成功應(yīng)用 [2]。 為了 解決神經(jīng)網(wǎng)絡(luò)問題 中 的研究工作量和編程計算工作量 問題， 目前工程領(lǐng)域中較為流行的軟件 MATLAB，提供了現(xiàn)成的神經(jīng)網(wǎng)絡(luò)工具箱（ Neural Network Toolbox，簡稱 NNbox） [3]， 為解決這個矛盾提供了便利條件。 人工神經(jīng)網(wǎng)絡(luò)就是模擬人思維的 一 種方式 ， 是一個非線性動力學(xué)系統(tǒng)，其特色在于信息的分布式存儲和并行協(xié)同處理。（ 3）研究仿照腦神經(jīng)系統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)，將在模式識別、組合優(yōu)化和決策判斷等方面取得傳統(tǒng)計算機所難以達到的效果 。將信息幾何應(yīng)用于人工神經(jīng)網(wǎng)絡(luò)的研究，為人工神經(jīng)網(wǎng)絡(luò)的理論研究開辟了新的途徑。 1） 20 世紀 50 年代 20 世紀 60 年代：第一次研究高潮 自 1943 年 MP 模型 開始 ， 至 20世紀 60年代為止，這一段時間可以稱為神經(jīng)網(wǎng)絡(luò)系統(tǒng)理論發(fā)展的初期階段。 Grossberg 提出了自適應(yīng)共振理論； Kohenen 提出了自組織映射； Fukushima 提出了神經(jīng)認知網(wǎng)絡(luò)理論； Anderson 提出了 BSB 模型； Webos 提出了 BP 理論等。他于 1982 年和 1984年在美國科學(xué)院院刊上發(fā)表了兩篇文章，提出了模擬人腦的神經(jīng)網(wǎng)絡(luò)模型，即最著名的 Hopfield 模型。 1）開發(fā)現(xiàn)有模型的應(yīng)用 ， 并在應(yīng)用中根據(jù)實際運行情況對模型、算法加以改造 ， 以 提高網(wǎng)絡(luò)的訓(xùn)練速度和運行的準確度。 神經(jīng)網(wǎng)絡(luò)的研究內(nèi)容 和目前存在的問題 神經(jīng)網(wǎng)絡(luò)的研究內(nèi)容 神經(jīng)網(wǎng)絡(luò)的研究內(nèi)容 相當廣泛 ， 反映了多科學(xué)交叉技術(shù)領(lǐng)域的特點。這方面的工作也稱為技術(shù)模型研究。例如 ， 由于訓(xùn)練中穩(wěn)定性的要求學(xué)習(xí)率很小 ， 所以梯度下降法使得訓(xùn)練很忙動量法因為學(xué)習(xí)率的提高通常比單純的梯度下降法要快 ， 但在實際應(yīng)用中還是很慢 [7]。 基于 MATLAB 的 BP 神經(jīng)