【正文】 基于BP算法的神經(jīng)網(wǎng)絡(luò)技術(shù)畢業(yè)論文目 錄第一章 引言 1 神經(jīng)網(wǎng)絡(luò)的概述 1 1 2 2 3 3 神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域 3第二章 BP神經(jīng)網(wǎng)絡(luò)概述 5 BP神經(jīng)網(wǎng)絡(luò)介紹 5 神經(jīng)元 5 5 9 BP神經(jīng)網(wǎng)絡(luò)原理 9 BP神經(jīng)網(wǎng)絡(luò)的主要功能 11 BP神經(jīng)網(wǎng)絡(luò)的優(yōu)點和缺點 12第三章 BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用 15 15 MATLAB工具箱介紹 15 BP網(wǎng)絡(luò)創(chuàng)建函數(shù) 16 神經(jīng)元上的傳遞函數(shù) 16 BP網(wǎng)絡(luò)學(xué)習(xí)函數(shù) 17 BP網(wǎng)絡(luò)訓(xùn)練函數(shù) 17 BP網(wǎng)絡(luò)在函數(shù)逼近中的應(yīng)用 17 問題的提出 17 基于BP神經(jīng)網(wǎng)絡(luò)逼近函數(shù) 17 不同頻率下的逼近效果 21 討論 23 仿真實驗 23 BP神經(jīng)網(wǎng)絡(luò)MATLAB設(shè)計 23 各種BP學(xué)習(xí)算法MATLAB仿真 25 各種算法仿真結(jié)果比較與分析 27 調(diào)整初始權(quán)值和閾值的仿真 28 其他影響因素仿真 31 BP神經(jīng)網(wǎng)絡(luò)在樣本分類中的應(yīng)用 31 31 基于BP神經(jīng)網(wǎng)絡(luò)的樣本分類 32結(jié)束語 36致 謝 37參考文獻 38附錄A 40 第一章 引言人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks，簡寫為ANNs）也簡稱為神經(jīng)網(wǎng)絡(luò)（NNs）或稱作連接模型（Connection Model），它是一種模范動物神經(jīng)網(wǎng)絡(luò)行為特征，進行分布式并行信息處理的算法數(shù)學(xué)模型。這種網(wǎng)絡(luò)依靠系統(tǒng)的復(fù)雜程度，通過調(diào)整內(nèi)部大量節(jié)點之間相互連接的關(guān)系，從而達到處理信息的目的。神經(jīng)元網(wǎng)絡(luò)是機器學(xué)習(xí)學(xué)科中的一個重要部分，用來classification或者regression。思維學(xué)普遍認(rèn)為，人類大腦的思維分為抽象（邏輯）思維、形象（直觀）思維和靈感（頓悟）思維三種基本方式。邏輯性的思維是指根據(jù)邏輯規(guī)則進行推理的過程；它先將信息化成概念，并用符號表示，然后，根據(jù)符號運算按串行模式進行邏輯推理；這一過程可以寫成串行的指令，讓計算機執(zhí)行。然而，直觀性的思維是將分布式存儲的信息綜合起來，結(jié)果是忽然間產(chǎn)生想法或解決問題的辦法。這種思維方式的根本之點在于以下兩點：；。人工神經(jīng)網(wǎng)絡(luò)就是模擬人思維的第二種方式。這是一個非線性動力學(xué)系統(tǒng)，其特色在于信息的分布式存儲和并行協(xié)同處理。雖然單個神經(jīng)元的結(jié)構(gòu)極其簡單，功能有限，但大量神經(jīng)元構(gòu)成的網(wǎng)絡(luò)系統(tǒng)所能實現(xiàn)的行為卻是極其豐富多彩的。 人工神經(jīng)網(wǎng)絡(luò)是由具有適應(yīng)性的簡單單元組成的廣泛并行互連的網(wǎng)絡(luò)，它的組織能夠模擬生物神經(jīng)系統(tǒng)對真實世界物體所作出的交互反應(yīng)。人工神經(jīng)網(wǎng)絡(luò)就是模擬人思維的一種方式，是一個非線性動力學(xué)系統(tǒng)，其特色在于信息的分布式存儲和并行協(xié)同處理。雖然單個神經(jīng)元的結(jié)構(gòu)極其簡單，功能有限，但大量神經(jīng)元構(gòu)成的網(wǎng)絡(luò)系統(tǒng)所能實現(xiàn)的行為卻是極其豐富多彩的。 近年來通過對人工神經(jīng)網(wǎng)絡(luò)的研究，可以看出神經(jīng)網(wǎng)絡(luò)的研究目的和意義有以下三點：（1）通過揭示物理平面與認(rèn)知平面之間的映射，了解它們相互聯(lián)系和相互作用的機理，從而揭示思維的本質(zhì)，探索智能的本源。（2）爭取構(gòu)造出盡可能與人腦具有相似功能的計算機，即神經(jīng)網(wǎng)絡(luò)計算機。（3）研究仿照腦神經(jīng)系統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)，將在模式識別、組合優(yōu)化和決策判斷等方面取得傳統(tǒng)計算機所難以達到的效果。 人工神經(jīng)網(wǎng)絡(luò)特有的非線性適應(yīng)性信息處理能力，克服了傳統(tǒng)人工智能方法對于直覺，如模式、語音識別、非結(jié)構(gòu)化信息處理方面的缺陷，使之在神經(jīng)專家系統(tǒng)、模式識別、智能控制、組合優(yōu)化、預(yù)測等領(lǐng)域得到成功應(yīng)用。人工神經(jīng)網(wǎng)絡(luò)與其它傳統(tǒng)方法相結(jié)合，將推動人工智能和信息處理技術(shù)不斷發(fā)展。近年來，人工神經(jīng)網(wǎng)絡(luò)正向模擬人類認(rèn)知的道路上更加深入發(fā)展，與模糊系統(tǒng)、遺傳算法、進化機制等結(jié)合，形成計算智能，成為人工智能的一個重要方向，將在實際應(yīng)用中得到發(fā)展。將信息幾何應(yīng)用于人工神經(jīng)網(wǎng)絡(luò)的研究，為人工神經(jīng)網(wǎng)絡(luò)的理論研究開辟了新的途徑。神經(jīng)計算機的研究發(fā)展很快，已有產(chǎn)品進入市場。光電結(jié)合的神經(jīng)計算機為人工神經(jīng)網(wǎng)絡(luò)的發(fā)展提供了良好條件。神經(jīng)網(wǎng)絡(luò)誕生半個世紀(jì)以來，經(jīng)歷了五個階段：（1） 奠基階段：早在40年代初，神經(jīng)解剖學(xué)、神經(jīng)生理學(xué)、心理學(xué)以及人腦神經(jīng)元的電生理的研究等都富有成果。其中，神經(jīng)生物學(xué)家McCulloch提倡數(shù)字化具有特別意義。他與青年數(shù)學(xué)家Pitts合作，從人腦信息處理觀點出發(fā)，采用數(shù)理邏輯模型的方法研究了腦細胞的動作和結(jié)構(gòu)及其生物神經(jīng)元的一些基本生理特性，他們提出了第一個神經(jīng)計算模型，即神經(jīng)元的閾值元件模型，簡稱MP模型，他們認(rèn)識到了模擬大腦可用于邏輯運行的網(wǎng)絡(luò)，有一些結(jié)點及結(jié)點與結(jié)點之間相互聯(lián)系，構(gòu)成一個簡單神經(jīng)網(wǎng)絡(luò)模型。其主要貢獻在于結(jié)點的并行計算能力很強，為計算神經(jīng)行為的某此方面提供了可能，從而開創(chuàng)了神經(jīng)網(wǎng)絡(luò)的研究。這一革命性的思想，產(chǎn)生了很大影響。（2） 第一次高潮階段：1958年計算機科學(xué)家Rosenblatt基于MP模型，增加了學(xué)習(xí)機制，推廣了MP模型。他證明了兩層感知器能夠?qū)⑤斎敕譃閮深?，假如這兩種類型是線性并可分，也就是一個超平面能將輸入空間分割，其感知器收斂定理：輸入和輸出層之間的權(quán)重的調(diào)節(jié)正比于計算輸出值與期望輸出之差。他提出的感知器模型，首次把神經(jīng)網(wǎng)絡(luò)理論付諸工程實現(xiàn)。（3） 堅持階段：神經(jīng)網(wǎng)絡(luò)理論那遙遠但并非遙不可及的目標(biāo)著實吸引了很多人的目光，美國軍方認(rèn)為神經(jīng)網(wǎng)絡(luò)工程應(yīng)當(dāng)比“原子彈工程”更重要，并對它的投資興趣非常大，而對其實踐的效果也比較滿意。（4） 第二次高潮階段：Kohonen提出了自組織映射網(wǎng)絡(luò)模型，映射具有拓撲性質(zhì)，對一維、二維是正確的，并在計算機上進行了模擬，通過實例所展示的自適應(yīng)學(xué)習(xí)效果顯著。他認(rèn)為有可能推廣到更高維的情況。（5） 新發(fā)展階段：從神經(jīng)網(wǎng)絡(luò)理論的發(fā)展史看，它的高潮階段是很容易度過的。IJCNN91大會主席Rumelhart意識到這一點，在他的開幕詞中有一個觀點，神經(jīng)網(wǎng)絡(luò)的發(fā)展已到了一個轉(zhuǎn)折的時期，它的范圍正在不斷擴大，其應(yīng)用領(lǐng)域幾乎包括各個方面。半個世紀(jì)以來，這門學(xué)科的理論和技術(shù)基礎(chǔ)已達到了一定規(guī)模，筆者認(rèn)為，神經(jīng)網(wǎng)絡(luò)到了新發(fā)展階段，需要不斷完善和突破，使其技術(shù)和應(yīng)用得到有力的支持。進入20世紀(jì)90年代以來，神經(jīng)網(wǎng)絡(luò)由于應(yīng)用面還不夠?qū)挘Y(jié)果不夠精確，存在可信度問題，從而進入了認(rèn)識與應(yīng)用研究期。1）開發(fā)現(xiàn)有模型的應(yīng)用，并在應(yīng)用中根據(jù)實際運行情況對模型、算法加以改造，以提高網(wǎng)絡(luò)的訓(xùn)練速度和運行的準(zhǔn)確度。2）充分發(fā)揮兩種技術(shù)各自的優(yōu)勢是一個有效方法。3）希望在理論上尋找新的突破，建立新的專用/通用模型和算法。4）進一步對生物神經(jīng)系統(tǒng)進行研究，不斷地豐富對人腦的認(rèn)識。人工神經(jīng)網(wǎng)絡(luò)理論本身也在完善和發(fā)展中。如神經(jīng)的穩(wěn)定性和收斂性問題有待進一步研究。神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和神經(jīng)元數(shù)量的確定還沒有成熟的理論等。如廣泛使用的BP網(wǎng)絡(luò)就存在：(1)收斂速度慢，且收斂速度與初始權(quán)值選取有關(guān)(2)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計，即隱層及接點數(shù)的選擇尚無理論指導(dǎo)(3)新加人的樣本會影響已訓(xùn)練好的樣本(4)存在局部最小問題人工神經(jīng)網(wǎng)絡(luò)自身的問題直接影響其應(yīng)用。包括在經(jīng)濟領(lǐng)域的應(yīng)用。隨著人工神經(jīng)網(wǎng)絡(luò)研究和應(yīng)用的不斷深入。一些改進算法和技術(shù)，如模擬退火算法、遺傳算法(GA)、模糊技術(shù)、小波分析等和神經(jīng)網(wǎng)絡(luò)逐步融合，提高了神經(jīng)網(wǎng)絡(luò)模型的工作性能。例如運用模糊技術(shù)克服一般神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程復(fù)雜、收斂速度慢的弱點，并提高了模型的精度。將小波分析良好的局域化性質(zhì)與神經(jīng)網(wǎng)絡(luò)的自適應(yīng)學(xué)習(xí)和非線性映射能力相結(jié)合，使神經(jīng)網(wǎng)絡(luò)具有極佳的函數(shù)逼近能力，這為非線性長期預(yù)報提供了新的思路和方法。遺傳算法是近來發(fā)展起來的一種隨機多點搜索算法。具有很強的自適應(yīng)性、魯棒性，它在全局尋優(yōu)上的能力可以防止神經(jīng)網(wǎng)絡(luò)在尋優(yōu)過程中陷人局部最小點。一個經(jīng)濟活動或現(xiàn)象往往是多種因素合力的結(jié)果，各個因素之間往往存在耦合，在實際中往往難以對各個因素進行合理的量化。同時神經(jīng)網(wǎng)絡(luò)的評估精度主要取決于訓(xùn)練樣本的數(shù)量和質(zhì)量，而在實際中難以一次性獲得足夠的理想樣本，這要在使用過程中逐步積累，通過不斷的學(xué)習(xí)使網(wǎng)絡(luò)趨于完善。神經(jīng)網(wǎng)絡(luò)以其獨特的結(jié)構(gòu)和處理信息的方法，在許多實際應(yīng)用領(lǐng)域中取得了顯著的成效，主要應(yīng)用如下：(1)自動控制領(lǐng)域。神經(jīng)網(wǎng)絡(luò)方法已經(jīng)覆蓋了控制理論中的絕大多數(shù)問題，主要有系統(tǒng)建模與辨識、PID 參數(shù)整定、極點配置、內(nèi)?？刂?、優(yōu)化設(shè)計、預(yù)測控制、最優(yōu)控制、自適應(yīng)控制、濾波與預(yù)測容錯控制、模糊控制和學(xué)習(xí)控制等。典型的例子是20世紀(jì)60年代初，美國“阿波羅”登月計劃中，Kilmer和MeClloch 等人根據(jù)脊椎動物神經(jīng)系統(tǒng)中網(wǎng)狀結(jié)構(gòu)的工作原理，提出了一個KMB 模型，以使登月車在遠距離復(fù)雜環(huán)境下具有一定的自制能力。(2)處理組合優(yōu)化問題。最典型的例子是成功地解決了TSP問題，即旅行推銷員問題（Travelling Salesman Problem），另外還有最大匹配問題、裝箱問題和作業(yè)調(diào)度等。(3)模式識別。已成功應(yīng)用于手寫字符、汽車牌照、指紋和聲音識別，還可用于目標(biāo)的自動識別和定位、機器人傳感器的圖像識別以及地震信號的鑒別等。(4)圖像處理。對圖像進行邊緣監(jiān)測、圖像分割、圖像壓縮和圖像恢復(fù)。(5)傳感器信號處理。傳感器輸出非線性特性的矯正、傳感器故障檢測、濾波與除噪、環(huán)境影響因素的補償、多傳感信息融合。(5)機器人控制。對機器人眼手系統(tǒng)位置進行協(xié)調(diào)控制，用于機械手的故障診斷及排除、智能自適應(yīng)移動機器人的導(dǎo)航。(6)信號處理。能分別對通訊、語音、心電和腦電信號進行處理分類；可用于海底聲納信號的檢測與分類，在反潛、掃雷等方面得到應(yīng)用。(7)信號處理。能分別對通訊、語音、心電和腦電信號進行處理分類；可用于海底聲納信號的檢測與分類，在反潛、掃雷等方面得到應(yīng)用。(8)衛(wèi)生保健、醫(yī)療。比如通過訓(xùn)練自主組合的多層感知器可以區(qū)分正常心跳和非正常心跳、基于BP網(wǎng)絡(luò)的波形分類和特征提取在計算機臨床診斷中的應(yīng)用Mamp。N。(9)經(jīng)濟。能對商品價格、股票價格MDN和企業(yè)的可信度等進行短期預(yù)測。(10)化工領(lǐng)域。能對制藥、生物化學(xué)和化學(xué)工程等進行分析。如：進行蛋白質(zhì)結(jié)構(gòu)分析、譜分析和化學(xué)反應(yīng)分析等。(11)焊接領(lǐng)域。國內(nèi)外在參數(shù)選擇、質(zhì)量檢驗、質(zhì)量預(yù)測和實時控制方面都有研究，部分成果已得到應(yīng)用。(12)地理領(lǐng)域。在遙感圖像分類中有廣泛的應(yīng)用，在GIS方面應(yīng)用人工神經(jīng)網(wǎng)絡(luò)理論，提高系統(tǒng)對數(shù)據(jù)進行復(fù)雜的綜合分析的功能。(13)另外，在數(shù)據(jù)挖掘、電力系統(tǒng)、交通、軍事、礦業(yè)、農(nóng)業(yè)和氣象等方面亦有應(yīng)用。第二章 BP神經(jīng)網(wǎng)絡(luò)概述 BP神經(jīng)網(wǎng)絡(luò)介紹BP（Back Propagation）網(wǎng)絡(luò)是1986年由Rumelhart和McCelland為首的科學(xué)家小組提出，是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。BP網(wǎng)絡(luò)能學(xué)習(xí)和存貯大量的輸入輸出模式映射關(guān)系，而無需事前揭示描述這種映射關(guān)系的數(shù)學(xué)方程。它的學(xué)習(xí)規(guī)則是使用最速下降法，通過反向傳播來不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，使網(wǎng)絡(luò)的誤差平方和最小。BP神經(jīng)網(wǎng)絡(luò)模型拓撲結(jié)構(gòu)包括輸入層（input）、隱層(hide layer)和輸出層(output layer)。 如圖21。 圖21 BP網(wǎng)絡(luò)模型結(jié)構(gòu)圖歸納一下生物神經(jīng)元傳遞信息的過程：生物神經(jīng)元是一個多輸入、單輸出單元。常用的人工神經(jīng)元模型可用圖22模擬。圖22 人工神經(jīng)元（感知器）示意圖當(dāng)神經(jīng)元j有多個輸入xi(i=1，2,…,m)和單個輸出yj時，輸入和輸出的關(guān)系可表示為: 其中j為閾值，wij為從神經(jīng)元i到神經(jīng)元j的連接權(quán)重因子，f( )為傳遞函數(shù)，或稱激勵函數(shù)。神經(jīng)網(wǎng)絡(luò)連接的幾種基本形式：1）前向網(wǎng)絡(luò) 前向網(wǎng)絡(luò)結(jié)構(gòu)如圖23所示，網(wǎng)絡(luò)中的神經(jīng)元是分層排列的，每個神經(jīng)元只與前一層的神經(jīng)元相連接。神經(jīng)元分層排列，分別組成輸入層、中間層（也稱為隱含層，可以由若干層組成）和輸出層。每一層的神經(jīng)元只接受來自前一層神經(jīng)元的輸入，后面的層對前面的層沒有信號反饋。輸入模式經(jīng)過各層次的順序傳播，最后在輸出層上得到輸出。感知器網(wǎng)絡(luò)和BP網(wǎng)絡(luò)均屬于前向網(wǎng)絡(luò)。圖23 前向網(wǎng)絡(luò)結(jié)構(gòu)2）從輸出到輸入有反饋的前向網(wǎng)絡(luò)其結(jié)構(gòu)如圖24所示，輸出層對輸入層有信息反饋，這種網(wǎng)絡(luò)可用于存儲某種模式序列，如神經(jīng)認(rèn)知機和回歸BP網(wǎng)絡(luò)都屬于這種類型。圖24 有反饋的前向網(wǎng)絡(luò)結(jié)構(gòu)3) 層內(nèi)互連前向網(wǎng)絡(luò) 其結(jié)構(gòu)如圖25所示，通過層內(nèi)神經(jīng)元的相互結(jié)合，可以實現(xiàn)同一層神經(jīng)元之間的橫向抑制或興奮機制。這樣可以限制每層內(nèi)可以同時動作的神經(jīng)元素，或者把每層內(nèi)的神經(jīng)元分為若干組，讓每一組作為一個整體進行運作。例如，可利用橫向抑制機理把某層內(nèi)的具有最大輸出的神經(jīng)元挑選出來，從而抑制其他神經(jīng)元，使之處于無輸出狀態(tài)。圖25 有相互結(jié)合的前向網(wǎng)絡(luò)結(jié)構(gòu)4) 相互結(jié)合型網(wǎng)絡(luò)相互結(jié)合型網(wǎng)絡(luò)結(jié)構(gòu)如圖26所示，這種網(wǎng)絡(luò)在任意兩個神經(jīng)元之間都可能有連接。Hopfield 網(wǎng)絡(luò)和Boltzmann 機均屬于這種類型。在無反饋的前向網(wǎng)絡(luò)