【正文】 First the research purpose and significance of neural work is expounded in this article Commentary studies current situation at the problem home and abroad Leads to the existing problems and then have analyzed algorithmic basal principle of neural works Give algorithmic concert of classics neural works out the realization method Summing up the characteristics of neural work algorithm Neural work algorithm is given the basic processes The arithmetic of BP neural work is realized in Matlab software The algorithm applies of BP neural works to the function approximation problemSample classification and putes the swatchcontent And analysis of relevant parameters on the results of algorithm Finally The BP neural work algorithm is Outlook Key words Neural workBP neural work Function approximation Sample classfication 目 錄 摘 要 I ABSTRACT II 目 錄 III 前 言 V 第一章 緒 論 1 11 人工神經(jīng)網(wǎng)絡(luò)的研究背景和意義 1 12 神經(jīng)網(wǎng)絡(luò)的發(fā)展與研究現(xiàn)狀 2 神經(jīng)網(wǎng)絡(luò)的發(fā)展 2 神經(jīng)網(wǎng)絡(luò)的現(xiàn)狀 3 13 神經(jīng)網(wǎng)絡(luò)的研究內(nèi)容和目前存在的問題 3 神經(jīng)網(wǎng)絡(luò)的研究內(nèi)容 3 神經(jīng)網(wǎng)絡(luò)研究目前存在的問題 3 14 神經(jīng)網(wǎng)絡(luò)的應(yīng)用 4 第二章 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及 BP 神經(jīng)網(wǎng)絡(luò) 5 21 神經(jīng) 元與網(wǎng)絡(luò)結(jié)構(gòu) 5 生物神經(jīng)元 5 人工神經(jīng)元 6 經(jīng)網(wǎng)絡(luò)的構(gòu)成 6 22 BP 神經(jīng)網(wǎng)絡(luò)及其原理 9 BP 神經(jīng)網(wǎng)絡(luò)定義 9 BP 神經(jīng)網(wǎng)絡(luò)模型及其基本原理 9 23 BP 神經(jīng)網(wǎng)絡(luò)的主要功能 10 24 BP 網(wǎng)絡(luò)的優(yōu)點(diǎn)以及局限性 11 第三章 BP 神經(jīng)網(wǎng)絡(luò)在實(shí)例中的應(yīng)用 13 31 基于 MATLAB 的 BP 神經(jīng)網(wǎng)絡(luò)工具箱函數(shù) 13 BP 網(wǎng)絡(luò)創(chuàng)建函數(shù) 14 神經(jīng)元上的傳 遞函數(shù) 14 BP 網(wǎng)絡(luò)學(xué)習(xí)函數(shù) 15 BP 網(wǎng)絡(luò)訓(xùn)練函數(shù) 15 32 BP 網(wǎng)絡(luò)在函數(shù)逼近中的應(yīng)用 15 問題的提出 15 基于 BP 神經(jīng)網(wǎng)絡(luò)逼近函數(shù) 16 不同頻率下的逼近效果 19 討論 21 33 仿真實(shí)驗(yàn) 21 BP 神經(jīng)網(wǎng)絡(luò) MATLAB 設(shè)計(jì) 21 各種 BP 學(xué)習(xí)算法 MATLAB 仿真 23 各種算法仿真結(jié)果比較與分析 26 調(diào)整初始權(quán)值 和閾值的仿真 27 其他影響因素仿真 29 34 BP 網(wǎng)絡(luò)在樣本含量估計(jì)中的應(yīng)用 30 問題的提出 30 基于 BP 神經(jīng)網(wǎng)絡(luò)對膽固醇含量估計(jì) 31 不同條件下的輸出結(jié)果 33 討論 35 35 BP 神經(jīng)網(wǎng)絡(luò)在樣本分類中的應(yīng)用 36 提出 36 基于 BP 神經(jīng)網(wǎng)絡(luò)的樣本分類 36 法條件下的不同測試過程以及輸出結(jié)果 38 42 結(jié)論 43 參考 文獻(xiàn) 1 致謝 2 前 言 BP 神經(jīng)網(wǎng)絡(luò)是目前人工神經(jīng)網(wǎng)絡(luò)模式中最具代表性應(yīng)用最廣泛的一種模型具有自學(xué)習(xí)自組織自適應(yīng)和很強(qiáng)的非線性映射能力可以以任意精度逼近任意連續(xù)函數(shù)近年來為了解決 BP 網(wǎng)絡(luò)收斂速度慢訓(xùn)練時(shí)間長等不足提出了許多改進(jìn)算法然而在針對實(shí)際問題的 BP 網(wǎng)絡(luò)建模過程中選擇多少層網(wǎng)絡(luò)每層多少個(gè)神經(jīng)元節(jié)點(diǎn)選擇何種傳遞函數(shù)等均無可行的理論指導(dǎo)只能通過大量的實(shí)驗(yàn)計(jì)算獲得 MATLAB中的神經(jīng)網(wǎng)絡(luò)工具箱 Neural NetworkToolbox簡稱 NNbox 為解決這一問題提供了便利的條件神經(jīng)網(wǎng)絡(luò)工具箱功能十分完善提供了各種 MATLAB 函數(shù)包括神經(jīng)網(wǎng)絡(luò)的建立訓(xùn)練和仿真等函數(shù)以及各種改進(jìn)訓(xùn)練算法函數(shù)用戶可以很方便地進(jìn)行神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)和仿真也可以在 MATLAB 源文件的基礎(chǔ)上進(jìn)行適當(dāng)修改形成自己的工具包以滿足實(shí)際需要 此項(xiàng)課題主要是針對 MATLAB軟件對 BP神經(jīng)網(wǎng)絡(luò)的各種算法的編程將神經(jīng)網(wǎng)絡(luò)算法應(yīng)用于函數(shù)逼近樣本分類和樣本含量估計(jì)問題中并分析比較相關(guān)參數(shù)對算法運(yùn)行結(jié)果的影響 第一章 緒 論 人工神經(jīng)網(wǎng)絡(luò) Artificial Neural NetworksNNMATLAB 是一種科學(xué)與工程計(jì)算的高級(jí)語言廣泛地運(yùn)用于包括信號(hào)與圖像處理控制系統(tǒng)設(shè)計(jì)系統(tǒng)仿真等諸多領(lǐng)域?yàn)榱私鉀Q神經(jīng)網(wǎng)絡(luò)問題中的研究工作量和編程計(jì)算工作量問題目前工程領(lǐng)域中較為流行的軟件 MATLAB 提供了現(xiàn)成的神經(jīng)網(wǎng)絡(luò)工具箱 Neural Network Toolbox 簡稱 NNbox 為解決這個(gè)矛盾提供了便利條件神經(jīng)網(wǎng)絡(luò)工具箱提供了很多經(jīng)典的學(xué)習(xí)算法使用它能夠快速實(shí)現(xiàn)對實(shí)際問題的建模求解在解決實(shí)際問題中應(yīng)用 MATLAB 語言構(gòu)造典型神經(jīng)網(wǎng)絡(luò)的激活傳遞函數(shù)編寫各種網(wǎng)絡(luò)設(shè)計(jì)與訓(xùn)練的子程序網(wǎng)絡(luò)的設(shè)計(jì)者可以根據(jù)需要調(diào)用工具箱中有關(guān)神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)訓(xùn)練程序使自己能夠從煩瑣的編程中解脫出來減輕工程人員的負(fù)擔(dān)從而提高工作效率 11 人工神經(jīng)網(wǎng)絡(luò)的研究背景和意義 人工神經(jīng)網(wǎng)絡(luò)是由具有適應(yīng)性的簡單單元組成的廣泛并行互連的網(wǎng)絡(luò)它的組織能夠模擬生物神經(jīng)系統(tǒng)對真實(shí)世界物 體所作出的交互反應(yīng) 人工神經(jīng)網(wǎng)絡(luò)就是模擬人思維的一種方式是一個(gè)非線性動(dòng)力學(xué)系統(tǒng)其特色在于信息的分布式存儲(chǔ)和并行協(xié)同處理雖然單個(gè)神經(jīng)元的結(jié)構(gòu)極其簡單功能有限但大量神經(jīng)元構(gòu)成的網(wǎng)絡(luò)系統(tǒng)所能實(shí)現(xiàn)的行為卻是極其豐富多彩的 近年來通過對人工神經(jīng)網(wǎng)絡(luò)的研究可以看出神經(jīng)網(wǎng)絡(luò)的研究目的和意義有以下三點(diǎn) 1 通過揭示物理平面與認(rèn)知平面之間的映射了解它們相互聯(lián)系和相互作用的機(jī)理從而揭示思維的本質(zhì)探索智能的本源 2 爭取構(gòu)造出盡可能與人腦具有相似功能的計(jì)算機(jī)即神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī) 3 研究仿照腦神經(jīng)系統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)將在模式識(shí)別組 合優(yōu)化和決策判斷等方面取得傳統(tǒng)計(jì)算機(jī)所難以達(dá)到的效果 人工神經(jīng)網(wǎng)絡(luò)特有的非線性適應(yīng)性信息處理能力克服了傳統(tǒng)人工智能方法對于直覺如模式語音識(shí)別非結(jié)構(gòu)化信息處理方面的缺陷使之在神經(jīng)專家系統(tǒng)模式識(shí)別智能控制組合優(yōu)化預(yù)測等領(lǐng)域得到成功應(yīng)用人工神經(jīng)網(wǎng)絡(luò)與其它傳統(tǒng)方法相結(jié)合將推動(dòng)人工智能和信息處理技術(shù)不斷發(fā)展近年來人工神經(jīng)網(wǎng)絡(luò)正向模擬人類認(rèn)知的道路上更加深入發(fā)展與模糊系統(tǒng)遺傳算法進(jìn)化機(jī)制等結(jié)合形成計(jì)算智能成為人工智能的一個(gè)重要方向?qū)⒃趯?shí)際應(yīng)用中得到發(fā)展將信息幾何應(yīng)用于人工神經(jīng)網(wǎng)絡(luò)的研究為人工神經(jīng)網(wǎng)絡(luò)的理論研究開 辟了新的途徑神經(jīng)計(jì)算機(jī)的研究發(fā)展很快已有產(chǎn)品進(jìn)入市場光電結(jié)合的神經(jīng)計(jì)算機(jī)為人工神經(jīng)網(wǎng)絡(luò)的發(fā)展提供了良好條件 12 神經(jīng)網(wǎng)絡(luò)的發(fā)展與研究現(xiàn)狀 神經(jīng)網(wǎng)絡(luò)的發(fā)展 神經(jīng)網(wǎng)絡(luò)起源于 20世紀(jì) 40年代至今發(fā)展已半個(gè)多世紀(jì)大致分為三個(gè)階段 120 世紀(jì) 50 年代 20 世紀(jì) 60 年代第一次研究高潮 1943 年 MP 模型 220 世紀(jì) 60 年代 20 世紀(jì) 70 年代低潮時(shí)期到了 20世紀(jì) 60 年代人們發(fā)現(xiàn)感知器存在一些缺陷例如它不能解決異或問題因而研究工作趨向低潮不過仍有不少學(xué)者繼續(xù)對神經(jīng)網(wǎng)絡(luò)進(jìn)行研究 Grossberg 提出了 自適應(yīng)共振理論 Kohenen 提出了自組織映射 Fukushima 提出了神經(jīng)認(rèn)知網(wǎng)絡(luò)理論 Anderson 提出了 BSB 模型 Webos 提出了 BP 理論等這些都是在 20 世紀(jì) 70 年代和 20 世紀(jì) 80 年代初進(jìn)行的工作 320 世紀(jì) 80 年代 90 年代第二次研究高潮 進(jìn)入 20 世紀(jì) 80 年代神經(jīng)網(wǎng)絡(luò)研究進(jìn)入高潮 John Hopfield 他于 1982 年和1984 年在美國科學(xué)院院刊上發(fā)表了兩篇文章提出了模擬人腦的神經(jīng)網(wǎng)絡(luò)模型即最著名的 Hopfield模型 Hopfield網(wǎng)絡(luò)是一個(gè)互連的非線性動(dòng)力學(xué)網(wǎng)絡(luò)它解決問題的方法是一種反復(fù)運(yùn)算的 動(dòng)態(tài)過程這是符號(hào)邏輯處理方式做不具備的性質(zhì) 20世紀(jì) 80年代后期到 90年代初神經(jīng)網(wǎng)絡(luò)系統(tǒng)理論形成了發(fā)展的熱點(diǎn)多種模型算法和應(yīng)用被提出研究經(jīng)費(fèi)重新變得充足使得研究者們完成了很多有意義的工作 神經(jīng)網(wǎng)絡(luò)的現(xiàn)狀 進(jìn)入 20世紀(jì) 90年代以來神經(jīng)網(wǎng)絡(luò)由于應(yīng)用面還不夠?qū)捊Y(jié)果不夠精確存在可信度問題從而進(jìn)入了認(rèn)識(shí)與應(yīng)用研究期 1 開發(fā)現(xiàn)有模型的應(yīng)用并在應(yīng)用中根據(jù)實(shí)際運(yùn)行情況對模型算法加以改造以提高網(wǎng)絡(luò)的訓(xùn)練速度和運(yùn)行的準(zhǔn)確度 2充分發(fā)揮兩種技術(shù)各自的優(yōu)勢是一個(gè)有效方法 3希望在理論上尋找新的突破建立新的專用通用模型和算法 4 進(jìn)一步對生物神經(jīng)系統(tǒng)進(jìn)行研究不斷地豐富對人腦的認(rèn)識(shí) 神經(jīng)網(wǎng)絡(luò)的研究內(nèi)容相當(dāng)廣泛反映了多科學(xué)交叉技術(shù)領(lǐng)域的特點(diǎn)目前主要的研究工作集中在以下四方面 1 生物原型研究從生理學(xué)心理學(xué)解剖學(xué)腦科學(xué)病理學(xué)生物科學(xué)方面研究神經(jīng)細(xì)胞神經(jīng)網(wǎng)絡(luò)神經(jīng)系統(tǒng)的生物原型結(jié)構(gòu)及其功能機(jī)理 2 建立理論模型根據(jù)生物圓形的研究建立神經(jīng)元神經(jīng)網(wǎng)絡(luò)的理論模型其中包括概念模型知識(shí)模型物理化學(xué)模型數(shù)學(xué)模型等 3 網(wǎng)絡(luò)模型與算法研究在理論模型研究的基礎(chǔ)上構(gòu)成具體的神經(jīng)網(wǎng)絡(luò)模型以實(shí)現(xiàn)計(jì)算機(jī)模擬或準(zhǔn)備制作硬件包括網(wǎng)絡(luò)學(xué)習(xí)算法的研究這方面的工作也稱為技術(shù)模型研究 4 神經(jīng)網(wǎng)絡(luò)應(yīng)用系統(tǒng)在網(wǎng)絡(luò)模型與算法研究的基礎(chǔ)上利用神經(jīng)網(wǎng)絡(luò)組成實(shí)際的應(yīng)用系統(tǒng)例如完成某種信號(hào)處理或模式識(shí)別的功能構(gòu)成專家系統(tǒng)制成機(jī)器人等 圖 21 生物神經(jīng)元 人工神經(jīng)元 歸納一下生物神經(jīng)元傳遞信息的過程生物神經(jīng)元是一個(gè)多輸入單輸出單元常用的人工神經(jīng)元模型可用圖 22 模擬 圖 22 人工神經(jīng)元感知器示意圖 當(dāng)神經(jīng)元 j 有多個(gè)輸入 xi i 12m 和單個(gè)輸出 yj 時(shí)輸入和輸出的關(guān)系可表示為 其中 j 為閾值 wij 為從神經(jīng)元 i 到神經(jīng)元 j 的連接權(quán)重因子 f 為傳遞函數(shù)或稱激勵(lì)函數(shù) 經(jīng)網(wǎng)絡(luò)的構(gòu)成 神 經(jīng)元的模型確定之后一個(gè)神經(jīng)網(wǎng)絡(luò)的特性及能力主要取決于網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)及學(xué)習(xí)方法 神經(jīng)網(wǎng)絡(luò)連接的幾種基本形式 1 前向網(wǎng)絡(luò) 前向網(wǎng)絡(luò)結(jié)構(gòu)如圖 23 所示網(wǎng)絡(luò)中的神經(jīng)元是分層排列的每個(gè)神經(jīng)元只與前一層的神經(jīng)元相連接神經(jīng)元分層排列分別組成輸入層中間層也稱為隱含層可以由若干層組成和輸出層每一層的神經(jīng)元只接受來自前一層神經(jīng)元的輸入后面的層對前面的層沒有信號(hào)反饋輸入模式經(jīng)過各層次的順序傳播最后在輸出層上得到輸出感知器網(wǎng)絡(luò)和 BP 網(wǎng)絡(luò)均屬于前向網(wǎng)絡(luò) 圖 23 前向網(wǎng)絡(luò)結(jié)構(gòu) 2 從輸出到輸入有反饋的前向網(wǎng)絡(luò) 其結(jié)構(gòu)如