【正文】 他影響因素仿真 ........................................... 33 神經(jīng)網(wǎng)絡(luò)應(yīng)用實(shí)例 .................................................. 36 實(shí)例概述 ........................................................ 36 網(wǎng)絡(luò)設(shè)計(jì) ........................................................ 36 網(wǎng)絡(luò)訓(xùn)練 ........................................................ 37 網(wǎng)絡(luò)測(cè)試 ........................................................ 37 實(shí)例總結(jié) ........................................................ 38 與展望 .......................................................... 40 BP 神經(jīng)網(wǎng)絡(luò)研究 總結(jié) .............................................. 40 神經(jīng)網(wǎng)絡(luò)研究展望 ................................................ 40 致謝 .................................................. 錯(cuò)誤 !未定義書簽。 參考文獻(xiàn) .............................................................. 42 附錄 .................................................................. 46 第 5 頁 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 引言 隨著計(jì)算機(jī)的問世與發(fā)展， 人們?cè)O(shè)法了解人的大腦，進(jìn)而構(gòu)造具有人類智能的智能計(jì)算機(jī)。在具有人腦邏輯推理能力延伸的 計(jì)算機(jī)戰(zhàn)勝人類棋手 的同時(shí)引發(fā)人們對(duì)模擬人腦信息處理的人工神經(jīng)網(wǎng)絡(luò)的研究。 人工神經(jīng)網(wǎng)絡(luò)（ Artificial Neural Networks, ANN） （注：簡(jiǎn)稱為神經(jīng)網(wǎng)絡(luò)） ，一種模仿動(dòng)物神經(jīng)網(wǎng)絡(luò)行為特征，進(jìn)行分布式并行信息處理的算法數(shù)學(xué)模型。這種網(wǎng)絡(luò)依靠系統(tǒng)的 復(fù)雜程度，通過調(diào)整內(nèi)部大量節(jié)點(diǎn)之間相互連接的關(guān)系，從而達(dá)到處理信息的目的。人工神經(jīng)網(wǎng)絡(luò)具有自學(xué)習(xí)和自適應(yīng)的能力，可以通過預(yù)先提供的一批相互對(duì)應(yīng)的輸入－輸出數(shù)據(jù)，分析掌握兩者之間潛在的規(guī)律，最終根據(jù)這些規(guī)律，用新的輸入數(shù)據(jù)來推算輸出結(jié)果，這種學(xué)習(xí)分析的過程被稱為 “ 訓(xùn)練 ” 。（引自《環(huán)球科學(xué)》 2020 年第一期《神經(jīng)語言：老鼠胡須下的秘密》） 神經(jīng)網(wǎng)絡(luò)概述 1． 2． 1 神經(jīng)網(wǎng)絡(luò)起源 早在 1890 年，美國心理學(xué)家 William James（ 18421910）出版了《 Principles of Psychology》專著， 本書研究了心理活動(dòng)與大腦神經(jīng)生理活動(dòng)的關(guān)系 ,開創(chuàng)性提出 學(xué)習(xí)、聯(lián)想記憶的基本原理 。指出：“ 讓我們假設(shè)所有后繼推理的基礎(chǔ)遵循這樣的規(guī)則：當(dāng)兩個(gè)基本的腦細(xì)胞曾經(jīng)一起或相繼被激活過，其中一個(gè)受刺激激活時(shí)會(huì)將刺激傳播到另一個(gè) ” 。他還認(rèn)為在大腦皮層上的任意一點(diǎn)的刺激量是其他所有發(fā)射點(diǎn)進(jìn)入該點(diǎn)刺激總和。 1943 年，心理學(xué)家 和數(shù)理邏輯學(xué)家 建立了神經(jīng)網(wǎng)絡(luò)和數(shù)學(xué)模型，稱為 MP模型。他們通過 MP 模型提出了神經(jīng)元的形式化數(shù)學(xué)描述和網(wǎng)絡(luò)結(jié)構(gòu)方法，證明了單個(gè)神經(jīng)元能執(zhí)行邏輯 功能，從而開創(chuàng)了人工神經(jīng)網(wǎng)絡(luò)研究的時(shí)代。 1． 2． 2 神經(jīng)網(wǎng)絡(luò)的發(fā)展 歷程 1943 年，心理學(xué)家 和數(shù)理邏輯學(xué)家 建立了神經(jīng)網(wǎng)絡(luò)和數(shù)學(xué)模型，稱為 MP模型 ； 1949 年，心理學(xué)家 Donald Olding Hebb 出版了《 Organization of Behavior》，在該書他首先提出了連接權(quán)訓(xùn)練算法，即如今人們稱為的 Hebb 算法 ； 1958 年，計(jì)算機(jī)科學(xué)家 Frank Rosenblatt，在一篇著名的文章中提出了一種具有三層網(wǎng)絡(luò)特性的“感知器”（ perceptron）神經(jīng)網(wǎng)絡(luò)； 1960 年，電機(jī)工程師 Bernard Widrow 和 Marcian Hoff 發(fā)表了《 Adaptive Switching Circuits》文章，不僅把人工神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)上仿真，而且用硬件電路實(shí)現(xiàn)了它。因此 WidrowHoff 的學(xué)習(xí)訓(xùn)練算法（也稱δ（ 誤差大小 ）算法或最小均方（ LMS）算 第 6 頁 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 法）也應(yīng)運(yùn)而生 ； 1969 年， 人工智能的創(chuàng)始人之一， M． Minsky 和 經(jīng)過數(shù)年研究， 仔細(xì)分析了以感知器為代表的神經(jīng)網(wǎng)絡(luò)系統(tǒng)的功能及局限后，出版了《 Perceptron》一書，指出感 知器不能解決高階謂詞問題 ； 1969 年 ，美國波士頓大學(xué)自適應(yīng)系統(tǒng)中心的 教授及其夫人 提出了著名的自適應(yīng)共振理論（ adaptive resonance theory） 模型； 1972 年，芬蘭的 教授提出了自組織映射（ SOM）理論，并稱其神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 為“ associative memory”；與此同時(shí)，美國的神經(jīng)生理學(xué)家和心理學(xué)家，提出了一個(gè)類似的神經(jīng)網(wǎng)絡(luò)“ interactive memory” ； 1980 年，日本東京 NHK 廣播科學(xué)研究實(shí)驗(yàn)室的福島邦彥（ Kunihiko Fukushima），發(fā)表了《 Neocognitron》，開發(fā)了一些神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練算法，還有一系列的改進(jìn)的文章，新認(rèn)知機(jī)在于視覺模式識(shí)別機(jī)制的模型 ； 1982 年，美國加州理工學(xué)院的優(yōu)秀物理學(xué)家 John 博士發(fā)表一篇著名的文章，吸收前人的研究成果，把各種結(jié)構(gòu)和算法概括綜合起來建立起新穎而有力的Hopfield 網(wǎng)絡(luò)； 1985 年， 和 借助統(tǒng)計(jì)物理學(xué)概念和方法 提出了波耳茲曼模型，在學(xué)習(xí)中采用統(tǒng)計(jì) 熱力學(xué)模擬退火技術(shù)， 保 證整個(gè)系統(tǒng)趨于全局穩(wěn)定點(diǎn) ； 1986 年進(jìn)行認(rèn)知微觀結(jié)構(gòu)地研究，提出了并行分布處理的理論 ； 1987 年首屆國際神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)會(huì)議在美國加州圣地亞哥召開，成立了國際神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)（ INNS）； 1987 年以來，神經(jīng)網(wǎng)絡(luò)理論、應(yīng)用、實(shí)現(xiàn)和相關(guān)開發(fā)工具發(fā)展迅速，涉及神經(jīng)生理學(xué)、認(rèn)知科學(xué)、心理學(xué)、數(shù)理科學(xué)、信息科學(xué)、計(jì)算機(jī)科學(xué)、微電子學(xué)、光學(xué)、生物電子學(xué) 等多學(xué)科交叉、綜合的前沿科學(xué)。應(yīng)用于各個(gè)領(lǐng)域，如 自動(dòng)控制領(lǐng)域 、 處理組合優(yōu)化問題 、 模式識(shí)別 、 圖像處理 、 機(jī)器人控制 、 醫(yī)療 等?？梢娙斯ど窠?jīng)網(wǎng)絡(luò)具有廣 泛的研究和應(yīng)用前景；以下是 1987 年后的一些發(fā)展 歷程 ： 1988 年， Broomhead Lower 提出徑向基函數(shù)網(wǎng)絡(luò)（ Radial Basis Function， RBF），網(wǎng)絡(luò)設(shè)計(jì)采用原理化方法，有堅(jiān)實(shí)的數(shù)學(xué)基礎(chǔ)； 19921998 年， Vapnik 提出了支持向量機(jī)（ Support Vector Machine， SVM），在模式分類問題上能提供良好的泛化能力。 1． 2． 3 神經(jīng)網(wǎng)絡(luò)國內(nèi)發(fā)展概況 1980 年，涂序言教授等出版了《生物控制論》一書，“神經(jīng)系統(tǒng)控制論”一章系統(tǒng)地介紹了神經(jīng)元和神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)、 功能和模型，是我國最早涉及神經(jīng)網(wǎng)絡(luò)的著作；因此到 80年代中期，我國學(xué)術(shù)界掀起了研究神經(jīng)網(wǎng)絡(luò)的熱潮； 1988 年北京大學(xué)非線性研究中心舉辦了 Beijing International Workshop on Neural Networks: Learning and Recognition, a Modern Approach； 1989 年召開可全國非正式的神經(jīng)網(wǎng)絡(luò)會(huì)議，于 1990 年在北京召開了中國神經(jīng)網(wǎng)絡(luò)首屆學(xué)術(shù)大會(huì)，第二年在南京召開了第二屆，并成立了中國神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)； 1992 年國際神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)和 IEEE 神經(jīng)網(wǎng) 絡(luò)委員會(huì)在北京召開神經(jīng)網(wǎng)絡(luò)的國際性會(huì)議；自此中國神經(jīng)網(wǎng)絡(luò)研究在國家研究計(jì)劃的支持和學(xué)術(shù) 第 7 頁 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 及工程人員的發(fā)展與應(yīng)用下取得一系列豐碩成果。 1． 2． 4 神經(jīng)網(wǎng)絡(luò)研究現(xiàn)狀 神經(jīng)網(wǎng)絡(luò) 是可大規(guī)模并行處理和分布式信息存儲(chǔ)，具有良好的自學(xué)習(xí)、自適應(yīng)、自組織性，以及很強(qiáng)的聯(lián)想記憶和容錯(cuò)功能，可以充分逼近任意復(fù)雜的非線性關(guān)系，可有很強(qiáng)的信息綜合能力，能同時(shí)處理定量和定性信息，能很好的協(xié)調(diào)多種輸入信息關(guān)系，適用于處理復(fù)雜非線性和不確定對(duì)象。 目前的神經(jīng)網(wǎng)絡(luò)的研究中 主要有以下幾種類型：①松耦合模型：符號(hào)機(jī)制的專家系統(tǒng)和聯(lián)接機(jī)制的 神經(jīng)網(wǎng)絡(luò)通過一個(gè)中間媒介如數(shù)據(jù)文件進(jìn)行通信；②緊耦合模型：其通信數(shù)據(jù)是直接的內(nèi)部數(shù)據(jù)，具有很高的效率；③轉(zhuǎn)換模型：將專家系統(tǒng)知識(shí)轉(zhuǎn)換成神經(jīng)網(wǎng)絡(luò)，或把神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)換成專家系統(tǒng)知識(shí)，轉(zhuǎn)換需要在兩種機(jī)制之間，確定結(jié)構(gòu)上的一致性，目前主要問題還沒有一種能夠精確而完備的實(shí)現(xiàn)二者轉(zhuǎn)換；④綜合模型：將具有符號(hào)機(jī)制的邏輯功能和具有聯(lián)接機(jī)制的自適應(yīng)和容錯(cuò)性結(jié)合為一個(gè)整體，共享數(shù)據(jù)結(jié)構(gòu)和知識(shí)表示； ⑤混沌理論： 是系統(tǒng)從有序突然變?yōu)闊o序狀態(tài)的一種演化理論，是對(duì)確定性系統(tǒng)中出現(xiàn)的內(nèi)在 “ 隨機(jī)過程 ” 形成的途徑、機(jī)制的研討 ，從而與神經(jīng)網(wǎng)絡(luò)融 合，達(dá)到取長(zhǎng)補(bǔ)短的效果； ⑥模糊集理論：用語言和概念代表腦的宏觀功能，按照人為引入的隸屬度，將模糊性的語言信息進(jìn)行邏輯處理，與 神經(jīng)網(wǎng)絡(luò)結(jié)合，取長(zhǎng)補(bǔ)短；⑦遺傳算法： 模擬達(dá)爾文生物進(jìn)化論的自然選擇和遺傳學(xué)機(jī)理的生物進(jìn)化過程的計(jì)算模型，是一種通過模擬自然進(jìn)化過程搜索最優(yōu)解的方法 ，從而與神經(jīng)網(wǎng)絡(luò)融合，達(dá)到取長(zhǎng)補(bǔ)短的效果； ⑧混合神經(jīng)網(wǎng)絡(luò)：把神經(jīng)網(wǎng)絡(luò)與混沌理論、模糊集理論和遺傳算法相互結(jié)合的網(wǎng)絡(luò)模型。 人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)問題展望，目前主要有以下三種方法：基于搜索機(jī)制的學(xué)習(xí)方法、基于規(guī)劃的學(xué)習(xí)方法和構(gòu)造性學(xué)習(xí)方法。 如今也有 其綜合方法，各有特點(diǎn)。其中基于搜索的方法，若不從根本上進(jìn)行改變，很難克服其內(nèi)在固有的缺點(diǎn)，如基于局部最小的搜索算法，其中 BP 算法就有易限于局部極小的固有缺點(diǎn)；規(guī)劃方法因?yàn)槠渲杏小皟?yōu)化的步驟”，從理論上看其所得網(wǎng)絡(luò)性能要比其他方法要好，但如何確定核函數(shù)形式和參數(shù)問題一直是未能很好解決的問題，當(dāng)數(shù)據(jù)規(guī)模極大會(huì)引起計(jì)算量過大問題；構(gòu)造性方法，因?yàn)檫M(jìn)行了局部化，計(jì)算量要小，由于未進(jìn)行全局優(yōu)化，故性能不及規(guī)劃方法，不需要確定映射關(guān)系就沒有了確定核函數(shù)的困難問題；如果能夠?qū)⑷呦嗷ソY(jié)合，將規(guī)劃方法中優(yōu)化過程合理地引入到 構(gòu)造方法 中，也許即可克服規(guī)劃方法計(jì)算量大的問題，核函數(shù)和參數(shù)確定問題，也可以克服構(gòu)造性方法未進(jìn)行全局優(yōu)化的缺點(diǎn)；這些將是值得研究的問題。隨著更多數(shù)學(xué)方法的引入 ，如模擬退火算法、商空間 （即線性空間） 理論、統(tǒng)計(jì)推斷方法與啟發(fā)式搜索技術(shù)及其結(jié)合產(chǎn)物的引入 ， 促進(jìn)各種學(xué)習(xí)方法的改進(jìn)，將有力的推進(jìn)神經(jīng)網(wǎng)絡(luò)的進(jìn)一步發(fā)展。 隨著神經(jīng)網(wǎng)絡(luò)的廣泛應(yīng)用，具有以下研 究趨勢(shì) ： 增強(qiáng)對(duì)智能和機(jī)器的關(guān)系問題的認(rèn)識(shí)，發(fā)展神經(jīng)計(jì)算與進(jìn)化計(jì)算的理論與應(yīng)用，擴(kuò)大神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和神經(jīng)元芯片的作用，促進(jìn)信息科學(xué)與生命科學(xué)的相互融合 ，進(jìn)行與其他智能方法 融合技術(shù)研究 。 研究目的 、 方法和 問題 （ BP 神經(jīng)網(wǎng)絡(luò)） 第 8 頁 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊