【正文】 法 數(shù) 學 模型 。 這 種 網(wǎng) 絡 依 靠 系 統(tǒng) 的 復 雜 程 度 ， 通 過 調(diào) 整 內(nèi) 部 大 量 節(jié) 點 之 間 相 互 連 接 的 關(guān) 系 ，從 而 達 到 處 理 信 息 的 目 的 。 人 工 神 經(jīng) 網(wǎng) 絡 具 有 自 學 習 和 自 適 應 的 能 力 ， 可 以 通 過預 先 提 供 的 一 批 相 互 對 應 的 輸 入 － 輸 出 數(shù) 據(jù) ， 分 析 掌 握 兩 者 之 間 潛 在 的 規(guī) 律 ， 最終 根 據(jù) 這 些 規(guī) 律 ， 用 新 的 輸 入 數(shù) 據(jù) 來 推 算 輸 出 結(jié) 果 ， 這 種 學 習 分 析 的 過 程 被 稱 為“訓 練 ”。 （ 引 自 《 環(huán) 球 科 學 》 2022 年 第 一 期 《 神 經(jīng) 語 言 ： 老 鼠 胡 須 下 的 秘 密 》 ） 神經(jīng)網(wǎng)絡概述1．2．1 神經(jīng)網(wǎng)絡起源早在 1890 年，美國心理學家 William James（18421910）出版了《Principles of Psychology》專著，本書研究了心理活動與大腦神經(jīng)生理活動的關(guān)系,開創(chuàng)性提出學習、聯(lián)想記憶的基本原理。指出：“讓我們假設(shè)所有后繼推理的基礎(chǔ)遵循這樣的規(guī)則：當兩個基本的腦細胞曾經(jīng)一起或相繼被激活過，其中一個受刺激激活時會將刺激傳播到另一個” 。他還認為在大腦皮層上的任意一點的刺激量是其他所有發(fā)射點進入該點刺激總和。1943 年，心理學家 和數(shù)理邏輯學家 建立了神經(jīng)網(wǎng)絡和數(shù)學模型，稱為 MP 模型。他們通過 MP 模型提出了神經(jīng)元的形式化數(shù)學描述和網(wǎng)絡結(jié)構(gòu)方法，證明了單個神經(jīng)元能執(zhí)行邏輯功能，從而開創(chuàng)了人工神經(jīng)網(wǎng)絡研究的時代。1．2．2 神經(jīng)網(wǎng)絡的發(fā)展歷程1943 年，心理學家 和數(shù)理邏輯學家 建立了神經(jīng)網(wǎng)絡和數(shù)學模型，稱為 MP 模型；1949 年，心理學家 Donald Olding Hebb 出版了《Organization of Behavior》 ，在該書他首先提出了連接權(quán)訓練算法，即如今人們稱為的 Hebb 算法；1958 年，計算機科學家 Frank Rosenblatt，在一篇著名的文章中提出了一種具有三層網(wǎng)絡特性的“感知器” （perceptron）神經(jīng)網(wǎng)絡； 1960 年，電機工程師 Bernard Widrow 和 Marcian Hoff 發(fā)表了《Adaptive Switching Circuits》文章，不僅把人工神經(jīng)網(wǎng)絡在計算機上仿真，而且用硬件電6 / 44路實現(xiàn)了它。因此 WidrowHoff 的學習訓練算法（也稱 δ（誤差大?。┧惴ɑ蜃钚【剑↙MS）算法）也應運而生；1969 年，人工智能的創(chuàng)始人之一，M．Minsky 和 經(jīng)過數(shù)年研究，仔細分析了以感知器為代表的神經(jīng)網(wǎng)絡系統(tǒng)的功能及局限后，出版了《Perceptron》一書，指出感知器不能解決高階謂詞問題；1969 年，美國波士頓大學自適應系統(tǒng)中心的 教授及其夫人 提出了著名的自適應共振理論（adaptive resonance theory）模型；1972 年，芬蘭的 教授提出了自組織映射（SOM）理論，并稱其神經(jīng)網(wǎng)絡結(jié)構(gòu)為“associative memory”；與此同時，美國的神經(jīng)生理學家和心理學家，提出了一個類似的神經(jīng)網(wǎng)絡“interactive memory” ；1980 年，日本東京 NHK 廣播科學研究實驗室的福島邦彥（Kunihiko Fukushima） ，發(fā)表了《Neocognitron》 ，開發(fā)了一些神經(jīng)網(wǎng)絡結(jié)構(gòu)和訓練算法，還有一系列的改進的文章，新認知機在于視覺模式識別機制的模型；1982 年，美國加州理工學院的優(yōu)秀物理學家 John 博士發(fā)表一篇著名的文章，吸收前人的研究成果，把各種結(jié)構(gòu)和算法概括綜合起來建立起新穎而有力的 Hopfield 網(wǎng)絡；1985 年， 和 借助統(tǒng)計物理學概念和方法提出了波耳茲曼模型，在學習中采用統(tǒng)計熱力學模擬退火技術(shù)，保證整個系統(tǒng)趨于全局穩(wěn)定點；1986 年進行認知微觀結(jié)構(gòu)地研究，提出了并行分布處理的理論；1987 年首屆國際神經(jīng)網(wǎng)絡學術(shù)會議在美國加州圣地亞哥召開，成立了國際神經(jīng)網(wǎng)絡學會（INNS） ；1987 年以來，神經(jīng)網(wǎng)絡理論、應用、實現(xiàn)和相關(guān)開發(fā)工具發(fā)展迅速，涉及神經(jīng)生理學、認知科學、心理學、數(shù)理科學、信息科學、計算機科學、微電子學、光學、生物電子學等多學科交叉、綜合的前沿科學。應用于各個領(lǐng)域，如自動控制領(lǐng)域、處理組合優(yōu)化問題、模式識別、圖像處理、機器人控制、醫(yī)療等?？梢娙斯ど窠?jīng)網(wǎng)絡具有廣泛的研究和應用前景；以下是 1987 年后的一些發(fā)展歷程：1988 年，Broomhead Lower 提出徑向基函數(shù)網(wǎng)絡（Radial Basis Function，RBF） ，網(wǎng)絡設(shè)計采用原理化方法，有堅實的數(shù)學基礎(chǔ)；19921998 年，Vapnik 提出了支持向量機（Support Vector Machine，SVM） ，在模式分類問題上能提供良好的泛化能力。1．2．3 神經(jīng)網(wǎng)絡國內(nèi)發(fā)展概況1980 年，涂序言教授等出版了《生物控制論》一書， “神經(jīng)系統(tǒng)控制論”一章系統(tǒng)地介紹了神經(jīng)元和神經(jīng)網(wǎng)絡的結(jié)構(gòu)、功能和模型，是我國最早涉及神經(jīng)網(wǎng)絡的著作；因此到 80 年代中期，我國學術(shù)界掀起了研究神經(jīng)網(wǎng)絡的熱潮；1988 年北京大學非線性研究中心舉辦了 Beijing International Workshop on Neural Networks: Learning and Recognition, a Modern Approach；1989 年召開可全國非正式的神經(jīng)網(wǎng)絡會議，于 1990 年在北京召開了中國神經(jīng)網(wǎng)絡首屆學術(shù)大會，第二年在南京召7 / 44開了第二屆，并成立了中國神經(jīng)網(wǎng)絡學會；1992 年國際神經(jīng)網(wǎng)絡學會和 IEEE 神經(jīng)網(wǎng)絡委員會在北京召開神經(jīng)網(wǎng)絡的國際性會議；自此中國神經(jīng)網(wǎng)絡研究在國家研究計劃的支持和學術(shù)及工程人員的發(fā)展與應用下取得一系列豐碩成果。1．2．4 神經(jīng)網(wǎng)絡研究現(xiàn)狀神經(jīng)網(wǎng)絡是可大規(guī)模并行處理和分布式信息存儲，具有良好的自學習、自適應、自組織性，以及很強的聯(lián)想記憶和容錯功能，可以充分逼近任意復雜的非線性關(guān)系，可有很強的信息綜合能力，能同時處理定量和定性信息，能很好的協(xié)調(diào)多種輸入信息關(guān)系，適用于處理復雜非線性和不確定對象。目前的神經(jīng)網(wǎng)絡的研究中主要有以下幾種類型：①松耦合模型：符號機制的專家系統(tǒng)和聯(lián)接機制的神經(jīng)網(wǎng)絡通過一個中間媒介如數(shù)據(jù)文件進行通信；②緊耦合模型：其通信數(shù)據(jù)是直接的內(nèi)部數(shù)據(jù)，具有很高的效率；③轉(zhuǎn)換模型：將專家系統(tǒng)知識轉(zhuǎn)換成神經(jīng)網(wǎng)絡，或把神經(jīng)網(wǎng)絡轉(zhuǎn)換成專家系統(tǒng)知識，轉(zhuǎn)換需要在兩種機制之間，確定結(jié)構(gòu)上的一致性，目前主要問題還沒有一種能夠精確而完備的實現(xiàn)二者轉(zhuǎn)換；④綜合模型：將具有符號機制的邏輯功能和具有聯(lián)接機制的自適應和容錯性結(jié)合為一個整體，共享數(shù)據(jù)結(jié)構(gòu)和知識表示；⑤混沌理論：是系統(tǒng)從有序突然變?yōu)闊o序狀態(tài)的一種演化理論，是對確定性系統(tǒng)中出現(xiàn)的內(nèi)在“隨機過程”形成的途徑、機制的研討，從而與神經(jīng)網(wǎng)絡融合，達到取長補短的效果；⑥模糊集理論：用語言和概念代表腦的宏觀功能，按照人為引入的隸屬度，將模糊性的語言信息進行邏輯處理，與神經(jīng)網(wǎng)絡結(jié)合，取長補短；⑦遺傳算法：模擬達爾文生物進化論的自然選擇和遺傳學機理的生物進化過程的計算模型，是一種通過模擬自然進化過程搜索最優(yōu)解的方法，從而與神經(jīng)網(wǎng)絡融合，達到取長補短的效果；⑧混合神經(jīng)網(wǎng)絡：把神經(jīng)網(wǎng)絡與混沌理論、模糊集理論和遺傳算法相互結(jié)合的網(wǎng)絡模型。人工神經(jīng)網(wǎng)絡學習問題展望，目前主要有以下三種方法：基于搜索機制的學習方法、基于規(guī)劃的學習方法和構(gòu)造性學習方法。如今也有其綜合方法，各有特點。其中基于搜索的方法，若不從根本上進行改變，很難克服其內(nèi)在固有的缺點，如基于局部最小的搜索算法，其中 BP 算法就有易限于局部極小的固有缺點；規(guī)劃方法因為其中有“優(yōu)化的步驟” ，從理論上看其所得網(wǎng)絡性能要比其他方法要好，但如何確定核函數(shù)形式和參數(shù)問題一直是未能很好解決的問題，當數(shù)據(jù)規(guī)模極大會引起計算量過大問題；構(gòu)造性方法，因為進行了局部化，計算量要小，由于未進行全局優(yōu)化，故性能不及規(guī)劃方法，不需要確定映射關(guān)系就沒有了確定核函數(shù)的困難問題；如果能夠?qū)⑷呦嗷ソY(jié)合，將規(guī)劃方法中優(yōu)化過程合理地引入到構(gòu)造方法中，也許即可克服規(guī)劃方法計算量大的問題，核函數(shù)和參數(shù)確定問題，也可以克服構(gòu)造性方法未進行全局優(yōu)化的缺點；這些將是值得研究的問題。隨著更多數(shù)學方法的引入，如模擬退火算法、商空間（即線性空間）理論、統(tǒng)計推斷方法與啟發(fā)式搜索技術(shù)及其結(jié)合產(chǎn)物的引入，促進各種學習方法的改進，將有力的推進神經(jīng)網(wǎng)絡的進一步發(fā)展。隨著神經(jīng)網(wǎng)絡的廣泛應用，具有以下研究趨勢：增強對智能和機器的關(guān)系問題的認識，發(fā)展神經(jīng)計算與進化計算的理論與應用，擴大神經(jīng)網(wǎng)絡結(jié)構(gòu)和神經(jīng)元芯片的作用，促進信息科學與生命科學的相互融合，進行與其他智能方法融合技術(shù)研究。8 / 44 研究目的、方法和問題（BP 神經(jīng)網(wǎng)絡）1．3．1 研究目的在人工神經(jīng)網(wǎng)絡發(fā)展歷史中，很長一段時間里沒有找到隱含層的連接權(quán)值調(diào)整問題的有效算法。直到誤差反向傳播算法（BP 神經(jīng)網(wǎng)絡算法）的提出，成功地解決了求解非線性連續(xù)函數(shù)的多層前饋神經(jīng)網(wǎng)絡權(quán)值調(diào)整問題。目前，BP 神經(jīng)網(wǎng)絡已成為廣泛使用的網(wǎng)絡，可用于語言綜合、語言識別、自適應控制等。它是一種多層前饋網(wǎng)絡，采用最小均方差的學習方式，缺點是僅為有導師訓練，訓練時間長，易限于局部極小。鑒于神經(jīng)網(wǎng)絡的廣泛應用，特別是 BP 神經(jīng)網(wǎng)絡的發(fā)展，對于神經(jīng)網(wǎng)絡（比如 BP神經(jīng)網(wǎng)絡）的研究具有重要意義。研究的主要目的是：理解 BP 網(wǎng)絡結(jié)構(gòu)模型；學習誤差反向傳播算法和 BP 神經(jīng)網(wǎng)絡的學習算法；分析關(guān)鍵因素，得出 BP 網(wǎng)絡的優(yōu)缺點；綜合各種因素并使用啟發(fā)式方法對 BP 神經(jīng)網(wǎng)絡算法進行改進；應用數(shù)學軟件MATLAB 對 BP 神經(jīng)網(wǎng)絡標準算法和改進算法進行仿真編程；利用仿真結(jié)果和圖表得出各個算法適用條件；進而研究實際問題的 BP 神經(jīng)網(wǎng)絡構(gòu)建和仿真。1．3．2 研究方法通過參考研究學習神經(jīng)網(wǎng)絡研究和工作者的著作和文章，理解神經(jīng)網(wǎng)絡，特別是 BP 神經(jīng)網(wǎng)絡的結(jié)構(gòu)模型和理論；利用現(xiàn)有的數(shù)學理論知識和方法，推導反向傳播算法計算；利用計算機程序設(shè)計理論編寫 BP 神經(jīng)網(wǎng)絡學習算法的步驟和流程；分析BP 標準算法關(guān)鍵因素，利用現(xiàn)有數(shù)學相關(guān)方法（如啟發(fā)式方法，MATLAB 中幾種典型的 BP 神經(jīng)網(wǎng)絡算法：traingdm，增加動量法；trainrp，彈性 BP 算法；traingda，traingdx，自適應學習速率法；traincgf，共軛梯度法；trainbfg，擬牛頓法；trainlm，LevenbergMarquardt 算法）對 BP 神經(jīng)網(wǎng)絡算法改進和理論推導；利用優(yōu)秀數(shù)學軟件 MATLAB 進行 BP 網(wǎng)絡學習算法的仿真編程，分別建立 BP 神經(jīng)網(wǎng)絡標準算法、改進算法的編程程序，利用 MATLAB 得出相關(guān)圖表，分析其關(guān)鍵因素；應用實例對 BP 神經(jīng)網(wǎng)絡的應用和仿真進行驗證；通過自己的理解和學習得出自己對神經(jīng)網(wǎng)絡（BP 神經(jīng)網(wǎng)絡）的思考。1．3．3 研究問題研究問題 1：BP 神經(jīng)網(wǎng)絡的學習過程，工作信號正向傳播，誤差信號反向傳播。得到如下圖 11 示意模型：（多層前饋型網(wǎng)絡）9 / 44輸入層 隱含層 輸出層誤 差 信 號圖 BP 神經(jīng)網(wǎng)絡示意模型輸 入 信 號研究問題 2：BP 神經(jīng)網(wǎng)絡的不足，訓練時間較長，有時完全不能訓練，失敗的可能性也較大，易陷于局部極小而得不到全局最優(yōu)，隱含節(jié)點個數(shù)難以確定，訓練過程有暫時遺忘的現(xiàn)象即學習新樣本有遺忘舊樣本的趨勢。研究問題 3：BP 神經(jīng)網(wǎng)絡學習算法的改進有（MATLAB 神經(jīng)網(wǎng)絡工具箱中）：增加動量法(traingdm)、彈性 BP 算法（trainrp） ，自適應學習速率法(traingdx)、共軛梯度法 (traincgf)、擬牛頓法 (trainbfg)以及 LevenbergMarquardt 算法（trainlm）等。注：在 MATLAB R2022 版本中 traingdx 為動量及自適應 lrBP 的梯度遞減訓練函數(shù)。研究問題4：誤差要求和網(wǎng)絡復雜程度將影響B(tài)P各種算法的選擇；比如擬牛頓法需要Hessian矩陣，不適用于復雜的大型網(wǎng)絡，但對于中型網(wǎng)絡其收斂效果僅次于LM算法，且需要的內(nèi)存也相對較小，但對于小型網(wǎng)絡LM算法最好最快，仿真效果要好；又如當誤差要求比較高時，彈性BP算法和自適應學習速率法需要很長的訓練時間，在設(shè)定的訓練步驟范圍內(nèi)不能達到期望誤差。研究問題 5：在實例的網(wǎng)絡模型的建立和 MATLAB 仿真的過程中，發(fā)現(xiàn)沒有確定隱含層神經(jīng)元數(shù)目的有效方法，隱含層神經(jīng)元的數(shù)目直接影響分類精度，神經(jīng)元數(shù)目過多或過少都會使網(wǎng)絡性能下降，一般只能由經(jīng)驗設(shè)定，再經(jīng)過多次調(diào)試確定最佳數(shù)目。其次網(wǎng)絡的泛化能力與訓練能力的矛盾，一般情況下，訓練能力差時，預測能力也差，并且一定程度上隨訓練能力地提高，泛化能力也提高。但這種趨勢有一個極限，當達到此極限時，隨訓練能力的提高，泛化能力反而下降，即出現(xiàn)所謂“過擬合”現(xiàn)象。此時，網(wǎng)絡學習了過多的樣本細節(jié)，而不能反映樣本內(nèi)含的規(guī)律。 10 / 44 神經(jīng)網(wǎng)絡 BP 神經(jīng)網(wǎng)絡相關(guān)原理2．1．1 神經(jīng)元非線性模型f（ ）∑θ kwk1wk2wkI固定輸入x0=+1x1x2閾值μ kν k激活函數(shù)輸出 yk圖 神經(jīng)元非線性模型加法器xI①加法器，也稱線性組合器，將求輸入信號突