【正文】 法 數(shù) 學(xué) 模型 。 這 種 網(wǎng) 絡(luò) 依 靠 系 統(tǒng) 的 復(fù) 雜 程 度 ， 通 過 調(diào) 整 內(nèi) 部 大 量 節(jié) 點 之 間 相 互 連 接 的 關(guān) 系 ，從 而 達(dá) 到 處 理 信 息 的 目 的 。 人 工 神 經(jīng) 網(wǎng) 絡(luò) 具 有 自 學(xué) 習(xí) 和 自 適 應(yīng) 的 能 力 ， 可 以 通 過預(yù) 先 提 供 的 一 批 相 互 對 應(yīng) 的 輸 入 － 輸 出 數(shù) 據(jù) ， 分 析 掌 握 兩 者 之 間 潛 在 的 規(guī) 律 ， 最終 根 據(jù) 這 些 規(guī) 律 ， 用 新 的 輸 入 數(shù) 據(jù) 來 推 算 輸 出 結(jié) 果 ， 這 種 學(xué) 習(xí) 分 析 的 過 程 被 稱 為“訓(xùn) 練 ”。 （ 引 自 《 環(huán) 球 科 學(xué) 》 2022 年 第 一 期 《 神 經(jīng) 語 言 ： 老 鼠 胡 須 下 的 秘 密 》 ） 神經(jīng)網(wǎng)絡(luò)概述1．2．1 神經(jīng)網(wǎng)絡(luò)起源早在 1890 年，美國心理學(xué)家 William James（18421910）出版了《Principles of Psychology》專著，本書研究了心理活動與大腦神經(jīng)生理活動的關(guān)系,開創(chuàng)性提出學(xué)習(xí)、聯(lián)想記憶的基本原理。指出：“讓我們假設(shè)所有后繼推理的基礎(chǔ)遵循這樣的規(guī)則：當(dāng)兩個基本的腦細(xì)胞曾經(jīng)一起或相繼被激活過，其中一個受刺激激活時會將刺激傳播到另一個” 。他還認(rèn)為在大腦皮層上的任意一點的刺激量是其他所有發(fā)射點進入該點刺激總和。1943 年，心理學(xué)家 和數(shù)理邏輯學(xué)家 建立了神經(jīng)網(wǎng)絡(luò)和數(shù)學(xué)模型，稱為 MP 模型。他們通過 MP 模型提出了神經(jīng)元的形式化數(shù)學(xué)描述和網(wǎng)絡(luò)結(jié)構(gòu)方法，證明了單個神經(jīng)元能執(zhí)行邏輯功能，從而開創(chuàng)了人工神經(jīng)網(wǎng)絡(luò)研究的時代。1．2．2 神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程1943 年，心理學(xué)家 和數(shù)理邏輯學(xué)家 建立了神經(jīng)網(wǎng)絡(luò)和數(shù)學(xué)模型，稱為 MP 模型；1949 年，心理學(xué)家 Donald Olding Hebb 出版了《Organization of Behavior》 ，在該書他首先提出了連接權(quán)訓(xùn)練算法，即如今人們稱為的 Hebb 算法；1958 年，計算機科學(xué)家 Frank Rosenblatt，在一篇著名的文章中提出了一種具有三層網(wǎng)絡(luò)特性的“感知器” （perceptron）神經(jīng)網(wǎng)絡(luò)； 1960 年，電機工程師 Bernard Widrow 和 Marcian Hoff 發(fā)表了《Adaptive Switching Circuits》文章，不僅把人工神經(jīng)網(wǎng)絡(luò)在計算機上仿真，而且用硬件電6 / 44路實現(xiàn)了它。因此 WidrowHoff 的學(xué)習(xí)訓(xùn)練算法（也稱 δ（誤差大小）算法或最小均方（LMS）算法）也應(yīng)運而生；1969 年，人工智能的創(chuàng)始人之一，M．Minsky 和 經(jīng)過數(shù)年研究，仔細(xì)分析了以感知器為代表的神經(jīng)網(wǎng)絡(luò)系統(tǒng)的功能及局限后，出版了《Perceptron》一書，指出感知器不能解決高階謂詞問題；1969 年，美國波士頓大學(xué)自適應(yīng)系統(tǒng)中心的 教授及其夫人 提出了著名的自適應(yīng)共振理論（adaptive resonance theory）模型；1972 年，芬蘭的 教授提出了自組織映射（SOM）理論，并稱其神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為“associative memory”；與此同時，美國的神經(jīng)生理學(xué)家和心理學(xué)家，提出了一個類似的神經(jīng)網(wǎng)絡(luò)“interactive memory” ；1980 年，日本東京 NHK 廣播科學(xué)研究實驗室的福島邦彥（Kunihiko Fukushima） ，發(fā)表了《Neocognitron》 ，開發(fā)了一些神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練算法，還有一系列的改進的文章，新認(rèn)知機在于視覺模式識別機制的模型；1982 年，美國加州理工學(xué)院的優(yōu)秀物理學(xué)家 John 博士發(fā)表一篇著名的文章，吸收前人的研究成果，把各種結(jié)構(gòu)和算法概括綜合起來建立起新穎而有力的 Hopfield 網(wǎng)絡(luò)；1985 年， 和 借助統(tǒng)計物理學(xué)概念和方法提出了波耳茲曼模型，在學(xué)習(xí)中采用統(tǒng)計熱力學(xué)模擬退火技術(shù)，保證整個系統(tǒng)趨于全局穩(wěn)定點；1986 年進行認(rèn)知微觀結(jié)構(gòu)地研究，提出了并行分布處理的理論；1987 年首屆國際神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)會議在美國加州圣地亞哥召開，成立了國際神經(jīng)網(wǎng)絡(luò)學(xué)會（INNS） ；1987 年以來，神經(jīng)網(wǎng)絡(luò)理論、應(yīng)用、實現(xiàn)和相關(guān)開發(fā)工具發(fā)展迅速，涉及神經(jīng)生理學(xué)、認(rèn)知科學(xué)、心理學(xué)、數(shù)理科學(xué)、信息科學(xué)、計算機科學(xué)、微電子學(xué)、光學(xué)、生物電子學(xué)等多學(xué)科交叉、綜合的前沿科學(xué)。應(yīng)用于各個領(lǐng)域，如自動控制領(lǐng)域、處理組合優(yōu)化問題、模式識別、圖像處理、機器人控制、醫(yī)療等。可見人工神經(jīng)網(wǎng)絡(luò)具有廣泛的研究和應(yīng)用前景；以下是 1987 年后的一些發(fā)展歷程：1988 年，Broomhead Lower 提出徑向基函數(shù)網(wǎng)絡(luò)（Radial Basis Function，RBF） ，網(wǎng)絡(luò)設(shè)計采用原理化方法，有堅實的數(shù)學(xué)基礎(chǔ)；19921998 年，Vapnik 提出了支持向量機（Support Vector Machine，SVM） ，在模式分類問題上能提供良好的泛化能力。1．2．3 神經(jīng)網(wǎng)絡(luò)國內(nèi)發(fā)展概況1980 年，涂序言教授等出版了《生物控制論》一書， “神經(jīng)系統(tǒng)控制論”一章系統(tǒng)地介紹了神經(jīng)元和神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)、功能和模型，是我國最早涉及神經(jīng)網(wǎng)絡(luò)的著作；因此到 80 年代中期，我國學(xué)術(shù)界掀起了研究神經(jīng)網(wǎng)絡(luò)的熱潮；1988 年北京大學(xué)非線性研究中心舉辦了 Beijing International Workshop on Neural Networks: Learning and Recognition, a Modern Approach；1989 年召開可全國非正式的神經(jīng)網(wǎng)絡(luò)會議，于 1990 年在北京召開了中國神經(jīng)網(wǎng)絡(luò)首屆學(xué)術(shù)大會，第二年在南京召7 / 44開了第二屆，并成立了中國神經(jīng)網(wǎng)絡(luò)學(xué)會；1992 年國際神經(jīng)網(wǎng)絡(luò)學(xué)會和 IEEE 神經(jīng)網(wǎng)絡(luò)委員會在北京召開神經(jīng)網(wǎng)絡(luò)的國際性會議；自此中國神經(jīng)網(wǎng)絡(luò)研究在國家研究計劃的支持和學(xué)術(shù)及工程人員的發(fā)展與應(yīng)用下取得一系列豐碩成果。1．2．4 神經(jīng)網(wǎng)絡(luò)研究現(xiàn)狀神經(jīng)網(wǎng)絡(luò)是可大規(guī)模并行處理和分布式信息存儲，具有良好的自學(xué)習(xí)、自適應(yīng)、自組織性，以及很強的聯(lián)想記憶和容錯功能，可以充分逼近任意復(fù)雜的非線性關(guān)系，可有很強的信息綜合能力，能同時處理定量和定性信息，能很好的協(xié)調(diào)多種輸入信息關(guān)系，適用于處理復(fù)雜非線性和不確定對象。目前的神經(jīng)網(wǎng)絡(luò)的研究中主要有以下幾種類型：①松耦合模型：符號機制的專家系統(tǒng)和聯(lián)接機制的神經(jīng)網(wǎng)絡(luò)通過一個中間媒介如數(shù)據(jù)文件進行通信；②緊耦合模型：其通信數(shù)據(jù)是直接的內(nèi)部數(shù)據(jù)，具有很高的效率；③轉(zhuǎn)換模型：將專家系統(tǒng)知識轉(zhuǎn)換成神經(jīng)網(wǎng)絡(luò)，或把神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)換成專家系統(tǒng)知識，轉(zhuǎn)換需要在兩種機制之間，確定結(jié)構(gòu)上的一致性，目前主要問題還沒有一種能夠精確而完備的實現(xiàn)二者轉(zhuǎn)換；④綜合模型：將具有符號機制的邏輯功能和具有聯(lián)接機制的自適應(yīng)和容錯性結(jié)合為一個整體，共享數(shù)據(jù)結(jié)構(gòu)和知識表示；⑤混沌理論：是系統(tǒng)從有序突然變?yōu)闊o序狀態(tài)的一種演化理論，是對確定性系統(tǒng)中出現(xiàn)的內(nèi)在“隨機過程”形成的途徑、機制的研討，從而與神經(jīng)網(wǎng)絡(luò)融合，達(dá)到取長補短的效果；⑥模糊集理論：用語言和概念代表腦的宏觀功能，按照人為引入的隸屬度，將模糊性的語言信息進行邏輯處理，與神經(jīng)網(wǎng)絡(luò)結(jié)合，取長補短；⑦遺傳算法：模擬達(dá)爾文生物進化論的自然選擇和遺傳學(xué)機理的生物進化過程的計算模型，是一種通過模擬自然進化過程搜索最優(yōu)解的方法，從而與神經(jīng)網(wǎng)絡(luò)融合，達(dá)到取長補短的效果；⑧混合神經(jīng)網(wǎng)絡(luò)：把神經(jīng)網(wǎng)絡(luò)與混沌理論、模糊集理論和遺傳算法相互結(jié)合的網(wǎng)絡(luò)模型。人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)問題展望，目前主要有以下三種方法：基于搜索機制的學(xué)習(xí)方法、基于規(guī)劃的學(xué)習(xí)方法和構(gòu)造性學(xué)習(xí)方法。如今也有其綜合方法，各有特點。其中基于搜索的方法，若不從根本上進行改變，很難克服其內(nèi)在固有的缺點，如基于局部最小的搜索算法，其中 BP 算法就有易限于局部極小的固有缺點；規(guī)劃方法因為其中有“優(yōu)化的步驟” ，從理論上看其所得網(wǎng)絡(luò)性能要比其他方法要好，但如何確定核函數(shù)形式和參數(shù)問題一直是未能很好解決的問題，當(dāng)數(shù)據(jù)規(guī)模極大會引起計算量過大問題；構(gòu)造性方法，因為進行了局部化，計算量要小，由于未進行全局優(yōu)化，故性能不及規(guī)劃方法，不需要確定映射關(guān)系就沒有了確定核函數(shù)的困難問題；如果能夠?qū)⑷呦嗷ソY(jié)合，將規(guī)劃方法中優(yōu)化過程合理地引入到構(gòu)造方法中，也許即可克服規(guī)劃方法計算量大的問題，核函數(shù)和參數(shù)確定問題，也可以克服構(gòu)造性方法未進行全局優(yōu)化的缺點；這些將是值得研究的問題。隨著更多數(shù)學(xué)方法的引入，如模擬退火算法、商空間（即線性空間）理論、統(tǒng)計推斷方法與啟發(fā)式搜索技術(shù)及其結(jié)合產(chǎn)物的引入，促進各種學(xué)習(xí)方法的改進，將有力的推進神經(jīng)網(wǎng)絡(luò)的進一步發(fā)展。隨著神經(jīng)網(wǎng)絡(luò)的廣泛應(yīng)用，具有以下研究趨勢：增強對智能和機器的關(guān)系問題的認(rèn)識，發(fā)展神經(jīng)計算與進化計算的理論與應(yīng)用，擴大神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和神經(jīng)元芯片的作用，促進信息科學(xué)與生命科學(xué)的相互融合，進行與其他智能方法融合技術(shù)研究。8 / 44 研究目的、方法和問題（BP 神經(jīng)網(wǎng)絡(luò)）1．3．1 研究目的在人工神經(jīng)網(wǎng)絡(luò)發(fā)展歷史中，很長一段時間里沒有找到隱含層的連接權(quán)值調(diào)整問題的有效算法。直到誤差反向傳播算法（BP 神經(jīng)網(wǎng)絡(luò)算法）的提出，成功地解決了求解非線性連續(xù)函數(shù)的多層前饋神經(jīng)網(wǎng)絡(luò)權(quán)值調(diào)整問題。目前，BP 神經(jīng)網(wǎng)絡(luò)已成為廣泛使用的網(wǎng)絡(luò)，可用于語言綜合、語言識別、自適應(yīng)控制等。它是一種多層前饋網(wǎng)絡(luò)，采用最小均方差的學(xué)習(xí)方式，缺點是僅為有導(dǎo)師訓(xùn)練，訓(xùn)練時間長，易限于局部極小。鑒于神經(jīng)網(wǎng)絡(luò)的廣泛應(yīng)用，特別是 BP 神經(jīng)網(wǎng)絡(luò)的發(fā)展，對于神經(jīng)網(wǎng)絡(luò)（比如 BP神經(jīng)網(wǎng)絡(luò)）的研究具有重要意義。研究的主要目的是：理解 BP 網(wǎng)絡(luò)結(jié)構(gòu)模型；學(xué)習(xí)誤差反向傳播算法和 BP 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法；分析關(guān)鍵因素，得出 BP 網(wǎng)絡(luò)的優(yōu)缺點；綜合各種因素并使用啟發(fā)式方法對 BP 神經(jīng)網(wǎng)絡(luò)算法進行改進；應(yīng)用數(shù)學(xué)軟件MATLAB 對 BP 神經(jīng)網(wǎng)絡(luò)標(biāo)準(zhǔn)算法和改進算法進行仿真編程；利用仿真結(jié)果和圖表得出各個算法適用條件；進而研究實際問題的 BP 神經(jīng)網(wǎng)絡(luò)構(gòu)建和仿真。1．3．2 研究方法通過參考研究學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)研究和工作者的著作和文章，理解神經(jīng)網(wǎng)絡(luò)，特別是 BP 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)模型和理論；利用現(xiàn)有的數(shù)學(xué)理論知識和方法，推導(dǎo)反向傳播算法計算；利用計算機程序設(shè)計理論編寫 BP 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的步驟和流程；分析BP 標(biāo)準(zhǔn)算法關(guān)鍵因素，利用現(xiàn)有數(shù)學(xué)相關(guān)方法（如啟發(fā)式方法，MATLAB 中幾種典型的 BP 神經(jīng)網(wǎng)絡(luò)算法：traingdm，增加動量法；trainrp，彈性 BP 算法；traingda，traingdx，自適應(yīng)學(xué)習(xí)速率法；traincgf，共軛梯度法；trainbfg，擬牛頓法；trainlm，LevenbergMarquardt 算法）對 BP 神經(jīng)網(wǎng)絡(luò)算法改進和理論推導(dǎo)；利用優(yōu)秀數(shù)學(xué)軟件 MATLAB 進行 BP 網(wǎng)絡(luò)學(xué)習(xí)算法的仿真編程，分別建立 BP 神經(jīng)網(wǎng)絡(luò)標(biāo)準(zhǔn)算法、改進算法的編程程序，利用 MATLAB 得出相關(guān)圖表，分析其關(guān)鍵因素；應(yīng)用實例對 BP 神經(jīng)網(wǎng)絡(luò)的應(yīng)用和仿真進行驗證；通過自己的理解和學(xué)習(xí)得出自己對神經(jīng)網(wǎng)絡(luò)（BP 神經(jīng)網(wǎng)絡(luò)）的思考。1．3．3 研究問題研究問題 1：BP 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程，工作信號正向傳播，誤差信號反向傳播。得到如下圖 11 示意模型：（多層前饋型網(wǎng)絡(luò)）9 / 44輸入層 隱含層 輸出層誤 差 信 號圖 BP 神經(jīng)網(wǎng)絡(luò)示意模型輸 入 信 號研究問題 2：BP 神經(jīng)網(wǎng)絡(luò)的不足，訓(xùn)練時間較長，有時完全不能訓(xùn)練，失敗的可能性也較大，易陷于局部極小而得不到全局最優(yōu)，隱含節(jié)點個數(shù)難以確定，訓(xùn)練過程有暫時遺忘的現(xiàn)象即學(xué)習(xí)新樣本有遺忘舊樣本的趨勢。研究問題 3：BP 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的改進有（MATLAB 神經(jīng)網(wǎng)絡(luò)工具箱中）：增加動量法(traingdm)、彈性 BP 算法（trainrp） ，自適應(yīng)學(xué)習(xí)速率法(traingdx)、共軛梯度法 (traincgf)、擬牛頓法 (trainbfg)以及 LevenbergMarquardt 算法（trainlm）等。注：在 MATLAB R2022 版本中 traingdx 為動量及自適應(yīng) lrBP 的梯度遞減訓(xùn)練函數(shù)。研究問題4：誤差要求和網(wǎng)絡(luò)復(fù)雜程度將影響B(tài)P各種算法的選擇；比如擬牛頓法需要Hessian矩陣，不適用于復(fù)雜的大型網(wǎng)絡(luò)，但對于中型網(wǎng)絡(luò)其收斂效果僅次于LM算法，且需要的內(nèi)存也相對較小，但對于小型網(wǎng)絡(luò)LM算法最好最快，仿真效果要好；又如當(dāng)誤差要求比較高時，彈性BP算法和自適應(yīng)學(xué)習(xí)速率法需要很長的訓(xùn)練時間，在設(shè)定的訓(xùn)練步驟范圍內(nèi)不能達(dá)到期望誤差。研究問題 5：在實例的網(wǎng)絡(luò)模型的建立和 MATLAB 仿真的過程中，發(fā)現(xiàn)沒有確定隱含層神經(jīng)元數(shù)目的有效方法，隱含層神經(jīng)元的數(shù)目直接影響分類精度，神經(jīng)元數(shù)目過多或過少都會使網(wǎng)絡(luò)性能下降，一般只能由經(jīng)驗設(shè)定，再經(jīng)過多次調(diào)試確定最佳數(shù)目。其次網(wǎng)絡(luò)的泛化能力與訓(xùn)練能力的矛盾，一般情況下，訓(xùn)練能力差時，預(yù)測能力也差，并且一定程度上隨訓(xùn)練能力地提高，泛化能力也提高。但這種趨勢有一個極限，當(dāng)達(dá)到此極限時，隨訓(xùn)練能力的提高，泛化能力反而下降，即出現(xiàn)所謂“過擬合”現(xiàn)象。此時，網(wǎng)絡(luò)學(xué)習(xí)了過多的樣本細(xì)節(jié)，而不能反映樣本內(nèi)含的規(guī)律。 10 / 44 神經(jīng)網(wǎng)絡(luò) BP 神經(jīng)網(wǎng)絡(luò)相關(guān)原理2．1．1 神經(jīng)元非線性模型f（ ）∑θ kwk1wk2wkI固定輸入x0=+1x1x2閾值μ kν k激活函數(shù)輸出 yk圖 神經(jīng)元非線性模型加法器xI①加法器，也稱線性組合器，將求輸入信號突