【正文】 ┊ ┊ ┊ ┊ ┊ 早的終止學(xué)習(xí)。 SangiovanniVincentelli 準(zhǔn)則 : 當(dāng)梯度向量的歐幾里德范數(shù)達(dá)到一個(gè)充分小的梯度閾值時(shí)，認(rèn)為反向傳播算法已經(jīng)收斂。 2． 1． 6 BP 神經(jīng)網(wǎng)絡(luò)收斂準(zhǔn)則 在實(shí)際問(wèn)題上，實(shí)際輸出往往很難達(dá)到期望輸出，因此需要一個(gè)準(zhǔn)則停止權(quán)值的調(diào)整，這就需要考慮關(guān)于誤差曲面的局部或全局最小的性質(zhì)。 綜合式 至式 得： (式 ) 其中 iij xnw ???? )( 式 中 jE （包括 jd 和 jo ）為 n 學(xué)習(xí)時(shí)刻的計(jì)算誤差， Delta 學(xué)習(xí)規(guī)則的學(xué)}])({[)(1 jIi ijiijjnxwfnO ?? ??? ??fodXWfXWfd jjTjTjj ?????? )()()]([?2)(21 jjj odE ??)()()()()()1(nwnEnwnwnwnwijjijijijij??????????iijijjijij xnwxfodnwnw ??? ??????? )()()()1( 第 12 頁(yè) ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 習(xí)信號(hào) ? 也為在 n時(shí)刻。其規(guī)則的學(xué)習(xí)信號(hào)規(guī)定為： (式 ) 為了方便計(jì)算，定義神經(jīng)元 j 的期望誤差與實(shí)際輸出之間的計(jì)算誤差為 (式 ) 按照誤差的負(fù)梯度修正權(quán)值，即： (式 ) (式 ) 其中 ? 是學(xué)習(xí)率， 0? 1，在多層前饋網(wǎng)絡(luò)中，權(quán)值可以初始化為任意值。 2． 1． 3 神經(jīng)元數(shù)學(xué)模型 設(shè)在 n 時(shí)刻，神經(jīng)元 i 到神經(jīng)元 j 的信息傳遞，其輸入信息為 xi(n),輸出為Oj(n)，則神經(jīng)元 j的數(shù)學(xué)表達(dá)式為 (式 ) 其中 ijw 是神經(jīng)元 i到 j的突觸連接 權(quán)值 ij? 是 輸入和輸出間的突觸時(shí)延 j? 是神經(jīng)元 j 的閾值 f 是神經(jīng)元激活函數(shù) 如果 TIjjjj W ),. ..,( 21? , TIxxxX ),...,( 21? ,又 0x =1, jw0 = j? （ kb ）可得：)( XWfO Tjj ? 。 ） ∑ θ k wk1 wk2 wkI 固 定 輸 入x0=+1 x1 x2 閾值 μ k ν k 激活函數(shù) 輸出 yk 圖 神經(jīng)元非線性模型 加法器 xI 環(huán)境 教師 學(xué)習(xí)系統(tǒng) 實(shí)際響應(yīng) 描述環(huán)境狀態(tài)向量 期望模式 輸入模式 ? + 誤差信號(hào) ek 圖 有教師學(xué)習(xí)方框圖 期望響應(yīng) 第 11 頁(yè) ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 有教師學(xué)習(xí)采用的是糾錯(cuò)規(guī)則，在網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練過(guò)程給神經(jīng)網(wǎng)絡(luò)一個(gè)期望模式和輸入模式，所期望的模式就是教師信號(hào)，因此可以將輸入模式所得的結(jié)果與期望模式的結(jié)果相比較，當(dāng)不相符時(shí)，可以根據(jù)相關(guān)規(guī)則進(jìn)行權(quán)值調(diào)整，比如上述的 Delta規(guī)則，直到滿 足一定誤差 ? 范圍內(nèi)，這將更接近期望模式結(jié)果。 模擬的是生物神經(jīng)元的電位脈沖原理。 輸入層 隱含層 輸出層 誤 差 信 號(hào) 圖 BP神經(jīng)網(wǎng)絡(luò)示意模型 輸 入 信 號(hào) 第 10 頁(yè) ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 神經(jīng)網(wǎng)絡(luò) BP 神經(jīng)網(wǎng)絡(luò)相關(guān)原理 2． 1． 1 神經(jīng)元非線性模型 ① 加法器，也稱線性組合 器，將求輸入信號(hào)突觸 權(quán)值 被神經(jīng)元的相應(yīng)突觸加權(quán)和； ②激活函數(shù)是用來(lái)限制神經(jīng)元的振幅，主要有 [0,1]或 [1,+1]； ③ 閾值 的作用是根據(jù)其為正或負(fù)，相應(yīng)的增加或減低激活函數(shù)的網(wǎng)絡(luò)輸入。但這種趨勢(shì)有一個(gè)極限，當(dāng)達(dá)到此極限時(shí)，隨訓(xùn)練能力的提高， 泛化 能力反而下降，即出現(xiàn)所謂“過(guò)擬合”現(xiàn)象。 研究問(wèn)題 5： 在實(shí)例的網(wǎng)絡(luò)模型的建立和 MATLAB仿真的過(guò)程中，發(fā)現(xiàn)沒(méi)有確定隱含層神經(jīng)元數(shù)目的有效方法，隱含層神經(jīng)元的數(shù)目直接影響分類精度，神經(jīng)元數(shù)目過(guò)多或過(guò)少 都會(huì)使網(wǎng)絡(luò)性能下降， 一般只能由經(jīng)驗(yàn)設(shè)定，再經(jīng)過(guò)多次調(diào)試確定最佳數(shù)目 。 注：在 MATLAB R2020 版本中 traingdx 為動(dòng)量及自適應(yīng) lrBP 的梯度遞減訓(xùn)練函數(shù) 。得到如下 圖 11 示意模型： （多層前饋型網(wǎng)絡(luò)） 第 9 頁(yè) ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 研究問(wèn)題 2： BP神經(jīng)網(wǎng)絡(luò) 的 不足，訓(xùn)練時(shí)間較長(zhǎng)，有時(shí)完全不能訓(xùn)練， 失敗的可能性也較大， 易 陷于局部極小 而 得 不到全局最優(yōu) ， 隱含節(jié)點(diǎn)個(gè)數(shù)難以確定， 訓(xùn)練過(guò)程有暫時(shí)遺忘的現(xiàn)象即學(xué)習(xí)新樣本有遺忘舊樣本的趨勢(shì)。 1． 3． 2 研究 方法 通過(guò)參考 研究 學(xué)習(xí) 神經(jīng)網(wǎng)絡(luò) 研究和 工作者的著作和文章，理解神經(jīng)網(wǎng)絡(luò)，特別是BP 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)模型 和理論 ；利用現(xiàn)有的 數(shù)學(xué)理論知識(shí)和方法，推導(dǎo)反向傳播算法計(jì)算；利用計(jì)算機(jī)程序設(shè)計(jì)理論編寫(xiě) BP神經(jīng)網(wǎng)絡(luò) 學(xué)習(xí)算法的步驟和流程； 分析 BP標(biāo)準(zhǔn)算法關(guān)鍵因素，利用現(xiàn)有數(shù)學(xué)相關(guān)方法 （ 如啟發(fā)式方法 ， MATLAB 中幾種典型的BP神經(jīng)網(wǎng)絡(luò)算法： traingdm， 增 加動(dòng)量法 ； trainrp，彈性 BP算法； traingda， traingdx，自適應(yīng)學(xué)習(xí)速率法； traincgf，共軛梯度法； trainbfg，擬牛頓法 ； trainlm，LevenbergMarquardt 算法 ） 對(duì) BP 神經(jīng)網(wǎng)絡(luò) 算法改進(jìn)和理論推導(dǎo)； 利用優(yōu)秀數(shù)學(xué)軟件 MATLAB 進(jìn)行 BP 網(wǎng)絡(luò) 學(xué)習(xí)算法的仿真編程，分別建立 BP 神經(jīng)網(wǎng)絡(luò) 標(biāo)準(zhǔn)算法、改進(jìn)算法的編程程序，利用 MATLAB 得出相關(guān)圖表，分析其關(guān)鍵因素 ；應(yīng)用實(shí)例對(duì) BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用和仿真進(jìn)行驗(yàn)證；通過(guò)自己的理解和學(xué)習(xí)得出自己對(duì)神經(jīng)網(wǎng)絡(luò)（ BP 神經(jīng)網(wǎng)絡(luò)）的思考 。 鑒于神經(jīng)網(wǎng)絡(luò)的廣泛應(yīng)用，特別是 BP 神經(jīng) 網(wǎng)絡(luò)的發(fā)展，對(duì)于 神經(jīng)網(wǎng)絡(luò)（比如 BP神經(jīng) 網(wǎng)絡(luò)）的研究具有重要意義。 目前， BP 神經(jīng) 網(wǎng)絡(luò)已成為廣泛使用的網(wǎng)絡(luò) ， 可用于語(yǔ)言綜合、語(yǔ)言識(shí)別、自適應(yīng)控制等 。 研究目的 、 方法和 問(wèn)題 （ BP 神經(jīng)網(wǎng)絡(luò)） 第 8 頁(yè) ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 1． 3． 1 研究目的 在人工神經(jīng)網(wǎng)絡(luò)發(fā)展歷史中，很長(zhǎng)一段時(shí)間里沒(méi)有找到隱 含 層的連接權(quán)值調(diào)整問(wèn)題的有效算法。隨著更多數(shù)學(xué)方法的引入 ，如模擬退火算法、商空間 （即線性空間） 理論、統(tǒng)計(jì)推斷方法與啟發(fā)式搜索技術(shù)及其結(jié)合產(chǎn)物的引入 ， 促進(jìn)各種學(xué)習(xí)方法的改進(jìn)，將有力的推進(jìn)神經(jīng)網(wǎng)絡(luò)的進(jìn)一步發(fā)展。 如今也有 其綜合方法，各有特點(diǎn)。 目前的神經(jīng)網(wǎng)絡(luò)的研究中 主要有以下幾種類型：①松耦合模型：符號(hào)機(jī)制的專家系統(tǒng)和聯(lián)接機(jī)制的 神經(jīng)網(wǎng)絡(luò)通過(guò)一個(gè)中間媒介如數(shù)據(jù)文件進(jìn)行通信；②緊耦合模型：其通信數(shù)據(jù)是直接的內(nèi)部數(shù)據(jù)，具有很高的效率；③轉(zhuǎn)換模型：將專家系統(tǒng)知識(shí)轉(zhuǎn)換成神經(jīng)網(wǎng)絡(luò)，或把神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)換成專家系統(tǒng)知識(shí)，轉(zhuǎn)換需要在兩種機(jī)制之間，確定結(jié)構(gòu)上的一致性，目前主要問(wèn)題還沒(méi)有一種能夠精確而完備的實(shí)現(xiàn)二者轉(zhuǎn)換；④綜合模型：將具有符號(hào)機(jī)制的邏輯功能和具有聯(lián)接機(jī)制的自適應(yīng)和容錯(cuò)性結(jié)合為一個(gè)整體，共享數(shù)據(jù)結(jié)構(gòu)和知識(shí)表示； ⑤混沌理論： 是系統(tǒng)從有序突然變?yōu)闊o(wú)序狀態(tài)的一種演化理論，是對(duì)確定性系統(tǒng)中出現(xiàn)的內(nèi)在 “ 隨機(jī)過(guò)程 ” 形成的途徑、機(jī)制的研討 ，從而與神經(jīng)網(wǎng)絡(luò)融 合，達(dá)到取長(zhǎng)補(bǔ)短的效果； ⑥模糊集理論：用語(yǔ)言和概念代表腦的宏觀功能，按照人為引入的隸屬度，將模糊性的語(yǔ)言信息進(jìn)行邏輯處理，與 神經(jīng)網(wǎng)絡(luò)結(jié)合，取長(zhǎng)補(bǔ)短；⑦遺傳算法： 模擬達(dá)爾文生物進(jìn)化論的自然選擇和遺傳學(xué)機(jī)理的生物進(jìn)化過(guò)程的計(jì)算模型，是一種通過(guò)模擬自然進(jìn)化過(guò)程搜索最優(yōu)解的方法 ，從而與神經(jīng)網(wǎng)絡(luò)融合，達(dá)到取長(zhǎng)補(bǔ)短的效果； ⑧混合神經(jīng)網(wǎng)絡(luò)：把神經(jīng)網(wǎng)絡(luò)與混沌理論、模糊集理論和遺傳算法相互結(jié)合的網(wǎng)絡(luò)模型。 1． 2． 3 神經(jīng)網(wǎng)絡(luò)國(guó)內(nèi)發(fā)展概況 1980 年，涂序言教授等出版了《生物控制論》一書(shū)，“神經(jīng)系統(tǒng)控制論”一章系統(tǒng)地介紹了神經(jīng)元和神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)、 功能和模型，是我國(guó)最早涉及神經(jīng)網(wǎng)絡(luò)的著作；因此到 80年代中期，我國(guó)學(xué)術(shù)界掀起了研究神經(jīng)網(wǎng)絡(luò)的熱潮； 1988 年北京大學(xué)非線性研究中心舉辦了 Beijing International Workshop on Neural Networks: Learning and Recognition, a Modern Approach； 1989 年召開(kāi)可全國(guó)非正式的神經(jīng)網(wǎng)絡(luò)會(huì)議，于 1990 年在北京召開(kāi)了中國(guó)神經(jīng)網(wǎng)絡(luò)首屆學(xué)術(shù)大會(huì)，第二年在南京召開(kāi)了第二屆，并成立了中國(guó)神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)； 1992 年國(guó)際神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)和 IEEE 神經(jīng)網(wǎng) 絡(luò)委員會(huì)在北京召開(kāi)神經(jīng)網(wǎng)絡(luò)的國(guó)際性會(huì)議；自此中國(guó)神經(jīng)網(wǎng)絡(luò)研究在國(guó)家研究計(jì)劃的支持和學(xué)術(shù) 第 7 頁(yè) ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 及工程人員的發(fā)展與應(yīng)用下取得一系列豐碩成果。 1988 年， Broomhead Lower 提出徑向基函數(shù)網(wǎng)絡(luò)（ Radial Basis Function， RBF），網(wǎng)絡(luò)設(shè)計(jì)采用原理化方法，有堅(jiān)實(shí)的數(shù)學(xué)基礎(chǔ)； 應(yīng)用于各個(gè)領(lǐng)域，如 自動(dòng)控制領(lǐng)域 、 處理組合優(yōu)化問(wèn)題 、 模式識(shí)別 、 圖像處理 、 機(jī)器人控制 、 醫(yī)療 等。 1987 年首屆國(guó)際神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)會(huì)議在美國(guó)加州圣地亞哥召開(kāi)，成立了國(guó)際神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)（ INNS）； 1985 年， 和 借助統(tǒng)計(jì)物理學(xué)概念和方法 提出了波耳茲曼模型，在學(xué)習(xí)中采用統(tǒng)計(jì) 熱力學(xué)模擬退火技術(shù)， 保 證整個(gè)系統(tǒng)趨于全局穩(wěn)定點(diǎn) ； 1980 年，日本東京 NHK 廣播科學(xué)研究實(shí)驗(yàn)室的福島邦彥（ Kunihiko Fukushima），發(fā)表了《 Neocognitron》，開(kāi)發(fā)了一些神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練算法，還有一系列的改進(jìn)的文章，新認(rèn)知機(jī)在于視覺(jué)模式識(shí)別機(jī)制的模型 ； 1969 年 ，美國(guó)波士頓大學(xué)自適應(yīng)系統(tǒng)中心的 教授及其夫人 提出了著名的自適應(yīng)共振理論（ adaptive resonance theory） 模型； 因此 WidrowHoff 的學(xué)習(xí)訓(xùn)練算法（也稱δ（ 誤差大小 ）算法或最小均方（ LMS）算 第 6 頁(yè) ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊