【正文】 學(xué)習(xí)方法。在會上成立了國際神經(jīng)網(wǎng)絡(luò)學(xué)會（ International Neural Network Society）。隨后， IEEE 也成立了神經(jīng)網(wǎng)絡(luò)協(xié)會并于 1990 年 3 月開始出版神經(jīng)網(wǎng)絡(luò)會刊。 4 從以上現(xiàn)象可以看 到，神經(jīng)網(wǎng)絡(luò)的研究出現(xiàn)了新的高潮，進入了發(fā)展的新時期。神經(jīng)網(wǎng)絡(luò)的應(yīng)用已涉及到模式識別、圖象處理、非線形優(yōu)化、語音處理、自然語言理解、自動目標識別、機器人、專家系統(tǒng)等各個領(lǐng)域，并取得了令人矚目的成果。 國內(nèi)研究概況 中國最早涉及人工神經(jīng)網(wǎng)絡(luò)的著作是涂序彥先生等于 1980 年發(fā)表的《生物控制論》一書，書中將“神經(jīng)系統(tǒng)控制論”單獨設(shè)為一章 ，系統(tǒng)地介紹了神經(jīng)元和神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)、功能和模型。1989年 10月和 11月份別在北京和廣州召開了神經(jīng)網(wǎng)絡(luò)及其應(yīng)用學(xué)術(shù)討論會和第一屆全國信號處理 神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)會議。目前，人工神經(jīng)網(wǎng)絡(luò)已在中國科研、生產(chǎn)和生活中產(chǎn)生了普遍而巨大的影響。（ 1）信號處理 神經(jīng)網(wǎng)絡(luò)廣泛應(yīng)用于自適應(yīng)信號處理和非信號處理。（ 2）模式識別 模式識別涉及到模式的預(yù)處理變換和將一種模式映射為其他類型的操作，神經(jīng)網(wǎng)絡(luò)在這兩個方面都有許多成功的應(yīng)用。（ 3）數(shù)據(jù)壓縮 神經(jīng)網(wǎng)絡(luò)可對待傳送的數(shù)據(jù)提取模式特征。 自動化領(lǐng)域 神經(jīng)網(wǎng)絡(luò)用于控制領(lǐng)域已經(jīng)取得以下主要進展。（ 2）神經(jīng)控制器 神經(jīng)網(wǎng)絡(luò)具有自學(xué)習(xí)和自適應(yīng)等智能特點，因而非常適合于做控制器。近年來，神經(jīng)控制器 在工業(yè) 、航空以及機器人等領(lǐng)域的 5 控制系統(tǒng)應(yīng)用中已取得許多可喜的成就。 工程領(lǐng)域 （ 1） 汽車工程 神經(jīng)網(wǎng)絡(luò)在汽車剎車自動控制系統(tǒng)中也有成功的應(yīng)用，該系統(tǒng)能在給定剎車距離、車速和最大減速度的情況下，以人體感受到最小沖擊實現(xiàn)平穩(wěn)剎車，而不受路面坡度和車重的影響。 （ 2） 軍事工程 神經(jīng)網(wǎng)絡(luò)同紅 外搜索與跟蹤系統(tǒng)配合后可發(fā)現(xiàn)和跟蹤飛行器。 （ 3） 化學(xué)工程 在譜分析方面，應(yīng)用神經(jīng)網(wǎng)絡(luò)在紅外譜、紫外譜、折射光譜和質(zhì)譜與化合物的化學(xué)結(jié)構(gòu)建立某種確定的對應(yīng)關(guān)系方面的成功應(yīng)用。 （ 4） 水利工程 近年來，我國水利工程領(lǐng)域的科技工作者已成功地將神經(jīng)網(wǎng)絡(luò)的方法用于水利發(fā)電過 程辨識和控制、河川徑流預(yù)測、河流水質(zhì)分類、水資源規(guī)劃、混泥土性能預(yù)估、預(yù)應(yīng)力混凝土樁基等結(jié)構(gòu)損傷診斷、沙土液化預(yù)測、巖體可爆破性分級及爆破效應(yīng)預(yù)測等。 畢業(yè)設(shè)計與要求 及基本思路 針對經(jīng)典控制理論及現(xiàn)代控制理論在 電力電子裝置故障檢測 的局限性，研究①神經(jīng)網(wǎng)絡(luò)控制的可行性及優(yōu)勢；②神經(jīng)網(wǎng)絡(luò)控制方案的實現(xiàn)方法；③ BP 神經(jīng)網(wǎng)絡(luò) 控制方法及其改進；④神經(jīng)網(wǎng)絡(luò)控制系統(tǒng)的 MATLAB 仿真方法；⑤ 神經(jīng)網(wǎng)絡(luò)的電力電子裝置故障檢測 。由于實驗測試數(shù)據(jù)或處理不當均會引起模型與對象特征不一致，這時閉環(huán)系統(tǒng)特征方程還會存在純滯后項。當兩者嚴重不一致時，甚至?xí)鹣到y(tǒng)穩(wěn)定性變得更差，這也是史密斯預(yù)估補償控制的一個缺點。神經(jīng)細胞通過突觸復(fù)雜的結(jié)合著，形成了大腦的復(fù)雜的神經(jīng)網(wǎng)絡(luò)系統(tǒng)。 （ 2）一個求和單元，用于求取各輸入信息的加權(quán)和（線性組合）。 另外還有一個閥值 ?（或偏置 b=?） .神經(jīng)元模型如圖 所示： 圖 人工神經(jīng)元模型 其輸入、輸出關(guān)系可描述為 : ???????? ?? )(1jjjiniijjxfyθxWX () 式中 ),2,1( nixi ?? 是從其它神經(jīng)元傳過來的輸入信號； jθ 是閥值； ijW 是表示從神經(jīng)元 i 到神經(jīng)元 j 的連接權(quán)值； f(有時為了方便 ，將 jX 統(tǒng)一表達成??? ni iijj xWX 0 ，式中 jW0 = jθ ， 10?X 。 當 f(x)為階躍函數(shù)，且不考慮輸入、輸出之間的延時，只處理 0 和 1 二值信息時，這種閥值單元模型稱為 MP 模型，是美國心理學(xué)家 McCulloch 和數(shù)學(xué)家 Pitts 在 1943 年提出的。 層次網(wǎng)絡(luò)模型 神經(jīng)元分成若干層順序連接，在輸入層上加入輸入（刺激）信息，通過中間各層，加權(quán)后傳遞到輸出層后輸出（圖 (a)） ，其中有的在同一層中的各神經(jīng)元相互有連接（圖 (b)） ，有的從輸出層到輸入層有反饋（圖 (c)） 。在連接中，有的神經(jīng)元之間是雙向的，有的是單向的，按實際情況決定。前饋型網(wǎng)絡(luò)的第 I層的輸入只能與第 I1 層輸出相連，輸入和輸出節(jié)點和外界相連，而其它中間層則為隱層。 若按連接方式，也可以分為：前饋型網(wǎng)絡(luò)和反饋型網(wǎng)絡(luò)。反饋型網(wǎng)絡(luò)的所有節(jié)點都是計算單元，同時可接受輸入并向外界輸出，其中每個連接線都是雙向的。按對能量函數(shù)的所有極小點的利用情況，可將反饋網(wǎng)絡(luò)分成兩類：一類是能量函數(shù)的所有極小點都起作用，主要用做各種聯(lián)想存儲器；另一類只利用全局極小點，它主要用于求解優(yōu)化問題 [9]。由人工神經(jīng)元相連結(jié)的神經(jīng)網(wǎng)絡(luò)系統(tǒng)的全部“知識”，主要體現(xiàn)為網(wǎng)絡(luò)中全部神經(jīng)元之間的連結(jié)權(quán)值，調(diào)整權(quán)值也就相當于人類的學(xué)習(xí)過程。 (2)有教師學(xué)習(xí) 如圖 (b)所示，這種學(xué)習(xí)方式需要外界存在一個“教師”對給定輸入提供應(yīng)有的輸出（即訓(xùn)練樣本集），神經(jīng)網(wǎng)絡(luò)根據(jù)實際輸出和預(yù)定輸出的差值來調(diào)整系統(tǒng)參數(shù)。 學(xué)習(xí)規(guī)則 環(huán)境 教師 學(xué)習(xí)系統(tǒng) ∑ 應(yīng)有 響應(yīng) 實際 響應(yīng) 誤差信號 環(huán)境 學(xué)習(xí)系統(tǒng) 輸入 動作 環(huán)境 學(xué)習(xí) 系統(tǒng) 評價 輸出 圖 (a) 圖 (b) 圖 (c) 9 神經(jīng)網(wǎng) 絡(luò)是通過一定的規(guī)則 ,根據(jù)神經(jīng)元的輸入狀態(tài)（或活性度）、當時的連接權(quán)及有無教師示教的信息來調(diào)整權(quán)值的，這個規(guī)則就稱為學(xué)習(xí)規(guī)則。 Hebb 提出的這一原則被稱為 Hebb 規(guī)則。 輸出 iy 、 jy 與活性度 )(tai 、 )(taj 有關(guān)，滿足如下關(guān)系： ??? ?? ))(()( ))(()( tafty taftyjjjiii ???????????? ?? ?? ? ? ?? ??? （ ） 其中 if 、 jf 是傳遞函數(shù)。易知學(xué)習(xí)的方式和結(jié)構(gòu)與上述四個要素有關(guān)。例如上述神經(jīng)元 ju 無教師示教信號時， H 函 數(shù)僅與 iy 成正比，則上式改成簡單形式： )()( tytaW ijij ??? ?? ??? ????????????? ???? （ ） 式中 ?是學(xué)習(xí)率常數(shù)（ ? 0）。 （ 2）誤差傳 播式學(xué)習(xí) —— Delta 學(xué)習(xí)法則 此時，式 中的函數(shù) G 采用下列形式： ))()(())(),(( 1 tatttttaG jjjj ?? ???????????????? ???? （ ） 式中 1? 為正數(shù)，把差值 ))()(( tatt jj ? 稱為 ? 。 根據(jù) Hebb 學(xué)習(xí)規(guī)則可得 )),(())(),(( ijijjij WtyHtttaGW ??? )())()(( 21 tytatt ijj ?? ?? )())()( tytatt ijj ??? ? ???????????????? ???? （ ） 式中 ?為學(xué)習(xí)率常數(shù)（ ? 0）。稱式（ ） 為 ? 規(guī)則，又稱誤差修正規(guī)則。這個規(guī)則就是 BP（反向傳播）網(wǎng)絡(luò)的算法基礎(chǔ)。故式（ ） 不適合用于采用式（ ）的非線性函數(shù)的情況，此時就需要采用廣義的 ? 規(guī)則。式中 ? 為學(xué)習(xí)率，?ijp 、 ?ijp 分別是神經(jīng)元 i 和 j 在輸入、輸出固定狀態(tài)及系統(tǒng)為自由狀態(tài)時實現(xiàn)聯(lián)結(jié)的概率。 （ 3） 競爭式學(xué)習(xí) 這種學(xué)習(xí)是無教師示教學(xué)習(xí)，網(wǎng)絡(luò)分成不 同的層，網(wǎng)絡(luò)中的神經(jīng)元之間分成興奮性聯(lián)結(jié)和抑制性聯(lián)結(jié)。競爭的實質(zhì)是看哪個神經(jīng)元受到的刺激最大，由此來調(diào)整權(quán)值： )( ijkikij WnCW ??? ? （ ） 式中 ?是學(xué)習(xí)率， ikC 是外部刺激 k 系列中第 i 項刺激成分， kn 是刺激 k 激勵輸入單 11 元的總數(shù)。 學(xué)習(xí)與自適應(yīng) 當學(xué)習(xí)系統(tǒng)所處環(huán)境平穩(wěn)時（統(tǒng)計特性不隨時間變化），從理論上講通過監(jiān)督學(xué)習(xí)可以學(xué)到環(huán)境的統(tǒng)計特征，這些統(tǒng)計特征可被學(xué)習(xí)系統(tǒng)（神經(jīng)網(wǎng)絡(luò)）作為經(jīng)驗記住。 模型被當作一個預(yù)估器，基于前一時刻輸入 )1( ?nx 和模型在 )1( ?n 時刻的參數(shù)，它估計 n 時刻的輸出 )(?nx ，再將 )(?nx 與實際值 )(nx （作為應(yīng)有的正確答案）比較，若其差值 0)( ?ne ，則 不修正模型參數(shù) [6]。輸入層和中間層也稱為隱層。 感知器 美國學(xué)者 Rosenblatt 于 1957 年提出一種用于模式分類的神經(jīng)網(wǎng)絡(luò)模型，稱為感知器，它是一個單層神經(jīng)網(wǎng)絡(luò)，神經(jīng)元模型為閥值模型。 感知器信息處理的 規(guī)則為： ?? ??ni ii θxtWfty 1 ))(()( 式中 )(ty 為 t 時刻的輸出， ix 為輸入向量的一個分量， )(tWi 為 t 時刻第 i 個輸入的權(quán)重， θ 為閥值， )(?f 為階躍函數(shù)。 感知器的工作原理及學(xué)習(xí)規(guī)則可參見圖 。感知器神經(jīng)網(wǎng)絡(luò)這種結(jié)構(gòu)上的局限性也在一定程度上限制了其應(yīng)用范圍。 1960年由 和 提出的自適應(yīng)線性單元網(wǎng)絡(luò)是線性神經(jīng)網(wǎng)絡(luò)最早的典型代表。線性神經(jīng)網(wǎng)絡(luò)可以采用 WidrowHoff 學(xué)習(xí)規(guī)則 來調(diào)節(jié)網(wǎng)絡(luò)的權(quán)值和閥值，其收斂速度和精度都有較大的改進。線性神經(jīng)網(wǎng)絡(luò)在函數(shù)擬合、信號過濾、預(yù)測和控制方面都有著廣泛的應(yīng)用。正向傳播時，輸入樣本 從輸入層 傳入，經(jīng)各層傳入，經(jīng)各隱層逐層處理后，傳向輸出層。誤差反傳是將輸出誤差 某種形式 ， 通過隱層向輸入層逐層反傳，并將誤差分攤給各層的所有單元，從而獲得各層單元的誤差信號沒，此誤差信號即作為修正各單元權(quán)值的依據(jù) [12]。權(quán)值不斷調(diào)整的過程，也就是網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練過程。 基 于 BP 算法的多層前饋網(wǎng)絡(luò)模型 利用 BP 算法的多層前饋網(wǎng)絡(luò)是至今為止應(yīng)用最為廣泛的神經(jīng)網(wǎng)絡(luò)。一般習(xí)慣將單隱層前饋網(wǎng)絡(luò)稱為三層前饋網(wǎng)或三層感知器，所謂三層包括了輸入層、隱層和輸出層。 期望輸出向量為Tlk ddddd ),( 21 ??? 。下面分析各層信號之間的數(shù)學(xué)關(guān)系。 BP 學(xué)習(xí)算法 下 面以三層前饋網(wǎng)為例介紹 BP 學(xué)習(xí)算法，然后將所得結(jié)論推廣到一般多層前饋網(wǎng)的情況。 顯然，調(diào)整權(quán)值的原則是使誤差不斷地減小，因此應(yīng)使權(quán)值調(diào)整量與誤差的負梯度成正比，即 jkjk wEw ????? ? mj ,2,1,0 ?? lk ,2,1 ?? ?????? ???? （ ） ijij vEv ????? ? ni ,2,1,0 ?? mj ,2,1 ?? ????? ???? （ ） 式 中負號表示梯度下降，常數(shù) )1,0(?? 表示比例系數(shù)，在訓(xùn)練中反映了學(xué)習(xí)速率。 15 標準 BP 算法的改進 將 BP 算法用于具有非線形轉(zhuǎn)移函數(shù)的三層前饋網(wǎng)，可以以任意精度逼近任何非線形函數(shù)，這一非凡優(yōu)勢使多層前饋網(wǎng)絡(luò)得到越來越廣泛的應(yīng)用。 （ 1） 增加動量項 一些學(xué)者于 1986 年提出，標準 BP 算法在調(diào)整權(quán)值時，只按時刻誤差的梯度降方向調(diào)整，而沒有考慮 t 時刻以前的梯度方向，從而使訓(xùn)練過程發(fā)生振蕩，收斂緩慢。動量項反映了以前積累的調(diào)整經(jīng)驗，對于 t 時刻的調(diào)整阻尼 作用。目前， BP 算法中都增加了動量項，以至于有動量項 BP 算法成為一種新的標準算法 [13]。從誤差曲面可以看出，在平坦區(qū)域內(nèi) ? 太小會使訓(xùn)練次數(shù)增加，因而希望增大 ? 值；而在誤差變化劇烈的區(qū)域， ? 太大會因調(diào)整量過大而跨過較窄的“坑凹”處，使訓(xùn)練出現(xiàn)振蕩，反而使迭代此時增加。 （ 4） 引入陡度因子 前面的分析指出，誤差曲面上存在著平坦區(qū)域。如果在調(diào)整進入平坦區(qū)后，設(shè)法壓縮神經(jīng)元的凈輸入，是其輸出退出轉(zhuǎn)移函數(shù)的飽和區(qū)，就可以改變誤差函數(shù)的形狀，從而使調(diào)整脫離平坦區(qū)。從圖 可以看出，當 1?? 時， 坐標壓縮了 ? 倍，神經(jīng)元的轉(zhuǎn)移函數(shù)曲線的敏感區(qū)段變長，從而可使絕對值較大的 退出飽和值。應(yīng)用結(jié)果表明該方法對于提高 BP 算法的收斂速度十分有效。如用網(wǎng)絡(luò)的權(quán)值和閥值總數(shù) 表征網(wǎng)絡(luò)信息容量與訓(xùn)練誤差之間應(yīng)滿足如下匹配關(guān)系 ?wnP? ????????????????????? ??? （ ） 上式表明網(wǎng)絡(luò)的信息容量與訓(xùn)練樣本之間存在著合理匹配關(guān)系。對于確定的樣本數(shù)，網(wǎng)絡(luò)參數(shù)太少則不足以表達樣本中蘊涵的全部規(guī)律，而網(wǎng)絡(luò)參數(shù)太多則由于樣本信息太少而得不到充分訓(xùn)練。 （ 2） 訓(xùn)練樣本集的準備 訓(xùn)練數(shù)據(jù)的準備工作是網(wǎng)絡(luò)設(shè)計和訓(xùn)練的基礎(chǔ)，數(shù)據(jù)選擇的科學(xué)性以及數(shù)據(jù)表示的合理性對于網(wǎng)絡(luò)設(shè)計具有極為重要的影響。 （ 3） 輸入輸出的選擇 一個待建模系統(tǒng)的輸入輸出就是神經(jīng)網(wǎng)絡(luò)的輸入輸出變量。