【正文】 的輸入信號，放大系數(shù)較大；因此采用S型激活函數(shù)可以處理和逼近非線性的輸A．／輸出關(guān)系。但是，如果在輸出層采用S型激活函數(shù)，輸出則被限制在一個很小的范圍內(nèi)。如采用線性激活函數(shù)，則可使網(wǎng)絡(luò)輸出任何值。所以，只有當(dāng)希望對輸出值進(jìn)行限制，如限制在0和1之間，輸出層才采用s型函數(shù)。一般情況下，在隱含層采用s型激活函數(shù)，在輸出層采用線性激活函數(shù)。根據(jù)以上原則，本文隱層采用s型激活函數(shù)，輸出層采用線性激活函數(shù)。(4)初始權(quán)值的確定由于系統(tǒng)是非線性的，初始值與網(wǎng)絡(luò)的學(xué)習(xí)是否達(dá)到局部最小、能否能夠收斂以及訓(xùn)練時間的長短的關(guān)系很大。如果初始權(quán)值太大，使得加權(quán)后的輸入落在激活函數(shù)的飽和區(qū)，從而導(dǎo)致其導(dǎo)數(shù)非常小，在計算權(quán)值修正公式中，因程幾乎停頓下來。因此，一般總是希望經(jīng)過初始加權(quán)后，每個神經(jīng)元的輸出值接近于零，這樣可以保證每個神經(jīng)元的權(quán)值都能夠在它們的S型激活函數(shù)變化最大之處進(jìn)行調(diào)節(jié)[20]。所以，一般取初始值在(1，1)之間的隨機(jī)數(shù)。(5)期望誤差的選取在設(shè)計網(wǎng)絡(luò)的訓(xùn)練過程中，期望誤差也應(yīng)當(dāng)通過對比訓(xùn)練確定一個合適的值。一般情況下，作為對比，可以同時對兩個不同期望誤差值的網(wǎng)絡(luò)函數(shù)進(jìn)行訓(xùn)練，最后考慮綜合因素來確定其中的一個網(wǎng)絡(luò)。通過對不同的期望誤差值進(jìn)行訓(xùn)練，我們選取訓(xùn)練效果較好的期望誤差值。 典型的多層前向網(wǎng)絡(luò)——BP網(wǎng)絡(luò)的結(jié)構(gòu)及算法 BP神經(jīng)網(wǎng)絡(luò)概述Rumel (ErrorBack—Propagat ion Training)，也就是BP算法，系統(tǒng)解決了多層網(wǎng)絡(luò)中隱含單元的連接權(quán)問題，預(yù)示著BP網(wǎng)絡(luò)的出現(xiàn)。BP神經(jīng)網(wǎng)絡(luò)是人工神經(jīng)網(wǎng)絡(luò)的一種，它不僅具有人工神經(jīng)網(wǎng)絡(luò)的特點，BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和BP算法。BP算法是一種基于梯度下降而且有自己的BP算法。下面主要介紹一下(Gradient Descent)的最優(yōu)化方法，通過調(diào)節(jié)網(wǎng)絡(luò)的連接權(quán)值，使網(wǎng)絡(luò)誤差函數(shù)極小化。BP網(wǎng)絡(luò)的學(xué)習(xí)過程由正向和反向傳播兩部分構(gòu)成：在正向傳播過程中，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元結(jié)構(gòu)，如果輸出層不能得到期望輸出，即期望輸出與實際輸出之間存在誤差時，就轉(zhuǎn)向反向傳播過程，將誤差信號沿著原來的路徑返回，通過不斷修正各層神經(jīng)元的權(quán)值，逐次地向輸入層傳播進(jìn)行計算，修改之后的權(quán)值再經(jīng)過正向傳播過程，將期望輸出與實際輸出比較。這兩個過程不斷反復(fù)運用，直到達(dá)到所設(shè)定的誤差值。所以說，BP網(wǎng)絡(luò)是一個有導(dǎo)師的學(xué)習(xí)過程。BP網(wǎng)絡(luò)的學(xué)習(xí)算法的步驟歸納如下：①從訓(xùn)練樣本集中取某一樣本，把它的輸入信息輸入到網(wǎng)絡(luò)中；②由網(wǎng)絡(luò)正向計算出各節(jié)點的輸出；③計算網(wǎng)絡(luò)的實際輸出與期望輸出的誤差；④從輸出層起始反向計算到第一個隱層，按一定原則向減小誤差方向調(diào)整網(wǎng)絡(luò)的各個連接權(quán)值；⑤對訓(xùn)練樣本集合中的每一個樣本重復(fù)以上步驟，直到對整個訓(xùn)練樣本集合的誤差達(dá)到要求為止。如果通過網(wǎng)絡(luò)訓(xùn)練，BP網(wǎng)絡(luò)的輸出達(dá)到目標(biāo)要求后，網(wǎng)絡(luò)各節(jié)點之間的連接權(quán)值就確定下來了，我們就可以認(rèn)為BP網(wǎng)絡(luò)已經(jīng)學(xué)習(xí)好了，我們就可以利用這個訓(xùn)練好的網(wǎng)絡(luò)對未知樣本進(jìn)行識別預(yù)測了。多層前向網(wǎng)絡(luò)包含一個輸出層和一個輸入層，一個或多個隱含層。隱含層的變換函數(shù)一般為非線性函數(shù)，如s型函數(shù)或雙曲正切函數(shù)。輸出層的變換函數(shù)可以是非線性的，也可以是線性的，這由輸入、輸出映射關(guān)系的需要而定。多層前向網(wǎng)絡(luò)能逼近任意非線性函數(shù)，在科學(xué)領(lǐng)域中有廣泛的應(yīng)用。在眾多前向網(wǎng)絡(luò)中，最為典型的就是誤差反向傳播BP神經(jīng)網(wǎng)絡(luò)。BP網(wǎng)絡(luò)中引入了最小二乘學(xué)習(xí)算法，即在網(wǎng)絡(luò)學(xué)習(xí)過程中，使網(wǎng)絡(luò)的輸出與期望輸出的誤差邊向后傳播邊修正連接強(qiáng)度(加權(quán)系數(shù))，以使其誤差均方值最小。其學(xué)習(xí)過程可分為前向網(wǎng)絡(luò)計算和反向誤差傳播——連接權(quán)系數(shù)修正兩部分，這兩部分是相繼連續(xù)反復(fù)進(jìn)行的，直到誤差滿足要求。不論學(xué)習(xí)過程是否結(jié)束，只要在網(wǎng)絡(luò)的輸入節(jié)點加入輸入信號，則這些信號將一層一層向前傳播，通過每一層時要根據(jù)當(dāng)時的連接加權(quán)系數(shù)和節(jié)點的活化函數(shù)與閥值進(jìn)行相應(yīng)計算，所得的輸出再繼續(xù)向下一層傳送。這個前向網(wǎng)絡(luò)的計算過程，既是網(wǎng)絡(luò)學(xué)習(xí)過程的一部分，也是將來網(wǎng)絡(luò)的工作模式。在學(xué)習(xí)過程結(jié)束之前，如果前向網(wǎng)絡(luò)計算的輸出和期望輸出之間存在誤差，則轉(zhuǎn)入反向傳播，將誤差沿著原來的連接通路回送，作為修改加權(quán)系數(shù)的依據(jù)，目標(biāo)是使誤差減少。 BP神經(jīng)網(wǎng)絡(luò)的前向計算前向計算是在網(wǎng)絡(luò)各神經(jīng)元的活化函數(shù)和連接強(qiáng)度都確定情況下進(jìn)行的。以具有所個輸入、9個隱含節(jié)點、．個輸出的三層BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為例，按逐個輸入法依次輸入樣本，則BP神經(jīng)網(wǎng)絡(luò)輸入層的輸出為： （）隱含層第i個神經(jīng)元的輸入、輸出可寫成： （） （）輸出，將通過加權(quán)系數(shù)向前傳播到第個神經(jīng)元作為它的輸入之一，而輸出層的第個神經(jīng)元的總輸入為： （）輸出層的第L個神經(jīng)元的總輸出為： （）對于以上四式，一般應(yīng)用中，活化函數(shù)f(x)取單極性Sigmoid函數(shù)或雙極性Sigmoid函數(shù)，其數(shù)學(xué)表達(dá)式分別為： （） （）式中：參數(shù)只表示閥值。在神經(jīng)網(wǎng)絡(luò)的正常工作期間，上面的過程即完成了一次前向計算，而若是在學(xué)習(xí)階段，則要將輸出值和樣本輸出值之差回送，以調(diào)整加權(quán)系數(shù)。 BP神經(jīng)網(wǎng)絡(luò)的誤差反向傳播和加權(quán)系數(shù)的調(diào)整在前向計算中，若實際輸出，與理想輸出，不一致，就要將其誤差信號從輸出端反向傳播回來，并在傳播過程中對加權(quán)系數(shù)不斷修正，使輸出層神經(jīng)元上得到所需要的期望輸出，為止。當(dāng)網(wǎng)絡(luò)輸出與期望輸出不等時，存在輸出誤差E，定義如下： （）將以上誤差定義式展開至隱層，有 （）進(jìn)一步展開至輸入層，有由以上可以看出，網(wǎng)絡(luò)輸入誤差是各層權(quán)值，打的函數(shù)，因此調(diào)整權(quán)值可以改變誤差E。顯然，調(diào)整權(quán)值的原則是使誤差不斷地減小，因此應(yīng)使權(quán)值的調(diào)整量與誤差的負(fù)梯度成正比，即： () ()式中負(fù)號表示梯度下降，常數(shù)表示比例系數(shù)，在訓(xùn)練中反映了學(xué)習(xí)速率。由此也可以看出BP網(wǎng)絡(luò)的學(xué)習(xí)算法是學(xué)習(xí)規(guī)則類，這類算法常被稱為誤差的梯度下降(GradientDescent)算法。以上()和()兩式僅是對權(quán)值調(diào)整思路的數(shù)學(xué)表達(dá)，而不是具體的權(quán)值調(diào)整計算式。下面推導(dǎo)三層BP網(wǎng)絡(luò)權(quán)值的調(diào)整計算式。事先約定，隱含層及輸出層的傳遞函數(shù)均為單極性Sigmoid函數(shù)，且在全部推導(dǎo)過程中，對輸出層均有對于輸出層均有，對于輸出層，式()式可寫為 ()對于隱含層，式(39)可寫為 ()對輸出層和隱含層各定義一個誤差信號，令 () ()綜合應(yīng)用式()和()，可將式()權(quán)值調(diào)整式改寫為 ()綜合應(yīng)用式()和()，可將式()的權(quán)值調(diào)整式改寫為 ()可以看出，只要計算出式()和()中的誤差信號群，權(quán)值調(diào)整量的計算推導(dǎo)即可完成。下面繼續(xù)推導(dǎo)如何求群和掣。對于輸出層，群可展開為： () ()下面求式()中網(wǎng)絡(luò)誤差對各層輸出的偏導(dǎo)。對于輸出層，利用式(3．13)，可得： ()對于隱含層，利用式()，可得 ()將式()代入式()，將式()代入式()，并應(yīng)用式()可得： () ()至此兩個誤差信號的推導(dǎo)已完成，將式()代回到式()，將式()代回到()，得到三層BP網(wǎng)絡(luò)的BP學(xué)習(xí)算法權(quán)值調(diào)整計算公式為： () ()對于一般多層BP網(wǎng)絡(luò)，設(shè)共有辦個隱層，按前向順序各隱含層節(jié)點數(shù)分別記容易看出，BP網(wǎng)絡(luò)學(xué)習(xí)算法中，各層權(quán)值調(diào)整公式形式上都是一樣的，均由三個因素決定，即：學(xué)習(xí)率、本層輸出的誤差信號以及本層輸入信號y(或x)。其中輸出層誤差信號同網(wǎng)絡(luò)的期望輸出與實際輸出之差有關(guān)，直接反映了輸出誤差，而各隱含層的誤差信號與前面各層的誤差信號都有關(guān)，是從輸出層開始逐層反傳過來的。 本章小結(jié)本章在介紹神經(jīng)網(wǎng)絡(luò)基本理論知識的基礎(chǔ)上，著重給出了三層BP前向網(wǎng)絡(luò)的結(jié)構(gòu)、學(xué)習(xí)算法，為以后引入神經(jīng)網(wǎng)絡(luò)PID控制算法提供了理論基礎(chǔ)。4 仿真程序智能分析 仿真過程設(shè)被控對象的近似數(shù)學(xué)模型為：神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)選擇，學(xué)習(xí)速度==，加權(quán)系數(shù)初始取區(qū)間[,]上的隨機(jī)數(shù)。輸入指令信號分為兩種：取S=1時為階躍跟蹤，S=2時為正弦跟蹤，初始權(quán)值取隨機(jī)值，運行穩(wěn)定后用穩(wěn)定權(quán)值代替隨機(jī)值。 二次型性能指標(biāo)學(xué)習(xí)單神經(jīng)元自適應(yīng)PID位置跟蹤 單神經(jīng)元PID控制過程中權(quán)值變化 階躍響應(yīng)曲線（S=1） 跟蹤誤差曲線 參數(shù)自適應(yīng)整定曲線由于可調(diào)參數(shù) ， ， ，均取非負(fù)的Sigmoid函數(shù)，其值在（0,1）之間，使得本算法的應(yīng)用具有局限性，可以根據(jù)需要進(jìn)行改進(jìn)[21]。 正弦跟蹤曲線（S=2） 跟蹤誤差曲線 自適應(yīng)整定曲線 本章小結(jié) 通過在計算機(jī)上對線性和非線性系統(tǒng)仿真，我們可以清楚的看到自適應(yīng)的效果，結(jié)果表明了這種自適應(yīng)PID控制算法的有效性。結(jié)論與展望結(jié)論:人工神經(jīng)網(wǎng)絡(luò)是近十幾年來迅速發(fā)展起來的一門新興學(xué)科。由于其獨特的特性，已應(yīng)用于控制、信號分析、語音處理等多個領(lǐng)域中。在控制領(lǐng)域中，神經(jīng)網(wǎng)絡(luò)由于其具有強(qiáng)的非線性映射能力、自學(xué)習(xí)適應(yīng)能力、聯(lián)想記憶能力、并行信息處理方式及其優(yōu)良的容錯性能，能在不同程度和層次上模仿人腦神經(jīng)系統(tǒng)的信息處理、存儲和檢索功能。這些特點使得神經(jīng)網(wǎng)絡(luò)非常適合于復(fù)雜系統(tǒng)的建模與控制。特別是當(dāng)系統(tǒng)存在不確定性因素時，更能體現(xiàn)神經(jīng)網(wǎng)絡(luò)方法的優(yōu)越性。這些都很適合于控制系統(tǒng)中的非線性系統(tǒng)的控制。本文首先詳細(xì)敘述了前人提出的一些改進(jìn)型PID控制器。主要包括模糊PID控制器、專家PID控制器、基于遺傳算法參數(shù)整定的PID控制器、灰色PID控制器以及神經(jīng)網(wǎng)絡(luò)PlD控制器等，其中灰色PID控制器的研究還處于起始階段。這些改進(jìn)型PID控制器的研究為控制理論的研究提供了新的思路和方向。隨后又詳細(xì)敘述了基于BP算法的神經(jīng)網(wǎng)絡(luò)PID控制器。該控制器的結(jié)構(gòu)和學(xué)習(xí)算法簡單明確，通過BP神經(jīng)網(wǎng)絡(luò)自身的學(xué)習(xí)，可以找到某一最優(yōu)控制律下的P，I，D參數(shù)。本人在學(xué)習(xí)了以上這些內(nèi)容之后，利用文獻(xiàn)[21]的思想，結(jié)合經(jīng)典的PID控制算法，形成一種改進(jìn)型BP神經(jīng)網(wǎng)絡(luò)的自適應(yīng)PID算法。這一法的本質(zhì)是應(yīng)用BP神經(jīng)網(wǎng)絡(luò)建立系統(tǒng)參數(shù)模型，將時變參數(shù)系統(tǒng)的參數(shù)變化規(guī)律轉(zhuǎn)化為神經(jīng)網(wǎng)絡(luò)參數(shù)模型，反映了參數(shù)隨狀態(tài)而變的規(guī)律，即當(dāng)系統(tǒng)變化后，可直接由模型得到系統(tǒng)的時變參數(shù)，而無需辨識過程。通過在計算機(jī)上對線性和非線性系統(tǒng)進(jìn)行Matlab仿真，結(jié)果表明了這種自適應(yīng)PlD控制算法的有效性。展望今后的工作:在現(xiàn)有工作的基礎(chǔ)上，還有很多的工作需要進(jìn)一步深入，筆者認(rèn)為至少在以下幾方面有進(jìn)一步研究的必要。主要有：(1)對BP算法的改進(jìn)。例如為了使學(xué)習(xí)速率足夠大，而且又不易產(chǎn)生振蕩，可以采用在權(quán)值調(diào)整算法中加入阻尼項的方法或者使用變步長的學(xué)習(xí)算法，這將提高BP學(xué)習(xí)算法的收斂速度，從而可以實現(xiàn)系統(tǒng)的快速響應(yīng)。對神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的研究將是神經(jīng)網(wǎng)絡(luò)領(lǐng)域的一個具有可研究性的課題。(2)對神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)，應(yīng)用其他性能更加優(yōu)良的網(wǎng)絡(luò)結(jié)構(gòu)來實現(xiàn)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程，例如應(yīng)用I強(qiáng)F網(wǎng)絡(luò)、小腦模型網(wǎng)絡(luò)等來進(jìn)行神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)，或者利用其他如：連續(xù)型Hopfield網(wǎng)絡(luò)、局部遞歸型神經(jīng)網(wǎng)絡(luò)等進(jìn)行網(wǎng)絡(luò)學(xué)習(xí)，從而改善利用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行網(wǎng)絡(luò)學(xué)習(xí)時的缺點。這是在應(yīng)用神經(jīng)網(wǎng)絡(luò)進(jìn)行PID控制中具有挑戰(zhàn)性的一個研究方向。致謝經(jīng)過幾個月時間的努力，我終于完成了論文《基于BP神經(jīng)網(wǎng)絡(luò)的PID控制器設(shè)計》，在論文完成之際，本人謹(jǐn)向于宏濤老師表示誠摯的敬意和衷心的感謝。他淵博精深的知識、高屋建領(lǐng)的見解及敏銳的洞察力使我終生受益。他精益求精的科研精神、嚴(yán)謹(jǐn)?shù)闹螌W(xué)態(tài)度及務(wù)實的工作態(tài)度更是深深的感染了我。于老師嚴(yán)謹(jǐn)務(wù)實的研究作風(fēng)，坦蕩正直的為人風(fēng)范，不僅從學(xué)術(shù)上是我學(xué)習(xí)的榜樣，而且在為人處世方面也深深的教育著我，使我受益匪淺，終身難忘。在論文工作期間，于老師在論文的選題、設(shè)計、相應(yīng)的研究工作以及論文的撰寫方面都給予了極大的關(guān)心和悉心的指導(dǎo)。沒有他的鼓勵和幫助，本篇論文也是很難完成的。另外，在生活方面，于老師也處處關(guān)心學(xué)生，給予了我很大的幫助。在此，我由衷地對于老師說一聲：“謝謝!”。最后向所有曾給予本人幫助、支持和鼓勵的其他老師、同學(xué)們