【文章內(nèi)容簡(jiǎn)介】 Pitts 建立的。該模型的基本思想是：神經(jīng)細(xì)胞的工作方式是或者興奮或者抑制?；谶@個(gè)思想，McCulloch 和 Pitts 在神經(jīng)元模型中引入了硬極限函數(shù)，該函數(shù)形式后來(lái)被其他神經(jīng)網(wǎng)絡(luò)(多層感知器、離散 Hopfield 網(wǎng)絡(luò))所采用 [6]。MP 模型是一個(gè)多輸入單輸出的非線性處理單元，示意圖如圖 22 所示。 ∑ ? i W n x 2 . .u iy i F ( u i )w 1 x 1 w 2x n圖 22 MP 模型示意圖江蘇科技大學(xué)本科畢業(yè)設(shè)計(jì)（論文）6其中：，神經(jīng)元的輸出信號(hào)，可與其它多個(gè)神經(jīng)元連接；iy，神經(jīng)元的輸入信號(hào)；x：神經(jīng)元的連接權(quán)值；iw：神經(jīng)元的閥值：?：神經(jīng)元的非線性作用函數(shù)。)(iuf神經(jīng)元輸出 可用下式描述：iy （2)(1???nijijjwxfy?2）設(shè) （2?nijijjxu1?3）則 （2)(jjfy4）是作用函數(shù)，即激發(fā)函數(shù)。)(xfMP 神經(jīng)元模型是人工神經(jīng)元模型的基礎(chǔ)，也是神經(jīng)網(wǎng)絡(luò)理論的基礎(chǔ)。 一般的神經(jīng)元模型MP 模型過(guò)于簡(jiǎn)單，且權(quán)值不能學(xué)習(xí)，因此實(shí)際上需要更復(fù)雜、靈活性更高的神經(jīng)元模型。圖 23 所示為一個(gè)具有 個(gè)輸入的通用的神經(jīng)元模型。n與 MP 模型一樣, 為神經(jīng)元的輸入， 為可調(diào)的Txx),.(21? Tnw),.(21?輸入權(quán)值， 為偏移信號(hào)，用于建模神經(jīng)元的興奮閥值。 和 分別表示神經(jīng)元的? )uf基函數(shù)和激活函數(shù)。 （也稱神經(jīng)元函數(shù)、擠壓函數(shù)或活化函數(shù)） [7]?；瘮?shù) 是一個(gè))(u多輸入單輸出的函數(shù) ；激活函數(shù)的作用是對(duì)基函數(shù)輸出 進(jìn)行“擠壓”： ),(?wxu?，即通過(guò)非線性函數(shù) 將 變換到指定范圍內(nèi)。)(ufy?f江蘇科技大學(xué)本科畢業(yè)設(shè)計(jì)（論文）7u ( )W 2 W nuf ( )0x 1 x 2x 3..w 1圖 23 通用神經(jīng)元模型 感知器模型感知器（Perception）是模擬人的視覺，接收環(huán)境信息，并由神經(jīng)沖動(dòng)進(jìn)行信息傳遞的神經(jīng)網(wǎng)絡(luò)。最早由 Rosenblatt 提出的感知器模型為單層感知器，僅有輸入層和輸出層構(gòu)成。后來(lái)由于單層感知器在非線性不可分問(wèn)題方面的局限性，人們又提出了多層感知器模型，在原有基礎(chǔ)上增加了隱含層。① 單層感知器模型單層感知器模型是一個(gè)具有單層處理單元的神經(jīng)網(wǎng)絡(luò)，如圖 24 所示，非線性作用函數(shù) 是對(duì)稱型階躍函數(shù)。)(xf ∑ ?w 1w j w nu 1u ju n ..xf ( x )w 0 μ 0 = 1y.圖 24 單層感知器模型感知器的輸出為： （25）????nj njjj uwfuwfy10)()(?其中， 為感知器的第 個(gè)輸入； （閥值） ； 。ju010② 多層感知器在輸入和輸出層間加一層或多層隱含層，即構(gòu)成多層感知器，又稱多層前饋神經(jīng)網(wǎng)絡(luò)。江蘇科技大學(xué)本科畢業(yè)設(shè)計(jì)（論文）8多層感知器如下圖所示： u 1u 2W Az 2z 1yW B 圖 25 多層感知器結(jié)構(gòu)對(duì)于多層感知器網(wǎng)絡(luò)，有如下定理： 若隱層節(jié)點(diǎn)（單元）可任意設(shè)置，則用三層閥值節(jié)點(diǎn)的網(wǎng)絡(luò)可以實(shí)現(xiàn)任意的二值邏輯函數(shù)。若隱層節(jié)點(diǎn)(單元)不可任意設(shè)置，則用三層 S 型非線性特性節(jié)點(diǎn)的網(wǎng)絡(luò)，可以一致逼近緊集上的連續(xù)函數(shù)或按 范數(shù)逼近緊集上的平方可積函數(shù) [8]。2L BP 神經(jīng)網(wǎng)絡(luò) BP 神經(jīng)網(wǎng)路概述 Rumelhart 和 與 1986 年提出了多層網(wǎng)絡(luò)的誤差反向傳播算法（ Error BackPropagation Training） ，即 BP 算法，系統(tǒng)解決了多層網(wǎng)絡(luò)中隱含單元的連接權(quán)問(wèn)題，預(yù)示著 BP 網(wǎng)絡(luò)的出現(xiàn) [9]。BP 神經(jīng)網(wǎng)絡(luò)是人工神經(jīng)網(wǎng)絡(luò)的一種，它不僅具有人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)，而且有自己的 BP 算法。BP 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如圖 26 所示， 、 為網(wǎng)絡(luò)的輸入、輸出向量，每一個(gè)神uy經(jīng)元用一個(gè)節(jié)點(diǎn)表示，網(wǎng)絡(luò)有輸入層、隱含層和輸出層節(jié)點(diǎn)組成。隱含層可以是一層，也可以是多層（圖示為單隱含層） ，前層至后層節(jié)點(diǎn)通過(guò)權(quán)連接。i jku......輸入層隱含層 輸出層 圖 26 多層前饋網(wǎng)絡(luò)結(jié)構(gòu)江蘇科技大學(xué)本科畢業(yè)設(shè)計(jì)（論文）9 BP 學(xué)習(xí)算法的計(jì)算公式及流程圖設(shè) BP 神經(jīng)網(wǎng)絡(luò)為三層網(wǎng)絡(luò)，輸入神經(jīng)元以 編號(hào)，隱含層神經(jīng)元以 編號(hào)，輸出i j層神經(jīng)元以 編號(hào)，計(jì)算公式如下：k隱含層第 個(gè)神經(jīng)元的輸入為：j （2??iijjow6）第 個(gè)神經(jīng)元的輸出為：j （2)(jjgo?7）輸出層第 個(gè)神經(jīng)元的輸入為：k （2??jjkkow8）相應(yīng)的輸出為： （2)(kkgo?9）式中， —— 函數(shù)，有：gs （2)(1)(????xeg10）式中， ——閥值或偏置值, ，則使 S 曲線沿橫坐標(biāo)左移，反之則右移。?0??因此，各神經(jīng)元的輸出應(yīng)為 （2)(exp1/(jiijj owo??????11） （2)(exp1/(kijik oo?12）江蘇科技大學(xué)本科畢業(yè)設(shè)計(jì)（論文）10BP 網(wǎng)絡(luò)學(xué)習(xí)中的誤差反向傳播過(guò)程是通過(guò)使一個(gè)目標(biāo)函數(shù)(實(shí)際輸出與希望輸出之間的誤差平方和)最小化完成的，可以利用梯度下降法導(dǎo)出計(jì)算公式 [10]。學(xué)習(xí)過(guò)程中，設(shè)第 個(gè)輸出神經(jīng)元的希望輸出為 ，而網(wǎng)絡(luò)輸出為 ，則系統(tǒng)平kpktpko均誤差為： （2???kpkpotE2)(2113）略去下標(biāo) ，式（213）可寫成p （2kkot2)(114）式中， ——目標(biāo)函數(shù)。E示意圖如圖 27 所示，梯度下降學(xué)習(xí)算法總是在尋找坡度最大的地段向下滑行，當(dāng)它處于 D 位置時(shí)，沿最大坡度路線下降，到達(dá)局部最小點(diǎn)而 G 停止滑行。如果它是從 A 點(diǎn)開始向下滑行，則最終到達(dá)全局最小點(diǎn) B[11]。 圖 27 BP 網(wǎng)絡(luò)梯度下降學(xué)習(xí)算法BP 學(xué)習(xí)算法流程總結(jié)如下圖 ：江蘇科技大學(xué)本科畢業(yè)設(shè)計(jì)（論文）11開始連接權(quán)值及閥值初始化將學(xué)習(xí)模式對(duì)提供給網(wǎng)絡(luò)計(jì)算隱含層各個(gè)單元的凈輸入和輸出計(jì)算輸出層各個(gè)單元的凈輸入和輸出計(jì)算輸出層各個(gè)單元的一般化誤差計(jì)算隱含層各個(gè)單元的一般化誤差調(diào)整隱含層至輸出層之間的連接權(quán)值及輸出層各個(gè)單元的閥值調(diào)整輸入層至隱含層之間的連接權(quán)值及隱含層各個(gè)單元的閥值更新學(xué)習(xí)模式對(duì)全部學(xué)習(xí)模式訓(xùn)練完畢更新學(xué)習(xí)次數(shù)誤差小于限定最大誤差要求或?qū)W習(xí)次數(shù)大于最大值學(xué)習(xí)結(jié)束 NYNY 圖 28 BP 學(xué)習(xí)算法流程圖BP 網(wǎng)絡(luò)的學(xué)習(xí)算法的步驟歸納如下：(1)從訓(xùn)練樣本集中取某一樣本，把它的輸入信息輸入到網(wǎng)絡(luò)中；(2)由網(wǎng)絡(luò)正向計(jì)算出各節(jié)點(diǎn)的輸出；(3)計(jì)算網(wǎng)絡(luò)的實(shí)際輸出與期望輸出的誤差；(4)從輸出層起始反向計(jì)算到第一個(gè)隱層，按一定原則向減小誤差方向調(diào)整網(wǎng)絡(luò)的各個(gè)連接權(quán)值；(5)對(duì)訓(xùn)練樣本集合中的每一個(gè)樣本重復(fù)以上步驟，直到對(duì)整個(gè)訓(xùn)練樣本集合的誤差達(dá)到要求為止。如果通過(guò)網(wǎng)絡(luò)訓(xùn)練，BP 網(wǎng)絡(luò)的輸出達(dá)到目標(biāo)要求后，網(wǎng)絡(luò)各節(jié)點(diǎn)之間的連接權(quán)值就確定下來(lái)了，我們就可以認(rèn)為 BP 網(wǎng)絡(luò)已經(jīng)學(xué)習(xí)好了，我們就可以利用這個(gè)訓(xùn)練好的網(wǎng)絡(luò)對(duì)未知樣本進(jìn)行識(shí)別預(yù)測(cè)了 [12]。江蘇科技大學(xué)本科畢業(yè)設(shè)計(jì)（論文）12 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)規(guī)則神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則即調(diào)整神經(jīng)網(wǎng)絡(luò)連接權(quán)值的規(guī)則。學(xué)習(xí)規(guī)則可以分為兩類：有監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)。有監(jiān)督學(xué)習(xí)就是通過(guò)外部教師信號(hào)進(jìn)行學(xué)習(xí)，即要求同時(shí)給出輸入和正確的期望輸出的模式對(duì)，當(dāng)實(shí)際輸出結(jié)果與期望輸出有誤差時(shí)，網(wǎng)絡(luò)將通過(guò)自動(dòng)機(jī)制調(diào)節(jié)相應(yīng)的連接強(qiáng)度，使之向減少誤差的方向改變，經(jīng)過(guò)多次反復(fù)訓(xùn)練，最后與正確的結(jié)果相符合。 無(wú)監(jiān)督學(xué)習(xí)就是不需要外部教師信號(hào)，因而不能確切知道正確的反應(yīng)是什么，學(xué)習(xí)表現(xiàn)為自適應(yīng)于輸入空間的檢測(cè)規(guī)則。其學(xué)習(xí)過(guò)程表現(xiàn)為：給系統(tǒng)提供動(dòng)態(tài)輸入信號(hào)，以使各個(gè)單元以某種方式競(jìng)爭(zhēng)，獲勝的神經(jīng)元本身或相鄰域得到增強(qiáng)，其他神經(jīng)元進(jìn)一步抑制，從而將信號(hào)空間劃分為有用的多個(gè)區(qū)域 [13]。常見的學(xué)習(xí)規(guī)則為：(1)無(wú)監(jiān)督 學(xué)習(xí)規(guī)則Heb學(xué)習(xí)規(guī)則是一類相關(guān)學(xué)習(xí)，它的基本思想是：如果兩個(gè)神經(jīng)元同時(shí)被激活，則它們之間的連接強(qiáng)度的增強(qiáng)與它們激勵(lì)的乘積成正比。以 表示單元 的激活值，ioi表示單元的激活值， 表示單元 到單元 的激活值，則 學(xué)習(xí)規(guī)則可用下式表joijwijHeb示： （2)()(1(kokwijijijij ??????14） 其中， 為學(xué)習(xí)速率，該公式表明兩神經(jīng)元之間連接權(quán)的變化量與它們的激活值相關(guān)。?(2)有監(jiān)督的 學(xué)習(xí)規(guī)則Delta在 學(xué)習(xí)規(guī)則中，引入教師信號(hào)，將式(214)中的 換成目標(biāo)輸出 與實(shí)際輸Hb jojd出 之差，就組成了有監(jiān)督的 學(xué)習(xí)規(guī)則：joelta (215))()()(1( kkdwkijjijijij ???????即兩神經(jīng)元間連接強(qiáng)度的變化量與教師信號(hào) 和網(wǎng)絡(luò)實(shí)際輸出信號(hào) 之差j )(koj成正比。(3)有監(jiān)督的 學(xué)習(xí)規(guī)則Heb將無(wú)監(jiān)督的 學(xué)習(xí)和有監(jiān)督的 學(xué)習(xí)兩者結(jié)合起來(lái)就可組成有監(jiān)督的Delta江蘇科技大學(xué)本科畢業(yè)設(shè)計(jì)（論文）13學(xué)習(xí)規(guī)則，即：Heb （2)()(()1( kokdwk jijjijijij ???????16） 采用 學(xué)習(xí)和有監(jiān)督的 學(xué)習(xí)相結(jié)合的學(xué)習(xí)策略，使神經(jīng)元通過(guò)關(guān)聯(lián)搜索ebDelta對(duì)未知的外界作出反應(yīng)，即在教師信號(hào) 的指導(dǎo)下，對(duì)環(huán)境信號(hào)進(jìn)行相關(guān))(kodjj?學(xué)習(xí)和自組織，使相應(yīng)的輸出增強(qiáng)或削弱。BP 網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程由正向和反向傳播兩部分構(gòu)成。正向傳播過(guò)程中，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元結(jié)構(gòu)，如果輸出層不能得到期望輸出，即期望輸出與實(shí)際輸出之間存在誤差時(shí)，就轉(zhuǎn)向反向傳播。反向傳播過(guò)程將誤差信號(hào)沿著原來(lái)路徑返回，通過(guò)不斷修正各層神經(jīng)元權(quán)值，逐次地向輸入層傳播進(jìn)行計(jì)算，修改之后的權(quán)值再經(jīng)過(guò)正向傳播，將期望輸出與實(shí)際輸出比較。這兩個(gè)過(guò)程不斷反復(fù)運(yùn)用，直到達(dá)到所設(shè)定的誤差值 [14]。所以說(shuō)，BP 網(wǎng)絡(luò)是一個(gè)有導(dǎo)師的學(xué)習(xí)過(guò)程。江蘇科技大學(xué)本科畢業(yè)設(shè)計(jì)（論文）14第 3 章 神經(jīng)網(wǎng)絡(luò) PID 控制器的設(shè)計(jì) PID 控制器 引言PID 控制是最早發(fā)展起來(lái)控制策略之一，由于其算法簡(jiǎn)單、魯棒性好和可靠性高，被廣泛應(yīng)用于過(guò)程控制和運(yùn)動(dòng)控制中。目前，PID 控制器占工業(yè)生產(chǎn)過(guò)程用控制器 90%以上的份額，尤其適用于可建立精確數(shù)學(xué)模型的確定性控制系統(tǒng)。 而實(shí)際的工業(yè)生產(chǎn)過(guò)程往往具有非線性、時(shí)變不確定性等特點(diǎn)，難以建立精確的數(shù)學(xué)模型，應(yīng)用常規(guī) PID 控制器又難以達(dá)到理想的控制效果 [15]。 PID 控制器的原理及其特點(diǎn)①PID 控制器的原理PID