【文章內容簡介】 ical parameter tuning method formula 控制器類型 pK iT dT P cK PI cK PID cK 小結 本章主要研究了 PID 控制的基本原理，介紹了數(shù)字式 PID 的算法 ，總結了常用的 PID 參數(shù)整定的基本方法，為后面章節(jié)中的內容打下了良好的基礎。 第三章 神經網絡的基本原理 天津理工大學中環(huán)信息學院 2020屆本科畢業(yè)設計說明書 7 基于人工神經網絡的控制 (ANN base Control)簡稱神經控制 (Neural Control)。神經網絡是由大量人工神經元 (處理單元 )廣泛互聯(lián)而成的網絡，它是在現(xiàn)代神經生物學和認識科學對人類信息處理研究的基礎上提出來的，具有很強的自適應能力和學習能力，非線性映射能力以及魯棒性。神經網絡控制是指在控制系統(tǒng)中，應用神經網絡技術，對難以精確建模的復雜非 線性對象進行神經網絡模型辨識。神經網絡控制在控制系統(tǒng)中的作用如下 : 1)用于傳統(tǒng)控制系統(tǒng)中的動態(tài)系統(tǒng)建模，充當對象模型 。 2)用于反饋控制系統(tǒng)中的控制器 。 3)在傳統(tǒng)控制系統(tǒng)中可以起到優(yōu)化計算的作用 。 神經網絡的模型結構 1943 年由 MeCultoch 和 Pitts 共同提出了第一個神經網絡模型，如下圖所示 圖 MP神經網絡模型 MP neutral work model 該模型稱之為 MP 神經網絡模型，從圖中可以看到，它是一個多輸入，多輸出的非線性結構模 型。其中 : y，為神經元 i 的輸出，它可以與其他多個神經元通過權連接 。 x，為神經元 i 的輸入 。 wij 為神經元的連接權值 。 i? 為神經元的閾值； F(ui)為神經元的非線性作用函數(shù)。 我們可以令神經元的輸出為： 天津理工大學中環(huán)信息學院 2020屆本科畢業(yè)設計說明書 8 1( ) ( )nijyi f wi jy i i j??? ? ?? （ ） 令 1njui wij j????? （ ） 那么輸出可以表示為 yi=f(ui) （ ） 我們可以根據(jù)激發(fā)函數(shù)的不同可以將人工神經元分為以下 幾種： 1：分段線性激發(fā)函數(shù)如圖 32a表示 11( ) 0 1 111xf x xx???? ? ? ???? ? ?? 2： Sigmoid 激發(fā)函數(shù)如圖 32b 表示 1 ex p ( )() 1 ex p ( )xfx x??? ?? 3：高斯激發(fā)函數(shù)如圖 32c表示 22( / )() xf x e ??? 圖 三種人工神經元激發(fā)函數(shù) Three kinds of artificial neuron excitation functions 幾種典型的學習規(guī)則 天津理工大學中環(huán)信息學院 2020屆本科畢業(yè)設計說明書 9 神 經網絡的學習規(guī)則是修正神經元之間連接強度或加權系數(shù)的算法，使獲得的知識結構適應周圍環(huán)境的變化。在學習過程中，執(zhí)行學習規(guī)則，修正加權系數(shù)。學習算法可分為有監(jiān)督學習和無監(jiān) 督學習兩類，并可表示如下 : ( 1 ) ( ) ( )i i ijw k w k w k? ? ? ? （ ） 式中 ()ijwk? 為隨機過程遞減的學習信號。 常見的學習規(guī)則主要有無監(jiān)督的 Hebb 學習規(guī)則，有監(jiān)督的 Delta 學習規(guī)則，有監(jiān)督的Hebb 學習規(guī)則。 無監(jiān)督的 Hebb 學習規(guī)則 Hebb 學習是一類相關學習，其基本思想是 :如果兩個神經元同時被激活，則它們 之間的聯(lián)接強度的增強與它們激勵的乘積成正比。用 io 表示神經元 i 的激活值， jo 表示神經元 j的激活值， ijw 表示神經元 j和 i的連接權值，那么 Hebb 學習規(guī)則可表示為 ( ) ( ) ( )ij j iw k o k o k??? () 其中 ? 為學習速率。 有監(jiān)督的 Delta 學習規(guī)則 在 Hebb 學習規(guī)則中，引入教師信號，即將 oj換成希望輸出 dj 與實際輸出 oj之差，就構成有監(jiān)督的 Delta 學習規(guī)則 : ( ) ( ( ) ( ) ( ) )ij j j j iw k o d k o k o k?? ? ? () 幾種典型的神經網絡 現(xiàn) 階段應用比較廣泛的幾種神經網絡包括 BP 神經網絡，徑向基 RBF 神經網絡，小腦模型神經網絡 (又叫 CMAC 神經網絡 )。由于神經網絡大部分是多層 前向網絡，這樣的網絡般包括一個輸入層和一個輸出層，一個或者多個隱含層。應用于隱含層的變換函數(shù)多為非線性函數(shù)，比如 S 函數(shù)。應用于輸出層的變換函數(shù)可以為線性的，也可以為非線性的。因為多層前向網絡可以逼近任意非線性函數(shù)，在控制領域中有著很廣泛的應用。在所有的前向網絡中，應用最為廣泛的就是 BP神經網絡 BP 神經網絡 BP 神經網絡主要包括它的前向計算，誤差反向傳播以及加權系數(shù)的調整。 天津理工大學中環(huán)信息學院 2020屆本科畢業(yè)設計說明書 10 前向計算是在網絡各神經元的活化函數(shù)和連接強度都確定情況下進行的。以具有 m 個輸入、 q 個隱含節(jié)點、 r 個輸出的三 層 BP 神經網絡結構為例，按逐個輸入法依次輸入樣本，則BP 神經網絡輸入層的輸出為 (1) ()jo x j? j=1,2， .....m （ ） 隱含層第 i 個神經元的輸入、輸出可寫成 : ( 2 ) ( 2 ) (1 )0()mi ij jj k w o?? ? （ ） ( 2 ) 2( ) ( ( ))iio k f k? i=1,2， ...， q （ ） 式中 (2)ijw 隱含層加權系數(shù)；上標 (l)、 (2)、（ 3）分別代表輸入層、隱含層、輸出層， f()一活化函數(shù)，這里取為 Sigmoid 活化函數(shù) : 1() 1 e xp[ ( ) ]if ne t ne t ?? ? ? ? （ ） 或者 1 e xp[ ) ]() 1 e xp[ ( ) ]iie ntf ne t ne t ??? ? ?? ? ? ? （ ） 式中參數(shù) i? 表示閥值。輸出 (2)()iok將通過加權系數(shù)向前傳播到第 l 個神經元作為它的輸入之一，而輸出層的第 l 個神經元的總輸入為 : ( 3 ) ( 3 ) ( 2 )0( ) ( )qi ij iine t k w o k?? ? （ ） 輸出層的第 l個神經元的總輸出為： ( 3 ) ( 3 )( ) ( ( ))iio k g k? （ ） 式中 (3)ijw :為輸出層加權系數(shù)， (.)g :活化函數(shù) 。 在前向計算中，若實際輸出 ko 與理想輸出 kd 不一致，就要將其誤差信號從輸出端 反向傳播回來，并在傳播過程中對加權系數(shù)不斷修正，使輸出層神經元上得到所需要的期望輸出 kd 為止。為了對加權系數(shù)進行調整，二次型誤差性能指標函數(shù)： 221111()22mmk k kkkE d o e??? ? ??? （ ） 以誤差函數(shù) E 減少最快方向調整，即使加權系數(shù)按誤差函數(shù) E 的負梯度方向調整，使網絡逐天津理工大學中環(huán)信息學院 2020屆本科畢業(yè)設計說明書 11 漸收斂。按照最速下降法，可得到神經元 j 到神經元 i 的權系數(shù)調整值， ijw? 與 ijEw??的負值成正比。 由式 (314)可知，需要變換出 E 相對于該式中網絡此刻實際輸出的關系，因此 : iij i ijne tEEw w????? ? ? （ ） 而其中的 ()i ik kk k w o?? （ ） 所以 ()ik kik jij ijwo oww?? ????? （ ） 將 17 式代入 15 式可以得到： i jij i ij in e tE E E ow n e t w n e t?? ? ???? ? ? ? （ ） 令： i iE? ???? （ ） 可以得到： ij i jo???? （ ） 其中， ? 為比例系數(shù)，在這里為學習率。 計算 i? 可分為以下兩種情況： 1) 若 i為輸出層神經元，即 i=k 當 i為輸出層神經元時，注意到 iii i ioEEne t o ne t? ???? ? ?? ? ? （ ） 39。( ) ( )i i id o f ?? （ ） 故當 i為輸出層神經元時，它對應的連接權 Wij 應該按照下列公式進行調整 : 39。( ) ( )ij ij i j ij i iw w o w d o f n et??? ? ? ? ? （ ） 2)若 i 為隱含層神經元 天津理工大學中環(huán)信息學院 2020屆本科畢業(yè)設計說明書 12 當 i為輸出層神經元時，此時 39。 ()iiii i i ioE E E f ne tne t o ne t o? ?? ? ?? ? ? ? ? ?? ? ? ? （ ） 我們考慮到 14式中的 221111()22mHk k kkkE d o e??? ? ??? （ ） Ok 是它所有前導層的所有神經元的輸出 Oi 的函數(shù)。當前的 Oi 通過它的直接后繼層 的各個神經元的輸出去影響下一層各個神經元輸出，最終影響到 Ok。而目前只用考慮 將 Oi 送到它的直接后繼層各個神經元。不妨假設當前層 (神經元 i 所在層 )的后繼層為 第 h層，該層各個神經元 ik? 的網絡輸入為所以， E對 Oi 的偏導可以轉換成如下形式 : 1Hhk kj jj w o??? () 所以 E 對 Oi，的偏導可以轉換成如下形式 1 ()Hh kji k iEEo o?????? ? ?? () 由 26 式可以得到 1Hhkj jjkiiiwoEwoo???????? () )11( ) (H h H hkkjjji k j kn e tE E E wo n e t o n e t???? ? ???? ? ? ??? () 與式 (320)中的 i 相比，式 (328)中的 k 為較后一層的神經元網絡輸入。所以，按照遵從△ wij 的計算是從輸出層開始，逐層向輸入層推進的順序，當要計算 i 所在層的聯(lián)接權的修改量時，神經元 k所在層 k? 己經被計算出來。即 kk?? 就是 k?? 。從而39。1 ( ) 。 ( )Hhk k i i ikiiEEw f n e too?????? ? ? ?? （ ） 故對隱 含層的神經元聯(lián)接權有， 39。1 ( ) ( )Hhij ij i j ij k k i ikw w o w w f ne t? ? ? ??? ? ? ? ? （ ） RBF 神經網絡 RBF(Radial Basia Function)宇中經網絡是徑向基函數(shù)神經網絡，它是一種局部逼近的天津理工大學中環(huán)信息學院 2020屆本科畢業(yè)設計說明書 13 神經網絡。屬于多層前饋網絡，即前后相連的兩層之間神經元相互連接，在各神經元之間沒有