【文章內容簡介】 線性函數(shù) 神經元的活化函數(shù) 連續(xù)取值，各神經元構成的輸出矢量y由輸入矢量X與連接矩陣W加權產生，輸出為： （）⑵、 線性閥值函數(shù)（硬限幅函數(shù)） 這是一種非線性函數(shù)，輸出只取兩值，如+1與1（1或0），當凈輸入大于某一閥值時，輸出取+1，反之取1，這一特性可用符號函數(shù)表示。 （）⑶、 Sigmoid函數(shù)（S型函數(shù)） 神經元的輸出是限制在兩個有限值之間的連續(xù)非減函數(shù)，其表達式為： （）可以通過改變值的大小來調整曲線的曲率，函數(shù)的最大值和最小值分別取為+1和1。若欲使函數(shù)的最大值和最小值分別取為+1和0，則可作簡單的坐標變換，用以下函數(shù)表示： （）當構成神經網(wǎng)絡的神經元采用非線性活化函數(shù)，并動態(tài)運行時，就形成了一個非線性動態(tài)系統(tǒng)。[1] 神經網(wǎng)絡的拓撲結構——神經元的連接形式神經網(wǎng)絡是由若干個上述的神經元以一定的連接形式連接而成的復雜的互連系統(tǒng)，神經元之間的互連模式將對神經網(wǎng)絡的性質和功能產生重要的影響。應用于不同的領域時，互連模式有著繁多的種類。下面介紹兩種常用于控制系統(tǒng)中的網(wǎng)絡結構。一、前饋網(wǎng)絡 網(wǎng)絡可以分為若干“層”，各層依次排列，第i層的神經元只接受第i1層神經元的輸出信號，各神經元之間沒有反饋。前饋網(wǎng)絡可用一有向路圖表示。輸入節(jié)點沒有計算功能，只是為了表示輸入矢量各元素值。以后各層節(jié)點表示具有計算功能的神經元，稱為計算單元。每個計算單元可以有任意個輸入，但只有一個輸出，它可送到多個節(jié)點作為輸入。輸入節(jié)點層與輸出節(jié)點層統(tǒng)稱為“可見層”，而其他中間層稱為“隱含層”這些神經元稱為隱單元。二、反饋網(wǎng)絡在反饋型神經網(wǎng)絡中，每個節(jié)點都表示一個計算單元，同時接受外加輸入和其他節(jié)點的反饋輸入，甚至包括自環(huán)反饋，每個節(jié)點也都直接向外部輸出。第i個神經元對于第j個神經元的反饋與第j第i神經元的反饋的連接加權系數(shù)是相等的，即[1][8] 神經網(wǎng)絡的學習規(guī)則學習是神經網(wǎng)絡的主要特征之一。學習規(guī)則是修正神經元之間連接強度或加權系數(shù)的算法，使獲得的知識結構適應周圍環(huán)境的變化。在學習過程中，執(zhí)行學習規(guī)則，修正加權系數(shù)。在工作期內，由學習所得的連接加權系數(shù)參與計算神經元的輸出。學習算法可分為有監(jiān)督學習和無監(jiān)督學習兩類。有監(jiān)督學習是通過外部教師信號進行學習，即要求同時給出輸入和正確的期望輸出的模式對，當計算結果與期望輸出有誤差時，網(wǎng)絡將通過自動調節(jié)機制調節(jié)相應的連接強度，使之向誤差減少的方向改變，經過多次重復訓練，最后與正確的結果相符合。無監(jiān)督學習則沒有外部教師信號，其學習表現(xiàn)為自適應于輸入空間的檢測規(guī)則，其學習過程為對系統(tǒng)提供動態(tài)輸入信號，使各個單元以某種方式競爭，獲勝的神經元本身或其相鄰域得到增強，其他神經元則進一步被抑制，從而將信號空間分為有用的多個區(qū)域。常用的三種主要規(guī)則是：⒈ 無監(jiān)督Hebb學習規(guī)則 Hebb學習是一類相關學習，它的基本思想是：如果有兩個神經元同時興奮，則它們之間的連接強度的增強與它們的激勵的乘積成正比。用表示單元的激活值（輸出），表示單元的激活值，表示單元到單元的連接加權系數(shù)，則Hebb學習規(guī)則可用下式表示： （）式中 ——學習速率。⒉ 有監(jiān)督的Delta學習規(guī)則 在Hebb學習規(guī)則中，引入教師信號，將式（）中的換成期望輸出與實際輸出之差，即為有監(jiān)督學習的Delta學習規(guī)則： （） 上式表明，兩神經元間的連接強度的變化量與教師信號和實際輸出之差成正比。⒊ 有監(jiān)督Hebb學習規(guī)則將無監(jiān)督Hebb學習規(guī)則和有監(jiān)督Delta學習規(guī)則兩者結合起來，組成有監(jiān)督Hebb學習規(guī)則，即： （）這種學習規(guī)則使神經元通過關聯(lián)搜索對未知的外界作出反應，即在教師信號的指導下，對環(huán)境信息進行相關學習和自組織，使相應的輸出增強或削弱。上面分別介紹了單神經元的結構，神經網(wǎng)絡的互連形式以及神經網(wǎng)絡的學習規(guī)則等內容，將這些內容有機地結合起來，就可以形成各種實用的神經網(wǎng)絡。[1][2] 單神經元控制算法轉換器的輸入為設定值和輸出；轉換器的輸出為神經元學習控制所需要的狀態(tài)量。這里： （），為性能指標或遞進信號。K為神經元的比例系數(shù)，K0。神經元通過關聯(lián)搜索來產生控制信號，即： （）式中，為對應于的加權系數(shù)。單神經元自適應PID控制器正是通過對加權系數(shù)的調整來實現(xiàn)自適應、自學習功能的。加權系數(shù)的調整可以采用不同的學習規(guī)則，從而構成不同的控制算法。⑴ 采用有監(jiān)督Hebb學習算法的單神經元PID控制器考慮到加權系數(shù)應和神經元的輸入、輸出和輸出偏差三者的相關函數(shù)有關，因此在采用有監(jiān)督Hebb學習算法是有： （） （）式中 ——遞進信號，隨過程進行逐漸衰減； ——輸出誤差信號， 類似于式（39）中的； ——學習速率，； c——常數(shù)，0≤c1。將式（）代入式（）中有 （）如果存在函數(shù)，對求偏微分有則式（）可寫為： （）上式說明，加權系數(shù)的修正是按函數(shù)對應于的負梯度方向進行搜索的。應用隨機逼近理論可以證明，當常數(shù)c充分小時，可以收斂到某一穩(wěn)定值，而且與其期望值的偏差在允許范圍內。為保證這種單神經元自適應PID控制學習算法式（）和式（）的收斂性和魯棒性，將上述學習算法進行規(guī)范化處理后可得： （）式中 ——比例、積分、微分的學習速率。這里對比例（P）、積分（I）、微分（D）分別采用了不同的學習速率，以便于根據(jù)需要對各自對應的加權系數(shù)分別進行調整，其取值可先由現(xiàn)場實驗或仿真來確定，且取c=0。⑵、 采用以輸出誤差平方為性能指標的單神經元PID控制器首先，引入性能指標函數(shù) （）使加權系數(shù)的修正沿著的減小方向，即對的負梯度方向搜索調整,可以有更加明確的物理意義。 關于的梯度為 （）所以的調整量為： （）式中 （i=I，P，D）——學習速率。 利用式（）的定義，并將式（）代入式（）后，可得： （） 由于在PID控制算法中，通常未知，可以近似用符號函數(shù)取代，由此帶來的計算不精確的影響可通過調整學習速率來補償。 對上述算法進行規(guī)范整理后，可得學習算法如下： （）式中，同式（3,11）。這種控制器的特點是，學習算法物理意義明確，計算量小。但是，由于在性能指標函數(shù)中僅有輸出誤差平方項，因而容易出現(xiàn)為滿足性能指標函數(shù)而引起控制增量過大的現(xiàn)象，這在實際控制中一般是不允許的。若采用強制性控制律限幅，則會對整個學習算法帶來不利影響。⑶、采用以為性能指標的單神經元PID控制器針對上面算法的不足，設性能指標函數(shù)為 （）式中 ——時刻過程的輸出； ——時刻過程的參考輸入；d—— 過程總滯后；P，Q——輸出誤差和控制增量的加權系數(shù)。 設被控過程方程為 （）使加權系數(shù)的修正是沿著的減小方向，即對的負梯度方向搜索調整，則的調整量為： （）式中 ——學習速率； ——零初態(tài)時過程輸入端加單位階躍時輸出響應的第一個值，可通過實驗獲得。 在上式的推導中，使用了未規(guī)范化的式（）。對單神經元的輸出進行規(guī)范化，并進行歸納，可得學習算法如下： （）式中，同式（）　　在實際計算中，不可能測到，一般可用代替，或采用系統(tǒng)辨識技術獲得過程的預測模型后計算得出。上述三種單神經元自適應PID控制器學習算法的運行效果與可調參數(shù)等的選取有很大關系。通過大量實例仿真和實控結果，總結出以下參數(shù)調整規(guī)律。①、初始加權系數(shù)可以任意選擇。②、K值的選擇：一般K值偏大將引起系統(tǒng)響應超調過大，而K值偏小則使過渡過程加長。因此，可先確定一個增益K，再根據(jù)仿真和實控結果調整。③、學習速率的選擇：由于采用了規(guī)范化學習算法，學習速率可取得較大。選取K使過程的超調不太大，若此時過程從超調趨向平穩(wěn)的時間太長，可增加；若超調迅速下降而低于給定值，此后又緩慢上升到穩(wěn)態(tài)的時間太長，則可減少，增強積分項的作用。對于大時延系統(tǒng)，為了減少超調，應選得大一點。④、加權系數(shù)P，Q的選擇：加權系數(shù)P的大小決定了輸出誤差項在優(yōu)化性能指標中所占的比重，對系統(tǒng)的穩(wěn)定也有直接影響，可由仿真和實控結果來決定其大小。加權系數(shù)Q是用來限制控制增量出現(xiàn)過量現(xiàn)象的，但其取值也不宜過大，以免使過程時間拖長，一般Q常選得比較小。[1][2] 單神經元PID解耦控制通過單神經元PID控制，可較好地實現(xiàn)對多變量解耦控制。，該系統(tǒng)由兩個單神經元PID控制器構成。單神經元PID1單神經元PID2 多變量被控對象 二變量單神經元PID控制系統(tǒng)框圖單神經元自適應控制器是通過加權系統(tǒng)的調整實現(xiàn)自適應、自組織功能，權系數(shù)的調整是按有監(jiān)督Hebb學習規(guī)則實現(xiàn)的。以第一個單神經元PID控制器為例，控制算法及學習算法為： （）式中 ； ； 分別為比例、積分、微分的學習速率，為神經元的比例系數(shù)。對比例、積分、微分分別采用了不同的學習速率，以便對不同的權系數(shù)分別進行調整。值的選擇非常重要。越大，則快速性越好，但超調量大，甚至可能使系統(tǒng)不穩(wěn)定。當被控對象時延增大時，值必須減小，以保證系統(tǒng)穩(wěn)定。值選擇過小，會使系統(tǒng)的快速性變差。 仿真程序及分析仿真實例設有耦合二變量耦合被控對象：設采樣時間T=1s。給定輸入為單位階躍輸入，即：采樣單神經元PID控制，取。為第二個神經元的比例系數(shù)。 響應曲線（R=[1；0]） 響應曲線（R=[0；1]）仿真程序：%Single Neural Net PID Decouple Controller based on Hebb Learning %Algorithm to adjust kp,ki,kdclear