【正文】 ，設計出了各種各樣的電子裝置。1962 年， Rosenblatt 出版了一本名為《 The Priciples of Neuro dynamics》的書，書中詳述了他的感知機。 1967 年， Stephen Grossberg 通過對生理學的研究來開發(fā)神經(jīng)網(wǎng)絡模型，提出了一種網(wǎng)絡稱作 Avalanche（雪崩網(wǎng)），這種網(wǎng)絡可以連續(xù)語聲識別和控制機器人手臂的運動。在當時的技術(shù)條件下，解決此類問題是極其困難的。同時由于當時沒有功能強大的數(shù)字計算機來支持各種實驗，從而導致許多研究者離開這一研究領(lǐng)域，使神經(jīng)網(wǎng)絡的研究停滯了十多年。 19721 年，芬蘭的 Kohonen 開始從事隨機連接變化表的研究工作。 1968 年， Anderson 具有基于神經(jīng)元突觸的激活聯(lián)想記憶模型的 ANS 模型開始工作。這一時期， Stephen Grossberg 在自組織網(wǎng)絡方面的研 4 究也十分活躍。 第二次研究高潮：八十年代初至現(xiàn)在，前面我們講過，在 60 年代，由于缺乏新思想和用于實驗的高性能計算機， 曾一度動搖了人們對神經(jīng)網(wǎng)絡的研究興趣。有二個概念對神經(jīng)網(wǎng)絡的復興具有極其重大的意義。物理學家 John Hopfiled 研究論文論述了這些思想。其中最有影響力的反傳算法是 David Rumelhart 和 James McClelland 提出的。 1982 年生物物理學家 教授提出了 Hoppield 神經(jīng)網(wǎng)絡模型，引入了能量函數(shù)概念，這一成果的取得使神經(jīng)網(wǎng)絡的研究取得了突破性進展。 1987年 6 月在美國加州舉行了第一屆神經(jīng)網(wǎng)絡國際會議。后確定為每年召開兩次國際聯(lián)合神經(jīng)網(wǎng)絡大會。 如今，神經(jīng)網(wǎng)絡的應用，已滲透到模式識別、圖像處理、非線性優(yōu)化、語音處理、自然語言理解、自動目標識別、機器人、專家系統(tǒng)等各個領(lǐng)域，并取得了令人矚目的成果。當前存在的問題是智能水平還不高，許多應用方面的要求還不能得到很好的滿足：網(wǎng)絡分析與綜合的一些理論性問題 (如穩(wěn)定性、收斂性的分析，網(wǎng)絡的結(jié)構(gòu)綜合等 )還未 得到很好的解決。當今的自動控制技術(shù)都是基于反饋的概念。測量關(guān)心的變量，與期望值相比較，用這個誤差糾正調(diào)節(jié)控制系統(tǒng)的響應。 PID 控制器簡單易懂，使用中不需精確的系統(tǒng)模型等先決條件，因而成為應用最為廣泛的控制器。 在實際生產(chǎn)過程中，由于受到參數(shù)整定方法繁雜的困擾，因此常規(guī) PID 控制的應用受到很大的限制和挑戰(zhàn)。如積分分離算法，抗積分飽和算法和微分項的改進等等。 神經(jīng)網(wǎng)絡是一個由大量簡單的處理單元廣泛連接組成的系統(tǒng)，用來模擬人腦神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能。 20 世紀 80 年代中期以來，在美國、日本等一些西方工業(yè)發(fā)達國家里，掀起了一股競相研究、開發(fā)神經(jīng)網(wǎng)絡的熱潮。 近十年來，神經(jīng)網(wǎng)絡理論與實踐有了引人注目的進展，它再一次拓展了計算概念的內(nèi)涵，使神經(jīng)計算、進化計算成為新的學科，神經(jīng)網(wǎng)絡的軟件模擬得到了廣泛的應用。例如 Intel 公司、 IBM 公司和HNC 公司已取得了多項專利，已有產(chǎn)品進入市場，被國防、企業(yè)和科研部門選用，許多公眾手中也擁有神經(jīng)網(wǎng)絡實用化的工具，其商業(yè)化令人鼓舞。神經(jīng)網(wǎng)絡具有大規(guī)模并行、分布式存儲和處理、自組織、自適應和自學能力，特別適用于處理需要同時考慮多因素和多條件的、不精確和模糊的信息處理問題。 PID 控制要取得較好的控制效果，就必須通過調(diào)整好比例、積分、微分三種控制作用，形成控制量中既有相互配合又相互制約的關(guān)系。神經(jīng)網(wǎng)絡所具有的任意非線性表達能力，可以通過對系統(tǒng)性能的學習來實現(xiàn)具有最佳組合的 PID 控制。 6 2 神經(jīng)網(wǎng)絡 神經(jīng)網(wǎng)絡的基本概念和 特點 人工神經(jīng)網(wǎng)絡 (ANN， Artificial Neural Network)，又稱并行分布處理模型或連接機制模型，是基于模仿人類大腦的結(jié)構(gòu)和功能而構(gòu)成的一種信息處理系統(tǒng)或計算機系統(tǒng)。由于它是由人工方式構(gòu)造的網(wǎng)絡系統(tǒng)，因此也稱為人工神經(jīng)網(wǎng)絡系統(tǒng)。 人工神經(jīng)網(wǎng)絡的以下幾個突出的優(yōu)點使它近年來引起人們的極大關(guān) 注： （ 1）能逼近任意 L2 上的非線性函數(shù)； （ 2）信息的并行分布式處理與存儲； （ 3）可以多輸入、多輸出； （ 4）便于用超大規(guī)模集成電路或光學集成電路系統(tǒng)實現(xiàn)，或用現(xiàn)有的計算機技術(shù)實現(xiàn)； （ 5）能進行學習，以適應環(huán)境的變化； 人工神經(jīng)網(wǎng)絡的特點和優(yōu)越性，主要表現(xiàn)在三個方面： 第一 ， 具有自學習功能。自學習功能對于預測有特別重要的意義。 第二，具有聯(lián)想存儲功能。 第三，具有高速尋找優(yōu)化解的能力。 人工神經(jīng)網(wǎng)絡構(gòu)成的基本原理 神經(jīng)網(wǎng)絡是由一個或多個神經(jīng)元組成的信息處理系統(tǒng)。網(wǎng)絡實際輸出與期望輸出之間的誤差是衡量所構(gòu)造的網(wǎng)絡模型的性能指標。此外 還有一個附加的輸入，稱作閾值或偏置。 PID 控制是迄今為止最通用的控制方法，各種 DCS、智能調(diào)節(jié)器等均采用該方法或其較小的變形來控制 (至今在全世界過程控制中 84％仍是純 PID 調(diào)節(jié)器，若改進型包含在內(nèi)則超過 90％ )，盡管自1940 年以來，許多先進控制方法不斷推出，但 PID 控制以其結(jié)構(gòu)簡單，對模型誤差具有魯棒性及易于操作等優(yōu)點，故仍廣泛應用于各種工業(yè)過程控制中。在分析傳統(tǒng)的常規(guī) PID 控制存在的優(yōu)缺點的基礎上，給出了一些改進型 PID控制器。我們利用人工神經(jīng)元可以構(gòu)成各種不同拓撲結(jié)構(gòu)的神經(jīng)網(wǎng)絡，它是生物神經(jīng)網(wǎng)絡的一種模擬和近似。 前饋網(wǎng)絡 前饋型神經(jīng)網(wǎng)絡 (Feed forward neural work)， 又稱前饋網(wǎng)絡。從學習的觀點看前饋網(wǎng)絡是一種強有力的學習系統(tǒng)，其結(jié)構(gòu)簡單而且易于編程 :從系統(tǒng)的觀點，前饋網(wǎng)絡是一靜態(tài)非線性映射，通過簡單非線性處理單元的復合映射，可獲得復雜的非線性處理能力。大部分前饋網(wǎng)絡都是學習網(wǎng)絡，它們的分類能力和模式識別能力一般都強于反饋網(wǎng)絡，典型的前饋網(wǎng)絡有感知器、 BP 網(wǎng)絡等。若總節(jié)點 (神經(jīng)元 )數(shù)為 N，則每個節(jié)點有 N 個輸入和一個輸出，也就是說，所有節(jié)點都是一樣的，它們之間都可以相互連接。 Hopfield 神經(jīng)網(wǎng)絡是反饋網(wǎng)絡中最簡單且應用廣泛的模型，它具有 8 聯(lián)想記憶 (content addressable memory ,CAM)的功能， Hopfield 神經(jīng)網(wǎng)絡還可以用來解決快速尋優(yōu)問題。這樣的平衡狀態(tài)就是反饋網(wǎng)絡經(jīng)計算后輸出的結(jié)果，由此可見，穩(wěn)定性是反饋網(wǎng)絡中最重要的問題之一。反饋神經(jīng)網(wǎng)絡中所有節(jié)點都是計算單元，同時也可接收輸入，并向外界輸出。 監(jiān)督學習 (有教師學習 ) 為了使神經(jīng)網(wǎng)絡在實際應用中解決各種問題，必須對它進行訓練。在訓練過程中又需要教師的監(jiān)督，故這種有教師的學習又稱有監(jiān)督式學習。評價標準是由外界提供給網(wǎng)絡 的，相當于有一位知道正確結(jié)果的教師示教給網(wǎng)絡，故這種學習又稱為教師示教學習。 非監(jiān)督學習 (無教師學習 ) 無教師學習是一種自組織學習，即網(wǎng)絡的學習過程完全是一種自我學習的過程，不存在外部教師的示教，也不存在外部環(huán)境的反饋指示網(wǎng)絡應該輸出什么或者是否正確，故又稱之為無監(jiān)督學習。自組織學習是靠神經(jīng)元本身對輸入模式的不斷適應，抽取輸入信號的規(guī)律（如統(tǒng)計規(guī)律 )。自組織學習能對網(wǎng)絡的學習過程進行度量，并優(yōu)化出其中的自由參數(shù)。神經(jīng)網(wǎng)絡的這種自組織特性來源于其結(jié) 9 構(gòu)的可塑性。外部環(huán)境對系統(tǒng)輸出的結(jié)果給出評價信息 (獎或懲 )而不是給出正確答案。 RBF 神經(jīng) 網(wǎng)絡 RBF 神經(jīng)網(wǎng)絡的發(fā)展簡史 Broomhead 和 Lowe 最早將 RBF 用于神經(jīng)網(wǎng)絡設計之中。Moody 和 Darken 在 1989 年發(fā)表文章《 Fast learning in work of locallytunedprocessing units》，提出一種含有局部響應特性的神經(jīng)網(wǎng)絡，這種網(wǎng)絡實際上與 Broomhead 和 Lowe提出的 RBF 神經(jīng)網(wǎng)絡是一致的，他們還提出了 RBF 神經(jīng)網(wǎng)絡的訓練方法。RBF 神經(jīng)網(wǎng)絡主要用于解決模式分類和函數(shù)逼近等問題。它以徑向基函數(shù)作為隱節(jié)點的激活函數(shù)，具有收斂速度快、逼近精度高、網(wǎng)絡規(guī)模小等特點。第一層是輸出層，由信號源節(jié)點組成；第二層為隱含層，其節(jié)點基函數(shù)是一種局部分布的、對中心徑向?qū)ΨQ衰減的非負非線性函數(shù)；第三層為輸出層。當 RBF 的中心確定后這種映射關(guān)系也就確定了。從總體上 來說，網(wǎng)絡由輸入到輸出的映射是非線性的，而網(wǎng)絡對可調(diào)參數(shù)而言是線性的。 被控對象 Jacobian 信息的辨識算法 在 RBF 網(wǎng)絡結(jié)構(gòu)中， ? ?TnxxxX ,..., 21? 為網(wǎng)絡的輸入向量。網(wǎng)絡的權(quán)向量為 ? ?Tmj wW .. .,. .., 21? 辨識網(wǎng)絡的輸出為 ? ? mmm hwhwhwky ???? . ..2111 辨識器的性能指標函數(shù)為 ? ? ? ?? ?221 kykyoutJmI ?? 根據(jù)梯度下降法，輸出權(quán)、節(jié)點中心及節(jié)點基寬參數(shù)的迭代算法如下 ? ? ? ? ? ? ? ?? ? ? ? ? ?? ?211 ???????? kwkwhkyky o u tkwkw jjjmjj ?? ? ? ? ?? ?32jjjmj bCXhjwkyky o u tb ???? ? ? ? ? ? ? ? ?? ?211 ???????? kbkbbkbkb jjjjj ?? ? ? ? ?? ? 2jjijjmji b cxwkyky ou tc ???? ))2()1(()1()( ???????? kckcckckc jijijijiji ?? 式中， ? 為學習速率， ? 為動量因子。 一般的算法都是充分利用的三層結(jié)構(gòu)特點來設計學習算法，第一步確定網(wǎng)絡隱層神經(jīng)元個數(shù)與其中心，第二步確定網(wǎng)絡的權(quán)值。給定了訓練樣本， RBF 神經(jīng)網(wǎng)絡的學習算法應該解決以下問題：結(jié)構(gòu)設計，即如何確定網(wǎng)絡隱節(jié)點數(shù)；確定各徑向基函數(shù)的數(shù)據(jù)中心及擴展常數(shù)；輸出權(quán)值修正。 根據(jù)數(shù)據(jù)中心的取值方法， RBF 神經(jīng)網(wǎng)絡的設計方法可分為兩大類： ① ．數(shù)據(jù)中心從樣本輸入中選取 這種方法數(shù)據(jù)中心從樣本輸入中選取，如正交最小二乘算法、正則化正交最小二乘算、進化優(yōu)選算法等。 ② ．數(shù)據(jù)中心動態(tài)調(diào)節(jié)方法 這類方法數(shù)據(jù)中心的位置在學習過程中是動態(tài)調(diào)節(jié)的，如基于各種動態(tài)聚類。 這些方法各有優(yōu)缺點：第 1 類算法較容易實現(xiàn)，且能在權(quán)值學習的同時確定隱節(jié)點的數(shù)目，并保證學習誤差不大于給定值，但數(shù)據(jù)中心從樣本輸入中選取是否合理，值得進一步討論。第 2 類方法，聚類方法的優(yōu)點是能根據(jù)各聚類中心之間的距離確定各隱節(jié)點的擴展常數(shù)，缺點是確定數(shù)據(jù)中心時只用到了樣本輸入信息 ，而沒有用到樣本輸出信息；另外聚類方法也無法確定聚類的數(shù)目 (RBF 神經(jīng)網(wǎng)絡的隱節(jié)點數(shù) )。 本文采用 RBF 的梯度下降法，所以下面主要介紹 RBF 學習的梯度下降法。該方法是最經(jīng)典的 RBF 神經(jīng)網(wǎng)絡學習算法，由 Moody 與 Darken 提出，其思路是先用自組織學習算法對樣本輸入進行聚類，確定 RBF 神經(jīng)網(wǎng)絡中 h 個隱節(jié)點的中心，并根據(jù)各數(shù)據(jù)中心之間的距離確定隱節(jié)點的寬度，然后使用有監(jiān)督學習訓練各隱節(jié)點的輸出權(quán)值。 RBF 神經(jīng)網(wǎng)絡的梯度下降訓練方法是通過最小化目標函數(shù)實現(xiàn)對各隱節(jié)點數(shù)據(jù)中心、寬度和輸出權(quán)值的學習。 由于神經(jīng)網(wǎng)絡函數(shù) F（ x）對數(shù)據(jù)中心 iC 、寬度 i? 和輸出權(quán)值 iW 的梯度分別為： 考慮到所有訓練樣本的影響， iC 、 i? 和 iW 的調(diào)節(jié)量為： 式中 )( ji x? 為第 i 個隱節(jié)點對的輸入； 1? 、 2? 、 3? 為學習速率。重點分析 RBF 神經(jīng)網(wǎng)絡的結(jié)構(gòu)和學習算法，為以后引入 RBF 神經(jīng)網(wǎng)絡 PID 控制算法提供了理論基礎。 數(shù)字 PID 控制算法分位置式和增量式兩種，工程上常用的增量式 PID 控制算法，其控制算式為： ( ) ( 1 ) [ ( 1 ) ] ( ) [ ( ) 2 ( 1 ) ( 2 ) ] /p I D Iu k u k K e k K e k K e k e k e k T T? ? ? ? ? ? ? ? ? ? 式中， pK 為比例系數(shù)， IK = pK /TT為積分系數(shù)， /DDK T T? 為微分系數(shù)， T 為采樣周期， IT 為積分時間， DT 為微分時間， ()ek 為 t kT? 時刻的誤差。 概括起來， PID 控制器各校正環(huán)節(jié)的作用如下： ①．比例環(huán)節(jié)：輸出控制量與控制系統(tǒng)偏差信號 e(k)成比例關(guān)系，一旦有偏差產(chǎn)生，控制器立即產(chǎn)生控制作用，以減小偏差。比例調(diào)節(jié)及時、有力，但有余差。所謂增益是指調(diào)節(jié)器的輸出相對變化量與相應輸入的相對變化量之比。比例控制加大增益，使系統(tǒng)動作靈敏，速度加快，但增益偏大，振蕩次數(shù)增加，調(diào)節(jié)時間加長。有時也用比例度（δ ）表示比例作用的強弱，比例度等于增益的倒數(shù)乘以 100％（δ =100% /Kp）。積分時間 Ti，積分調(diào)節(jié)依據(jù)偏差是否存在來動作，它的輸出與偏差對時間的積分成比例，只有當余差消失時，積分作用才會停止（抗積分飽和時除外）。積分作用用積分時間 TI 來表示其作用的強弱。積分時間越小表明積分作用越強。一般而