【文章內(nèi)容簡(jiǎn)介】 不同拓?fù)浣Y(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，它是生物神經(jīng)網(wǎng)絡(luò)的一種模擬和近似。就神經(jīng)網(wǎng)絡(luò)的主要連接形式而育，目前己有數(shù)十種不同的神經(jīng)網(wǎng)絡(luò)模型，其中前饋網(wǎng)絡(luò)和反饋型網(wǎng)絡(luò)是兩種典型的結(jié)構(gòu)模型。 前饋網(wǎng)絡(luò)前饋型神經(jīng)網(wǎng)絡(luò)(Feed forward neural network)，又稱前饋網(wǎng)絡(luò)。如圖所示，神經(jīng)元分層排列，有輸入層、隱層(亦稱中間層，可有若干層)和輸入層，每一層的神經(jīng)元只接受前一層神經(jīng)元的輸入。從學(xué)習(xí)的觀點(diǎn)看前饋網(wǎng)絡(luò)是一種強(qiáng)有力的學(xué)習(xí)系統(tǒng)，其結(jié)構(gòu)簡(jiǎn)單而且易于編程:從系統(tǒng)的觀點(diǎn)，前饋網(wǎng)絡(luò)是一靜態(tài)非線性映射，通過(guò)簡(jiǎn)單非線性處理單元的復(fù)合映射，可獲得復(fù)雜的非線性處理能力。但從計(jì)算的觀點(diǎn)看，缺乏豐富的動(dòng)力學(xué)行為。大部分前饋網(wǎng)絡(luò)都是學(xué)習(xí)網(wǎng)絡(luò)，它們的分類能力和模式識(shí)別能力一般都強(qiáng)于反饋網(wǎng)絡(luò)，典型的前饋網(wǎng)絡(luò)有感知器、BP網(wǎng)絡(luò)等。前饋型神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 反饋網(wǎng)絡(luò)反饋型神經(jīng)網(wǎng)絡(luò)(feedback neural network)，又稱反饋網(wǎng)絡(luò)，它的結(jié)構(gòu)如下圖所示。若總節(jié)點(diǎn)(神經(jīng)元)數(shù)為N，則每個(gè)節(jié)點(diǎn)有N個(gè)輸入和一個(gè)輸出，也就是說(shuō)，所有節(jié)點(diǎn)都是一樣的，它們之間都可以相互連接。反饋型神經(jīng)網(wǎng)絡(luò)是一種非線性動(dòng)學(xué)系統(tǒng)，它需要工作一段時(shí)間才能達(dá)到穩(wěn)定。Hopfield神經(jīng)網(wǎng)絡(luò)是反饋網(wǎng)絡(luò)中最簡(jiǎn)單且應(yīng)用廣泛的模型，它具有聯(lián)想記憶(content addressable memory ,CAM)的功能，Hopfield神經(jīng)網(wǎng)絡(luò)還可以用來(lái)解決快速尋優(yōu)問(wèn)題。在反饋網(wǎng)絡(luò)中，輸入信號(hào)決定反饋系統(tǒng)的初始狀態(tài)，然后系統(tǒng)經(jīng)過(guò)一系列的狀態(tài)轉(zhuǎn)移后，逐漸收斂于平衡狀態(tài)。這樣的平衡狀態(tài)就是反饋網(wǎng)絡(luò)經(jīng)計(jì)算后輸出的結(jié)果，由此可見(jiàn)，穩(wěn)定性是反饋網(wǎng)絡(luò)中最重要的問(wèn)題之一。如果能找到網(wǎng)絡(luò)的Lyapunov函數(shù)，則能保證網(wǎng)絡(luò)從任意的初始狀態(tài)都能收斂到局部最小點(diǎn)。反饋神經(jīng)網(wǎng)絡(luò)中所有節(jié)點(diǎn)都是計(jì)算單元，同時(shí)也可接收輸入，并向外界輸出。反饋型神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式通過(guò)向環(huán)境學(xué)習(xí)獲取知識(shí)并改進(jìn)自身性能是神經(jīng)網(wǎng)絡(luò)的一個(gè)重要特點(diǎn)，在一般情況下，性能的改進(jìn)是按某種預(yù)定的度量通過(guò)調(diào)節(jié)自身參數(shù)(如權(quán)值)隨時(shí)間逐步達(dá)到的，根據(jù)環(huán)境提供信息的多少，神經(jīng)網(wǎng)絡(luò)共有三種學(xué)習(xí)方式：①監(jiān)督學(xué)習(xí)(有教師學(xué)習(xí))；②非監(jiān)督學(xué)習(xí)(無(wú)教師學(xué)習(xí))；③再勵(lì)學(xué)習(xí)(強(qiáng)化學(xué)習(xí))。 監(jiān)督學(xué)習(xí)(有教師學(xué)習(xí))為了使神經(jīng)網(wǎng)絡(luò)在實(shí)際應(yīng)用中解決各種問(wèn)題，必須對(duì)它進(jìn)行訓(xùn)練。這種訓(xùn)練的過(guò)程需要有教師示教，提供數(shù)據(jù)，又稱樣板數(shù)據(jù)。在訓(xùn)練過(guò)程中又需要教師的監(jiān)督，故這種有教師的學(xué)習(xí)又稱有監(jiān)督式學(xué)習(xí)。在這種學(xué)習(xí)中學(xué)習(xí)的結(jié)果，即網(wǎng)絡(luò)的輸出有一個(gè)評(píng)價(jià)的標(biāo)準(zhǔn)，網(wǎng)絡(luò)將實(shí)際輸出和評(píng)價(jià)標(biāo)準(zhǔn)進(jìn)行比較，由其誤差信號(hào)來(lái)調(diào)節(jié)系統(tǒng)權(quán)值。評(píng)價(jià)標(biāo)準(zhǔn)是由外界提供給網(wǎng)絡(luò)的，相當(dāng)于有一位知道正確結(jié)果的教師示教給網(wǎng)絡(luò)，故這種學(xué)習(xí)又稱為教師示教學(xué)習(xí)。在這種學(xué)習(xí)中網(wǎng)絡(luò)的連接權(quán)值常根據(jù)規(guī)則進(jìn)行調(diào)整。 非監(jiān)督學(xué)習(xí)(無(wú)教師學(xué)習(xí))無(wú)教師學(xué)習(xí)是一種自組織學(xué)習(xí)，即網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程完全是一種自我學(xué)習(xí)的過(guò)程，不存在外部教師的示教，也不存在外部環(huán)境的反饋指示網(wǎng)絡(luò)應(yīng)該輸出什么或者是否正確，故又稱之為無(wú)監(jiān)督學(xué)習(xí)。所謂自組織學(xué)習(xí)就是網(wǎng)絡(luò)根據(jù)某種規(guī)則反復(fù)地調(diào)整連接權(quán)以響應(yīng)輸入模式的激勵(lì)，直到網(wǎng)絡(luò)最后形成某種有序狀態(tài)。自組織學(xué)習(xí)是靠神經(jīng)元本身對(duì)輸入模式的不斷適應(yīng)，抽取輸入信號(hào)的規(guī)律（如統(tǒng)計(jì)規(guī)律)。一旦網(wǎng)絡(luò)顯現(xiàn)出輸入數(shù)據(jù)的統(tǒng)計(jì)特征，網(wǎng)絡(luò)就實(shí)現(xiàn)了對(duì)輸入特征的編碼，即把輸入特征“記憶”下來(lái)，而且在記憶之后，當(dāng)它再出現(xiàn)時(shí)，能把它識(shí)別出來(lái)。自組織學(xué)習(xí)能對(duì)網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程進(jìn)行度量，并優(yōu)化出其中的自由參數(shù)?？梢哉J(rèn)為，這種學(xué)習(xí)的評(píng)價(jià)準(zhǔn)則隱含于網(wǎng)絡(luò)內(nèi)部。神經(jīng)網(wǎng)絡(luò)的這種自組織特性來(lái)源于其結(jié)構(gòu)的可塑性。 再勵(lì)學(xué)習(xí)(強(qiáng)化學(xué)習(xí))再勵(lì)學(xué)習(xí)是介于上述兩種情況之間的一種學(xué)習(xí)方法。外部環(huán)境對(duì)系統(tǒng)輸出的結(jié)果給出評(píng)價(jià)信息(獎(jiǎng)或懲)而不是給出正確答案。學(xué)習(xí)系統(tǒng)通過(guò)強(qiáng)化那些受獎(jiǎng)的動(dòng)作來(lái)改善自身的性能。 RBF神經(jīng)網(wǎng)絡(luò) RBF神經(jīng)網(wǎng)絡(luò)的發(fā)展簡(jiǎn)史Broomhead和Lowe最早將RBF用于神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)之中。他們?cè)?988年發(fā)表的論文《Multivariable functional interpolation and adaptive networks》中初步探討了RBF用于神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)與應(yīng)用于傳統(tǒng)插值領(lǐng)域的不同特點(diǎn)，進(jìn)而提出了一種三層結(jié)構(gòu)的RBF神經(jīng)網(wǎng)絡(luò)。Moody和Darken在1989年發(fā)表文章《Fast learning in network of locallytunedprocessing units》，提出一種含有局部響應(yīng)特性的神經(jīng)網(wǎng)絡(luò)，這種網(wǎng)絡(luò)實(shí)際上與Broomhead和Lowe提出的RBF神經(jīng)網(wǎng)絡(luò)是一致的，他們還提出了RBF神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法。以后的研究者針對(duì)以前研究中存在的問(wèn)題與不足提出了許多改進(jìn)的方法，比如Chen提出的OLS(Orthogonal Least Squares)算法； (Hierarchically SelfOrganizing Learning) 算法；Platt提出的RAN(Resource Allocating Network)在線學(xué)習(xí)算法；Kadirkamanathan和Niranjan提出的RANEKF(RAN via Extended Kalman Filter)算法等。RBF 神經(jīng)網(wǎng)絡(luò)主要用于解決模式分類和函數(shù)逼近等問(wèn)題。在數(shù)學(xué)上，RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的合理性可由 Cover 定理得到保證，即對(duì)于一個(gè)模式問(wèn)題，在高維數(shù)據(jù)空間中可能解決在低維空間中不易解決的分類問(wèn)題。它以徑向基函數(shù)作為隱節(jié)點(diǎn)的激活函數(shù)，具有收斂速度快、逼近精度高、網(wǎng)絡(luò)規(guī)模小等特點(diǎn)。 RBF的數(shù)學(xué)模型RBF 神經(jīng)網(wǎng)絡(luò)通常是一種三層前向網(wǎng)絡(luò)，RBF網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示。第一層是輸出層，由信號(hào)源節(jié)點(diǎn)組成；第二層為隱含層，其節(jié)點(diǎn)基函數(shù)是一種局部分布的、對(duì)中心徑向?qū)ΨQ衰減的非負(fù)非線性函數(shù)；第三層為輸出層。RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖根據(jù) RBF 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)分析，構(gòu)成 RBF 神經(jīng)網(wǎng)絡(luò)的基本思想是：用 RBF 作為隱層神經(jīng)元的“基”構(gòu)成隱含層空間，這樣就可將輸入矢量直接映射到隱空間。當(dāng) RBF的中心確定后這種映射關(guān)系也就確定了。而隱含層空間到輸出層空間的映射是線性的，即網(wǎng)絡(luò)的輸出是隱層神經(jīng)元輸出的線性加權(quán)和，此處的權(quán)值為網(wǎng)絡(luò)的可調(diào)參數(shù)。從總體上來(lái)說(shuō)，網(wǎng)絡(luò)由輸入到輸出的映射是非線性的，而網(wǎng)絡(luò)對(duì)可調(diào)參數(shù)而言是線性的。這樣網(wǎng)絡(luò)的權(quán)值就可由線性方程組解出或用 RLS(遞推最小二乘)方法遞推計(jì)算，從而加快學(xué)習(xí)速度并避免局部極小問(wèn)題。 被控對(duì)象Jacobian信息的辨識(shí)算法在RBF網(wǎng)絡(luò)結(jié)構(gòu)中，為網(wǎng)絡(luò)的輸入向量。設(shè)RBF網(wǎng)絡(luò)的徑向基向量，其中為高斯基函數(shù)網(wǎng)絡(luò)的第j個(gè)結(jié)點(diǎn)的中心矢量為，其中，i=1,2，…n設(shè)網(wǎng)絡(luò)的基寬向量為 為節(jié)點(diǎn)j的基寬度參數(shù)，且為大于零的數(shù)。網(wǎng)絡(luò)的權(quán)向量為 辨識(shí)網(wǎng)絡(luò)的輸出為 辨識(shí)器的性能指標(biāo)函數(shù)為 根據(jù)梯度下降法，輸出權(quán)、節(jié)點(diǎn)中心及節(jié)點(diǎn)基寬參數(shù)的迭代算法如下 式中，為學(xué)習(xí)速率，為動(dòng)量因子。Jacobian陣（即為對(duì)象的輸出對(duì)控制輸入的靈敏度信息）算法為式中， RBF神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法通過(guò)分析 RBF 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的特點(diǎn)，可以發(fā)現(xiàn)主要有兩個(gè)因素決定結(jié)構(gòu)：網(wǎng)絡(luò)隱層神經(jīng)元個(gè)數(shù)及其中心、隱層與輸出層連接權(quán)值。一般的算法都是充分利用的三層結(jié)構(gòu)特點(diǎn)來(lái)設(shè)計(jì)學(xué)習(xí)算法，第一步確定網(wǎng)絡(luò)隱層神經(jīng)元個(gè)數(shù)與其中心，第二步確定網(wǎng)絡(luò)的權(quán)值。這種兩步訓(xùn)練算法的重要特點(diǎn)是在第二步可以直接利用線性優(yōu)化算法，從而可以加快學(xué)習(xí)速度和避免局部最優(yōu)，因此得到了廣泛的應(yīng)用，最近大多數(shù)的算法的改進(jìn)也是圍繞著這兩個(gè)方面展開(kāi)的。給定了訓(xùn)練樣本，RBF 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法應(yīng)該解決以下問(wèn)題：結(jié)構(gòu)設(shè)計(jì)，即如何確定網(wǎng)絡(luò)隱節(jié)點(diǎn)數(shù)；確定各徑向基函數(shù)的數(shù)據(jù)中心及擴(kuò)展常數(shù)；輸出權(quán)值修正。一般情況下，如果知道了網(wǎng)絡(luò)的隱節(jié)點(diǎn)數(shù)、數(shù)據(jù)中心和擴(kuò)展常數(shù)，RBF 神經(jīng)網(wǎng)絡(luò)從輸入到輸出就成了一個(gè)線性方程組，此時(shí)權(quán)值學(xué)習(xí)可采用最小二乘法求解。根據(jù)數(shù)據(jù)中心的取值方法，RBF 神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)方法可分為兩大類：①．?dāng)?shù)據(jù)中心從樣本輸入中選取 這種方法數(shù)據(jù)中心從樣本輸入中選取，如正交最小二乘算法、正則化正交最小二乘算、進(jìn)化優(yōu)選算法等。這類方法的特點(diǎn)是數(shù)據(jù)中心一旦獲得就不再改變，而隱節(jié)點(diǎn)的數(shù)目一開(kāi)始就固定，或者在學(xué)習(xí)過(guò)程中動(dòng)態(tài)調(diào)整。②．?dāng)?shù)據(jù)中心動(dòng)態(tài)調(diào)節(jié)方法 這類方法數(shù)據(jù)中心的位置在學(xué)習(xí)過(guò)程中是動(dòng)態(tài)調(diào)節(jié)的，如基于各種動(dòng)態(tài)聚類。最常用的是kmeans聚類或 Kohonen 提出的自組織映射(Self Organizing Feature Map，SOFM)方法、梯度下降法、資源分配網(wǎng)絡(luò)等。這些方法各有優(yōu)缺點(diǎn)：第 1 類算法較容易實(shí)現(xiàn)，且能在權(quán)值學(xué)習(xí)的同時(shí)確定隱節(jié)點(diǎn)的數(shù)目，并保證學(xué)習(xí)誤差不大于給定值，但數(shù)據(jù)中心從樣本輸入中選取是否合理，值得進(jìn)一步討論。另外，算法并不一定能設(shè)計(jì)出具有最小結(jié)構(gòu)的RBF 神經(jīng)網(wǎng)絡(luò)，也無(wú)法確定基函數(shù)的擴(kuò)展常數(shù)。第2類方法，聚類方法的優(yōu)點(diǎn)是能根據(jù)各聚類中心之間的距離確定各隱節(jié)點(diǎn)的擴(kuò)展常數(shù)，缺點(diǎn)是確定數(shù)據(jù)中心時(shí)只用到了樣本輸入信息，而沒(méi)有用到樣本輸出信息；另外聚類方法也無(wú)法確定聚類的數(shù)目(RBF 神經(jīng)網(wǎng)絡(luò)的隱節(jié)點(diǎn)數(shù))。由于 RBF 網(wǎng)的隱節(jié)點(diǎn)數(shù)對(duì)其泛化能力有極大的影響，所以尋找能確定聚類數(shù)目的合理方法是聚類方法設(shè)計(jì) RBF神經(jīng)網(wǎng)絡(luò)時(shí)需首先解決的問(wèn)題。本文采用RBF的梯度下降法，所以下面主要介紹 RBF 學(xué)習(xí)的梯度下降法。在以下 RBF神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法中為樣本輸入，相應(yīng)的樣本輸出為網(wǎng)絡(luò)中第j個(gè)隱節(jié)點(diǎn)的激活函數(shù)為。該方法是最經(jīng)典的 RBF 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法，由 Moody 與 Darken 提出，其思路是先用自組織學(xué)習(xí)算法對(duì)樣本輸入進(jìn)行聚類，確定 RBF 神經(jīng)網(wǎng)絡(luò)中h個(gè)隱節(jié)點(diǎn)的中心，并根據(jù)各數(shù)據(jù)中心之間的距離確定隱節(jié)點(diǎn)的寬度，然后使用有監(jiān)督學(xué)習(xí)訓(xùn)練各隱節(jié)點(diǎn)的輸出權(quán)值。雖然可以用批處理來(lái)完成上述兩個(gè)學(xué)習(xí)階段，但是使用迭代的方法更理想。RBF 神經(jīng)網(wǎng)絡(luò)的梯度下降訓(xùn)練方法是通過(guò)最小化目標(biāo)函數(shù)實(shí)現(xiàn)對(duì)各隱節(jié)點(diǎn)數(shù)據(jù)中心、寬度和輸出權(quán)值的學(xué)習(xí)。建立這種學(xué)習(xí)過(guò)程的第一步是定義代價(jià)函數(shù)的瞬時(shí)值式中：N是用于學(xué)習(xí)的訓(xùn)練樣本數(shù)目，是誤差信號(hào)，定義為：目標(biāo)是要找到使E最小的自由參數(shù)，的值。由于神經(jīng)網(wǎng)絡(luò)函數(shù)F（x）對(duì)數(shù)據(jù)中心、寬度和輸出權(quán)值的梯度分別為：考慮到所有訓(xùn)練樣本的影響，、和的調(diào)節(jié)量為： 式中為第i個(gè)隱節(jié)點(diǎn)對(duì)的輸入；、為學(xué)習(xí)速率。 本章小結(jié)本章介紹了人工神經(jīng)網(wǎng)絡(luò)的基本概念和原理。重點(diǎn)分析RBF神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和學(xué)習(xí)算法，為以后引入RBF神經(jīng)網(wǎng)絡(luò)PID控制算法提供了理論基礎(chǔ)。3 PID控制器 PID控制器簡(jiǎn)介PID 控制是迄今為止最通用的控制方法，各種 DCS、智能調(diào)節(jié)器等均采用該方法或其較小的變形來(lái)控制（至今在全世界過(guò)程控制中84％仍是純 PID 調(diào)節(jié)器，若改進(jìn)型包含在內(nèi)則超過(guò) 90％），盡管自 1940 年以來(lái)，許多先進(jìn)控制方法不斷推出，但 PID 控制以其結(jié)構(gòu)簡(jiǎn)單，對(duì)模型誤差具有魯棒性及易于操作等優(yōu)點(diǎn)，故仍廣泛應(yīng)用于各種工業(yè)過(guò)程控制中。數(shù)字 PID 控制算法分位置式和增量式兩種，工程上常用的增量式 PID 控制算法，其控制算式為：式中，為比例系數(shù)，=為積分系數(shù)，為微分系數(shù)，T 為采樣周期，為積分時(shí)間，為微分時(shí)間， 為時(shí)刻的誤差。 經(jīng)典PID控制原理PID控制器是一種線性控制器，它根據(jù)給定值r(k)與實(shí)際輸出值y(k)構(gòu)成控制偏差：E(k)=r(k)y(k)其原理如下圖所示：由上圖可以看出PID控制器是基于比例P，積分I，微分D的控制器，它是一種基于偏差控制的線性控制器，根據(jù)實(shí)際輸出值和給定值相比較，得出一個(gè)偏差，通過(guò)線性組合將P，I，D，以及偏差組合在一起構(gòu)成一個(gè)控制量U，對(duì)被控對(duì)象進(jìn)行控制。概括起來(lái)，PID控制器各校正環(huán)節(jié)的作用如下：①．比例環(huán)節(jié)：輸出控制量與控