【正文】 的系數(shù)，然后計算出各層上系數(shù)的代價函數(shù)的值。為了選擇最好基，按照如下步驟進(jìn)行計算：(1) 將最底層每個框中從左到右把其代價函數(shù)的函數(shù)值都標(biāo)上*號(2) 對最底層的相鄰兩個子框的代價函數(shù)值求和，這個和值與上層相鄰框中的代價函數(shù)值作比較，如果和值大，則將上層對應(yīng)框中的值標(biāo)上*號，否則把該值加上括號表示舍棄，且把下層的和值寫在括號的外邊。(3) 只考慮不帶括號的值和有*號標(biāo)記的值，并按步驟(2)繼續(xù)進(jìn)行，一直到最上層為止。(b)。(4) 從最上層開始，只挑選首次遇到的標(biāo)*號的值。一旦被選定，就不再對其下方各層的值進(jìn)行考慮。選出全體帶*號的框用來構(gòu)成的一組正交基，(c)中的空白框。這樣從最底層小波包經(jīng)過剪裁后所保留下來的一組正交分解所對應(yīng)的規(guī)范正交基，就是f(x)的最好的基。從信號處理的觀點來講，搜索最優(yōu)基的實質(zhì)是盡量用較少的系數(shù)反映盡可能多的信號信息，并且能夠達(dá)到特征提取的目的。圖 LDB算法流程圖fig. LDB algorithm flow chart3 RBF神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)作為一種人工智能算法本質(zhì)上是由大量相互關(guān)聯(lián)的信息處理單元即神經(jīng)元組成，它模擬生物神經(jīng)網(wǎng)絡(luò)功能和結(jié)構(gòu)進(jìn)行學(xué)習(xí)、判斷、推理。對非線性映射關(guān)系具備任意精度的逼近能力以及較強的大規(guī)模并行計算能力、信息處理能力，同時具有分布式信息存儲、自組織自學(xué)習(xí)的特點和良好的容錯性[26]。在工程項目中，如信號處理、預(yù)測建模、模式識別、控制與優(yōu)化、故障診斷等領(lǐng)域[27]得到了廣泛的應(yīng)用。多變量插值的徑向基函數(shù)(RBF，Radical Basis Function，簡稱RBF)方法由英國學(xué)者Powell于1985年提出。RBF神經(jīng)網(wǎng)絡(luò)具有收斂速度快、不存在局部極小值問題、能夠以任意精度逼近任意非線性函數(shù)、泛化能力強等特點，因此成為最受歡迎的神經(jīng)網(wǎng)絡(luò)模型之一。設(shè)計RBF網(wǎng)絡(luò)的核心問題是確定網(wǎng)絡(luò)結(jié)構(gòu)及網(wǎng)絡(luò)參數(shù)，即各層神經(jīng)元個數(shù)、基函數(shù)的中心和寬度、及連接權(quán)值等。這些參數(shù)直接影響到整個網(wǎng)絡(luò)性能。目前用于RBF學(xué)習(xí)的算法，例如監(jiān)督學(xué)習(xí)方法以及無監(jiān)督聚類法、梯度下降法、正交最小二乘法等，存在訓(xùn)練復(fù)雜、解決方法局限等缺點。自適應(yīng)步長螢火蟲優(yōu)化算法作為一種新興的優(yōu)化算法，具有需要調(diào)整的控制參數(shù)少、穩(wěn)定性高、收斂速度快等優(yōu)點，因此本章節(jié)最后提出使用自適應(yīng)步長螢火蟲算法優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)的參數(shù)，對網(wǎng)絡(luò)參數(shù)進(jìn)行全局尋優(yōu)。 RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和工作原理RBF神經(jīng)網(wǎng)絡(luò)是一種三層前饋[28]網(wǎng)絡(luò)，這三層分別是輸入層、隱含層及輸出層。與BP神經(jīng)網(wǎng)絡(luò)相比，RBF神經(jīng)網(wǎng)絡(luò)不僅具有某些生物神經(jīng)元的近興奮、遠(yuǎn)抑制的生理學(xué)基礎(chǔ)，而且其結(jié)構(gòu)更簡單，學(xué)習(xí)效率更高。 RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)fig RBF neural network structure第一層為輸入層。該層神經(jīng)元的作用是連接隱層，對輸入信號不做處理，只起緩沖器作用，直接傳遞到隱層。第二層為隱含層。RBF神經(jīng)網(wǎng)絡(luò)的每個隱層單元都有一個激活函數(shù)，激活函數(shù)的形式相同，只是里面的參數(shù)取值不同。在實際應(yīng)用中，有很多核函數(shù)可以作為激活函數(shù)。當(dāng)輸入樣本傳播到隱含層單元空間時，這組核函數(shù)構(gòu)成了輸入樣本的一組“基”。當(dāng)輸入進(jìn)來的信號比較接近核函數(shù)的中心位置時，隱層節(jié)點將會有較大的輸出。因此徑向基函數(shù)網(wǎng)絡(luò)是局部逼近網(wǎng)絡(luò)，并有較快的學(xué)習(xí)速度。RBF神經(jīng)網(wǎng)絡(luò)的基本思想的是：以徑向基函數(shù)構(gòu)成隱含層單元的“基”，組成隱含層空間，隱含層來完成對輸入矢量的變換，從而將低維的模式輸入數(shù)據(jù)映射到高維空間[29]內(nèi)，解決了在低維空間內(nèi)的線性不可分問題，進(jìn)而使其在高維空間內(nèi)變得線性可分。下面是常用的幾種徑向基函數(shù)：，(x0, 0) ()，(c0,) ()，() ()Morlet小波： ()墨西哥草帽小波： ()由于Gauss函數(shù)本身具有的優(yōu)越性，本文將Gauss函數(shù)作為徑向基函數(shù): ()設(shè)是網(wǎng)絡(luò)的輸入樣本，則RBF網(wǎng)絡(luò)的第i個輸出單元的輸出為： ()式中，為網(wǎng)絡(luò)的輸入樣本；為第j個隱層節(jié)點的高斯核函數(shù)的中心且與X的維數(shù)相同；為隱含層中第j個神經(jīng)元的控制參數(shù)，表示高斯函數(shù)所圍繞中心點的寬度；q是隱層節(jié)點的個數(shù)；是向量的范數(shù)，用來表示X與之間的歐氏距離[30]。當(dāng)用Gauss核函數(shù)作為徑向基函數(shù)時可看出，式（）中具有兩個矢量參數(shù)，分別是X和C。其中X是函數(shù)的自變量矢量，是作為網(wǎng)絡(luò)的輸入量，C為常數(shù)矢量，是徑向基函數(shù)的中心。XC構(gòu)成了一個以C為中心的超橢圓。是基函數(shù)的寬度。由于為Gauss核函數(shù)，因而當(dāng)x為任意值均存在，從而失去局部調(diào)整權(quán)值的優(yōu)點。而事實上，當(dāng)x離較遠(yuǎn)時，己經(jīng)特別小，因此可以近似為。實際上只有當(dāng)?shù)闹党^某一數(shù)值()時才修改相應(yīng)的權(quán)值。經(jīng)過這樣處理后，RBF網(wǎng)絡(luò)既具備局部逼近網(wǎng)絡(luò)學(xué)習(xí)收斂速度快的優(yōu)點，又可以使Gauss核函數(shù)缺乏緊密性的缺點得到改善。當(dāng)神經(jīng)網(wǎng)絡(luò)采用Gauss核函數(shù)時具備如下優(yōu)點:(1) 具有簡單的表示形式，即使有很多輸入變量也不會使其增加太多復(fù)雜性；(2) 徑向?qū)ΨQ；(3) 有良好的光滑性，任意階導(dǎo)數(shù)均存在并且圖像是徑向?qū)ΨQ；(4) 解析性好，便于進(jìn)行理論分析和計算。 RBF神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法RBF的Gauss徑向基函數(shù)網(wǎng)絡(luò)需要對3個參數(shù)進(jìn)行學(xué)習(xí)，它們分別是RBF的中心、寬度、以及輸出單元的權(quán)值。根據(jù)確定徑向基函數(shù)中心的方法不同，RBF神經(jīng)網(wǎng)絡(luò)有多種學(xué)習(xí)方法。本文采用kmeans聚類算法，該算法有兩個階段：一是通過無監(jiān)督學(xué)習(xí)確定隱層中心和寬度；一是通過有監(jiān)督學(xué)習(xí)訓(xùn)練各隱節(jié)點和輸出節(jié)點之間的連接權(quán)值。下面介紹幾種常用的RBF神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法：(1) 隨機選取固定中心如果學(xué)習(xí)樣本數(shù)據(jù)分布具有代表性，最簡單的方法是固定徑向基函數(shù)，即選取的徑向基函數(shù)不變。中心位置可以用隨機方式從學(xué)習(xí)數(shù)據(jù)中選取，這種中心值一旦確定就不會改變。RBF的中心確定以后，通過求解線性方程得到網(wǎng)絡(luò)的連接權(quán)值[31]。徑向基函數(shù)采用最為常用的高斯函數(shù)，它的標(biāo)準(zhǔn)偏差是通過中心散布而固定的。徑向基函數(shù)（假設(shè)中心為）定義如下：，i=1,2,…m ()其中是基函數(shù)所選中心之間的最大距離，m是隱含層單元個數(shù)。令隱含層基函數(shù)的寬度固定為： ()則權(quán)值可由偽逆法計算獲得，如下式所示： ()其中y是期望輸出，矩陣是矩陣的偽逆矩陣。， j=1,2,…,N；i=1,2,…m矩陣可通過奇異值分解（Singular Value Deposition，簡稱 SVD）定理[32]求得。(2) 自組織法選取RBF中心此方法是一種混合的學(xué)習(xí)方法，具體描述為：RBF的中心是動態(tài)的，不是固定不變的。由自組織的方法找到RBF網(wǎng)絡(luò)中心位置后，采用有監(jiān)督的學(xué)習(xí)算法計算得到隱含層到輸出層的連接權(quán)值。K均值聚類法作為常用的自組織法之一，代表了一種基于最小距離進(jìn)行聚類的學(xué)習(xí)方法。聚類算法是以通過迭代計算把數(shù)據(jù)對象劃分到不同的簇中，求目標(biāo)函數(shù)最小化為手段，達(dá)到最終使生成的簇滿足簇內(nèi)元素間距離之和最小，簇間元素間距離之和最大[33]的目的。徑向基函數(shù)網(wǎng)絡(luò)算法步驟如下:步驟1 從訓(xùn)練樣本輸入向量集合中隨機的選一組初始中心值。注意的值要不同；步驟2 計算方差值： ()式中為最大的Eucilidean距離；K為的數(shù)量。步驟3 初始化輸出單位權(quán)；步驟4 由給定的輸入x(n)計算輸出 ()步驟5 更新RBF網(wǎng)絡(luò)參數(shù): () () ()式子中，其中為網(wǎng)絡(luò)期望輸出；，為三個參數(shù)的學(xué)習(xí)步長。步驟6 如果這時網(wǎng)絡(luò)已經(jīng)收斂，則停止計算，否則轉(zhuǎn)到步驟4。采取K這種方式計算出的網(wǎng)絡(luò)參數(shù)，雖然可以將網(wǎng)絡(luò)優(yōu)化，但K自身存在的依然沒能得到有效的克服。K均值聚類算法雖然有聚類速度比較快、結(jié)構(gòu)相對簡單的優(yōu)點，但通過以上可以看出，聚類結(jié)果對初始參數(shù)的設(shè)定具有一定的依賴性。并且可能受搜索的步長的影響陷入局部，這就降低了對RBF神經(jīng)網(wǎng)絡(luò)的建模精度。為了解決上述問題，探索一種新的優(yōu)化算法來彌補K均值聚類算法的缺陷，使其有更好的聚類效果是十分必要的。(3) 全參數(shù)監(jiān)督法選取RBF網(wǎng)絡(luò)中心：這種方法確定RBF網(wǎng)絡(luò)參數(shù)是采取一種有監(jiān)督的學(xué)習(xí)方式。當(dāng)學(xué)習(xí)樣本經(jīng)過RBF神經(jīng)網(wǎng)絡(luò)的映射后，使用梯度下降法對代價函數(shù)進(jìn)行求解[3436]。將誤差平方和函數(shù)作為代價函數(shù)，將其定義如下： ()式中，是網(wǎng)絡(luò)輸入為時，神經(jīng)元k的目標(biāo)輸出。當(dāng)隱含層的基函數(shù)使用的是高斯函數(shù)時則有： () () ()其中、為可調(diào)的學(xué)習(xí)步長。 RBF神經(jīng)網(wǎng)絡(luò)的優(yōu)勢RBF網(wǎng)絡(luò)與BP網(wǎng)絡(luò)從結(jié)構(gòu)上來講都是非線性多層前向網(wǎng)絡(luò)，他們都具有逼近非線性函數(shù)的能力。對于任一個BP網(wǎng)絡(luò)，存在一個RBF網(wǎng)絡(luò)可以替代它。BP網(wǎng)絡(luò)在實際應(yīng)用中存在以下問題：(1) 在BP算法中，學(xué)習(xí)效率和收斂速度息息相關(guān)。學(xué)習(xí)效率過小則可能導(dǎo)致收斂速度過慢，學(xué)習(xí)效率過大又會使收斂震蕩；動量因子太小則起不到平滑作用，過大又會使修正遠(yuǎn)離梯度最大方向。然而學(xué)習(xí)率常數(shù)和動量因子這兩個參數(shù)又很難提前預(yù)知；(2) BP算法存在著LMS算法[37]最小值問題，并且容易受到輸入模式協(xié)方差矩陣特征值散布的影響；(3) BP算法的收斂速度受初值選擇影響，經(jīng)常會導(dǎo)致算法收斂于局部極小。與BP網(wǎng)絡(luò)相比較，RBF網(wǎng)絡(luò)具有以下優(yōu)勢：(1) RBF網(wǎng)絡(luò)的訓(xùn)練學(xué)習(xí)目的是確定中心、寬度、權(quán)值，這些參數(shù)只集中在隱含層和輸出層中，因而訓(xùn)練過程簡單，結(jié)構(gòu)不復(fù)雜；(2) 輸出層采用線性優(yōu)化方式，相對于BP神經(jīng)網(wǎng)絡(luò)來說很大程度提高了訓(xùn)練的速度；(3) 網(wǎng)絡(luò)結(jié)構(gòu)是局部逼近的，這樣的特點可以保證RBF網(wǎng)絡(luò)是收斂的。由于RBF神經(jīng)網(wǎng)絡(luò)既具有能夠逼近任意非線性函數(shù)的能力，又可以處理系統(tǒng)存在的難以解析的規(guī)律性問題，并且學(xué)習(xí)收斂速度快，因此RBF網(wǎng)絡(luò)在解決實際問題中得到了較為廣泛的應(yīng)用。與BP網(wǎng)絡(luò)相比，RBF神經(jīng)網(wǎng)絡(luò)雖然顯示出明顯的優(yōu)勢，但還是存在一些較難解決的問題，那就是在結(jié)構(gòu)設(shè)計方面的難題。RBF網(wǎng)絡(luò)的的數(shù)量大多通過不斷地嘗試或者用局部搜索算法來確定，而這種選取神經(jīng)元數(shù)量的方式通常不是最有效的。過多的可能導(dǎo)致過擬合和網(wǎng)絡(luò)冗余，過少則導(dǎo)致信息不全。通常在隱含層節(jié)點已確定的條件下，才可以確定RBF網(wǎng)絡(luò)的其他參數(shù)（連接權(quán)值、中心向量、寬度）。我們一般會選取作為徑向基函數(shù)，而在對象包含比較繁瑣的非線性情況下，對于基函數(shù)的選取就不那么容易了。除此之外，現(xiàn)有的一些往往需要的時間很長，這就使時效性變得很差，這正是神經(jīng)網(wǎng)絡(luò)最致命的缺點。因此，找到一組最優(yōu)參數(shù)，使得網(wǎng)絡(luò)能夠達(dá)到最優(yōu)的性能成了設(shè)計RBF網(wǎng)絡(luò)的核心問題。針對以上問題，本文采用自適應(yīng)步長螢火蟲優(yōu)化算法對隱含層到輸出層之間的連接權(quán)值、隱含層節(jié)點中心和寬度同時進(jìn)行優(yōu)化，求得網(wǎng)絡(luò)的各個參數(shù)，提高RBF神經(jīng)網(wǎng)絡(luò)性能。 小結(jié)本章詳細(xì)的對RBF神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)、原理、學(xué)習(xí)算法和有待改善的缺陷進(jìn)行了闡述，主要內(nèi)容包括：（1）RBF神經(jīng)網(wǎng)絡(luò)是一種局部逼近的網(wǎng)絡(luò)模型，具有三層前饋的網(wǎng)絡(luò)結(jié)構(gòu)。由于輸出是各隱含層神經(jīng)元響應(yīng)的線性加權(quán)和，這樣的結(jié)構(gòu)特點使得RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)相對簡單，對于逼近任意非線性函數(shù)有良好的效果。（2）RBF神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法有很多，重點對K均值聚類算法的原理和公式推導(dǎo)以及如何利用梯度下降法來對參數(shù)優(yōu)化做了詳細(xì)介紹。指出K均值聚類算法有依賴初始參數(shù)設(shè)定和由于搜索步長的原因容易陷入局部極小值的缺點。由于這些缺點的存在直接影響到RBF神經(jīng)網(wǎng)絡(luò)的建模精度。所以需要探尋一種新的算法優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)參數(shù)以彌補這些缺點，使聚類效果變的更好。4 ASGSORBF耦合算法研究及其性能仿真分析 引言通過前一章針對RBF神經(jīng)網(wǎng)絡(luò)的缺點與不足的分析，采用螢火蟲算法[38]來克服上述問題。螢火蟲個體之間依靠熒光素值進(jìn)行信息的交互通信，雖然每個個體的行為簡單，但是種群整體運作起來卻能表現(xiàn)出強大的協(xié)調(diào)能力。種群的尋優(yōu)過程不必具備先驗知識也不依賴于全局信息，算法的魯棒性得以保證。在處理帶有噪聲污染、不可導(dǎo)、非連續(xù)等實際工程中的多模態(tài)目標(biāo)函數(shù)尋優(yōu)求解問題，GSO算法得到了廣泛的應(yīng)用。但是，基本的GSO算法在中后期目標(biāo)鄰居的選取準(zhǔn)則缺少自適應(yīng)調(diào)整，這會導(dǎo)致迭代過程中亦存在收斂速度慢、尋優(yōu)精度不高的缺陷，大大削弱了算法的實用性。為此，本章提出了以相似度為測度的目標(biāo)鄰域集選取準(zhǔn)則并以此為基礎(chǔ)對每次迭代后個體的搜索步長進(jìn)行自適應(yīng)改進(jìn)，進(jìn)而得到了自適應(yīng)步長螢火蟲算法(selfAdaptive Step Glowworm Swarm Optimization，簡稱ASGSO)。對ASGSO算法做數(shù)值仿真實驗并和基本GS