【正文】 的系數(shù)，然后計(jì)算出各層上系數(shù)的代價(jià)函數(shù)的值。為了選擇最好基，按照如下步驟進(jìn)行計(jì)算：(1) 將最底層每個(gè)框中從左到右把其代價(jià)函數(shù)的函數(shù)值都標(biāo)上*號(hào)(2) 對(duì)最底層的相鄰兩個(gè)子框的代價(jià)函數(shù)值求和，這個(gè)和值與上層相鄰框中的代價(jià)函數(shù)值作比較，如果和值大，則將上層對(duì)應(yīng)框中的值標(biāo)上*號(hào)，否則把該值加上括號(hào)表示舍棄，且把下層的和值寫(xiě)在括號(hào)的外邊。(3) 只考慮不帶括號(hào)的值和有*號(hào)標(biāo)記的值，并按步驟(2)繼續(xù)進(jìn)行，一直到最上層為止。(b)。(4) 從最上層開(kāi)始，只挑選首次遇到的標(biāo)*號(hào)的值。一旦被選定，就不再對(duì)其下方各層的值進(jìn)行考慮。選出全體帶*號(hào)的框用來(lái)構(gòu)成的一組正交基，(c)中的空白框。這樣從最底層小波包經(jīng)過(guò)剪裁后所保留下來(lái)的一組正交分解所對(duì)應(yīng)的規(guī)范正交基，就是f(x)的最好的基。從信號(hào)處理的觀點(diǎn)來(lái)講，搜索最優(yōu)基的實(shí)質(zhì)是盡量用較少的系數(shù)反映盡可能多的信號(hào)信息，并且能夠達(dá)到特征提取的目的。圖 LDB算法流程圖fig. LDB algorithm flow chart3 RBF神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)作為一種人工智能算法本質(zhì)上是由大量相互關(guān)聯(lián)的信息處理單元即神經(jīng)元組成，它模擬生物神經(jīng)網(wǎng)絡(luò)功能和結(jié)構(gòu)進(jìn)行學(xué)習(xí)、判斷、推理。對(duì)非線性映射關(guān)系具備任意精度的逼近能力以及較強(qiáng)的大規(guī)模并行計(jì)算能力、信息處理能力，同時(shí)具有分布式信息存儲(chǔ)、自組織自學(xué)習(xí)的特點(diǎn)和良好的容錯(cuò)性[26]。在工程項(xiàng)目中，如信號(hào)處理、預(yù)測(cè)建模、模式識(shí)別、控制與優(yōu)化、故障診斷等領(lǐng)域[27]得到了廣泛的應(yīng)用。多變量插值的徑向基函數(shù)(RBF，Radical Basis Function，簡(jiǎn)稱(chēng)RBF)方法由英國(guó)學(xué)者Powell于1985年提出。RBF神經(jīng)網(wǎng)絡(luò)具有收斂速度快、不存在局部極小值問(wèn)題、能夠以任意精度逼近任意非線性函數(shù)、泛化能力強(qiáng)等特點(diǎn)，因此成為最受歡迎的神經(jīng)網(wǎng)絡(luò)模型之一。設(shè)計(jì)RBF網(wǎng)絡(luò)的核心問(wèn)題是確定網(wǎng)絡(luò)結(jié)構(gòu)及網(wǎng)絡(luò)參數(shù)，即各層神經(jīng)元個(gè)數(shù)、基函數(shù)的中心和寬度、及連接權(quán)值等。這些參數(shù)直接影響到整個(gè)網(wǎng)絡(luò)性能。目前用于RBF學(xué)習(xí)的算法，例如監(jiān)督學(xué)習(xí)方法以及無(wú)監(jiān)督聚類(lèi)法、梯度下降法、正交最小二乘法等，存在訓(xùn)練復(fù)雜、解決方法局限等缺點(diǎn)。自適應(yīng)步長(zhǎng)螢火蟲(chóng)優(yōu)化算法作為一種新興的優(yōu)化算法，具有需要調(diào)整的控制參數(shù)少、穩(wěn)定性高、收斂速度快等優(yōu)點(diǎn)，因此本章節(jié)最后提出使用自適應(yīng)步長(zhǎng)螢火蟲(chóng)算法優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)的參數(shù)，對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行全局尋優(yōu)。 RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和工作原理RBF神經(jīng)網(wǎng)絡(luò)是一種三層前饋[28]網(wǎng)絡(luò)，這三層分別是輸入層、隱含層及輸出層。與BP神經(jīng)網(wǎng)絡(luò)相比，RBF神經(jīng)網(wǎng)絡(luò)不僅具有某些生物神經(jīng)元的近興奮、遠(yuǎn)抑制的生理學(xué)基礎(chǔ)，而且其結(jié)構(gòu)更簡(jiǎn)單，學(xué)習(xí)效率更高。 RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)fig RBF neural network structure第一層為輸入層。該層神經(jīng)元的作用是連接隱層，對(duì)輸入信號(hào)不做處理，只起緩沖器作用，直接傳遞到隱層。第二層為隱含層。RBF神經(jīng)網(wǎng)絡(luò)的每個(gè)隱層單元都有一個(gè)激活函數(shù)，激活函數(shù)的形式相同，只是里面的參數(shù)取值不同。在實(shí)際應(yīng)用中，有很多核函數(shù)可以作為激活函數(shù)。當(dāng)輸入樣本傳播到隱含層單元空間時(shí)，這組核函數(shù)構(gòu)成了輸入樣本的一組“基”。當(dāng)輸入進(jìn)來(lái)的信號(hào)比較接近核函數(shù)的中心位置時(shí)，隱層節(jié)點(diǎn)將會(huì)有較大的輸出。因此徑向基函數(shù)網(wǎng)絡(luò)是局部逼近網(wǎng)絡(luò)，并有較快的學(xué)習(xí)速度。RBF神經(jīng)網(wǎng)絡(luò)的基本思想的是：以徑向基函數(shù)構(gòu)成隱含層單元的“基”，組成隱含層空間，隱含層來(lái)完成對(duì)輸入矢量的變換，從而將低維的模式輸入數(shù)據(jù)映射到高維空間[29]內(nèi)，解決了在低維空間內(nèi)的線性不可分問(wèn)題，進(jìn)而使其在高維空間內(nèi)變得線性可分。下面是常用的幾種徑向基函數(shù)：，(x0, 0) ()，(c0,) ()，() ()Morlet小波： ()墨西哥草帽小波： ()由于Gauss函數(shù)本身具有的優(yōu)越性，本文將Gauss函數(shù)作為徑向基函數(shù): ()設(shè)是網(wǎng)絡(luò)的輸入樣本，則RBF網(wǎng)絡(luò)的第i個(gè)輸出單元的輸出為： ()式中，為網(wǎng)絡(luò)的輸入樣本；為第j個(gè)隱層節(jié)點(diǎn)的高斯核函數(shù)的中心且與X的維數(shù)相同；為隱含層中第j個(gè)神經(jīng)元的控制參數(shù)，表示高斯函數(shù)所圍繞中心點(diǎn)的寬度；q是隱層節(jié)點(diǎn)的個(gè)數(shù)；是向量的范數(shù)，用來(lái)表示X與之間的歐氏距離[30]。當(dāng)用Gauss核函數(shù)作為徑向基函數(shù)時(shí)可看出，式（）中具有兩個(gè)矢量參數(shù)，分別是X和C。其中X是函數(shù)的自變量矢量，是作為網(wǎng)絡(luò)的輸入量，C為常數(shù)矢量，是徑向基函數(shù)的中心。XC構(gòu)成了一個(gè)以C為中心的超橢圓。是基函數(shù)的寬度。由于為Gauss核函數(shù)，因而當(dāng)x為任意值均存在，從而失去局部調(diào)整權(quán)值的優(yōu)點(diǎn)。而事實(shí)上，當(dāng)x離較遠(yuǎn)時(shí)，己經(jīng)特別小，因此可以近似為。實(shí)際上只有當(dāng)?shù)闹党^(guò)某一數(shù)值()時(shí)才修改相應(yīng)的權(quán)值。經(jīng)過(guò)這樣處理后，RBF網(wǎng)絡(luò)既具備局部逼近網(wǎng)絡(luò)學(xué)習(xí)收斂速度快的優(yōu)點(diǎn)，又可以使Gauss核函數(shù)缺乏緊密性的缺點(diǎn)得到改善。當(dāng)神經(jīng)網(wǎng)絡(luò)采用Gauss核函數(shù)時(shí)具備如下優(yōu)點(diǎn):(1) 具有簡(jiǎn)單的表示形式，即使有很多輸入變量也不會(huì)使其增加太多復(fù)雜性；(2) 徑向?qū)ΨQ(chēng)；(3) 有良好的光滑性，任意階導(dǎo)數(shù)均存在并且圖像是徑向?qū)ΨQ(chēng)；(4) 解析性好，便于進(jìn)行理論分析和計(jì)算。 RBF神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法RBF的Gauss徑向基函數(shù)網(wǎng)絡(luò)需要對(duì)3個(gè)參數(shù)進(jìn)行學(xué)習(xí)，它們分別是RBF的中心、寬度、以及輸出單元的權(quán)值。根據(jù)確定徑向基函數(shù)中心的方法不同，RBF神經(jīng)網(wǎng)絡(luò)有多種學(xué)習(xí)方法。本文采用kmeans聚類(lèi)算法，該算法有兩個(gè)階段：一是通過(guò)無(wú)監(jiān)督學(xué)習(xí)確定隱層中心和寬度；一是通過(guò)有監(jiān)督學(xué)習(xí)訓(xùn)練各隱節(jié)點(diǎn)和輸出節(jié)點(diǎn)之間的連接權(quán)值。下面介紹幾種常用的RBF神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法：(1) 隨機(jī)選取固定中心如果學(xué)習(xí)樣本數(shù)據(jù)分布具有代表性，最簡(jiǎn)單的方法是固定徑向基函數(shù)，即選取的徑向基函數(shù)不變。中心位置可以用隨機(jī)方式從學(xué)習(xí)數(shù)據(jù)中選取，這種中心值一旦確定就不會(huì)改變。RBF的中心確定以后，通過(guò)求解線性方程得到網(wǎng)絡(luò)的連接權(quán)值[31]。徑向基函數(shù)采用最為常用的高斯函數(shù)，它的標(biāo)準(zhǔn)偏差是通過(guò)中心散布而固定的。徑向基函數(shù)（假設(shè)中心為）定義如下：，i=1,2,…m ()其中是基函數(shù)所選中心之間的最大距離，m是隱含層單元個(gè)數(shù)。令隱含層基函數(shù)的寬度固定為： ()則權(quán)值可由偽逆法計(jì)算獲得，如下式所示： ()其中y是期望輸出，矩陣是矩陣的偽逆矩陣。， j=1,2,…,N；i=1,2,…m矩陣可通過(guò)奇異值分解（Singular Value Deposition，簡(jiǎn)稱(chēng) SVD）定理[32]求得。(2) 自組織法選取RBF中心此方法是一種混合的學(xué)習(xí)方法，具體描述為：RBF的中心是動(dòng)態(tài)的，不是固定不變的。由自組織的方法找到RBF網(wǎng)絡(luò)中心位置后，采用有監(jiān)督的學(xué)習(xí)算法計(jì)算得到隱含層到輸出層的連接權(quán)值。K均值聚類(lèi)法作為常用的自組織法之一，代表了一種基于最小距離進(jìn)行聚類(lèi)的學(xué)習(xí)方法。聚類(lèi)算法是以通過(guò)迭代計(jì)算把數(shù)據(jù)對(duì)象劃分到不同的簇中，求目標(biāo)函數(shù)最小化為手段，達(dá)到最終使生成的簇滿足簇內(nèi)元素間距離之和最小，簇間元素間距離之和最大[33]的目的。徑向基函數(shù)網(wǎng)絡(luò)算法步驟如下:步驟1 從訓(xùn)練樣本輸入向量集合中隨機(jī)的選一組初始中心值。注意的值要不同；步驟2 計(jì)算方差值： ()式中為最大的Eucilidean距離；K為的數(shù)量。步驟3 初始化輸出單位權(quán)；步驟4 由給定的輸入x(n)計(jì)算輸出 ()步驟5 更新RBF網(wǎng)絡(luò)參數(shù): () () ()式子中，其中為網(wǎng)絡(luò)期望輸出；，為三個(gè)參數(shù)的學(xué)習(xí)步長(zhǎng)。步驟6 如果這時(shí)網(wǎng)絡(luò)已經(jīng)收斂，則停止計(jì)算，否則轉(zhuǎn)到步驟4。采取K這種方式計(jì)算出的網(wǎng)絡(luò)參數(shù)，雖然可以將網(wǎng)絡(luò)優(yōu)化，但K自身存在的依然沒(méi)能得到有效的克服。K均值聚類(lèi)算法雖然有聚類(lèi)速度比較快、結(jié)構(gòu)相對(duì)簡(jiǎn)單的優(yōu)點(diǎn)，但通過(guò)以上可以看出，聚類(lèi)結(jié)果對(duì)初始參數(shù)的設(shè)定具有一定的依賴(lài)性。并且可能受搜索的步長(zhǎng)的影響陷入局部，這就降低了對(duì)RBF神經(jīng)網(wǎng)絡(luò)的建模精度。為了解決上述問(wèn)題，探索一種新的優(yōu)化算法來(lái)彌補(bǔ)K均值聚類(lèi)算法的缺陷，使其有更好的聚類(lèi)效果是十分必要的。(3) 全參數(shù)監(jiān)督法選取RBF網(wǎng)絡(luò)中心：這種方法確定RBF網(wǎng)絡(luò)參數(shù)是采取一種有監(jiān)督的學(xué)習(xí)方式。當(dāng)學(xué)習(xí)樣本經(jīng)過(guò)RBF神經(jīng)網(wǎng)絡(luò)的映射后，使用梯度下降法對(duì)代價(jià)函數(shù)進(jìn)行求解[3436]。將誤差平方和函數(shù)作為代價(jià)函數(shù)，將其定義如下： ()式中，是網(wǎng)絡(luò)輸入為時(shí)，神經(jīng)元k的目標(biāo)輸出。當(dāng)隱含層的基函數(shù)使用的是高斯函數(shù)時(shí)則有： () () ()其中、為可調(diào)的學(xué)習(xí)步長(zhǎng)。 RBF神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)RBF網(wǎng)絡(luò)與BP網(wǎng)絡(luò)從結(jié)構(gòu)上來(lái)講都是非線性多層前向網(wǎng)絡(luò)，他們都具有逼近非線性函數(shù)的能力。對(duì)于任一個(gè)BP網(wǎng)絡(luò)，存在一個(gè)RBF網(wǎng)絡(luò)可以替代它。BP網(wǎng)絡(luò)在實(shí)際應(yīng)用中存在以下問(wèn)題：(1) 在BP算法中，學(xué)習(xí)效率和收斂速度息息相關(guān)。學(xué)習(xí)效率過(guò)小則可能導(dǎo)致收斂速度過(guò)慢，學(xué)習(xí)效率過(guò)大又會(huì)使收斂震蕩；動(dòng)量因子太小則起不到平滑作用，過(guò)大又會(huì)使修正遠(yuǎn)離梯度最大方向。然而學(xué)習(xí)率常數(shù)和動(dòng)量因子這兩個(gè)參數(shù)又很難提前預(yù)知；(2) BP算法存在著LMS算法[37]最小值問(wèn)題，并且容易受到輸入模式協(xié)方差矩陣特征值散布的影響；(3) BP算法的收斂速度受初值選擇影響，經(jīng)常會(huì)導(dǎo)致算法收斂于局部極小。與BP網(wǎng)絡(luò)相比較，RBF網(wǎng)絡(luò)具有以下優(yōu)勢(shì)：(1) RBF網(wǎng)絡(luò)的訓(xùn)練學(xué)習(xí)目的是確定中心、寬度、權(quán)值，這些參數(shù)只集中在隱含層和輸出層中，因而訓(xùn)練過(guò)程簡(jiǎn)單，結(jié)構(gòu)不復(fù)雜；(2) 輸出層采用線性優(yōu)化方式，相對(duì)于BP神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō)很大程度提高了訓(xùn)練的速度；(3) 網(wǎng)絡(luò)結(jié)構(gòu)是局部逼近的，這樣的特點(diǎn)可以保證RBF網(wǎng)絡(luò)是收斂的。由于RBF神經(jīng)網(wǎng)絡(luò)既具有能夠逼近任意非線性函數(shù)的能力，又可以處理系統(tǒng)存在的難以解析的規(guī)律性問(wèn)題，并且學(xué)習(xí)收斂速度快，因此RBF網(wǎng)絡(luò)在解決實(shí)際問(wèn)題中得到了較為廣泛的應(yīng)用。與BP網(wǎng)絡(luò)相比，RBF神經(jīng)網(wǎng)絡(luò)雖然顯示出明顯的優(yōu)勢(shì)，但還是存在一些較難解決的問(wèn)題，那就是在結(jié)構(gòu)設(shè)計(jì)方面的難題。RBF網(wǎng)絡(luò)的的數(shù)量大多通過(guò)不斷地嘗試或者用局部搜索算法來(lái)確定，而這種選取神經(jīng)元數(shù)量的方式通常不是最有效的。過(guò)多的可能導(dǎo)致過(guò)擬合和網(wǎng)絡(luò)冗余，過(guò)少則導(dǎo)致信息不全。通常在隱含層節(jié)點(diǎn)已確定的條件下，才可以確定RBF網(wǎng)絡(luò)的其他參數(shù)（連接權(quán)值、中心向量、寬度）。我們一般會(huì)選取作為徑向基函數(shù)，而在對(duì)象包含比較繁瑣的非線性情況下，對(duì)于基函數(shù)的選取就不那么容易了。除此之外，現(xiàn)有的一些往往需要的時(shí)間很長(zhǎng)，這就使時(shí)效性變得很差，這正是神經(jīng)網(wǎng)絡(luò)最致命的缺點(diǎn)。因此，找到一組最優(yōu)參數(shù)，使得網(wǎng)絡(luò)能夠達(dá)到最優(yōu)的性能成了設(shè)計(jì)RBF網(wǎng)絡(luò)的核心問(wèn)題。針對(duì)以上問(wèn)題，本文采用自適應(yīng)步長(zhǎng)螢火蟲(chóng)優(yōu)化算法對(duì)隱含層到輸出層之間的連接權(quán)值、隱含層節(jié)點(diǎn)中心和寬度同時(shí)進(jìn)行優(yōu)化，求得網(wǎng)絡(luò)的各個(gè)參數(shù)，提高RBF神經(jīng)網(wǎng)絡(luò)性能。 小結(jié)本章詳細(xì)的對(duì)RBF神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)、原理、學(xué)習(xí)算法和有待改善的缺陷進(jìn)行了闡述，主要內(nèi)容包括：（1）RBF神經(jīng)網(wǎng)絡(luò)是一種局部逼近的網(wǎng)絡(luò)模型，具有三層前饋的網(wǎng)絡(luò)結(jié)構(gòu)。由于輸出是各隱含層神經(jīng)元響應(yīng)的線性加權(quán)和，這樣的結(jié)構(gòu)特點(diǎn)使得RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)相對(duì)簡(jiǎn)單，對(duì)于逼近任意非線性函數(shù)有良好的效果。（2）RBF神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法有很多，重點(diǎn)對(duì)K均值聚類(lèi)算法的原理和公式推導(dǎo)以及如何利用梯度下降法來(lái)對(duì)參數(shù)優(yōu)化做了詳細(xì)介紹。指出K均值聚類(lèi)算法有依賴(lài)初始參數(shù)設(shè)定和由于搜索步長(zhǎng)的原因容易陷入局部極小值的缺點(diǎn)。由于這些缺點(diǎn)的存在直接影響到RBF神經(jīng)網(wǎng)絡(luò)的建模精度。所以需要探尋一種新的算法優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)參數(shù)以彌補(bǔ)這些缺點(diǎn)，使聚類(lèi)效果變的更好。4 ASGSORBF耦合算法研究及其性能仿真分析 引言通過(guò)前一章針對(duì)RBF神經(jīng)網(wǎng)絡(luò)的缺點(diǎn)與不足的分析，采用螢火蟲(chóng)算法[38]來(lái)克服上述問(wèn)題。螢火蟲(chóng)個(gè)體之間依靠熒光素值進(jìn)行信息的交互通信，雖然每個(gè)個(gè)體的行為簡(jiǎn)單，但是種群整體運(yùn)作起來(lái)卻能表現(xiàn)出強(qiáng)大的協(xié)調(diào)能力。種群的尋優(yōu)過(guò)程不必具備先驗(yàn)知識(shí)也不依賴(lài)于全局信息，算法的魯棒性得以保證。在處理帶有噪聲污染、不可導(dǎo)、非連續(xù)等實(shí)際工程中的多模態(tài)目標(biāo)函數(shù)尋優(yōu)求解問(wèn)題，GSO算法得到了廣泛的應(yīng)用。但是，基本的GSO算法在中后期目標(biāo)鄰居的選取準(zhǔn)則缺少自適應(yīng)調(diào)整，這會(huì)導(dǎo)致迭代過(guò)程中亦存在收斂速度慢、尋優(yōu)精度不高的缺陷，大大削弱了算法的實(shí)用性。為此，本章提出了以相似度為測(cè)度的目標(biāo)鄰域集選取準(zhǔn)則并以此為基礎(chǔ)對(duì)每次迭代后個(gè)體的搜索步長(zhǎng)進(jìn)行自適應(yīng)改進(jìn)，進(jìn)而得到了自適應(yīng)步長(zhǎng)螢火蟲(chóng)算法(selfAdaptive Step Glowworm Swarm Optimization，簡(jiǎn)稱(chēng)ASGSO)。對(duì)ASGSO算法做數(shù)值仿真實(shí)驗(yàn)并和基本GS