【文章內(nèi)容簡介】 常被應(yīng)用，它的數(shù)學(xué)函數(shù)表達(dá)式為：，另外，在允許條件上小波是有缺陷的，因為它是不滿足允許條件的，只有在當(dāng)時，才能被看成近似的滿足允許條件。其函數(shù)波形如圖21所示。小波的導(dǎo)數(shù)函數(shù)表達(dá)式： (22) 其函數(shù)波形如圖22所示 圖 21 Morlet小波函數(shù)波形圖 圖 22 Morlet小波導(dǎo)數(shù)函數(shù)波形圖Fig. 21 Waveform figure of Morlet wavelet Fig. 22 Waveform figure of Derivative of Morlet wavelet小波函數(shù)又叫小波函數(shù)，是因為它的函數(shù)圖像很像墨西哥草帽而得名的， 小波函數(shù)是由高斯函數(shù)的二階導(dǎo)數(shù)取反得出的，其函數(shù)表達(dá)式為：。小波具備允許條件的要求。當(dāng)時，小波的時頻局域特性良好，但是它不具備正交性。由于其具有的獨特特性，在圖像邊緣提取、基音檢測和視覺分析等計算機視覺領(lǐng)域中得到了廣泛的應(yīng)用。圖23為其函數(shù)波形。對小波函數(shù)求導(dǎo)可得表達(dá)式： (23)其函數(shù)波形如圖24所示。 圖 23 Mexihat小波波形圖 圖 24 Mexihat小波導(dǎo)數(shù)波形圖Fig. 23 Waveform figure of Mexihat Fig. 24 Waveform figure of Derivative wavelet of Mexihat wavelet4. DOG小波DOG (Difference of Gaussian)小波函數(shù)是由兩個尺度差值為一倍的高斯函數(shù)相減所得，其函數(shù)表達(dá)式表示為：。不論是在時域或者是頻域中，它都具有很好的局部特性。函數(shù)的仿真波形如圖25所示。對小波函數(shù)一階求導(dǎo)可得出函數(shù)表達(dá)式： (24)一階求導(dǎo)后的函數(shù)仿真波形如圖26所示。 圖 25 DOG小波波形圖 圖 26 DOG小波導(dǎo)數(shù)波形圖 Waveform figure of DOG wavelet Fig. 29 Waveform figure of Derivative of DOG wavelet. 小波神經(jīng)網(wǎng)絡(luò)的優(yōu)點及存在的問題小波神經(jīng)網(wǎng)絡(luò)的優(yōu)點小波神經(jīng)網(wǎng)絡(luò)與常規(guī)人工神經(jīng)網(wǎng)絡(luò)相比較，小波神經(jīng)網(wǎng)絡(luò)有著更多的優(yōu)勢，因為小波神經(jīng)網(wǎng)絡(luò)是集小波分析理論和人工神經(jīng)網(wǎng)絡(luò)兩者優(yōu)點于一身的新型前饋神經(jīng)網(wǎng)絡(luò)。它不但具備神經(jīng)網(wǎng)絡(luò)的自身特性，也還具備了小波分析的特點，在某些領(lǐng)域上應(yīng)用就有了更大的優(yōu)勢，所以理論上它就有可能解決常規(guī)人工神經(jīng)網(wǎng)絡(luò)存在的一些問題。從兩者出發(fā)綜合分析，可以得出小波神經(jīng)網(wǎng)絡(luò)優(yōu)于常規(guī)前饋神經(jīng)網(wǎng)絡(luò)，具體有如下幾點：第一，小波神經(jīng)網(wǎng)絡(luò)可以以不同的精度要求去逼近任意非線性函數(shù)，它有很強的學(xué)習(xí)能力、非線性逼近能力等優(yōu)點。因為神經(jīng)網(wǎng)絡(luò)采用了小波函數(shù)代替激勵函數(shù)，使網(wǎng)絡(luò)的逼近能力和收斂速度得到了更大的提高，更好的初始化網(wǎng)絡(luò)，而且更好的改進(jìn)了神經(jīng)網(wǎng)絡(luò)的實時性能。第二，在網(wǎng)絡(luò)的數(shù)據(jù)訓(xùn)練過程中為更好地避免出現(xiàn)網(wǎng)絡(luò)局部極小等非線性優(yōu)化的問題出現(xiàn)，可以選擇采用正交型小波基，并且在確定學(xué)習(xí)目標(biāo)函數(shù)和網(wǎng)絡(luò)權(quán)系數(shù)線性分布時進(jìn)行相應(yīng)的特殊考慮。第三，從小波神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程可以看出，現(xiàn)今的小波神經(jīng)網(wǎng)絡(luò)理論發(fā)展的非常完善。不管是連續(xù)型小波還是離散化的正交基或小波框架，為能夠保證以任意精度去逼近屬于空間內(nèi)的任意函數(shù)，必須在上有稠密的線性組合。第四，為確定離散小波神經(jīng)元的選擇以及整個網(wǎng)絡(luò)結(jié)構(gòu)的選擇上提供了很好的理論基礎(chǔ)。 小波神經(jīng)網(wǎng)絡(luò)存在的問題上面描述了許多的小波神經(jīng)網(wǎng)絡(luò)相對常規(guī)神經(jīng)網(wǎng)絡(luò)的優(yōu)點，這些優(yōu)點很好的彌補了一些常規(guī)神經(jīng)網(wǎng)絡(luò)的不足之處。雖然這些優(yōu)點對使小波神經(jīng)網(wǎng)絡(luò)有了很大的優(yōu)勢，但它也有很多地方需要改進(jìn)，如以下幾條：一、離散正交小波神經(jīng)網(wǎng)絡(luò)因輸入信號的維數(shù)多而導(dǎo)致的問題，俗稱這一問題為“維數(shù)災(zāi)”，和系統(tǒng)的復(fù)雜性問題都須要進(jìn)一步的改善。二、由于欠缺對小波神經(jīng)網(wǎng)絡(luò)參數(shù)初始化的理論研究，所以缺少相關(guān)的初始化理論依據(jù)，而且連續(xù)型小波神經(jīng)網(wǎng)絡(luò)在對參數(shù)初始值的選取上要求很高。三、還有一些理論如計算復(fù)雜度、推廣能力、魯棒性、收斂性等，對于小波神經(jīng)網(wǎng)絡(luò)理論來說還須要更深層次的研究。. 小波神經(jīng)網(wǎng)絡(luò)的構(gòu)造理論基礎(chǔ)由小波神經(jīng)網(wǎng)絡(luò)理論研究發(fā)展的歷程可知，其主要特點就是神經(jīng)網(wǎng)絡(luò)和小波分析理論組合形成它，從兩者組合結(jié)構(gòu)形式上劃分可分為以下兩類：第一類為：小波變換與神經(jīng)網(wǎng)絡(luò)的結(jié)合。小波變換與神經(jīng)網(wǎng)絡(luò)的結(jié)合是指網(wǎng)絡(luò)系統(tǒng)由神經(jīng)網(wǎng)絡(luò)和小波變換松散形式構(gòu)成，我們稱這種構(gòu)造形式為松散型結(jié)合。這種結(jié)合是小波分析通過將構(gòu)成的小波基與信號的內(nèi)積進(jìn)行加權(quán)，為神經(jīng)網(wǎng)絡(luò)完成數(shù)據(jù)分類、函數(shù)逼近等功能進(jìn)行前處理，實現(xiàn)了對信號的特征提取，為神經(jīng)網(wǎng)絡(luò)提供了輸入向量。結(jié)構(gòu)框圖如圖27所示：圖27 小波變換與神經(jīng)網(wǎng)絡(luò)松散型結(jié)合結(jié)構(gòu)框圖第二類為：小波變換與神經(jīng)網(wǎng)絡(luò)的融合。小波變換與神經(jīng)網(wǎng)絡(luò)的融合是目前小波神經(jīng)網(wǎng)絡(luò)研究最常用的結(jié)構(gòu)組合形式，我們稱這種構(gòu)造組合形式為緊密型結(jié)合。它是由小波分析的尺度參數(shù)替代神經(jīng)網(wǎng)絡(luò)輸入層到隱含層的權(quán)值系數(shù)、平移參數(shù)替代常規(guī)神經(jīng)網(wǎng)絡(luò)隱含層閾值，也就是用小波函數(shù)來替代常規(guī)神經(jīng)網(wǎng)絡(luò)各隱含層節(jié)點上的激勵函數(shù)。組合結(jié)構(gòu)圖如圖28所示：圖28小波變換與神經(jīng)網(wǎng)絡(luò)緊密型結(jié)合結(jié)構(gòu)模型圖綜上所述，由緊密型結(jié)合形式可知，小波神經(jīng)網(wǎng)絡(luò)的構(gòu)造的形式主要分為以下幾種，其可分為正交小波變換、小波框架和連續(xù)小波變換等與常規(guī)神經(jīng)網(wǎng)絡(luò)進(jìn)行相應(yīng)組合的形式。由于其選擇的小波函數(shù)和構(gòu)造形式的不同，也就決定了小波神經(jīng)網(wǎng)絡(luò)構(gòu)造理論的復(fù)雜性和多樣性。. 連續(xù)小波變換構(gòu)造小波神經(jīng)網(wǎng)絡(luò)理論連續(xù)小波變換構(gòu)造小波神經(jīng)網(wǎng)絡(luò)這一形式是最早提出的，并且也得到了相關(guān)方面的采用。若采用函數(shù)為圖28中的基函數(shù)，且其中，網(wǎng)絡(luò)輸出函數(shù)為，其中，可以采用同一種算法修正網(wǎng)絡(luò)學(xué)習(xí)中的參數(shù)和輸出權(quán)值。連續(xù)小波變換與常規(guī)神經(jīng)網(wǎng)絡(luò)組合構(gòu)造的小波神經(jīng)網(wǎng)絡(luò)，其基函數(shù)采用的是連續(xù)型小波變換，因此基函數(shù)的定位得到了拓展，不在限制于有限的離散值上獲得。采用小波變換代替激勵函數(shù)，不但提高了網(wǎng)絡(luò)參數(shù)和網(wǎng)絡(luò)結(jié)構(gòu)的初始化能力，還使網(wǎng)絡(luò)的收斂速度和函數(shù)逼近能力得到提升。但是，目前在各領(lǐng)域應(yīng)用的不多，是因為小波參數(shù)與基函數(shù)之間的對應(yīng)關(guān)系不能完全確定，主要是連續(xù)性導(dǎo)致網(wǎng)絡(luò)的構(gòu)造不易實現(xiàn)所致。. 正交小波變換構(gòu)造小波神經(jīng)網(wǎng)絡(luò)理論采用正交小波函數(shù)，取正交基是空間中的一組。對空間的分析，可得以下閉合子空間：，且，其中對應(yīng)小波的尺度函數(shù)為。對輸出函數(shù)在空間中進(jìn)行分解：如下式 (25)圖29 存在任一整數(shù)，使得 (26)綜上可得：若給定一組參數(shù)和，上述新構(gòu)造的網(wǎng)絡(luò)對輸出函數(shù)的逼近可以描述如下： (27)如圖29所示，依據(jù)上式能準(zhǔn)確的夠構(gòu)造出基于正交小波變換導(dǎo)出的小波神經(jīng)網(wǎng)絡(luò)。其實際上是基于小波函數(shù)多分辨率分析和構(gòu)造的正交緊支型小波函數(shù)，利用網(wǎng)絡(luò)的尺度函數(shù)匹配條件，對平移參數(shù)和尺寸參數(shù)進(jìn)行選擇，得到最優(yōu)的參數(shù)，進(jìn)而通過對小波神經(jīng)網(wǎng)絡(luò)系數(shù)的調(diào)節(jié)得到最優(yōu)的目標(biāo)函數(shù)“逼近”路線。. 小波框架構(gòu)造小波神經(jīng)網(wǎng)絡(luò)理論在不考慮小波函數(shù)正交性的情況下，這樣就很大程度上擴大了小波函數(shù)的選取領(lǐng)域。如可以將網(wǎng)絡(luò)基函數(shù)選取為小波框架，小波框架的表達(dá)式如下： (28)任一函數(shù)在下都可以被寫為： (29)式中的表示框架算子。在函數(shù)中，要達(dá)到有效的逼近可以通過式(29)中的多項式取有限項之和運算得到。即如下式： (210)圖210如圖210所示，圖中的為小波神經(jīng)網(wǎng)絡(luò)的小波基經(jīng)平移和伸縮后的個數(shù)總和。依據(jù)上式和結(jié)構(gòu)圖能夠構(gòu)造出相應(yīng)的小波框架導(dǎo)出的小波神經(jīng)網(wǎng)絡(luò)。其實際上是基于小波時域、頻域的局域特性和小波框架理論，利用尺度函數(shù)匹配選擇最優(yōu)的平移參數(shù)和尺寸參數(shù)，達(dá)到對小波系數(shù)的調(diào)節(jié)做到對目標(biāo)函數(shù)最佳“覆蓋”。雖然小波框架作為網(wǎng)絡(luò)基函數(shù)導(dǎo)出的小波神經(jīng)網(wǎng)絡(luò)可以靈活的選取基函數(shù)，但在網(wǎng)絡(luò)的學(xué)習(xí)算法選擇上，應(yīng)選擇優(yōu)化結(jié)構(gòu)的算法處理過于龐大的網(wǎng)絡(luò)，這樣著重提出，是因為框架的線性相關(guān)，會導(dǎo)致確定網(wǎng)絡(luò)基函數(shù)的個數(shù)出現(xiàn)冗余現(xiàn)象，構(gòu)造網(wǎng)絡(luò)時出現(xiàn)過于龐大的現(xiàn)象。. 小波神經(jīng)網(wǎng)絡(luò)常用學(xué)習(xí)算法介紹設(shè)函數(shù)，在滿足映射規(guī)則下的情況下，給出一組訓(xùn)練網(wǎng)絡(luò)的數(shù)據(jù)再利用小波神經(jīng)網(wǎng)絡(luò)逼近函數(shù)。則 (211)式中表示模型誤差，其；令，表示網(wǎng)絡(luò)的輸出，表達(dá)式中的表示小波函數(shù)的輸出權(quán)值向量，其中表示網(wǎng)絡(luò)隱含層輸出向量，它的表示式為，式中是隱含層節(jié)點數(shù)。按照上一節(jié)描述的各種不同的小波神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)理論，對問題需要的網(wǎng)絡(luò)進(jìn)行相關(guān)設(shè)計。設(shè)計的小波神經(jīng)網(wǎng)絡(luò)變換參數(shù)只有輸出權(quán)值，而且網(wǎng)絡(luò)參數(shù)還與輸出誤差函數(shù)成正比。因此，在網(wǎng)絡(luò)參數(shù)的優(yōu)化算法選擇上，不論非線性或線性方法均可采用。. 梯度算法在求解無約束方程的極值問題時，學(xué)者們通常采用的是一種叫梯度法的數(shù)值方法。由于它使用簡便，迭代運算的過程簡單，使它成為了一些其它最優(yōu)方法的理論基礎(chǔ)。梯度下降法在小波神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法中有很大的優(yōu)勢，尤其是對單輸入型，因為在這一條件下，梯度下降法的最佳算法之一就是最速下降法。梯度下降法的原理基礎(chǔ)是：設(shè)無約束極值問題的數(shù)學(xué)函數(shù)表達(dá)式如式(212)所示： (212)設(shè)上式中的存在一階連續(xù)偏導(dǎo)數(shù)，其中表示為極小點。極小點的第次近似點用表示，我們利用沿方向做射線來求極小點第次近似點，其射線函數(shù)式表示如下： (213)現(xiàn)將在點領(lǐng)域內(nèi)運用泰勒級數(shù)展開，得到泰勒級數(shù)展開式為： (214)其中為在點鄰域內(nèi)對充分小的麥克勞林級數(shù)，即，只要泰勒級數(shù)展開式滿足下式： (215)即可推出。為函數(shù)得到更好的目標(biāo)值，此時可取。考慮射線從不同的方向出發(fā)。若的模為一不為零的定值時，在取時（在時，是平穩(wěn)點），滿足式(215)的有無窮多個，為了盡可能的改善目標(biāo)函數(shù)，必須在無窮多個方向的中找到的最小值。由線性代數(shù)理論可得： (216)梯度向量與向量的夾角表示為上式中的。當(dāng)，表示向量與梯度向量反向，此刻(215)式成立，可知在射線最左端可取得最小值。此時我們可知，在的某一鄰域內(nèi)， 射線方向為函數(shù)值下降最快的方向，稱其為負(fù)梯度方向。在確定下一個近似極小點時，不但要確定步長，還要確定其搜索方向。當(dāng)采用取某一值進(jìn)行試算，判別是否滿足不等式(217)時，我們稱這一方法為可接受點算法，不等式(217)為： (217)因為采用負(fù)梯度方向時，總是存在某一滿足式(217)的。所以在選取時，滿足上不等式，就可繼續(xù)迭代下去，否則就改變使不等式(217)成立。最速下降算法就是上述描述方法的其中之一，確定使最小的時，是通過在負(fù)梯度方向進(jìn)行一維搜索得到的。目前常用的梯度下降法有兩種算法，其分別為遞推算法和整批算法。一、遞推算法：定義單樣本無約束誤差函數(shù)表達(dá)式如下： (218)運用下式對誤差函數(shù)的權(quán)值進(jìn)行修正： (219) (220)梯度函數(shù)由上式表示，修正步長由表示。從其運算的方法可以看出，遞推算法的缺點是容易受樣本噪聲干擾的影響，但對網(wǎng)絡(luò)參數(shù)的在線修正比較方便。二、整批算法：定義全局無約束誤差函數(shù)表達(dá)式如下： (221)為使全局誤差滿足精度要求，對輸入所有樣本數(shù)據(jù)對網(wǎng)絡(luò)權(quán)值進(jìn)行反復(fù)的修正。從梯度算法的全局意義上分析，它對每一個樣本數(shù)據(jù)的梯度進(jìn)行了平均。梯度算法為得到更好的修正效果，還能對其進(jìn)行改進(jìn)，引入一個動量因子，如下式： (222)引進(jìn)的動量因子為上式中的。. 變尺度算法運用變尺度法對無約束極值問題的求解，是以對稱正規(guī)型矩陣代替誤差函數(shù)的二階偏導(dǎo)數(shù)，利用全局誤差函數(shù)式(221)為優(yōu)化性能指標(biāo)對其進(jìn)行優(yōu)化運算，得下式： (223)其中表示梯度向量，式中表示第次訓(xùn)練的修正矩陣， 表示學(xué)習(xí)步長。在修正矩陣的計算上，利用的方法是方法，而方法是目前最好的無約束優(yōu)化方法。(224)上式中的和分別有。對全局誤差函數(shù)的權(quán)值優(yōu)化的步驟可以描述如下：一、令初始 ，其中單位矩陣，權(quán)初值為隨機數(shù)，取，給定訓(xùn)練次數(shù)、學(xué)習(xí)步長、誤差精度；二、對給定的個樣本數(shù)據(jù)進(jìn)行訓(xùn)練修正矩陣，計算誤差梯度和誤差；三、若或，則停止訓(xùn)練，否則返回二；四、利用式(224)計算；五、并且利用式(223)修正全局誤差函數(shù)的權(quán)值，令，返回一。. 最小二乘算法由于設(shè)計的小波神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)權(quán)值參數(shù)與輸出呈線性關(guān)系，所以可以利用最小二乘算法求解網(wǎng)絡(luò)權(quán)值參數(shù)。目前學(xué)者們常用的最小二乘算法有兩種，分別為：第一種最小二乘算法為帶遺忘因子的遞推最小二乘算法()，函數(shù)表達(dá)如下： (225)這種算法收斂的關(guān)鍵是確保上式中的非負(fù)定，為協(xié)方差矩陣。對于常規(guī)的算法還可采用分解法和平方根法進(jìn)行改進(jìn)，其中分解法在實際中應(yīng)用中更有優(yōu)勢且比較廣泛，因為它的數(shù)值穩(wěn)定性比平方根法更好，而且計算量也更低。第二種最小二乘算法為基于分解的遞推最小二乘算法()。即采用分解法將式(225)中的矩陣進(jìn)行分解，如下表示： (226)上式中出現(xiàn)的表示對角矩陣；表示上三角矩陣，并且矩陣對角線上元素全為1。確保的非負(fù)定性，可以通過在線修正矩陣完成，并且還提高了數(shù)值的魯棒性和參數(shù)估計的精確性。運算的具體步驟如下：一、給定初始矩陣、初始化權(quán)值和誤差精度；二、對向量和的求解，如下式：， (227)三、求解，運算式為： (228)四、求解，運算式為： (229)五、求解對角矩陣的對角線元素，運算式為： (230)六、.求解和，運算式為： (231) (232)七、求解的元素，運算式為： (233)八、計算九、若以上計算結(jié)果滿足輸出精度要求，則停止運算；反之取，返回二。以上介紹的是優(yōu)化小波神經(jīng)網(wǎng)絡(luò)參數(shù)常用的三種優(yōu)化算法。其中非線性優(yōu)化方法有兩種，分別是梯度法和變尺度