【文章內(nèi)容簡介】 …………………………（） ………………………（）式中負(fù)號表示梯度下降，常數(shù)表示比例系數(shù)，在訓(xùn)練中反映了學(xué)習(xí)速率。可以看出BP算法屬于學(xué)習(xí)規(guī)則類，這類算法通常被稱為誤差的梯度下降算法。 標(biāo)準(zhǔn)BP算法的改進(jìn)將BP算法用于具有非線形轉(zhuǎn)移函數(shù)的三層前饋網(wǎng)，可以以任意精度逼近任何非線形函數(shù)，這一非凡優(yōu)勢使多層前饋網(wǎng)絡(luò)得到越來越廣泛的應(yīng)用。然而標(biāo)準(zhǔn)的BP算法在應(yīng)用中暴露出不少內(nèi)在的缺陷：(1)易形成局部極小而得不到全局最優(yōu)；(2)訓(xùn)練次數(shù)多使得學(xué)習(xí)效率低，收斂速度慢；(3)隱節(jié)點(diǎn)的選取缺乏理論指導(dǎo)；(4)訓(xùn)練時學(xué)習(xí)新樣本有遺忘舊樣本的趨勢；針對上述問題，國內(nèi)外已提出不少有效的改進(jìn)算法，下面僅介紹其中3種較常用的方法。（1）增加動量項(xiàng)一些學(xué)者于1986年提出，標(biāo)準(zhǔn)BP算法在調(diào)整權(quán)值時，只按時刻誤差的梯度降方向調(diào)整，而沒有考慮時刻以前的梯度方向，從而使訓(xùn)練過程發(fā)生振蕩，收斂緩慢。為了提高網(wǎng)絡(luò)的訓(xùn)練速度，可以在權(quán)值調(diào)整公式中增加一動量項(xiàng)若用代表某層權(quán)矩陣， 代表某層輸入向量，則含有動量項(xiàng)的權(quán)值調(diào)整向量表達(dá)式為…………………………………（）可以看出，增加動量項(xiàng)即從前一次權(quán)值調(diào)整量中取出一部分疊加到本次權(quán)值調(diào)整量中，稱為動量系數(shù)，一般有。動量項(xiàng)反映了以前積累的調(diào)整經(jīng)驗(yàn)，對于時刻的調(diào)整阻尼作用。當(dāng)誤差曲面出現(xiàn)驟然起伏時，可減小振蕩趨勢，提高訓(xùn)練速度。目前，BP算法中都增加了動量項(xiàng)，以至于有動量項(xiàng)BP算法成為一種新的標(biāo)準(zhǔn)算法[13]。（2）自適應(yīng)調(diào)節(jié)學(xué)習(xí)率學(xué)習(xí)率也稱為步長，在標(biāo)準(zhǔn)BP算法中定為常數(shù)，然而在實(shí)際應(yīng)用中，很難確定一個從始至終都合適的最佳學(xué)習(xí)率。從誤差曲面可以看出，在平坦區(qū)域內(nèi)太小會使訓(xùn)練次數(shù)增加，因而希望增大值；而在誤差變化劇烈的區(qū)域，太大會因調(diào)整量過大而跨過較窄的“坑凹”處，使訓(xùn)練出現(xiàn)振蕩，反而使迭代此時增加。為了加速收斂過程，一個較好的思路是自適應(yīng)調(diào)節(jié)學(xué)習(xí)率，使其該大時增大，該小時減小。（4）引入陡度因子前面的分析指出，誤差曲面上存在著平坦區(qū)域。權(quán)值調(diào)整進(jìn)入平坦區(qū)的原因是神經(jīng)元進(jìn)入了轉(zhuǎn)移函數(shù)的飽和區(qū)。如果在調(diào)整進(jìn)入平坦區(qū)后，設(shè)法壓縮神經(jīng)元的凈輸入，是其輸出退出轉(zhuǎn)移函數(shù)的飽和區(qū)，就可以改變誤差函數(shù)的形狀，從而使調(diào)整脫離平坦區(qū)。實(shí)現(xiàn)這一思路的具體作法是，在原轉(zhuǎn)移函數(shù)引入一個陡因子 01 壓縮后的轉(zhuǎn)移函數(shù)曲線當(dāng)發(fā)現(xiàn) 接近零而 仍較大時，可判斷已進(jìn)入平坦區(qū)，此時令 ；當(dāng)退出平坦區(qū)后，再令。 可以看出，當(dāng)時， 坐標(biāo)壓縮了倍，神經(jīng)元的轉(zhuǎn)移函數(shù)曲線的敏感區(qū)段變長，從而可使絕對值較大的退出飽和值。當(dāng)時轉(zhuǎn)移函數(shù)恢復(fù)原狀，對較小的具有較高的靈敏度。應(yīng)用結(jié)果表明該方法對于提高BP算法的收斂速度十分有效。 基于BP算法的多層前饋網(wǎng)絡(luò)設(shè)計(jì)基礎(chǔ)（1）網(wǎng)絡(luò)信息容量與訓(xùn)練樣本數(shù)多層前饋網(wǎng)絡(luò)的分類能力與網(wǎng)絡(luò)信息容量相關(guān)。如用網(wǎng)絡(luò)的權(quán)值和閥值總數(shù) 表征網(wǎng)絡(luò)信息容量與訓(xùn)練誤差之間應(yīng)滿足如下匹配關(guān)系 ………………………………………………………………（）上式表明網(wǎng)絡(luò)的信息容量與訓(xùn)練樣本之間存在著合理匹配關(guān)系。在解決實(shí)際問題時，訓(xùn)練樣本常常難以滿足以上要求。對于確定的樣本數(shù)，網(wǎng)絡(luò)參數(shù)太少則不足以表達(dá)樣本中蘊(yùn)涵的全部規(guī)律，而網(wǎng)絡(luò)參數(shù)太多則由于樣本信息太少而得不到充分訓(xùn)練。因此，當(dāng)實(shí)際問題不能提供較多的訓(xùn)練樣本時，必需設(shè)法減少樣本維數(shù)，從而降低。（2）訓(xùn)練樣本集的準(zhǔn)備訓(xùn)練數(shù)據(jù)的準(zhǔn)備工作是網(wǎng)絡(luò)設(shè)計(jì)和訓(xùn)練的基礎(chǔ)，數(shù)據(jù)選擇的科學(xué)性以及數(shù)據(jù)表示的合理性對于網(wǎng)絡(luò)設(shè)計(jì)具有極為重要的影響。數(shù)據(jù)準(zhǔn)備工作包括原始數(shù)據(jù)的收集、數(shù)據(jù)分析、變量選擇和數(shù)據(jù)預(yù)處理等諸多步驟，下面分幾個方面介紹有關(guān)的知識。（3）輸入輸出的選擇一個待建模系統(tǒng)的輸入輸出就是神經(jīng)網(wǎng)絡(luò)的輸入輸出變量。這些變量可能是事先確定的，也可能不夠明確，需要進(jìn)行一番篩選。一般來講，輸出量代表系統(tǒng)要實(shí)現(xiàn)的功能目標(biāo)，其選擇確定相對容易一些。輸入量必須選擇那些對輸出影響大且能檢測或提取的變量，此外還要求各輸入變量之間互不相關(guān)或相關(guān)性很小，這是輸入量選擇的兩條基本原則。如果對某個變量是否適合作網(wǎng)絡(luò)輸入沒有把握，可分別訓(xùn)練含有和不含有該輸入的兩個網(wǎng)絡(luò)，對其效果進(jìn)行對比[14]。（4）輸入量的提取與表示在很多情況下，神經(jīng)網(wǎng)絡(luò)的輸入量無法直接獲得，常常需要用信號處理與特征提取技術(shù)從原始數(shù)據(jù)中提取能反映其特征的若干特征參數(shù)作為網(wǎng)絡(luò)的輸入。提取的方法與解決的問題密切相關(guān)，下面僅討論幾種典型的情況。①文字符號輸入 在各類字符識別的應(yīng)用中，均以字符為輸入的原始對象。BP網(wǎng)絡(luò)的輸入層不能直接接受字符輸入，必須先對其進(jìn)行編碼，變成網(wǎng)絡(luò)可以接受的形式。②曲線輸入 多層前饋網(wǎng)在模式識別類應(yīng)用中常被用來識別各種設(shè)備輸出的波形曲線，對于這類輸入模式，常用的表示方法是提取波形在個區(qū)間分界點(diǎn)的值，以其作為網(wǎng)絡(luò)輸入向量的分量值。個輸入分量的下標(biāo)表示輸入值在波形中的位置，因此分量的編號是嚴(yán)格有序的。③函數(shù)自變量輸入 用多層前饋網(wǎng)見建立系統(tǒng)的數(shù)學(xué)模型屬于典型的非線形映射問題。一般系統(tǒng)已有大量輸入輸出數(shù)據(jù)對，建模的目的是提取其中隱含的映射規(guī)則，這類應(yīng)用比較簡單，一般有幾個輸入量就設(shè)幾個分量，1個輸入分量對應(yīng)1個輸入層節(jié)點(diǎn)。④圖象輸入 當(dāng)需要對物體的圖象進(jìn)行識別時，很少直接將每個像素點(diǎn)的灰度值作為網(wǎng)絡(luò)的輸入。因?yàn)閳D象的像素點(diǎn)常數(shù)以萬計(jì)，不適合作為網(wǎng)絡(luò)的輸入，而且難以從中提取有價值的輸入輸出規(guī)律。在這類應(yīng)用中，一般根據(jù)識別的具體目的從圖象中提前一些有用的特征參數(shù)，再根據(jù)這些參數(shù)對輸入的貢獻(xiàn)進(jìn)行篩選，這種特征提取屬于圖象處理的范疇。 （5）輸出向量的表示所謂輸出量實(shí)際上是指為網(wǎng)絡(luò)訓(xùn)練提供期望輸出，一個網(wǎng)絡(luò)可以有多個輸出變量，其表示方法通常比輸入量容易得多，而且對網(wǎng)絡(luò)的精度和訓(xùn)練時間影響不大。輸出量可以是數(shù)值變量，也可以是語言變量。對于數(shù)值類的輸出量，可直接用數(shù)據(jù)來表示，但由于網(wǎng)絡(luò)實(shí)際輸出只能是0~1或1~1之間的數(shù)，所以需要將期望輸出進(jìn)行尺度變換處理，有關(guān)的方法在樣本的預(yù)處理中介紹。 （6）輸入輸出數(shù)據(jù)的處理①尺度變換 尺度變換也稱歸一化或標(biāo)準(zhǔn)化，是指通過變換的處理的將網(wǎng)絡(luò)的輸入、輸出數(shù)據(jù)限制在[0，1]或[1，1]區(qū)間類。進(jìn)行尺度變換的主要原因有：網(wǎng)絡(luò)的各個輸入數(shù)據(jù)常具有不同的物理意義和不同的量綱；BP網(wǎng)的神經(jīng)元均采用Sigmoid函數(shù)，變換后可防止因凈輸入的絕對值過大而使神經(jīng)元輸出飽和，繼而使權(quán)值調(diào)整進(jìn)入誤差曲面的平坦區(qū)。 Sigmoid轉(zhuǎn)移函數(shù)的輸出在0~1或1~1之間，作為教師信號的輸出數(shù)據(jù)如不進(jìn)行變換處理，勢必使數(shù)值大的輸出分量誤差大，數(shù)值小的輸出分量絕對誤差小，網(wǎng)絡(luò)訓(xùn)練時只針對輸出的誤差的調(diào)整權(quán)值，其結(jié)果是在總誤差中占分額小的輸出分量相對誤差較大，對輸出量進(jìn)行尺度變換后這個問題可迎刃而解。②分布變換 尺度變換是一種線形變換，當(dāng)樣本的分布不合理時，線形變換只能統(tǒng)一樣本數(shù)據(jù)的變化范圍，而不能改變其分布規(guī)律。適用于網(wǎng)絡(luò)訓(xùn)練的樣本分布應(yīng)比較均勻，相應(yīng)的樣本分布曲線應(yīng)比較平坦。當(dāng)樣本分布不理想時，最常用的變換是對書變換，其他常用的還有平方根，立方根等。由于變換是非線形的，其結(jié)果不僅壓縮了數(shù)據(jù)變化的范圍，而且改善了其分布規(guī)律。（7） 訓(xùn)練集的設(shè)計(jì)①訓(xùn)練樣本數(shù)的確定 一般說來訓(xùn)練樣本數(shù)越多，訓(xùn)練結(jié)果越能正確反映其類在規(guī)律，但樣本的收集整理往往受到客觀條件的限制。此外，當(dāng)樣本多到一定程度時，網(wǎng)絡(luò)的精也難再提高，實(shí)踐表明，網(wǎng)絡(luò)訓(xùn)練所需的樣本數(shù)取決于輸入輸出非線性映射關(guān)系的復(fù)雜程度，映射關(guān)系越復(fù)雜，樣本中含的噪聲越大，為保證一定映射精度所需要的樣本數(shù)就越多，而且網(wǎng)絡(luò)的規(guī)模就越多[13][14]。②樣本的選擇與組織 網(wǎng)絡(luò)訓(xùn)練中提取的規(guī)律蘊(yùn)涵在樣本中，因此樣本一定要有代表性。樣本的選擇要注意樣本類別的均衡，盡量使每個類別的樣本數(shù)量大致相等。即使是同一類樣本也要照顧樣本的多樣性和類別的均勻性。按照這種“平均主義”原則選擇的樣本能使網(wǎng)絡(luò)在訓(xùn)練是見多識廣，而且可以避免網(wǎng)絡(luò)樣本數(shù)量的類別印象深，而對出現(xiàn)次數(shù)少的類別印象淺。樣本的組織要注意將不同類別的樣本交叉輸入，或從訓(xùn)練集中隨機(jī)選擇輸入樣本。因?yàn)橥悩颖咎袝咕W(wǎng)絡(luò)訓(xùn)練時傾向于只建立與其匹配的映射關(guān)系，當(dāng)另一類樣本集中輸入時，權(quán)值的調(diào)整又轉(zhuǎn)向新的映射關(guān)系而將前面的訓(xùn)練結(jié)果否定。當(dāng)各類樣本輪流集中輸入時，網(wǎng)絡(luò)的訓(xùn)練會出現(xiàn)振蕩使訓(xùn)練時間延長。 初始權(quán)值的設(shè)計(jì) 網(wǎng)絡(luò)權(quán)值的初始化決定了網(wǎng)絡(luò)的訓(xùn)練從誤差曲面的哪一點(diǎn)開始，因此初始化方法對縮短網(wǎng)絡(luò)的訓(xùn)練時間至關(guān)重要。神經(jīng)元的轉(zhuǎn)移函數(shù)都是關(guān)于零點(diǎn)對稱的，如果沒個節(jié)點(diǎn)的凈輸入均在零點(diǎn)附近，則其輸出均處在轉(zhuǎn)移函數(shù)的中點(diǎn)。這個不僅遠(yuǎn)離轉(zhuǎn)移函數(shù)的兩個飽和區(qū)，而且是其變化最靈敏的區(qū)域，必然使網(wǎng)絡(luò)的學(xué)習(xí)速度較快。從凈輸入的表達(dá)式可以看出，為了使個節(jié)點(diǎn)初始凈輸入在零點(diǎn)附近，有兩種辦法可采用。一種辦法是，使初始權(quán)值足夠??；另一種辦法是，使初始值為+1和1的權(quán)值數(shù)相等。 多層前饋網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)（1）隱層數(shù)的設(shè)計(jì)理論分析證明，具有單隱層的前饋網(wǎng)絡(luò)可以映射所有連續(xù)函數(shù)，只有當(dāng)學(xué)習(xí)不連續(xù)函數(shù)時，才需要兩個隱層，所以多層前饋網(wǎng)絡(luò)最多只需兩個隱層。在設(shè)計(jì)多層前饋網(wǎng)時，一般先考慮設(shè)一個隱層，當(dāng)一個隱層的隱節(jié)點(diǎn)數(shù)很多仍不能改善網(wǎng)絡(luò)性能時，才考慮再增加一個隱層。（2）隱節(jié)點(diǎn)數(shù)的設(shè)計(jì)隱節(jié)點(diǎn)的作用是從樣本中提取并存儲其內(nèi)在規(guī)律，每個隱節(jié)點(diǎn)有若干個權(quán)值都是增強(qiáng)網(wǎng)絡(luò)映射能力的一個參數(shù)。隱節(jié)點(diǎn)數(shù)量太少，網(wǎng)絡(luò)從樣本中獲取的信息能力就差，不足以概括和體現(xiàn)訓(xùn)練集中的樣本規(guī)律；隱節(jié)點(diǎn)數(shù)量過多，又可能把樣本中非規(guī)律性的內(nèi)容也學(xué)會牢記，從而出現(xiàn)所謂過度吻合問題，反而降低了泛能力。此外隱節(jié)點(diǎn)數(shù)太多還會增加訓(xùn)練時間。確定最佳隱節(jié)點(diǎn)數(shù)的一個常用方法稱為試湊法，可先設(shè)置較少的隱節(jié)點(diǎn)訓(xùn)練網(wǎng)絡(luò)，然后逐漸增加隱節(jié)點(diǎn)數(shù)，用同一樣本集進(jìn)行訓(xùn)練，從中確定網(wǎng)絡(luò)誤差最小時對應(yīng)的隱節(jié)點(diǎn)數(shù)。下面介紹幾個公式…………………………………………………（） ………………………………………… （）以上個式中為隱層節(jié)點(diǎn)數(shù)，為輸入層節(jié)點(diǎn)數(shù)，為輸出節(jié)點(diǎn)數(shù)，為1~10的常數(shù)。 網(wǎng)絡(luò)訓(xùn)練與測試網(wǎng)絡(luò)設(shè)計(jì)完成后，要應(yīng)用設(shè)計(jì)值進(jìn)行訓(xùn)練。訓(xùn)練時對所有樣本正向運(yùn)行一輪并反向修改權(quán)值一次稱為一次訓(xùn)練。在訓(xùn)練過程中要反復(fù)使用樣本集數(shù)據(jù)，但每一輪最好不按固定順序取數(shù)據(jù)。網(wǎng)絡(luò)性能的好壞主要看其是否具有很好的泛化能力，而對泛化能力的測試不能用訓(xùn)練集的數(shù)據(jù)進(jìn)行，而用訓(xùn)練集以外的測試數(shù)據(jù)來進(jìn)行檢測。在隱節(jié)點(diǎn)數(shù)一定的情況下，為獲得好的泛化能力，存在著一個最佳訓(xùn)練次數(shù)。為了說明這個問題，訓(xùn)練時將訓(xùn)練于測試交替進(jìn)行，每訓(xùn)練一次記錄一次訓(xùn)練均方誤差，然后保持網(wǎng)絡(luò)權(quán)值不變，用測試數(shù)據(jù)正向運(yùn)行網(wǎng)絡(luò)，記錄測試均方誤差。 模糊控制系統(tǒng) 模糊控制系統(tǒng)的組成所謂系統(tǒng)指的是兩個以上彼此聯(lián)系又相互作用的對象構(gòu)成的具有某種功能的集體。而模糊系統(tǒng)是由那些現(xiàn)象引起的不確定性系統(tǒng)。也就是說一個模糊系統(tǒng)，它的狀態(tài)或輸入、輸出具有模糊性。一般說來，模糊系統(tǒng)也是復(fù)雜過程的一種近似表示方式。該過程本身并不一定是模糊的。模糊控制系統(tǒng)是一種自動控制系統(tǒng)，它是以模糊數(shù)學(xué)、模糊語言形式的知識表示和模糊邏輯推理為理論基礎(chǔ)，采用計(jì)算機(jī)控制技術(shù)構(gòu)成的一種具有閉環(huán)結(jié)構(gòu)的數(shù)字控制系統(tǒng)。它的組成核心是具有智能性的模糊控制器。無疑，模糊邏輯控制系統(tǒng)是一種典型的智能控制系統(tǒng)，在控制原理上它應(yīng)用模糊集合論、模糊語言變量和模糊邏輯推理的知識，模擬人的思維方法，對復(fù)雜過程進(jìn)行控制。模糊邏輯控制的基礎(chǔ)是模糊邏輯。模糊邏輯從含義上比其他傳統(tǒng)邏輯更接近人類的思想和語言，它能夠?qū)φ鎸?shí)世界的近似的、不確切的特征進(jìn)行刻劃。實(shí)際上，模糊邏輯控制是利用模糊邏輯建立一種“自由模型”的非線形控制算法，特別是在那些采用傳統(tǒng)定量技術(shù)分析過于復(fù)雜的過程、結(jié)構(gòu)如圖所示。從圖中可以看出，模糊控制系統(tǒng)的主要部件是模糊化過程、知識庫、推理決策和精確化計(jì)算[16]。很顯然，模糊控制系統(tǒng)在結(jié)構(gòu)上與傳統(tǒng)的控制系統(tǒng)沒有太大的差別，主要不同之處在于控制器采用了模糊控制器。由于模糊控制器是采用數(shù)字計(jì)算機(jī)來實(shí)現(xiàn)的，所以，它應(yīng)該具備下列三個中重要功能：(1)把系統(tǒng)的偏差從數(shù)字量轉(zhuǎn)化為模糊量（模糊化過程、數(shù)據(jù)庫兩塊完成）。(2)對模糊量有給定的規(guī)則進(jìn)行模糊推理（規(guī)則庫、推理決策完成）。(3)把推理結(jié)果的模糊輸出量轉(zhuǎn)化為實(shí)際系統(tǒng)能夠接受的精確數(shù)字量或模擬量（精確化借口）。知識庫精確化接口推 理 決 策被 控 對 象Fuzzy化接口給定FLC FLC基本結(jié)構(gòu)圖因此，模糊控制器的設(shè)計(jì)問題就是模糊化過程、知識庫（含數(shù)據(jù)庫和規(guī)則庫）、理決策和精確化計(jì)算四部分的設(shè)計(jì)問題。 模糊化過程模糊化過程主要完成：測量輸入變量的值，并將數(shù)字表示形式的輸入量轉(zhuǎn)化為通用語言表示的某一限定碼的序數(shù)。每一個限定碼表示論域的序數(shù)，每一個限定碼表示論域內(nèi)的一個模糊子集，并有其隸屬度函數(shù)來定義，對于某一個輸入值，它必定與某一個特定限定碼的隸屬度相對應(yīng)。圖給出了三種化函數(shù)。圖給出了輸入變量屬于語言 的程度高。對于圖b只有在點(diǎn)處的隸屬度為1，其它輸入對應(yīng)的隸屬度都為0。而圖c所表示的隸屬度曲線有點(diǎn)像高斯曲線，它是一條連續(xù)函數(shù)。除以上三種隸屬度函數(shù)之外，其它類型的隸屬度函數(shù)曲線只要符合一定的條件也是可以的。已有經(jīng)驗(yàn)表明，通常選三角型和梯型函數(shù)的隸屬函數(shù)在實(shí)際應(yīng)用中帶來很多方便。一旦模糊集設(shè)計(jì)完成，則對于任意的物理輸入x，如何將其映射到模糊系統(tǒng)中去呢？映射的過程實(shí)際上是將當(dāng)前的物理輸入根據(jù)模糊子集的分布情況確定出此時此刻輸入值對這些模糊子集的隸屬度，因此，為了保證在所有論域內(nèi)的輸入量都能與某一模糊子集相對應(yīng)，模糊子集（限定碼）的數(shù)目和范圍必須遍及整個論域。這樣，對于每一個物理輸入量至少有一個模糊子集的隸屬程度函數(shù)大與零。 模糊化函數(shù) 知識庫知識庫包括數(shù)據(jù)庫和規(guī)則庫，數(shù)據(jù)庫提供必要的定義，包含了語言控制規(guī)則論域的離散化、量化和正則化以及輸入空間的分區(qū)、隸屬度函數(shù)的定義等。規(guī)則庫根據(jù)控制目的和控制測略給出了一套由語言變量描述的并由專家或自學(xué)習(xí)