【文章內(nèi)容簡介】 …………………………（） ………………………（）式中負號表示梯度下降，常數(shù)表示比例系數(shù)，在訓練中反映了學習速率?？梢钥闯鯞P算法屬于學習規(guī)則類，這類算法通常被稱為誤差的梯度下降算法。 標準BP算法的改進將BP算法用于具有非線形轉(zhuǎn)移函數(shù)的三層前饋網(wǎng)，可以以任意精度逼近任何非線形函數(shù)，這一非凡優(yōu)勢使多層前饋網(wǎng)絡得到越來越廣泛的應用。然而標準的BP算法在應用中暴露出不少內(nèi)在的缺陷：(1)易形成局部極小而得不到全局最優(yōu)；(2)訓練次數(shù)多使得學習效率低，收斂速度慢；(3)隱節(jié)點的選取缺乏理論指導；(4)訓練時學習新樣本有遺忘舊樣本的趨勢；針對上述問題，國內(nèi)外已提出不少有效的改進算法，下面僅介紹其中3種較常用的方法。（1）增加動量項一些學者于1986年提出，標準BP算法在調(diào)整權值時，只按時刻誤差的梯度降方向調(diào)整，而沒有考慮時刻以前的梯度方向，從而使訓練過程發(fā)生振蕩，收斂緩慢。為了提高網(wǎng)絡的訓練速度，可以在權值調(diào)整公式中增加一動量項若用代表某層權矩陣， 代表某層輸入向量，則含有動量項的權值調(diào)整向量表達式為…………………………………（）可以看出，增加動量項即從前一次權值調(diào)整量中取出一部分疊加到本次權值調(diào)整量中，稱為動量系數(shù)，一般有。動量項反映了以前積累的調(diào)整經(jīng)驗，對于時刻的調(diào)整阻尼作用。當誤差曲面出現(xiàn)驟然起伏時，可減小振蕩趨勢，提高訓練速度。目前，BP算法中都增加了動量項，以至于有動量項BP算法成為一種新的標準算法[13]。（2）自適應調(diào)節(jié)學習率學習率也稱為步長，在標準BP算法中定為常數(shù)，然而在實際應用中，很難確定一個從始至終都合適的最佳學習率。從誤差曲面可以看出，在平坦區(qū)域內(nèi)太小會使訓練次數(shù)增加，因而希望增大值；而在誤差變化劇烈的區(qū)域，太大會因調(diào)整量過大而跨過較窄的“坑凹”處，使訓練出現(xiàn)振蕩，反而使迭代此時增加。為了加速收斂過程，一個較好的思路是自適應調(diào)節(jié)學習率，使其該大時增大，該小時減小。（4）引入陡度因子前面的分析指出，誤差曲面上存在著平坦區(qū)域。權值調(diào)整進入平坦區(qū)的原因是神經(jīng)元進入了轉(zhuǎn)移函數(shù)的飽和區(qū)。如果在調(diào)整進入平坦區(qū)后，設法壓縮神經(jīng)元的凈輸入，是其輸出退出轉(zhuǎn)移函數(shù)的飽和區(qū)，就可以改變誤差函數(shù)的形狀，從而使調(diào)整脫離平坦區(qū)。實現(xiàn)這一思路的具體作法是，在原轉(zhuǎn)移函數(shù)引入一個陡因子 01 壓縮后的轉(zhuǎn)移函數(shù)曲線當發(fā)現(xiàn) 接近零而 仍較大時，可判斷已進入平坦區(qū)，此時令 ；當退出平坦區(qū)后，再令。 可以看出，當時， 坐標壓縮了倍，神經(jīng)元的轉(zhuǎn)移函數(shù)曲線的敏感區(qū)段變長，從而可使絕對值較大的退出飽和值。當時轉(zhuǎn)移函數(shù)恢復原狀，對較小的具有較高的靈敏度。應用結(jié)果表明該方法對于提高BP算法的收斂速度十分有效。 基于BP算法的多層前饋網(wǎng)絡設計基礎（1）網(wǎng)絡信息容量與訓練樣本數(shù)多層前饋網(wǎng)絡的分類能力與網(wǎng)絡信息容量相關。如用網(wǎng)絡的權值和閥值總數(shù) 表征網(wǎng)絡信息容量與訓練誤差之間應滿足如下匹配關系 ………………………………………………………………（）上式表明網(wǎng)絡的信息容量與訓練樣本之間存在著合理匹配關系。在解決實際問題時，訓練樣本常常難以滿足以上要求。對于確定的樣本數(shù)，網(wǎng)絡參數(shù)太少則不足以表達樣本中蘊涵的全部規(guī)律，而網(wǎng)絡參數(shù)太多則由于樣本信息太少而得不到充分訓練。因此，當實際問題不能提供較多的訓練樣本時，必需設法減少樣本維數(shù)，從而降低。（2）訓練樣本集的準備訓練數(shù)據(jù)的準備工作是網(wǎng)絡設計和訓練的基礎，數(shù)據(jù)選擇的科學性以及數(shù)據(jù)表示的合理性對于網(wǎng)絡設計具有極為重要的影響。數(shù)據(jù)準備工作包括原始數(shù)據(jù)的收集、數(shù)據(jù)分析、變量選擇和數(shù)據(jù)預處理等諸多步驟，下面分幾個方面介紹有關的知識。（3）輸入輸出的選擇一個待建模系統(tǒng)的輸入輸出就是神經(jīng)網(wǎng)絡的輸入輸出變量。這些變量可能是事先確定的，也可能不夠明確，需要進行一番篩選。一般來講，輸出量代表系統(tǒng)要實現(xiàn)的功能目標，其選擇確定相對容易一些。輸入量必須選擇那些對輸出影響大且能檢測或提取的變量，此外還要求各輸入變量之間互不相關或相關性很小，這是輸入量選擇的兩條基本原則。如果對某個變量是否適合作網(wǎng)絡輸入沒有把握，可分別訓練含有和不含有該輸入的兩個網(wǎng)絡，對其效果進行對比[14]。（4）輸入量的提取與表示在很多情況下，神經(jīng)網(wǎng)絡的輸入量無法直接獲得，常常需要用信號處理與特征提取技術從原始數(shù)據(jù)中提取能反映其特征的若干特征參數(shù)作為網(wǎng)絡的輸入。提取的方法與解決的問題密切相關，下面僅討論幾種典型的情況。①文字符號輸入 在各類字符識別的應用中，均以字符為輸入的原始對象。BP網(wǎng)絡的輸入層不能直接接受字符輸入，必須先對其進行編碼，變成網(wǎng)絡可以接受的形式。②曲線輸入 多層前饋網(wǎng)在模式識別類應用中常被用來識別各種設備輸出的波形曲線，對于這類輸入模式，常用的表示方法是提取波形在個區(qū)間分界點的值，以其作為網(wǎng)絡輸入向量的分量值。個輸入分量的下標表示輸入值在波形中的位置，因此分量的編號是嚴格有序的。③函數(shù)自變量輸入 用多層前饋網(wǎng)見建立系統(tǒng)的數(shù)學模型屬于典型的非線形映射問題。一般系統(tǒng)已有大量輸入輸出數(shù)據(jù)對，建模的目的是提取其中隱含的映射規(guī)則，這類應用比較簡單，一般有幾個輸入量就設幾個分量，1個輸入分量對應1個輸入層節(jié)點。④圖象輸入 當需要對物體的圖象進行識別時，很少直接將每個像素點的灰度值作為網(wǎng)絡的輸入。因為圖象的像素點常數(shù)以萬計，不適合作為網(wǎng)絡的輸入，而且難以從中提取有價值的輸入輸出規(guī)律。在這類應用中，一般根據(jù)識別的具體目的從圖象中提前一些有用的特征參數(shù)，再根據(jù)這些參數(shù)對輸入的貢獻進行篩選，這種特征提取屬于圖象處理的范疇。 （5）輸出向量的表示所謂輸出量實際上是指為網(wǎng)絡訓練提供期望輸出，一個網(wǎng)絡可以有多個輸出變量，其表示方法通常比輸入量容易得多，而且對網(wǎng)絡的精度和訓練時間影響不大。輸出量可以是數(shù)值變量，也可以是語言變量。對于數(shù)值類的輸出量，可直接用數(shù)據(jù)來表示，但由于網(wǎng)絡實際輸出只能是0~1或1~1之間的數(shù)，所以需要將期望輸出進行尺度變換處理，有關的方法在樣本的預處理中介紹。 （6）輸入輸出數(shù)據(jù)的處理①尺度變換 尺度變換也稱歸一化或標準化，是指通過變換的處理的將網(wǎng)絡的輸入、輸出數(shù)據(jù)限制在[0，1]或[1，1]區(qū)間類。進行尺度變換的主要原因有：網(wǎng)絡的各個輸入數(shù)據(jù)常具有不同的物理意義和不同的量綱；BP網(wǎng)的神經(jīng)元均采用Sigmoid函數(shù)，變換后可防止因凈輸入的絕對值過大而使神經(jīng)元輸出飽和，繼而使權值調(diào)整進入誤差曲面的平坦區(qū)。 Sigmoid轉(zhuǎn)移函數(shù)的輸出在0~1或1~1之間，作為教師信號的輸出數(shù)據(jù)如不進行變換處理，勢必使數(shù)值大的輸出分量誤差大，數(shù)值小的輸出分量絕對誤差小，網(wǎng)絡訓練時只針對輸出的誤差的調(diào)整權值，其結(jié)果是在總誤差中占分額小的輸出分量相對誤差較大，對輸出量進行尺度變換后這個問題可迎刃而解。②分布變換 尺度變換是一種線形變換，當樣本的分布不合理時，線形變換只能統(tǒng)一樣本數(shù)據(jù)的變化范圍，而不能改變其分布規(guī)律。適用于網(wǎng)絡訓練的樣本分布應比較均勻，相應的樣本分布曲線應比較平坦。當樣本分布不理想時，最常用的變換是對書變換，其他常用的還有平方根，立方根等。由于變換是非線形的，其結(jié)果不僅壓縮了數(shù)據(jù)變化的范圍，而且改善了其分布規(guī)律。（7） 訓練集的設計①訓練樣本數(shù)的確定 一般說來訓練樣本數(shù)越多，訓練結(jié)果越能正確反映其類在規(guī)律，但樣本的收集整理往往受到客觀條件的限制。此外，當樣本多到一定程度時，網(wǎng)絡的精也難再提高，實踐表明，網(wǎng)絡訓練所需的樣本數(shù)取決于輸入輸出非線性映射關系的復雜程度，映射關系越復雜，樣本中含的噪聲越大，為保證一定映射精度所需要的樣本數(shù)就越多，而且網(wǎng)絡的規(guī)模就越多[13][14]。②樣本的選擇與組織 網(wǎng)絡訓練中提取的規(guī)律蘊涵在樣本中，因此樣本一定要有代表性。樣本的選擇要注意樣本類別的均衡，盡量使每個類別的樣本數(shù)量大致相等。即使是同一類樣本也要照顧樣本的多樣性和類別的均勻性。按照這種“平均主義”原則選擇的樣本能使網(wǎng)絡在訓練是見多識廣，而且可以避免網(wǎng)絡樣本數(shù)量的類別印象深，而對出現(xiàn)次數(shù)少的類別印象淺。樣本的組織要注意將不同類別的樣本交叉輸入，或從訓練集中隨機選擇輸入樣本。因為同類樣本太集中會使網(wǎng)絡訓練時傾向于只建立與其匹配的映射關系，當另一類樣本集中輸入時，權值的調(diào)整又轉(zhuǎn)向新的映射關系而將前面的訓練結(jié)果否定。當各類樣本輪流集中輸入時，網(wǎng)絡的訓練會出現(xiàn)振蕩使訓練時間延長。 初始權值的設計 網(wǎng)絡權值的初始化決定了網(wǎng)絡的訓練從誤差曲面的哪一點開始，因此初始化方法對縮短網(wǎng)絡的訓練時間至關重要。神經(jīng)元的轉(zhuǎn)移函數(shù)都是關于零點對稱的，如果沒個節(jié)點的凈輸入均在零點附近，則其輸出均處在轉(zhuǎn)移函數(shù)的中點。這個不僅遠離轉(zhuǎn)移函數(shù)的兩個飽和區(qū)，而且是其變化最靈敏的區(qū)域，必然使網(wǎng)絡的學習速度較快。從凈輸入的表達式可以看出，為了使個節(jié)點初始凈輸入在零點附近，有兩種辦法可采用。一種辦法是，使初始權值足夠小；另一種辦法是，使初始值為+1和1的權值數(shù)相等。 多層前饋網(wǎng)絡結(jié)構設計（1）隱層數(shù)的設計理論分析證明，具有單隱層的前饋網(wǎng)絡可以映射所有連續(xù)函數(shù)，只有當學習不連續(xù)函數(shù)時，才需要兩個隱層，所以多層前饋網(wǎng)絡最多只需兩個隱層。在設計多層前饋網(wǎng)時，一般先考慮設一個隱層，當一個隱層的隱節(jié)點數(shù)很多仍不能改善網(wǎng)絡性能時，才考慮再增加一個隱層。（2）隱節(jié)點數(shù)的設計隱節(jié)點的作用是從樣本中提取并存儲其內(nèi)在規(guī)律，每個隱節(jié)點有若干個權值都是增強網(wǎng)絡映射能力的一個參數(shù)。隱節(jié)點數(shù)量太少，網(wǎng)絡從樣本中獲取的信息能力就差，不足以概括和體現(xiàn)訓練集中的樣本規(guī)律；隱節(jié)點數(shù)量過多，又可能把樣本中非規(guī)律性的內(nèi)容也學會牢記，從而出現(xiàn)所謂過度吻合問題，反而降低了泛能力。此外隱節(jié)點數(shù)太多還會增加訓練時間。確定最佳隱節(jié)點數(shù)的一個常用方法稱為試湊法，可先設置較少的隱節(jié)點訓練網(wǎng)絡，然后逐漸增加隱節(jié)點數(shù)，用同一樣本集進行訓練，從中確定網(wǎng)絡誤差最小時對應的隱節(jié)點數(shù)。下面介紹幾個公式…………………………………………………（） ………………………………………… （）以上個式中為隱層節(jié)點數(shù)，為輸入層節(jié)點數(shù)，為輸出節(jié)點數(shù)，為1~10的常數(shù)。 網(wǎng)絡訓練與測試網(wǎng)絡設計完成后，要應用設計值進行訓練。訓練時對所有樣本正向運行一輪并反向修改權值一次稱為一次訓練。在訓練過程中要反復使用樣本集數(shù)據(jù)，但每一輪最好不按固定順序取數(shù)據(jù)。網(wǎng)絡性能的好壞主要看其是否具有很好的泛化能力，而對泛化能力的測試不能用訓練集的數(shù)據(jù)進行，而用訓練集以外的測試數(shù)據(jù)來進行檢測。在隱節(jié)點數(shù)一定的情況下，為獲得好的泛化能力，存在著一個最佳訓練次數(shù)。為了說明這個問題，訓練時將訓練于測試交替進行，每訓練一次記錄一次訓練均方誤差，然后保持網(wǎng)絡權值不變，用測試數(shù)據(jù)正向運行網(wǎng)絡，記錄測試均方誤差。 模糊控制系統(tǒng) 模糊控制系統(tǒng)的組成所謂系統(tǒng)指的是兩個以上彼此聯(lián)系又相互作用的對象構成的具有某種功能的集體。而模糊系統(tǒng)是由那些現(xiàn)象引起的不確定性系統(tǒng)。也就是說一個模糊系統(tǒng)，它的狀態(tài)或輸入、輸出具有模糊性。一般說來，模糊系統(tǒng)也是復雜過程的一種近似表示方式。該過程本身并不一定是模糊的。模糊控制系統(tǒng)是一種自動控制系統(tǒng)，它是以模糊數(shù)學、模糊語言形式的知識表示和模糊邏輯推理為理論基礎，采用計算機控制技術構成的一種具有閉環(huán)結(jié)構的數(shù)字控制系統(tǒng)。它的組成核心是具有智能性的模糊控制器。無疑，模糊邏輯控制系統(tǒng)是一種典型的智能控制系統(tǒng)，在控制原理上它應用模糊集合論、模糊語言變量和模糊邏輯推理的知識，模擬人的思維方法，對復雜過程進行控制。模糊邏輯控制的基礎是模糊邏輯。模糊邏輯從含義上比其他傳統(tǒng)邏輯更接近人類的思想和語言，它能夠?qū)φ鎸嵤澜绲慕频摹⒉淮_切的特征進行刻劃。實際上，模糊邏輯控制是利用模糊邏輯建立一種“自由模型”的非線形控制算法，特別是在那些采用傳統(tǒng)定量技術分析過于復雜的過程、結(jié)構如圖所示。從圖中可以看出，模糊控制系統(tǒng)的主要部件是模糊化過程、知識庫、推理決策和精確化計算[16]。很顯然，模糊控制系統(tǒng)在結(jié)構上與傳統(tǒng)的控制系統(tǒng)沒有太大的差別，主要不同之處在于控制器采用了模糊控制器。由于模糊控制器是采用數(shù)字計算機來實現(xiàn)的，所以，它應該具備下列三個中重要功能：(1)把系統(tǒng)的偏差從數(shù)字量轉(zhuǎn)化為模糊量（模糊化過程、數(shù)據(jù)庫兩塊完成）。(2)對模糊量有給定的規(guī)則進行模糊推理（規(guī)則庫、推理決策完成）。(3)把推理結(jié)果的模糊輸出量轉(zhuǎn)化為實際系統(tǒng)能夠接受的精確數(shù)字量或模擬量（精確化借口）。知識庫精確化接口推 理 決 策被 控 對 象Fuzzy化接口給定FLC FLC基本結(jié)構圖因此，模糊控制器的設計問題就是模糊化過程、知識庫（含數(shù)據(jù)庫和規(guī)則庫）、理決策和精確化計算四部分的設計問題。 模糊化過程模糊化過程主要完成：測量輸入變量的值，并將數(shù)字表示形式的輸入量轉(zhuǎn)化為通用語言表示的某一限定碼的序數(shù)。每一個限定碼表示論域的序數(shù)，每一個限定碼表示論域內(nèi)的一個模糊子集，并有其隸屬度函數(shù)來定義，對于某一個輸入值，它必定與某一個特定限定碼的隸屬度相對應。圖給出了三種化函數(shù)。圖給出了輸入變量屬于語言 的程度高。對于圖b只有在點處的隸屬度為1，其它輸入對應的隸屬度都為0。而圖c所表示的隸屬度曲線有點像高斯曲線，它是一條連續(xù)函數(shù)。除以上三種隸屬度函數(shù)之外，其它類型的隸屬度函數(shù)曲線只要符合一定的條件也是可以的。已有經(jīng)驗表明，通常選三角型和梯型函數(shù)的隸屬函數(shù)在實際應用中帶來很多方便。一旦模糊集設計完成，則對于任意的物理輸入x，如何將其映射到模糊系統(tǒng)中去呢？映射的過程實際上是將當前的物理輸入根據(jù)模糊子集的分布情況確定出此時此刻輸入值對這些模糊子集的隸屬度，因此，為了保證在所有論域內(nèi)的輸入量都能與某一模糊子集相對應，模糊子集（限定碼）的數(shù)目和范圍必須遍及整個論域。這樣，對于每一個物理輸入量至少有一個模糊子集的隸屬程度函數(shù)大與零。 模糊化函數(shù) 知識庫知識庫包括數(shù)據(jù)庫和規(guī)則庫，數(shù)據(jù)庫提供必要的定義，包含了語言控制規(guī)則論域的離散化、量化和正則化以及輸入空間的分區(qū)、隸屬度函數(shù)的定義等。規(guī)則庫根據(jù)控制目的和控制測略給出了一套由語言變量描述的并由專家或自學習