【正文】 函數(shù) 知識(shí)庫(kù)知識(shí)庫(kù)包括數(shù)據(jù)庫(kù)和規(guī)則庫(kù)，數(shù)據(jù)庫(kù)提供必要的定義，包含了語(yǔ)言控制規(guī)則論域的離散化、量化和正則化以及輸入空間的分區(qū)、隸屬度函數(shù)的定義等。一旦模糊集設(shè)計(jì)完成，則對(duì)于任意的物理輸入x，如何將其映射到模糊系統(tǒng)中去呢？映射的過(guò)程實(shí)際上是將當(dāng)前的物理輸入根據(jù)模糊子集的分布情況確定出此時(shí)此刻輸入值對(duì)這些模糊子集的隸屬度，因此，為了保證在所有論域內(nèi)的輸入量都能與某一模糊子集相對(duì)應(yīng)，模糊子集（限定碼）的數(shù)目和范圍必須遍及整個(gè)論域。除以上三種隸屬度函數(shù)之外，其它類型的隸屬度函數(shù)曲線只要符合一定的條件也是可以的。對(duì)于圖b只有在點(diǎn)處的隸屬度為1，其它輸入對(duì)應(yīng)的隸屬度都為0。圖給出了三種化函數(shù)。 模糊化過(guò)程模糊化過(guò)程主要完成：測(cè)量輸入變量的值，并將數(shù)字表示形式的輸入量轉(zhuǎn)化為通用語(yǔ)言表示的某一限定碼的序數(shù)。(3)把推理結(jié)果的模糊輸出量轉(zhuǎn)化為實(shí)際系統(tǒng)能夠接受的精確數(shù)字量或模擬量（精確化借口）。由于模糊控制器是采用數(shù)字計(jì)算機(jī)來(lái)實(shí)現(xiàn)的，所以，它應(yīng)該具備下列三個(gè)中重要功能：(1)把系統(tǒng)的偏差從數(shù)字量轉(zhuǎn)化為模糊量（模糊化過(guò)程、數(shù)據(jù)庫(kù)兩塊完成）。從圖中可以看出，模糊控制系統(tǒng)的主要部件是模糊化過(guò)程、知識(shí)庫(kù)、推理決策和精確化計(jì)算[16]。模糊邏輯從含義上比其他傳統(tǒng)邏輯更接近人類的思想和語(yǔ)言，它能夠?qū)φ鎸?shí)世界的近似的、不確切的特征進(jìn)行刻劃。無(wú)疑，模糊邏輯控制系統(tǒng)是一種典型的智能控制系統(tǒng)，在控制原理上它應(yīng)用模糊集合論、模糊語(yǔ)言變量和模糊邏輯推理的知識(shí)，模擬人的思維方法，對(duì)復(fù)雜過(guò)程進(jìn)行控制。模糊控制系統(tǒng)是一種自動(dòng)控制系統(tǒng)，它是以模糊數(shù)學(xué)、模糊語(yǔ)言形式的知識(shí)表示和模糊邏輯推理為理論基礎(chǔ)，采用計(jì)算機(jī)控制技術(shù)構(gòu)成的一種具有閉環(huán)結(jié)構(gòu)的數(shù)字控制系統(tǒng)。一般說(shuō)來(lái)，模糊系統(tǒng)也是復(fù)雜過(guò)程的一種近似表示方式。而模糊系統(tǒng)是由那些現(xiàn)象引起的不確定性系統(tǒng)。為了說(shuō)明這個(gè)問(wèn)題，訓(xùn)練時(shí)將訓(xùn)練于測(cè)試交替進(jìn)行，每訓(xùn)練一次記錄一次訓(xùn)練均方誤差，然后保持網(wǎng)絡(luò)權(quán)值不變，用測(cè)試數(shù)據(jù)正向運(yùn)行網(wǎng)絡(luò)，記錄測(cè)試均方誤差。網(wǎng)絡(luò)性能的好壞主要看其是否具有很好的泛化能力，而對(duì)泛化能力的測(cè)試不能用訓(xùn)練集的數(shù)據(jù)進(jìn)行，而用訓(xùn)練集以外的測(cè)試數(shù)據(jù)來(lái)進(jìn)行檢測(cè)。訓(xùn)練時(shí)對(duì)所有樣本正向運(yùn)行一輪并反向修改權(quán)值一次稱為一次訓(xùn)練。下面介紹幾個(gè)公式…………………………………………………（） ………………………………………… （）以上個(gè)式中為隱層節(jié)點(diǎn)數(shù)，為輸入層節(jié)點(diǎn)數(shù)，為輸出節(jié)點(diǎn)數(shù)，為1~10的常數(shù)。此外隱節(jié)點(diǎn)數(shù)太多還會(huì)增加訓(xùn)練時(shí)間。（2）隱節(jié)點(diǎn)數(shù)的設(shè)計(jì)隱節(jié)點(diǎn)的作用是從樣本中提取并存儲(chǔ)其內(nèi)在規(guī)律，每個(gè)隱節(jié)點(diǎn)有若干個(gè)權(quán)值都是增強(qiáng)網(wǎng)絡(luò)映射能力的一個(gè)參數(shù)。 多層前饋網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)（1）隱層數(shù)的設(shè)計(jì)理論分析證明，具有單隱層的前饋網(wǎng)絡(luò)可以映射所有連續(xù)函數(shù)，只有當(dāng)學(xué)習(xí)不連續(xù)函數(shù)時(shí)，才需要兩個(gè)隱層，所以多層前饋網(wǎng)絡(luò)最多只需兩個(gè)隱層。從凈輸入的表達(dá)式可以看出，為了使個(gè)節(jié)點(diǎn)初始凈輸入在零點(diǎn)附近，有兩種辦法可采用。神經(jīng)元的轉(zhuǎn)移函數(shù)都是關(guān)于零點(diǎn)對(duì)稱的，如果沒(méi)個(gè)節(jié)點(diǎn)的凈輸入均在零點(diǎn)附近，則其輸出均處在轉(zhuǎn)移函數(shù)的中點(diǎn)。當(dāng)各類樣本輪流集中輸入時(shí)，網(wǎng)絡(luò)的訓(xùn)練會(huì)出現(xiàn)振蕩使訓(xùn)練時(shí)間延長(zhǎng)。樣本的組織要注意將不同類別的樣本交叉輸入，或從訓(xùn)練集中隨機(jī)選擇輸入樣本。即使是同一類樣本也要照顧樣本的多樣性和類別的均勻性。②樣本的選擇與組織 網(wǎng)絡(luò)訓(xùn)練中提取的規(guī)律蘊(yùn)涵在樣本中，因此樣本一定要有代表性。（7） 訓(xùn)練集的設(shè)計(jì)①訓(xùn)練樣本數(shù)的確定 一般說(shuō)來(lái)訓(xùn)練樣本數(shù)越多，訓(xùn)練結(jié)果越能正確反映其類在規(guī)律，但樣本的收集整理往往受到客觀條件的限制。當(dāng)樣本分布不理想時(shí)，最常用的變換是對(duì)書變換，其他常用的還有平方根，立方根等。②分布變換 尺度變換是一種線形變換，當(dāng)樣本的分布不合理時(shí)，線形變換只能統(tǒng)一樣本數(shù)據(jù)的變化范圍，而不能改變其分布規(guī)律。進(jìn)行尺度變換的主要原因有：網(wǎng)絡(luò)的各個(gè)輸入數(shù)據(jù)常具有不同的物理意義和不同的量綱；BP網(wǎng)的神經(jīng)元均采用Sigmoid函數(shù)，變換后可防止因凈輸入的絕對(duì)值過(guò)大而使神經(jīng)元輸出飽和，繼而使權(quán)值調(diào)整進(jìn)入誤差曲面的平坦區(qū)。對(duì)于數(shù)值類的輸出量，可直接用數(shù)據(jù)來(lái)表示，但由于網(wǎng)絡(luò)實(shí)際輸出只能是0~1或1~1之間的數(shù)，所以需要將期望輸出進(jìn)行尺度變換處理，有關(guān)的方法在樣本的預(yù)處理中介紹。 （5）輸出向量的表示所謂輸出量實(shí)際上是指為網(wǎng)絡(luò)訓(xùn)練提供期望輸出，一個(gè)網(wǎng)絡(luò)可以有多個(gè)輸出變量，其表示方法通常比輸入量容易得多，而且對(duì)網(wǎng)絡(luò)的精度和訓(xùn)練時(shí)間影響不大。因?yàn)閳D象的像素點(diǎn)常數(shù)以萬(wàn)計(jì)，不適合作為網(wǎng)絡(luò)的輸入，而且難以從中提取有價(jià)值的輸入輸出規(guī)律。一般系統(tǒng)已有大量輸入輸出數(shù)據(jù)對(duì)，建模的目的是提取其中隱含的映射規(guī)則，這類應(yīng)用比較簡(jiǎn)單，一般有幾個(gè)輸入量就設(shè)幾個(gè)分量，1個(gè)輸入分量對(duì)應(yīng)1個(gè)輸入層節(jié)點(diǎn)。個(gè)輸入分量的下標(biāo)表示輸入值在波形中的位置，因此分量的編號(hào)是嚴(yán)格有序的。BP網(wǎng)絡(luò)的輸入層不能直接接受字符輸入，必須先對(duì)其進(jìn)行編碼，變成網(wǎng)絡(luò)可以接受的形式。提取的方法與解決的問(wèn)題密切相關(guān)，下面僅討論幾種典型的情況。如果對(duì)某個(gè)變量是否適合作網(wǎng)絡(luò)輸入沒(méi)有把握，可分別訓(xùn)練含有和不含有該輸入的兩個(gè)網(wǎng)絡(luò)，對(duì)其效果進(jìn)行對(duì)比[14]。一般來(lái)講，輸出量代表系統(tǒng)要實(shí)現(xiàn)的功能目標(biāo)，其選擇確定相對(duì)容易一些。（3）輸入輸出的選擇一個(gè)待建模系統(tǒng)的輸入輸出就是神經(jīng)網(wǎng)絡(luò)的輸入輸出變量。（2）訓(xùn)練樣本集的準(zhǔn)備訓(xùn)練數(shù)據(jù)的準(zhǔn)備工作是網(wǎng)絡(luò)設(shè)計(jì)和訓(xùn)練的基礎(chǔ)，數(shù)據(jù)選擇的科學(xué)性以及數(shù)據(jù)表示的合理性對(duì)于網(wǎng)絡(luò)設(shè)計(jì)具有極為重要的影響。對(duì)于確定的樣本數(shù)，網(wǎng)絡(luò)參數(shù)太少則不足以表達(dá)樣本中蘊(yùn)涵的全部規(guī)律，而網(wǎng)絡(luò)參數(shù)太多則由于樣本信息太少而得不到充分訓(xùn)練。如用網(wǎng)絡(luò)的權(quán)值和閥值總數(shù) 表征網(wǎng)絡(luò)信息容量與訓(xùn)練誤差之間應(yīng)滿足如下匹配關(guān)系 ………………………………………………………………（）上式表明網(wǎng)絡(luò)的信息容量與訓(xùn)練樣本之間存在著合理匹配關(guān)系。應(yīng)用結(jié)果表明該方法對(duì)于提高BP算法的收斂速度十分有效。 可以看出，當(dāng)時(shí)， 坐標(biāo)壓縮了倍，神經(jīng)元的轉(zhuǎn)移函數(shù)曲線的敏感區(qū)段變長(zhǎng)，從而可使絕對(duì)值較大的退出飽和值。如果在調(diào)整進(jìn)入平坦區(qū)后，設(shè)法壓縮神經(jīng)元的凈輸入，是其輸出退出轉(zhuǎn)移函數(shù)的飽和區(qū)，就可以改變誤差函數(shù)的形狀，從而使調(diào)整脫離平坦區(qū)。（4）引入陡度因子前面的分析指出，誤差曲面上存在著平坦區(qū)域。從誤差曲面可以看出，在平坦區(qū)域內(nèi)太小會(huì)使訓(xùn)練次數(shù)增加，因而希望增大值；而在誤差變化劇烈的區(qū)域，太大會(huì)因調(diào)整量過(guò)大而跨過(guò)較窄的“坑凹”處，使訓(xùn)練出現(xiàn)振蕩，反而使迭代此時(shí)增加。目前，BP算法中都增加了動(dòng)量項(xiàng)，以至于有動(dòng)量項(xiàng)BP算法成為一種新的標(biāo)準(zhǔn)算法[13]。動(dòng)量項(xiàng)反映了以前積累的調(diào)整經(jīng)驗(yàn)，對(duì)于時(shí)刻的調(diào)整阻尼作用。（1）增加動(dòng)量項(xiàng)一些學(xué)者于1986年提出，標(biāo)準(zhǔn)BP算法在調(diào)整權(quán)值時(shí)，只按時(shí)刻誤差的梯度降方向調(diào)整，而沒(méi)有考慮時(shí)刻以前的梯度方向，從而使訓(xùn)練過(guò)程發(fā)生振蕩，收斂緩慢。 標(biāo)準(zhǔn)BP算法的改進(jìn)將BP算法用于具有非線形轉(zhuǎn)移函數(shù)的三層前饋網(wǎng)，可以以任意精度逼近任何非線形函數(shù)，這一非凡優(yōu)勢(shì)使多層前饋網(wǎng)絡(luò)得到越來(lái)越廣泛的應(yīng)用。顯然，調(diào)整權(quán)值的原則是使誤差不斷地減小，因此應(yīng)使權(quán)值調(diào)整量與誤差的負(fù)梯度成正比，即 …………………………（） ………………………（）式中負(fù)號(hào)表示梯度下降，常數(shù)表示比例系數(shù)，在訓(xùn)練中反映了學(xué)習(xí)速率。 BP學(xué)習(xí)算法下面以三層前饋網(wǎng)為例介紹BP學(xué)習(xí)算法，然后將所得結(jié)論推廣到一般多層前饋網(wǎng)的情況。下面分析各層信號(hào)之間的數(shù)學(xué)關(guān)系。期望輸出向量為。一般習(xí)慣將單隱層前饋網(wǎng)絡(luò)稱為三層前饋網(wǎng)或三層感知器，所謂三層包括了輸入層、隱層和輸出層。 基于BP算法的多層前饋網(wǎng)絡(luò)模型利用BP算法的多層前饋網(wǎng)絡(luò)是至今為止應(yīng)用最為廣泛的神經(jīng)網(wǎng)絡(luò)。權(quán)值不斷調(diào)整的過(guò)程，也就是網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練過(guò)程。誤差反傳是將輸出誤差某種形式，通過(guò)隱層向輸入層逐層反傳，并將誤差分?jǐn)偨o各層的所有單元，從而獲得各層單元的誤差信號(hào)沒(méi)，此誤差信號(hào)即作為修正各單元權(quán)值的依據(jù)[12]。正向傳播時(shí)，輸入樣本從輸入層傳入，經(jīng)各層傳入，經(jīng)各隱層逐層處理后，傳向輸出層。線性神經(jīng)網(wǎng)絡(luò)在函數(shù)擬合、信號(hào)過(guò)濾、預(yù)測(cè)和控制方面都有著廣泛的應(yīng)用。線性神經(jīng)網(wǎng)絡(luò)可以采用WidrowHoff學(xué)習(xí)規(guī)則來(lái)調(diào)節(jié)網(wǎng)絡(luò)的權(quán)值和閥值，其收斂速度和精度都有較大的改進(jìn)。 線性神經(jīng)網(wǎng)絡(luò)線性神經(jīng)網(wǎng)絡(luò)是最簡(jiǎn)單的一種神經(jīng)網(wǎng)絡(luò)，它由一個(gè)或多個(gè)線性神經(jīng)元構(gòu)成。 修正權(quán)值… _+d誤差 感知器感知器只有一層神經(jīng)元，這是由感知器學(xué)習(xí)規(guī)則所決定的，因?yàn)楦兄鲗W(xué)習(xí)規(guī)則只能訓(xùn)練單層神經(jīng)網(wǎng)絡(luò)。感知器的學(xué)習(xí)規(guī)則如下： ()其中為學(xué)習(xí)率（01），為期望輸出（又稱教師信號(hào)），是實(shí)際輸出。與MP模型不同之處在于其聯(lián)結(jié)權(quán)值可變，因此它具有學(xué)習(xí)功能。隱層的層數(shù)可以是一層或多層，前向網(wǎng)絡(luò)在神經(jīng)網(wǎng)絡(luò)中應(yīng)用十分廣泛，感知器、線性網(wǎng)絡(luò)、BP網(wǎng)絡(luò)都屬于這種類型。 前向神經(jīng)網(wǎng)絡(luò)前向神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元是分層排列的，每個(gè)神經(jīng)元只與前一層神經(jīng)元相連，最上一層為輸出層，最下一層為輸入層。如果環(huán)境是非平穩(wěn)的（統(tǒng)計(jì)特征隨時(shí)間變化），通常的監(jiān)督學(xué)習(xí)沒(méi)有能力跟蹤這種變化，為解決此問(wèn)題，需要網(wǎng)絡(luò)有一定的自適應(yīng)能力，此時(shí)對(duì)每一不同輸入都作為一個(gè)新的例子對(duì)待。在競(jìng)爭(zhēng)中，與輸入單元間聯(lián)結(jié)權(quán)值變化最大的為優(yōu)勝者，優(yōu)勝者的聯(lián)結(jié)權(quán)值按式（）改變，而失敗的單元，其為零。在不同性的聯(lián)結(jié)機(jī)制中引入競(jìng)爭(zhēng)。調(diào)整的原則是：當(dāng)時(shí)增加權(quán)值，否則減小權(quán)值。不同狀態(tài)時(shí)實(shí)現(xiàn)聯(lián)結(jié)的概率來(lái)調(diào)整其間的權(quán)值：。從上述簡(jiǎn)化過(guò)程可知，在選用簡(jiǎn)化的G函數(shù)時(shí)，我們實(shí)際上令，也就是用了線性可分函數(shù)。根據(jù)這個(gè)規(guī)則可以設(shè)計(jì)一個(gè)算法，即通過(guò)反復(fù)迭代運(yùn)算，直至求出最佳的值，使達(dá)到最小。在式（）中，如將教師示教信號(hào)作為期望輸出，而把理解為實(shí)際輸出，則該式變?yōu)椋骸ǎ┦街袨槠谕敵雠c實(shí)際輸出的差值。函數(shù)H仍與神經(jīng)元的輸出成正比：……………………………………………………………（）式中為正數(shù)。上式表明，對(duì)一個(gè)神經(jīng)元而言，若該神經(jīng)元有較大的活性度或有較大的輸入（即）時(shí)，他們之間的聯(lián)結(jié)權(quán)值會(huì)變大。在人工神經(jīng)網(wǎng)絡(luò)中，每一次學(xué)習(xí)，意味著一次權(quán)值的調(diào)整，因此權(quán)值變化Δ可以用下列函數(shù)式表示：………………………………（）采用不同的函數(shù)G和H，就有不同的學(xué)習(xí)規(guī)則。對(duì)于神經(jīng)元而言，其輸入（即的輸出）可以理解為學(xué)習(xí)的內(nèi)容，連接權(quán)值可以理解為學(xué)習(xí)的基礎(chǔ)，是教師的指導(dǎo)內(nèi)容，的活性度可以理解為學(xué)習(xí)的“積極性”。，從神經(jīng)元到神經(jīng)元之間的聯(lián)結(jié)權(quán)值為；與被“激活”的程度、稱為活性度；與的輸出分別為與；教師的示教信號(hào)為。規(guī)則心理學(xué)家Hebb在1949年提出突觸聯(lián)系的神經(jīng)群體理論，他指出，突觸前后兩個(gè)同時(shí)興奮（即活性度高，或稱處于激發(fā)狀態(tài)）的神經(jīng)元之間的連接強(qiáng)度（權(quán)值）將增強(qiáng)，雖然他本人沒(méi)有給出數(shù)學(xué)表達(dá)式，但后來(lái)許多研究者用不同的數(shù)學(xué)公式來(lái)表示這一基本思想。環(huán)境 教師 學(xué)習(xí)系統(tǒng)∑應(yīng)有 響應(yīng) 實(shí)際 響應(yīng) 誤差信號(hào) 環(huán)境 學(xué)習(xí)系統(tǒng) 輸入 動(dòng)作 環(huán)境 學(xué)習(xí) 系統(tǒng) 評(píng)價(jià) 輸出 (a) (b) (c) 學(xué)習(xí)規(guī)則神經(jīng)網(wǎng)絡(luò)是通過(guò)一定的規(guī)則,根據(jù)神經(jīng)元的輸入狀態(tài)（或活性度）、當(dāng)時(shí)的連接權(quán)及有無(wú)教師示教的信息來(lái)調(diào)整權(quán)值的，這個(gè)規(guī)則就稱為學(xué)習(xí)規(guī)則。(2)有教師學(xué)習(xí)(b)所示，這種學(xué)習(xí)方式需要外界存在一個(gè)“教師”對(duì)給定輸入提供應(yīng)有的輸出（即訓(xùn)練樣本集），神經(jīng)網(wǎng)絡(luò)根據(jù)實(shí)際輸出和預(yù)定輸出的差值來(lái)調(diào)整系統(tǒng)參數(shù)。由人工神經(jīng)元相連結(jié)的神經(jīng)網(wǎng)絡(luò)系統(tǒng)的全部“知識(shí)”，主要體現(xiàn)為網(wǎng)絡(luò)中全部神經(jīng)元之間的連結(jié)權(quán)值，調(diào)整權(quán)值也就相當(dāng)于人類的學(xué)習(xí)過(guò)程。按對(duì)能量函數(shù)的所有極小點(diǎn)的利用情況，可將反饋網(wǎng)絡(luò)分成兩類：一類是能量函數(shù)的所有極小點(diǎn)都起作用，主要用做各種聯(lián)想存儲(chǔ)器；另一類只利用全局極小點(diǎn)，它主要用于求解優(yōu)化問(wèn)題[9]。反饋型網(wǎng)絡(luò)的所有節(jié)點(diǎn)都是計(jì)算單元，同時(shí)可接受輸入并向外界輸出，其中每個(gè)連接線都是雙向的。若按連接方式，也可以分為：前饋型網(wǎng)絡(luò)和反饋型網(wǎng)絡(luò)。前饋型網(wǎng)絡(luò)的第I層的輸入只能與第I1層輸出相連，輸入和輸出節(jié)點(diǎn)和外界相連，而其它中間層則為隱層。在連接中，有的神經(jīng)元之間是雙向的，有的是單向的，按實(shí)際情況決定。 層次網(wǎng)絡(luò)模型神經(jīng)元分成若干層順序連接，在輸入層上加入輸入（刺激）信息，通過(guò)中間各層，加權(quán)后傳遞到輸出層后輸出（(a)），其中有的在同一層中的各神經(jīng)元相互有連接（(b)），有的從輸出層到輸入層有反饋（(c)）。當(dāng)f(x)為階躍函數(shù)，且不考慮輸入、輸出之間的延時(shí)，只處理0和1二值信息時(shí)，這種閥值單元模型稱為MP模型，是美國(guó)心理學(xué)家McCulloch和數(shù)學(xué)家Pitts在1943年提出的。有時(shí)為了方便，將統(tǒng)一表達(dá)成，式中= 。 … W1j W2j nj 人工神經(jīng)元模型其輸入、輸出關(guān)系可描述為: ()式中是從其它神經(jīng)元傳過(guò)來(lái)的輸入信號(hào)；是閥值；是表示從神經(jīng)元i到神經(jīng)元j的連接權(quán)值；f(（3）一個(gè)非線性傳遞函數(shù)，起非線性映射作用并限制神經(jīng)元輸出幅度在一定的范圍內(nèi)（一般限制在[0，1]或[1，+1]之間）。人工神經(jīng)元是一個(gè)多輸入、單輸