【文章內(nèi)容簡(jiǎn)介】 ，“零”，“負(fù)小”，“負(fù)中”，“負(fù)大”}。2)知識(shí)庫(kù)知識(shí)庫(kù)包含應(yīng)用領(lǐng)域的知識(shí)和控制目標(biāo)，它由數(shù)據(jù)和模糊語(yǔ)言控制規(guī)則組成如: IF E is A, AND EC is B, THEN U is C,其中，E, EC是控制對(duì)象狀態(tài)變量的誤差量，U是對(duì)控制對(duì)象的控制變量。3)推理機(jī)推理是從一些模糊前提條件推導(dǎo)出某一結(jié)論。目前模糊推理方法有很多種，其中最常用的是Mamdani的maxmin的合成法，具體如下。當(dāng)把知識(shí)庫(kù)中的Ai、Bi、Ci的空間分作X、Y 、Z論域時(shí)，可以得到每條控制規(guī)則的關(guān)系： (41)Ri的隸屬度函數(shù)為 (42)全部控制規(guī)則所對(duì)應(yīng)的模糊關(guān)系，用取并的方法得到，即 (43) R的隸屬函數(shù)為 (44)當(dāng)輸入變量E, EC分別取模糊集A, B時(shí)，控制器的輸出(控制量)U可根據(jù)模糊推理合成得到： (45)U的隸屬函數(shù)為 (46) 4)解模糊解模糊的方法有重心法、最大隸屬度法、中位數(shù)方法等，其中較常用的是重心法，也即控制量可由輸出Ui的隸屬度函數(shù)加權(quán)平均得到，計(jì)算公式為 (47)模糊控制器一般是靠軟件編程實(shí)現(xiàn)的，實(shí)現(xiàn)模糊控制一般設(shè)計(jì)步驟如下： (1)確定模糊控制器的輸入變量和輸出變量(即控制量)。 (2)設(shè)計(jì)模糊控制器的控制規(guī)則。 (3)進(jìn)行模糊化和解模糊化。 (4)選擇模糊控制器的輸入變量及輸出變量的論域，并確定模糊控制器的參數(shù)(如量化因子、比例因子)。(5)編制模糊控制算法的應(yīng)用程序。第五章 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)理論 神經(jīng)網(wǎng)絡(luò)BP控制算法人工神經(jīng)網(wǎng)絡(luò)（ANN）是由大量簡(jiǎn)單單元以及這些單元的分層組織大規(guī)模并行聯(lián)結(jié)而成的一種網(wǎng)絡(luò)，它力圖像一般生物神經(jīng)系統(tǒng)一樣處理事物，實(shí)現(xiàn)人腦的某些功能。人工神經(jīng)網(wǎng)絡(luò)可以忽略過(guò)程或系統(tǒng)的具體物理參數(shù)，根據(jù)系統(tǒng)的運(yùn)行或?qū)嶒?yàn)數(shù)據(jù)，建立輸入和輸出狀態(tài)之間的非線性映射關(guān)系。半個(gè)多世紀(jì)以來(lái)，它在非線性系統(tǒng)、優(yōu)化組合、模式識(shí)別等領(lǐng)域得到了廣泛應(yīng)用。自從80年代以來(lái)，神經(jīng)網(wǎng)絡(luò)的研究出現(xiàn)了突破性的進(jìn)展。神經(jīng)網(wǎng)絡(luò)作為揭開(kāi)人腦生理機(jī)制的一個(gè)重要的手段越來(lái)越引起各行各業(yè)科學(xué)家的濃厚興趣。神經(jīng)網(wǎng)絡(luò)的發(fā)展簡(jiǎn)史如下：時(shí) 間 貢獻(xiàn)者 ANN 模 型1943 McCuiioch MP 模型1957 Rosenblatt 感知器（Percentron）1962 Widrow 自適應(yīng)線性元件（Adaline）1969 Minsky 《Perceptrons》1972 Fukushima 認(rèn)知機(jī)模型19741985 Rumelhart 等反傳模型，BP 算法1978 Grossberg 自適應(yīng)共振理論（ART）1980 Kohonen 自組織映射1982 Hopfield 反饋網(wǎng)絡(luò)1985 Hinton 等 玻爾茲曼機(jī)1986 HechtNielsen 對(duì)傳模型1988 ChuaYang 細(xì)胞網(wǎng)絡(luò)模型 神經(jīng)網(wǎng)絡(luò)特點(diǎn)(1)具有自適應(yīng)能力它主要是根據(jù)所提供的數(shù)據(jù)，通過(guò)學(xué)習(xí)和訓(xùn)練，找出輸入和輸出間的內(nèi)在聯(lián)系，從而求得問(wèn)題的解答，而不是依靠對(duì)問(wèn)題的先驗(yàn)知識(shí)和規(guī)則，因而它具有很好的適應(yīng)性。(2)具有泛化能力泛化即用較少的樣本進(jìn)行訓(xùn)練,使網(wǎng)絡(luò)能在給定的區(qū)域內(nèi)達(dá)到要求的精度；或者說(shuō)是用較少的樣本進(jìn)行訓(xùn)練,使網(wǎng)絡(luò)對(duì)未經(jīng)訓(xùn)練的數(shù)據(jù)也能給出合適的輸出。同樣它能夠處理那些有噪聲或不完全的數(shù)據(jù)，從而顯示了很好的容錯(cuò)能力。對(duì)于許多實(shí)際問(wèn)題來(lái)說(shuō)，泛化能力是非常有用的，因?yàn)楝F(xiàn)實(shí)世界所獲得的數(shù)據(jù)常常受到噪聲的污染或殘缺不全。(3)非線性映射能力現(xiàn)實(shí)的問(wèn)題是非常復(fù)雜的，各個(gè)因數(shù)之間互相影響，呈現(xiàn)出復(fù)雜的非線性關(guān)系。神經(jīng)元網(wǎng)絡(luò)為處理這些問(wèn)題提供了有用的工具。(4)高度并行處理神經(jīng)網(wǎng)絡(luò)處理是高度并行的，因此用硬件實(shí)現(xiàn)的神經(jīng)網(wǎng)絡(luò)的處理速度可遠(yuǎn)遠(yuǎn)高于通常計(jì)算機(jī)的處理速度。與常規(guī)的計(jì)算機(jī)程序相比較，神經(jīng)網(wǎng)絡(luò)主要基于所測(cè)量的數(shù)據(jù)對(duì)系統(tǒng)進(jìn)行建模、估計(jì)和逼近，它可以應(yīng)用于如分類、預(yù)測(cè)及模式識(shí)別等眾多方面。如函數(shù)映射是功能建模的一個(gè)典型例子。和傳統(tǒng)的計(jì)算機(jī)網(wǎng)絡(luò)相比，神經(jīng)網(wǎng)絡(luò)主要用于那些幾乎沒(méi)有規(guī)則，數(shù)據(jù)不完全或多約束優(yōu)化問(wèn)題。例如用神經(jīng)網(wǎng)絡(luò)來(lái)控制一個(gè)工業(yè)過(guò)程便是這樣一個(gè)例子。對(duì)于這種情況很難定義規(guī)則，歷史數(shù)據(jù)很多且充滿噪聲，準(zhǔn)確地計(jì)算是毫無(wú)必要的。某些情況下神經(jīng)網(wǎng)絡(luò)會(huì)存在嚴(yán)重的缺點(diǎn)。當(dāng)所給數(shù)據(jù)不充分或存在不可學(xué)習(xí)的映射關(guān)系時(shí)，神經(jīng)網(wǎng)絡(luò)可能找不到滿意的解。其次有時(shí)很難估計(jì)神經(jīng)網(wǎng)絡(luò)給出的結(jié)果。數(shù)據(jù)網(wǎng)絡(luò)中的連接權(quán)系數(shù)是千萬(wàn)次訓(xùn)練后的結(jié)果，對(duì)它們的意義很難給出明確的解釋。它們對(duì)于輸出結(jié)果的影響也是非常復(fù)雜的。神經(jīng)網(wǎng)絡(luò)的訓(xùn)練很慢，而且有時(shí)需要付出嚴(yán)重的代價(jià)。這一方面是由于需要收集、分析和處理大量的訓(xùn)練數(shù)據(jù)，同時(shí)還需要相當(dāng)?shù)慕?jīng)驗(yàn)來(lái)選擇合適的參數(shù)。 神經(jīng)網(wǎng)絡(luò)在實(shí)際應(yīng)用時(shí)執(zhí)行時(shí)間也是需要加以檢驗(yàn)的。執(zhí)行時(shí)間取決于連接權(quán)的個(gè)數(shù)，它大體和節(jié)點(diǎn)數(shù)的平方成正比。因此網(wǎng)絡(luò)節(jié)點(diǎn)的少許增加可能引起執(zhí)行時(shí)間的很大增長(zhǎng)。人工神經(jīng)網(wǎng)絡(luò)BP算法網(wǎng)絡(luò)模型由幾層組成，各個(gè)層次之間的神經(jīng)元相互連接，同一層內(nèi)的各個(gè)神經(jīng)元互不連接。 BP算法BP 算法特征可以描述如下：(1)工作信號(hào)正向傳播：輸入信號(hào)從輸入層經(jīng)隱含層，傳向輸出層，在輸出端產(chǎn)生輸出信號(hào)，這是工作信號(hào)的正向傳播。在信號(hào)的向前傳遞過(guò)程中網(wǎng)絡(luò)的權(quán)值是固定不變的，每一個(gè)神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果在輸出層不能得到期望的輸出，則轉(zhuǎn)向誤差信號(hào)的反向傳播。(2)誤差信號(hào)反向傳播：網(wǎng)絡(luò)的實(shí)際輸出與期望輸出之間的差值即為誤差信號(hào)，誤差信由輸出端開(kāi)始逐層向前傳播，這是誤差信號(hào)的反向傳播。在誤差信號(hào)反向傳播的過(guò)程中，網(wǎng)絡(luò)的權(quán)值由誤差反饋進(jìn)行調(diào)節(jié)。通過(guò)權(quán)值的不斷修正使網(wǎng)絡(luò)的實(shí)際輸出更接近期望輸出。以含有兩個(gè)隱含層的BP網(wǎng)絡(luò)為例，如下圖所示，具體介紹BP算法。BP 算法基本流程圖如圖(51)所示： BP算法流程圖 神經(jīng)網(wǎng)絡(luò)設(shè)輸入層有M個(gè)輸入信號(hào)，其中任一個(gè)輸入信號(hào)用m表示；第1隱層有I個(gè)神經(jīng)元，其中任一神經(jīng)元用i表示；第2隱層有J個(gè)神經(jīng)元，其中任一神經(jīng)元用j表示；輸出層有P個(gè)神經(jīng)元，其中任一神經(jīng)元用p表示。如上圖()所示。輸入為。輸出為加權(quán)矩陣依次為域值向量依次為 ； 神經(jīng)元的輸入用u表示，激勵(lì)輸出用v表示，u、v的上標(biāo)表示層，下標(biāo)表示層中的某個(gè)神經(jīng)元，如表示第一隱層的第個(gè)神經(jīng)元的輸入。設(shè)n為迭代次數(shù)，權(quán)值和實(shí)際輸出是n的函數(shù)。由工作信號(hào)的正向傳播過(guò)程可得：第一層輸入：； 第一層輸出為：； 第二層的輸出為：； 輸出層輸出為：； 對(duì)于一個(gè)給定的輸入X，期望輸出為。輸出層第p個(gè)神經(jīng)元的誤差信號(hào)為，定義神經(jīng)元的誤差能量為，則輸出層所有神經(jīng)元的的誤差能量總和為： (51)誤差信號(hào)從后向前傳遞，在反向傳播過(guò)程中，逐層修改連接權(quán)值，下面計(jì)算誤差信號(hào)的反向傳播過(guò)程：(1)第二隱層與輸出層之間的權(quán)值修正量。：成正比 因?yàn)? (52)又 則 (53)設(shè)局部梯度 (54)的修正量為 上式中，是學(xué)習(xí)步長(zhǎng)，可由式（54）求得，可由信號(hào)的正向傳播過(guò)程求得。則下一次迭代時(shí)第二隱含層上任一節(jié)點(diǎn)與輸出層上任一節(jié)點(diǎn)之間的權(quán)值為 (55)(2)第一隱層與第二隱層之間的權(quán)值修正量： (56)與式（）相類似，局部梯度為 (57)因?yàn)? (58)又 則 (59)由式（58）和式（59）得 (510)將式（54）代入上式得式中可由式（54）求得。為第二隱層與輸出層之間的任一節(jié)點(diǎn)之間的權(quán)值，已由式（55）求得。所以 (511)則下一次迭代時(shí)，第一隱層上任一節(jié)點(diǎn)與第二隱層任一節(jié)點(diǎn)之間的權(quán)值為： (512)(3)與第一隱層和第二隱層間的權(quán)值修正量推導(dǎo)方法相同，輸入層上任一節(jié)點(diǎn)與隱層上任一節(jié)點(diǎn)之間的權(quán)值修正量為 (513)其中 (514)式中可由式（59）求得。為第一隱含層與第二隱含層之間任一節(jié)點(diǎn)之間的權(quán)值，已經(jīng)由式（512）求得。則下一次迭代時(shí)，輸入層上任一節(jié)點(diǎn)與第一隱含層上任一節(jié)點(diǎn)之間的權(quán)值為 由上面的BP算法可知影響B(tài)P算法的因素：①權(quán)系數(shù)的初值：隨機(jī)選較小的值，盡量均勻覆蓋權(quán)值空間，避免出現(xiàn)初始權(quán)值相同的情況。②學(xué)習(xí)方式: 增量型學(xué)習(xí)方法效果好，累積型學(xué)習(xí)方法速度快。③激勵(lì)函數(shù)：非減可微函數(shù)?？赏ㄟ^(guò)調(diào)節(jié)Sigmoid函數(shù)的斜率或采用其它激勵(lì)單元來(lái)改善網(wǎng)絡(luò)的學(xué)習(xí)性能。④學(xué)習(xí)速率：學(xué)習(xí)速率小，訓(xùn)練速度慢；學(xué)習(xí)速率大，訓(xùn)練速度快，可能出現(xiàn)振蕩現(xiàn)象。 BP網(wǎng)絡(luò)的設(shè)計(jì)要設(shè)計(jì)一個(gè)神經(jīng)網(wǎng)絡(luò)必須綜合考慮各方面的因素，如網(wǎng)絡(luò)的層數(shù)，每層的神經(jīng)元的個(gè)數(shù)，層與層間的轉(zhuǎn)換函數(shù)，網(wǎng)絡(luò)的初始權(quán)值，網(wǎng)絡(luò)學(xué)習(xí)速率的選取等。只有這些參數(shù)選擇好了，才可以訓(xùn)練網(wǎng)絡(luò)。下面介紹各因素的選擇原則如下：(1)網(wǎng)絡(luò)的層數(shù)增加層數(shù)主要可以更進(jìn)一步地降低誤差，提高精度，但同時(shí)也使網(wǎng)絡(luò)復(fù)雜化，從而增加了網(wǎng)絡(luò)權(quán)值的訓(xùn)練時(shí)間。一般情況下，應(yīng)優(yōu)先考慮增加隱含層中的神經(jīng)元數(shù)。能不能僅用具有非線性激活函數(shù)的單層網(wǎng)絡(luò)來(lái)解決問(wèn)題呢？結(jié)論是：沒(méi)有必要或效果不好。(2)隱含層的神經(jīng)元數(shù)網(wǎng)絡(luò)訓(xùn)練精度的提高，可以通過(guò)采用一個(gè)隱含層，而增加其神經(jīng)元數(shù)的方法來(lái)獲得。這在結(jié)構(gòu)實(shí)現(xiàn)上，要比增加更多的隱含層要簡(jiǎn)單得多。在具體設(shè)計(jì)時(shí)，比較實(shí)際的做法是通過(guò)對(duì)不同神經(jīng)元數(shù)進(jìn)行訓(xùn)練對(duì)比，然后適當(dāng)?shù)丶由弦稽c(diǎn)余量。(3)初始權(quán)值的選取一般取初始權(quán)值在(1，1)之間的隨機(jī)數(shù)。(4)學(xué)習(xí)速率的選取學(xué)習(xí)速率決定每一次循環(huán)訓(xùn)練中所產(chǎn)生的權(quán)值變化量。大的學(xué)習(xí)速率可能導(dǎo)致系統(tǒng)的不穩(wěn)定。小的學(xué)習(xí)速率導(dǎo)致較長(zhǎng)的訓(xùn)練時(shí)間，可能收斂很慢，不過(guò)能保證網(wǎng)絡(luò)的誤差值不跳出誤差表面的低谷而最終趨于最小誤差值。所以在一般情況下，傾向于選取較小的學(xué)習(xí)速率以保證系統(tǒng)的穩(wěn)定性。(5)期望誤差的選取在設(shè)計(jì)網(wǎng)絡(luò)的訓(xùn)練過(guò)程中，期望誤差值也應(yīng)當(dāng)通過(guò)對(duì)比訓(xùn)練后確定一個(gè)合適的值。這個(gè)所謂的“合適”，是相對(duì)于所需要的隱含層的節(jié)點(diǎn)數(shù)來(lái)確定，因?yàn)檩^小的期望誤差值是要靠增加隱含層的節(jié)點(diǎn)，以及訓(xùn)練時(shí)間來(lái)獲得的。一般情況下，作為對(duì)比，可以同時(shí)對(duì)兩個(gè)不同期望誤差值的網(wǎng)絡(luò)進(jìn)行訓(xùn)練，最后通過(guò)綜合因素的考慮來(lái)確定采用其中一個(gè)網(wǎng)絡(luò)。 訓(xùn)練神經(jīng)網(wǎng)絡(luò)的具體的步驟(1)產(chǎn)生數(shù)據(jù)樣本集為了成功地開(kāi)發(fā)出神經(jīng)網(wǎng)絡(luò)，產(chǎn)生數(shù)據(jù)樣本集是第一步，也是十分重要和關(guān)鍵的一步。這里包括原始數(shù)據(jù)的收集、數(shù)據(jù)分析、變量選擇和數(shù)據(jù)的預(yù)處理，只有經(jīng)過(guò)這些步驟后，才能對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行有效的學(xué)習(xí)與訓(xùn)練。首先要在大量的原始測(cè)量數(shù)據(jù)中確定出最主要的輸入模式。例如，兩個(gè)輸入具有很大的相關(guān)性，則只要取其中一個(gè)作為輸入，這就需要對(duì)原始數(shù)據(jù)進(jìn)行充分統(tǒng)計(jì)分析，檢驗(yàn)他們之間的相關(guān)性。又如工業(yè)過(guò)程中可能記錄了成百上千個(gè)壓力、溫度和流量數(shù)據(jù)。這時(shí)就需要對(duì)他們進(jìn)行相關(guān)性分析，找出其中一二個(gè)最主要的量作為輸入。在確定最主要的輸入量后，需要進(jìn)行尺度變換和預(yù)處理。尺度變換常常將他們變換到[1 1]或[0 1]的范圍。在進(jìn)行尺度變換前必須先檢驗(yàn)是否存在數(shù)據(jù)異常點(diǎn)（或稱野點(diǎn)），這些點(diǎn)必須剔除。通過(guò)對(duì)數(shù)據(jù)的預(yù)處理分析還可以檢驗(yàn)其是否具有周期性、固定變化趨勢(shì)或其它關(guān)系。對(duì)數(shù)據(jù)進(jìn)行預(yù)處理就是要使得經(jīng)變化的數(shù)據(jù)對(duì)于神經(jīng)網(wǎng)絡(luò)更容易學(xué)習(xí)和訓(xùn)練。例如在過(guò)程控制中，采用溫度的增量導(dǎo)數(shù)比用溫度值本身更能說(shuō)明問(wèn)題，也更容易找出數(shù)據(jù)間的實(shí)質(zhì)聯(lián)系。在進(jìn)行數(shù)據(jù)預(yù)處理時(shí)主要用到信號(hào)處理或特征抽取技術(shù)。如計(jì)算數(shù)據(jù)的和