【正文】 層之間的權(quán)值矩陣用 W 表示， Tni WWWWW ),( 21 ??? ,其中列向量 kW 為 輸出層第 k 個(gè)神經(jīng)元對(duì)應(yīng)的權(quán)向量。然而標(biāo)準(zhǔn)的 BP 算法在應(yīng)用中暴露出不少內(nèi)在的缺陷： (1)易形成局部極小而得不 到全局最優(yōu)； (2)訓(xùn)練次數(shù)多使得學(xué)習(xí)效率低，收斂速度慢； (3)隱節(jié)點(diǎn)的選取缺乏理論指導(dǎo)； (4)訓(xùn)練時(shí)學(xué)習(xí)新樣本有遺忘舊樣本的趨勢(shì)； 針對(duì)上述問(wèn)題，國(guó)內(nèi)外已提出不少有效的改進(jìn)算法，下面僅介紹其中 3 種較常用的方法。為了加速收斂過(guò)程，一個(gè)較好的思路是自適應(yīng)調(diào)節(jié)學(xué)習(xí)率，使其該大時(shí)增大，該小時(shí)減小。 基于 BP 算法的多層前饋網(wǎng)絡(luò)設(shè)計(jì)基礎(chǔ) （ 1） 網(wǎng)絡(luò)信息容量與訓(xùn)練樣本數(shù) 多層 前饋網(wǎng)絡(luò)的分類能力與網(wǎng)絡(luò)信息容量相關(guān)。這些變量可能是事先確定的，也可能不夠明確，需要進(jìn)行一番篩選。 ② 曲線輸入 多層前饋網(wǎng)在模式識(shí)別類應(yīng)用中常被用來(lái)識(shí)別各種設(shè)備輸出的波形曲線，對(duì)于這類輸入模式，常用的表示方法是提取波形在個(gè)區(qū)間分界點(diǎn)的值，以其作為網(wǎng)絡(luò)輸入向量的分量值。輸出量可以是數(shù)值變量，也可以是語(yǔ)言變 量。由于變換是非線形的，其結(jié)果不僅壓縮了數(shù)據(jù)變化的范圍，而且改善了其分布規(guī)律。因?yàn)橥悩颖咎袝?huì)使網(wǎng)絡(luò)訓(xùn)練時(shí)傾向于只建立與其匹配的映射關(guān)系，當(dāng)另一類樣本集中輸入時(shí)，權(quán)值的調(diào)整又轉(zhuǎn)向新的映射關(guān)系而將前面的訓(xùn)練結(jié)果 否定。在設(shè)計(jì)多層前饋網(wǎng)時(shí)，一般先考慮設(shè)一個(gè)隱層，當(dāng)一個(gè)隱層的隱節(jié)點(diǎn)數(shù)很多仍不能改善網(wǎng)絡(luò)性能時(shí)，才考慮再增加一個(gè)隱層。在訓(xùn)練過(guò)程中要反復(fù)使用樣本 集數(shù)據(jù)，但每一輪最好不按固定順序取數(shù)據(jù)。該過(guò)程 20 本身并不一定是模糊的。很顯然，模糊控制系統(tǒng)在結(jié)構(gòu)上與傳統(tǒng)的控制系統(tǒng)沒(méi)有太大的差別，主要不同之處在于控制器采用了模糊控制器。圖給出了輸入變量 0x 屬于語(yǔ)言 39。 圖 模糊化函數(shù) 知識(shí)庫(kù) 知識(shí)庫(kù)包括數(shù)據(jù)庫(kù)和規(guī)則庫(kù)，數(shù)據(jù)庫(kù)提供必要的定義，包含了語(yǔ)言控制規(guī)則論域的離散化、量化和正則化以及輸入空間的分區(qū)、隸屬度函數(shù)的定義等。B x x 39。 即 )(max vv? Vv? 如果在輸出論域 V 中，其最大隸屬度函數(shù)對(duì)應(yīng)的輸出值多于一個(gè)時(shí)，簡(jiǎn)單的方法是取所有具有最大隸屬度輸出的平均，即： ??? Jj jvJv101 ))((ma x vvvVvj ??? }{vJ? ， J 為具有相同最大隸屬度輸出的總數(shù)。 （ 3） 加權(quán)平均法 如權(quán)平均法的最終輸出值是有下式?jīng)Q定的 ?????miimiiikkvv110 ???????????????????? ????? （ ） 這里的系數(shù) ik 的選擇要根據(jù)實(shí)際情況而定。 (2)模糊化邏輯推理 根據(jù)事先已制定好的一組模糊條件語(yǔ)句構(gòu)成的模糊控制規(guī)則，運(yùn)用模糊數(shù)學(xué)理論對(duì)模糊控制規(guī)則進(jìn)行計(jì)算推理，實(shí)際上根據(jù)模糊控制規(guī)則對(duì)輸入的一系列條件進(jìn)行綜合評(píng)估，以得到一個(gè)定性的用語(yǔ)言表示的量，這個(gè)結(jié)果只告訴你某一個(gè)確定的輸出范圍，即所謂模糊輸出量 。最后經(jīng)精確化計(jì)算得到精確的控制值去控制被控對(duì)象。另外，人的動(dòng)作有正、反兩個(gè)方向，客觀事物有正負(fù)兩種狀態(tài)，因此可進(jìn)一步將模糊語(yǔ)言變量用若干個(gè)語(yǔ)言子值描述，如“負(fù)大”、“負(fù)中”、“負(fù)小”、“零”、“正小”、“正中”、“正大”等，對(duì)于“零”有時(shí)還可細(xì)分為“負(fù)零”、“正零”，然后根據(jù)需要，還可以對(duì)模糊語(yǔ)言變量的取值加上不同的程度副詞（語(yǔ)氣算子），如“很”、 “非?！?、“稍微”等，這樣就使得對(duì)事物的描述顯得更生動(dòng)、豐富多彩。 查表法的基本思想是通過(guò)離線計(jì)算取得一個(gè)模糊控制表，并將其控制表存放在計(jì)算機(jī)內(nèi)存中。 (2)確定各輸入、輸出變量的變化范圍、量化等級(jí)和量化因子 k1,k2,k3。 模糊控制器的改進(jìn) 考慮典型的單變量二維模糊控制器，根據(jù)模糊控制器代數(shù)模型的分析，有： )( eckekfkU eceu ?? ????????????????????? （ ） f 是非線性函數(shù)。分別以偏差 E 和偏差變化率 EC作為模糊控制輸入，其中 E和 EC 由實(shí)際偏差 e和偏差變化率 ec 經(jīng)量化得來(lái)，以適應(yīng)不同的動(dòng)態(tài)變化范圍要求，量化因子為 ek 、 eck ，即： E=ke采用調(diào)整原則③有兩個(gè)好處：一是便于提高偏差很小時(shí)控制器的調(diào)節(jié)能力，從而使輸出 y 在接近穩(wěn)態(tài)值時(shí)能迅速拉入穩(wěn)態(tài)，并有利于提高穩(wěn)態(tài)精度，且此時(shí)因?yàn)槠詈苄。?ek 、 uk 的增大一般也并不會(huì)引起超調(diào)；二是提高在輸入動(dòng)態(tài)變化范圍很小時(shí)系統(tǒng)的響應(yīng)速度。每相有 0、 40 度 等 3 種相位，三相一共用了 9 臺(tái)變壓器和 9 個(gè)單相逆變器。其由于 GTO 元件開(kāi)關(guān)頻率 的限制 ,單相逆變器在半個(gè)周波內(nèi)只導(dǎo)通截止一次 ,因此輸出電壓是一個(gè)方波。因此，為使控制系統(tǒng)有較快的響應(yīng)速度和小的超調(diào)，通常應(yīng)采取的參數(shù)校正原則是：在偏差大時(shí)采用大的 ek 、 uk 、 ik 和小的 eck 以加快速度，偏差小時(shí)采用小的 ek 、 uk 、 ik 和大的 eck 以抑制超調(diào)。 （ 1） 參數(shù)在線自校正模糊控制器的結(jié)構(gòu) 本文采用的參數(shù)在線 自校正模糊控制器結(jié)構(gòu)如圖 所示。它可以通過(guò)查詢將當(dāng)前時(shí)刻模糊控制器的輸入變量量化值（如誤差、誤差變化量化值所）對(duì)應(yīng)的控制輸出值作為模糊邏輯控制器的最終輸出，從而達(dá)到快速實(shí)時(shí)控制。下面，我們以溫度控制系統(tǒng)的模糊控制器設(shè)計(jì)為例來(lái)說(shuō)明查表法模糊控制 器的設(shè)計(jì)步驟 [17]。由于語(yǔ)言變量值的檔數(shù)不能過(guò)多也不能過(guò)少（一般 2~10 檔），基于同樣的道理，模糊論域中元素也不能太多或太少。為了克服實(shí)時(shí)計(jì)算量大的缺點(diǎn)，常規(guī)模糊控制在實(shí)際應(yīng)用中通常采用的是查表法。不失一般性，假設(shè)模糊控制器的輸入量為系統(tǒng)的誤差 24 e 和誤差變化 de、輸出變量為系統(tǒng)控制值 u。由此才能用檢測(cè)到的輸入量作為模糊控制規(guī)則中條件來(lái)運(yùn)用模糊控制鬼子進(jìn) 行推理。即 ??? v vvvdvdvvvv?? )(0 ??????????????? ????? （ ） 對(duì)于具有 m個(gè)輸出量化級(jí)數(shù)的離散論域情況 ?????mkkvmkkvkvvvv110)()(?????????????????? ???? （ ） 與最大隸屬度法相比較，重心法具有更平滑的輸出推理控制。逆模糊化可以采取很多不同的方法，用不同的方法，用不同的方法所得的結(jié)果也是不同的。 推理決策邏輯 )(x? x )(x? )(x? 39。一旦模糊集設(shè)計(jì)完成，則對(duì)于任意的物理輸入 x，如何將其映射到模糊系統(tǒng)中去呢？映射的過(guò)程實(shí)際上是將當(dāng)前的物理輸入根據(jù)模糊子集的分布情況確定出此時(shí)此刻輸入值對(duì)這些模糊子集的隸屬度，因此，為了保證在所有論域內(nèi)的輸入量都能與某一模糊子集相對(duì)應(yīng)，模糊子集（限定碼）的數(shù)目和范圍必須遍及整個(gè)論域。每一個(gè)限定碼表示論域的序數(shù)，每一個(gè)限定碼表示論域內(nèi)的一個(gè)模糊子集，并有其隸屬度函數(shù)來(lái)定義，對(duì)于某一個(gè)輸入值，它必定與某一個(gè)特定限定碼的隸屬度相對(duì)應(yīng)。實(shí)際上，模糊邏輯控制是利用模糊邏輯建立一種“自由模型”的非線形控制算法，特別是在那些采用傳統(tǒng)定量技術(shù)分析過(guò)于復(fù)雜的過(guò)程、結(jié)構(gòu)如圖所示。也就是說(shuō)一個(gè)模糊系統(tǒng)，它的狀態(tài)或輸入、輸出具有模糊性。 網(wǎng)絡(luò)訓(xùn)練與測(cè)試 網(wǎng)絡(luò)設(shè)計(jì)完成后，要應(yīng)用設(shè)計(jì)值進(jìn)行訓(xùn)練。一種辦法是，使初始權(quán)值足夠小；另一種辦法 是，使初始值為 +1 和 1 的權(quán)值數(shù)相等。按照這種“平均主義”原則選擇的樣本能使網(wǎng)絡(luò)在訓(xùn)練是見(jiàn)多識(shí)廣，而且可以避免網(wǎng)絡(luò)樣本數(shù)量的類別印象深，而對(duì)出現(xiàn)次數(shù)少的類別印象淺。適用于網(wǎng)絡(luò)訓(xùn)練的樣本分布應(yīng)比較均勻，相應(yīng)的樣本分布曲線應(yīng)比較平坦。在這類應(yīng)用中，一般根據(jù)識(shí)別的具體目的從圖象中提前一些有用的特征參數(shù)，再根據(jù)這些參數(shù)對(duì)輸入的貢獻(xiàn)進(jìn)行篩選，這種特征提取屬于圖象處理的范疇。 ① 文字符號(hào)輸入 在各類字符識(shí)別的應(yīng)用中，均以字符為輸入的原始對(duì)象。數(shù)據(jù)準(zhǔn)備工作包括原始數(shù)據(jù)的收集、數(shù)據(jù)分析、變量選擇和數(shù)據(jù)預(yù)處理等諸多步驟，下面分幾個(gè)方面介紹有關(guān)的知識(shí)。當(dāng)1?? 時(shí)轉(zhuǎn)移函數(shù)恢復(fù)原狀，對(duì)較小的 具有較高的靈敏度。 （ 2） 自適應(yīng)調(diào)節(jié)學(xué)習(xí)率 學(xué)習(xí)率 ? 也稱為步長(zhǎng)，在標(biāo)準(zhǔn) BP 算法中定為常數(shù)，然而在實(shí)際應(yīng)用中，很難確定一個(gè)從始至終都合適的最佳學(xué)習(xí)率?？梢钥闯?BP 算法屬于 ? 學(xué)習(xí)規(guī)則類，這類算法通常被稱為誤差的梯度下降算法。三層前饋網(wǎng)中，輸入向量 Tni xxxxX ),( 21 ??? 為 ,如加入 10 ??x ,可為隱層神經(jīng)元引入閥值；隱層輸出向量 Tmj yyyyY ),( 21 ??? , 如加入 10 ??y ,可為輸出層神經(jīng)元引入閥值；輸出 層 輸 出 向 量 為 Tlk ooooO ),( 21 ??? 。若輸出層的實(shí)際輸出與期望的輸出（ 教師信號(hào)）不符，則轉(zhuǎn)入誤差的反向傳播階段。 線性神 經(jīng)網(wǎng)絡(luò) 線性神經(jīng)網(wǎng)絡(luò)是最簡(jiǎn)單的一種神經(jīng)網(wǎng)絡(luò)，它由一個(gè)或多個(gè)線性神經(jīng)元構(gòu)成。隱層的層數(shù)可以是一層或多層，前向網(wǎng)絡(luò)在神經(jīng)網(wǎng)絡(luò)中應(yīng)用十分廣泛，感知器、線性網(wǎng)絡(luò)、 BP 網(wǎng)絡(luò)都屬于這種類型。在不同性的聯(lián)結(jié)機(jī)制中引入競(jìng)爭(zhēng)。根據(jù)這個(gè)規(guī)則可以設(shè)計(jì)一個(gè)算法，即通過(guò)反復(fù)迭代運(yùn)算， 直至求出最佳的 ijW 值，使 ? 達(dá)到最小。在人工神經(jīng)網(wǎng)絡(luò)中，每一次學(xué)習(xí)，意味著一次權(quán)值 ijW 的調(diào)整，因此權(quán)值變化 Δ ijW 可以用下列函數(shù)式表示： ]),([)](),([ ijijjij WtyHtttaGW ??? ???????? ???? （ ） 采用不同的函數(shù) G 和 H，就有不同的學(xué)習(xí)規(guī)則。 (3)強(qiáng)化學(xué)習(xí) 如圖 (c)所示，該方式介于上述兩種情況之間，外部環(huán)境對(duì)系統(tǒng)輸出結(jié)果只給出評(píng)價(jià)信息，學(xué)習(xí)系統(tǒng)通過(guò)強(qiáng)化那些受到好的評(píng)價(jià)的動(dòng)作來(lái)改善自身的性能。 前饋型網(wǎng)絡(luò)的第 I層的輸入只能與第 I1 層輸出相連，輸入和輸出節(jié)點(diǎn)和外界相連，而其它中間層則為隱層。 ? … 1X 2X Xn jW1W1j jW2W2j njWnj Uk )(?f jy j? 7 人工神經(jīng)網(wǎng)絡(luò) 結(jié)構(gòu) 人工神經(jīng)網(wǎng)絡(luò)是由大量的神經(jīng)元互連而成的網(wǎng)絡(luò)，按其拓?fù)浣Y(jié)構(gòu)來(lái)分，可以分成兩大類：層次網(wǎng)絡(luò)模型，互連網(wǎng)絡(luò)模型。 人工神經(jīng)元是一個(gè)多輸入、單輸出的非線性元件，它有三個(gè)基本要素： （ 1）一組連接權(quán)（對(duì)應(yīng)生物神經(jīng)元的突觸），連接強(qiáng)度由各連接權(quán)上的權(quán)值表示，權(quán)值為正表示激勵(lì)，為負(fù)表示抑制。 此外，神經(jīng)網(wǎng)絡(luò)在宇宙飛船，汽車行業(yè)，銀行業(yè)，國(guó)防領(lǐng)域，電子領(lǐng)域，娛樂(lè)領(lǐng)域，金融領(lǐng)域，制造業(yè)，醫(yī)藥領(lǐng)域 ，石油和天然氣，機(jī)器人，語(yǔ)音領(lǐng)域，有價(jià)證券，電信領(lǐng)域，交通領(lǐng)域也有廣泛的應(yīng)用。（ 3）智能檢測(cè) 所謂智能檢測(cè)一般包括干擾量的處理，傳感器輸入輸出特性的非線形補(bǔ)償、零點(diǎn)和量程的自動(dòng)校正以及自動(dòng)診斷等。神經(jīng)網(wǎng)絡(luò)不僅可以處理靜態(tài)模式如固定圖像、固定能譜等，還可以處理動(dòng)態(tài)模式如視 頻圖像、連續(xù)語(yǔ)音等。隨著人工神經(jīng)網(wǎng)絡(luò)在世界范圍內(nèi)的復(fù)蘇，國(guó)內(nèi)也逐漸掀起了研究熱潮。這次會(huì)議不久，由世界三位著名的神經(jīng)網(wǎng)絡(luò)學(xué)家，主持創(chuàng)辦了世界第一份神經(jīng)網(wǎng)絡(luò)雜志《 Neural Network》。 1969 年，美國(guó)波士頓大學(xué)自適應(yīng)系統(tǒng)中心的 教授和他的夫人 提出了著名的共振模型。 1958 年計(jì)算機(jī)科學(xué)家 Frank Rosenblatt 發(fā)表一篇有名的文章，提出了一種具有三層網(wǎng)絡(luò)特性的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，稱為“感知器”。第二個(gè)時(shí)期為低潮時(shí)期，開(kāi)始于1969 年，結(jié)束于 1982 年 Hopfield 發(fā)表“神經(jīng)網(wǎng)絡(luò)和物理系統(tǒng)”。 作者簽名： 日 期： 2 第 1 章 緒論 神經(jīng)網(wǎng)絡(luò)概述 人工神經(jīng)網(wǎng)絡(luò) (簡(jiǎn)稱神經(jīng)網(wǎng)絡(luò) ,NN)是由人工神經(jīng)元 (簡(jiǎn)稱神經(jīng)元 )互聯(lián)組成的網(wǎng)絡(luò) ,它是從微觀結(jié)構(gòu)和功能上對(duì)人腦的抽象、簡(jiǎn)化，是模擬人類智能的一條重要途徑，它反映人腦的若干基本特征，如并行處理、學(xué)習(xí)、聯(lián)想、模式分類、記憶等。 電 力電子電路模型具有很強(qiáng)的非線性 ， 通常對(duì)其進(jìn)行在線故障診斷比較困難 ， 文章利用神經(jīng)網(wǎng)絡(luò)非線性映射特性 ， 由神經(jīng)網(wǎng)絡(luò)來(lái)學(xué)習(xí)及存儲(chǔ)電力電子電路的故障特征信號(hào)和故障類型 （ 或原因 ） 之間的映射關(guān)系 ， 并將其用于在線診斷 ， 從而達(dá)到對(duì)電力電子電路進(jìn)行在線自動(dòng)故障診斷的目的 。 diagnose。神經(jīng)網(wǎng)絡(luò)是近年來(lái)的熱點(diǎn)研究領(lǐng)域。第四個(gè)時(shí)期為高潮時(shí)期，以 1987 年首屆國(guó)際人工神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)會(huì)議為開(kāi)端，迅速在全世界范圍內(nèi)掀起人工神經(jīng)網(wǎng)絡(luò)的研究應(yīng)用 熱。 Bernard Widrow 和 Marcian Hoff 不僅設(shè)計(jì)了在計(jì) 3 算機(jī)上仿真的人工神經(jīng)網(wǎng)絡(luò)，而且還用硬件電路實(shí)現(xiàn)了他們的設(shè)計(jì)。在他文章發(fā)表的 第三年，美國(guó)電話與電報(bào)公司的貝爾實(shí)驗(yàn)室利用 Hopfiled 理論首先在硅片上制成硬件的神經(jīng)計(jì)算機(jī)網(wǎng)絡(luò)，繼而仿真出耳蝸與視網(wǎng)膜等硬件網(wǎng)絡(luò)。 4 從以上現(xiàn)象可以看 到，神經(jīng)網(wǎng)絡(luò)的研究出現(xiàn)了新的高潮，進(jìn)入了發(fā)展的新時(shí)期。目前，人工神經(jīng)網(wǎng)絡(luò)已