【正文】 神經(jīng)網(wǎng)絡(luò)控制 電信學(xué)院 周強(qiáng) 第一章 引 言 人工神經(jīng)網(wǎng)絡(luò)的 簡(jiǎn)介 人工神經(jīng)網(wǎng)絡(luò)的 發(fā)展歷史 人工神經(jīng)元的 模型 人工神經(jīng)網(wǎng)絡(luò)的 結(jié)構(gòu)與學(xué)習(xí)規(guī)則 人工神經(jīng)網(wǎng)絡(luò)的 應(yīng)用 人工神經(jīng)網(wǎng)絡(luò)的簡(jiǎn)介 人工神經(jīng)網(wǎng)絡(luò)（ Artificial Neural Network， ANN） 即，神經(jīng)網(wǎng)絡(luò)（ Neural Network， NN） 是由大量處理單元（神經(jīng)元 Neurons）互連而成 的網(wǎng)絡(luò)，是對(duì) 人腦的抽象、簡(jiǎn)化和模擬（即 智 能化 ），模仿人腦信息處理的功能。 涉及神經(jīng) 科學(xué) 、 數(shù)學(xué) 、 統(tǒng)計(jì)學(xué) 、 計(jì)算機(jī)科學(xué) 的一門學(xué)科。 神經(jīng)網(wǎng)絡(luò)屬于控制科學(xué)的范疇。 經(jīng)典控制 —— 現(xiàn)代控制理論 —— 大系統(tǒng) 和 智能控制 1992年 世界數(shù)學(xué)家大會(huì) 神經(jīng)網(wǎng)絡(luò) 模糊控制 仿人控制 遺傳算法 蟻群算法 內(nèi)分泌算法 免疫算法 智能控制 神經(jīng)網(wǎng)絡(luò)： 最早、理論性最強(qiáng)、最深?yuàn)W； 目前的研究已經(jīng)飽和； 笨辦法； 模糊控制： 理論較簡(jiǎn)單，模糊數(shù)學(xué) 抽象出模糊化 ； 應(yīng)用很成功。由于其簡(jiǎn)化作用，特別適合在處 理能力有限的處理器中使用，家用電氣、導(dǎo)彈； 仿人控制： 對(duì)成功經(jīng)驗(yàn)的數(shù)學(xué)化和固化，范圍有限 遺傳算法： 對(duì)生物進(jìn)化學(xué)的模仿，個(gè)體隨機(jī)性和統(tǒng)計(jì)規(guī)律性 的結(jié)合，理論上很巧妙，但應(yīng)用范圍也有限，目 前僅僅適合于優(yōu)化。 特點(diǎn)： *并行運(yùn)算 （每個(gè)神經(jīng)元都在獨(dú)立的運(yùn)算） *自學(xué)習(xí)能力很強(qiáng) *非線性處理能力 （這源于神經(jīng)網(wǎng)絡(luò)的每一塊磚都是非線性的，如 S型函數(shù)） 因此，神經(jīng)網(wǎng)絡(luò)具有能力： 獲取信息 儲(chǔ)存信息。 人工神經(jīng)網(wǎng)絡(luò)發(fā)展歷史 20世紀(jì) 40年代開始，經(jīng)歷興起、蕭條、興盛 3個(gè)階段。 興起階段（ 19431970） 1943 神經(jīng)病學(xué)和神經(jīng)解剖學(xué)家 McCulloch 數(shù)學(xué)家 Pitts 在總結(jié)神經(jīng)元一些生理特性的基礎(chǔ)上，提出 神經(jīng)元的數(shù)學(xué)模型， MP模型。 證明了：數(shù)量眾多的神經(jīng)元網(wǎng)絡(luò)可以能計(jì)算 任何可計(jì)算的函數(shù)。 NN的興起，同時(shí)也是人工智能（ Artificial Intelligence， AI）這一學(xué)科。 1949年，生物學(xué)家 提出改變 NN連接強(qiáng)度的 Hebb規(guī)則。 1957年， Neumann提出感知器（ Perceptron）的概念 ，并于次年將神經(jīng)網(wǎng)絡(luò)首次應(yīng)用于工程實(shí)踐。感知器 可應(yīng)用于模式識(shí)別和聯(lián)想記憶等方面。 1960年， Widrow和 Hoff引入最小均方差（ Least MeanSquare， LMS）算法，用于闡述感知器與 自適應(yīng)線性元件之間選練差異的標(biāo)準(zhǔn)。 （ 19701980） 導(dǎo)致十年低谷的原因包括： 技術(shù)上的：計(jì) 算機(jī)技術(shù)支持不夠； 信心上的：資金悲觀情緒 這個(gè)階段的標(biāo)志， 1969年麻省理工學(xué)院著名的人工 智能專家 《 感知器 》 指出單層感知器無法解決非線性問題，線性問題需要由多 層感知器來解決，而感知器模型擴(kuò)展到多層是否有意義， 尚不能從理論上得到證明。 當(dāng)時(shí)計(jì)算機(jī)水平低，人們都去研究人工智能和專家系 統(tǒng)了。 這一時(shí)期的研究成果也不夠顯著、值得一提的是 1977 年 Anderson等提出的黑箱腦狀態(tài) (BrainstateinaBox) 模型。不必關(guān)心它的參數(shù)，只關(guān)心輸入 輸出。 3 興盛階段（ 1980 1982年美國(guó)生物物理學(xué)家 Hophield提出反饋神經(jīng)網(wǎng)絡(luò) (Hophield網(wǎng)絡(luò) ) ，標(biāo)志著興盛階段的到來。 1998年， Broom和 Lowe提出了徑向基神經(jīng)網(wǎng)絡(luò)（ RBF）。 徑向基神經(jīng)網(wǎng)絡(luò)具有對(duì)訓(xùn)練樣本具有預(yù)處理的能力。是對(duì) BP網(wǎng)絡(luò)的一大進(jìn)步。 90年代初，支持向量基（ＳＶＭ）。 徑向基神經(jīng)網(wǎng)絡(luò)和支持向量基都會(huì)在本課程中介紹。 神經(jīng)網(wǎng)絡(luò)的應(yīng)用及研究方向 理論研究分為： ? 利用神經(jīng)生理與認(rèn)知科學(xué)研究大腦思維即智能機(jī)理；（作為大腦的仿真研究手段） ? 利用神經(jīng)科學(xué)基礎(chǔ)理論的研究成果，用數(shù)理方法探索智能水平更高的人工神經(jīng)網(wǎng)絡(luò)模型，深入研究網(wǎng)絡(luò)的算法與性能（穩(wěn)定性、收斂性、容錯(cuò)性、魯棒性等），開發(fā)新的網(wǎng)絡(luò)數(shù)理理論（神經(jīng)網(wǎng)絡(luò)動(dòng)力學(xué)、非線性神經(jīng)場(chǎng)）。 應(yīng)用研究包括兩類： ? 神經(jīng)網(wǎng)絡(luò)的軟件模擬和硬件實(shí)現(xiàn)的研究； ? 神經(jīng)網(wǎng)絡(luò)在各個(gè)領(lǐng)域中的應(yīng)用研究，這些領(lǐng)域包括：模式識(shí)別、信號(hào)處理、知識(shí)工程、專家系統(tǒng)、優(yōu)化組合、智能控制等。 人工神經(jīng)元的模型 生物神經(jīng)元模型 結(jié)構(gòu)特點(diǎn)： 軸突（神經(jīng)纖維）很長(zhǎng)（輸出沖動(dòng)）、 樹突接受沖動(dòng)，突出連接２者（體現(xiàn)出連接權(quán)值），細(xì) 胞膜內(nèi)外有電位差（內(nèi)高外低） 40100mV。 工作： 突出轉(zhuǎn)換（放大或縮?。┥窠?jīng)沖動(dòng)，由樹突輸入到細(xì) 胞膜，如果大于細(xì)胞膜電壓，則使得細(xì)胞興奮，產(chǎn)生 神經(jīng)沖動(dòng)，由軸突輸出。 人工神經(jīng)元網(wǎng)絡(luò)模型 輸入信號(hào)是 xi， 總輸入為 ui bi是閾值 ,除了閾值輸入為 vi f()是激勵(lì)函數(shù)， yi是輸出 ???N1jjiji xwuiii buv ???????????? ??N1jijiji bxwfy常用的激勵(lì)函數(shù)有３種 （１）閾值函數(shù)（符號(hào)函數(shù)） 可用于分類 ??? ??0v00v1vf?)(??? ??0v10v1vSgn?)(（２）符號(hào)函數(shù) ???????????1v11v1v1v1vf )(（３） Sigmoid函數(shù) （４）組合函數(shù) *激勵(lì)函數(shù)的選擇：相似性與緊支撐原則。 ave11vf???)( 人工神經(jīng)元網(wǎng)絡(luò)的結(jié)構(gòu)及學(xué)習(xí)規(guī)則 按網(wǎng)絡(luò)結(jié)構(gòu)分類：前向神經(jīng)網(wǎng)絡(luò) 反饋神經(jīng)網(wǎng)絡(luò) 按學(xué)習(xí)方式分類：有導(dǎo)師神經(jīng)網(wǎng)絡(luò) 無導(dǎo)師神經(jīng)網(wǎng)絡(luò) * 一定 的結(jié)構(gòu)決定了一定的學(xué)習(xí)方式。 定義：所謂單層前向網(wǎng)絡(luò)是指網(wǎng)絡(luò)中計(jì)算節(jié)點(diǎn)（神經(jīng)元）只有一層。 見圖 15 上面的網(wǎng)絡(luò)，只有輸出層有計(jì)算能力。 2. 多層前向神經(jīng)網(wǎng)絡(luò) 多層前向神經(jīng)網(wǎng)含有一個(gè)或多個(gè)隱層，即至少隱層和輸出層都有運(yùn)算能力。 輸出層神經(jīng)元的工作： ① 計(jì)算隱層各神經(jīng)元輸出的加權(quán)和。 隱層神經(jīng)元的工作： ①計(jì)算輸入層各神經(jīng)元輸出的加權(quán)和； ②加權(quán)和 神經(jīng)元閾值； ③此值作為隱層神經(jīng)元激勵(lì)函數(shù)的輸入產(chǎn)生的函數(shù) 值作為隱層輸出。 3. 反饋網(wǎng)絡(luò) 所謂反饋網(wǎng)絡(luò)是指網(wǎng)絡(luò)中至少含有一個(gè)反饋回路的神經(jīng)網(wǎng)絡(luò)。 這是一個(gè)自反饋神經(jīng)網(wǎng)絡(luò)， z1是滯后環(huán)節(jié)。 將隨機(jī)運(yùn)算引入到神經(jīng)網(wǎng)絡(luò)中，具體來說，神經(jīng)元的運(yùn)算是按概率原理進(jìn)行的。下圖中閾值是一個(gè)隨機(jī)變量 ? 競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò) 競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)的輸出神經(jīng)元相互競(jìng)爭(zhēng)以確定勝者，勝者指出那一種輸出最能代表網(wǎng)絡(luò)輸出。 上圖是一個(gè)最簡(jiǎn)單的競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)， Hamming網(wǎng)絡(luò)。 ①每個(gè)輸出神經(jīng)元都與輸入節(jié)點(diǎn)全連結(jié)； ②輸出神經(jīng)元之間全互連 （用于相互比較） ； ③最終，競(jìng)爭(zhēng)獲勝的勝者作為網(wǎng)絡(luò)的輸出。 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí) 定義： 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)又稱為 訓(xùn)練 ，是指神經(jīng)網(wǎng)絡(luò)根據(jù)環(huán)境的刺激作用自動(dòng)調(diào)整 神經(jīng)元連結(jié)權(quán)值和自身閾值的過程。 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的方式： 有教師學(xué)習(xí) 無教師學(xué)習(xí) ①有教師學(xué)習(xí) 又稱有監(jiān)督學(xué)習(xí)（ Surpervised Learning） 訓(xùn)練樣本 { （輸入 輸出），（輸入 輸出）， …… } 偏差 = 網(wǎng)絡(luò)實(shí)際輸出 網(wǎng)絡(luò)期望輸出 權(quán)重改變量 ΔW = G( 偏差 ) W(n+1)= W(n)+ΔW 見圖 111 ② 無教師的學(xué)習(xí) 沒有外部導(dǎo)師統(tǒng)觀學(xué)習(xí)過程，而是提供一個(gè)網(wǎng)絡(luò)質(zhì)量的衡量標(biāo)準(zhǔn)。根據(jù)這個(gè)標(biāo)準(zhǔn)進(jìn)行學(xué)習(xí)。 圖 111 有教師的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí) 圖 112 無教師神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)濾波電路 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的方式： 每 個(gè)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)都對(duì)應(yīng)著一種學(xué)習(xí)方式。下面介紹 5種主要的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)規(guī)則： Hebb學(xué)習(xí) 、 糾錯(cuò)學(xué)習(xí) 、 基于記憶的學(xué)習(xí) 、 隨機(jī)學(xué)習(xí) 、 競(jìng)爭(zhēng)學(xué)習(xí) 1 Hebb學(xué)習(xí)規(guī)則 a) 語言描述： i 如果一個(gè)突觸 Wij兩邊的神經(jīng)元被同時(shí)激活，則它的能量（權(quán)重）就被選擇性的加強(qiáng)； ii 如果一個(gè)突觸兩邊的神經(jīng)元被異步激活，則它的能量（權(quán)重）就被選擇性的消弱或消除。 Hebb規(guī)則的數(shù)學(xué)描述： Wij—— 表示神經(jīng)元 xj到神經(jīng)元 xi的突觸權(quán)重 —— 神經(jīng)元 xj在一段時(shí)間內(nèi)的平均值 —— 神經(jīng)元 xi在一段時(shí)間內(nèi)的平均值 在學(xué)習(xí)進(jìn)行到第 N步時(shí)，對(duì)權(quán)重的調(diào)整為 式中， 是正常數(shù)，稱為學(xué)習(xí)速率或者步長(zhǎng)。 它就像 PID算法中的比例系數(shù)（后面會(huì)講道）。 Hebb規(guī)則的工作過程的描述： 情況 神經(jīng)元 Xi、 Xj活動(dòng)充分，則 權(quán)值被加強(qiáng)了。 jxix?ii xx ? jj xx ?)()1()( nwnwnw ijij ???? ][][)( jjii xxS i g nxxS i g nnw ?????? ?情況 神經(jīng)元 Xi、 Xj活動(dòng)異步，則即 之一的情況存在，權(quán)重 Δ Wij顯然小于 0。權(quán)重 Wij被減弱了 。 2 糾錯(cuò)學(xué)習(xí)規(guī)則 又稱為 Delta規(guī)則 或 WidrowHoff規(guī)則 。 ii xx ? jjxx ? 神經(jīng)網(wǎng)絡(luò)的輸入 Xi(n)，產(chǎn)生實(shí)際輸出 yi(n), 網(wǎng)絡(luò)期望輸出 di(n), 期望值和真實(shí)值之間偏差 )n(y)n(d)n(e ii ?? 要調(diào)整權(quán)值，以誤差 e(n)最小為原則（才能使得網(wǎng)絡(luò)無差），為避免正負(fù)號(hào)的影響，采用 e(n)的最小二乘值最小為性能指數(shù) )()( te21nE 2? 可以推出權(quán)值的調(diào)整為 )()()( nxnenw jij ??? 每一步運(yùn)算都會(huì)得到一個(gè)權(quán)值的修改量 用于修改權(quán)值 )()(( nwnw1nw ijijij ???? ）反復(fù)次運(yùn)算，就可以獲得新的權(quán)值，它實(shí)際是一個(gè)矩陣， 例如，下面是一個(gè) 3單元輸入層， 2單元輸出層的神經(jīng)網(wǎng)絡(luò)。 ? ? )()()()()()()()(nWnwnwnwnwnwnwnwij323122211211???????????? 因此，神經(jīng)網(wǎng)絡(luò)的運(yùn)算（前向 —— 工作、反向 —— 學(xué)習(xí)）都是矩陣運(yùn)算。 基于記憶的學(xué)習(xí)規(guī)則 基于記憶的學(xué)習(xí)規(guī)則主要用于模式分類，一種簡(jiǎn)單而 有效的方法 —— 最近臨域法。 設(shè)存儲(chǔ)器中所記憶的某一類 l1含有向量 ? ?xNx2x1XN ?,?如果，下式成立 ),(),( t e s tNt e s ti XXdXXm i n d ?則 Xtest屬于 l1類，上式采用了歐式距離的計(jì)算 。 4. 隨機(jī)學(xué)習(xí)規(guī)則