【正文】 神經(jīng)網(wǎng)絡(luò)控制 電信學院 周強 第一章 引 言 人工神經(jīng)網(wǎng)絡(luò)的 簡介 人工神經(jīng)網(wǎng)絡(luò)的 發(fā)展歷史 人工神經(jīng)元的 模型 人工神經(jīng)網(wǎng)絡(luò)的 結(jié)構(gòu)與學習規(guī)則 人工神經(jīng)網(wǎng)絡(luò)的 應用 人工神經(jīng)網(wǎng)絡(luò)的簡介 人工神經(jīng)網(wǎng)絡(luò)（ Artificial Neural Network， ANN） 即，神經(jīng)網(wǎng)絡(luò)（ Neural Network， NN） 是由大量處理單元（神經(jīng)元 Neurons）互連而成 的網(wǎng)絡(luò)，是對 人腦的抽象、簡化和模擬（即 智 能化 ），模仿人腦信息處理的功能。 涉及神經(jīng) 科學 、 數(shù)學 、 統(tǒng)計學 、 計算機科學 的一門學科。 神經(jīng)網(wǎng)絡(luò)屬于控制科學的范疇。 經(jīng)典控制 —— 現(xiàn)代控制理論 —— 大系統(tǒng) 和 智能控制 1992年 世界數(shù)學家大會 神經(jīng)網(wǎng)絡(luò) 模糊控制 仿人控制 遺傳算法 蟻群算法 內(nèi)分泌算法 免疫算法 智能控制 神經(jīng)網(wǎng)絡(luò)： 最早、理論性最強、最深奧； 目前的研究已經(jīng)飽和； 笨辦法； 模糊控制： 理論較簡單，模糊數(shù)學 抽象出模糊化 ； 應用很成功。由于其簡化作用，特別適合在處 理能力有限的處理器中使用，家用電氣、導彈； 仿人控制： 對成功經(jīng)驗的數(shù)學化和固化，范圍有限 遺傳算法： 對生物進化學的模仿，個體隨機性和統(tǒng)計規(guī)律性 的結(jié)合，理論上很巧妙，但應用范圍也有限，目 前僅僅適合于優(yōu)化。 特點： *并行運算 （每個神經(jīng)元都在獨立的運算） *自學習能力很強 *非線性處理能力 （這源于神經(jīng)網(wǎng)絡(luò)的每一塊磚都是非線性的，如 S型函數(shù)） 因此，神經(jīng)網(wǎng)絡(luò)具有能力： 獲取信息 儲存信息。 人工神經(jīng)網(wǎng)絡(luò)發(fā)展歷史 20世紀 40年代開始，經(jīng)歷興起、蕭條、興盛 3個階段。 興起階段（ 19431970） 1943 神經(jīng)病學和神經(jīng)解剖學家 McCulloch 數(shù)學家 Pitts 在總結(jié)神經(jīng)元一些生理特性的基礎(chǔ)上，提出 神經(jīng)元的數(shù)學模型， MP模型。 證明了：數(shù)量眾多的神經(jīng)元網(wǎng)絡(luò)可以能計算 任何可計算的函數(shù)。 NN的興起，同時也是人工智能（ Artificial Intelligence， AI）這一學科。 1949年，生物學家 提出改變 NN連接強度的 Hebb規(guī)則。 1957年， Neumann提出感知器（ Perceptron）的概念 ，并于次年將神經(jīng)網(wǎng)絡(luò)首次應用于工程實踐。感知器 可應用于模式識別和聯(lián)想記憶等方面。 1960年， Widrow和 Hoff引入最小均方差（ Least MeanSquare， LMS）算法，用于闡述感知器與 自適應線性元件之間選練差異的標準。 （ 19701980） 導致十年低谷的原因包括： 技術(shù)上的：計 算機技術(shù)支持不夠； 信心上的：資金悲觀情緒 這個階段的標志， 1969年麻省理工學院著名的人工 智能專家 《 感知器 》 指出單層感知器無法解決非線性問題，線性問題需要由多 層感知器來解決，而感知器模型擴展到多層是否有意義， 尚不能從理論上得到證明。 當時計算機水平低，人們都去研究人工智能和專家系 統(tǒng)了。 這一時期的研究成果也不夠顯著、值得一提的是 1977 年 Anderson等提出的黑箱腦狀態(tài) (BrainstateinaBox) 模型。不必關(guān)心它的參數(shù)，只關(guān)心輸入 輸出。 3 興盛階段（ 1980 1982年美國生物物理學家 Hophield提出反饋神經(jīng)網(wǎng)絡(luò) (Hophield網(wǎng)絡(luò) ) ，標志著興盛階段的到來。 1998年， Broom和 Lowe提出了徑向基神經(jīng)網(wǎng)絡(luò)（ RBF）。 徑向基神經(jīng)網(wǎng)絡(luò)具有對訓練樣本具有預處理的能力。是對 BP網(wǎng)絡(luò)的一大進步。 90年代初，支持向量基（ＳＶＭ）。 徑向基神經(jīng)網(wǎng)絡(luò)和支持向量基都會在本課程中介紹。 神經(jīng)網(wǎng)絡(luò)的應用及研究方向 理論研究分為： ? 利用神經(jīng)生理與認知科學研究大腦思維即智能機理；（作為大腦的仿真研究手段） ? 利用神經(jīng)科學基礎(chǔ)理論的研究成果，用數(shù)理方法探索智能水平更高的人工神經(jīng)網(wǎng)絡(luò)模型，深入研究網(wǎng)絡(luò)的算法與性能（穩(wěn)定性、收斂性、容錯性、魯棒性等），開發(fā)新的網(wǎng)絡(luò)數(shù)理理論（神經(jīng)網(wǎng)絡(luò)動力學、非線性神經(jīng)場）。 應用研究包括兩類： ? 神經(jīng)網(wǎng)絡(luò)的軟件模擬和硬件實現(xiàn)的研究； ? 神經(jīng)網(wǎng)絡(luò)在各個領(lǐng)域中的應用研究，這些領(lǐng)域包括：模式識別、信號處理、知識工程、專家系統(tǒng)、優(yōu)化組合、智能控制等。 人工神經(jīng)元的模型 生物神經(jīng)元模型 結(jié)構(gòu)特點： 軸突（神經(jīng)纖維）很長（輸出沖動）、 樹突接受沖動，突出連接２者（體現(xiàn)出連接權(quán)值），細 胞膜內(nèi)外有電位差（內(nèi)高外低） 40100mV。 工作： 突出轉(zhuǎn)換（放大或縮?。┥窠?jīng)沖動，由樹突輸入到細 胞膜，如果大于細胞膜電壓，則使得細胞興奮，產(chǎn)生 神經(jīng)沖動，由軸突輸出。 人工神經(jīng)元網(wǎng)絡(luò)模型 輸入信號是 xi， 總輸入為 ui bi是閾值 ,除了閾值輸入為 vi f()是激勵函數(shù)， yi是輸出 ???N1jjiji xwuiii buv ???????????? ??N1jijiji bxwfy常用的激勵函數(shù)有３種 （１）閾值函數(shù)（符號函數(shù)） 可用于分類 ??? ??0v00v1vf?)(??? ??0v10v1vSgn?)(（２）符號函數(shù) ???????????1v11v1v1v1vf )(（３） Sigmoid函數(shù) （４）組合函數(shù) *激勵函數(shù)的選擇：相似性與緊支撐原則。 ave11vf???)( 人工神經(jīng)元網(wǎng)絡(luò)的結(jié)構(gòu)及學習規(guī)則 按網(wǎng)絡(luò)結(jié)構(gòu)分類：前向神經(jīng)網(wǎng)絡(luò) 反饋神經(jīng)網(wǎng)絡(luò) 按學習方式分類：有導師神經(jīng)網(wǎng)絡(luò) 無導師神經(jīng)網(wǎng)絡(luò) * 一定 的結(jié)構(gòu)決定了一定的學習方式。 定義：所謂單層前向網(wǎng)絡(luò)是指網(wǎng)絡(luò)中計算節(jié)點（神經(jīng)元）只有一層。 見圖 15 上面的網(wǎng)絡(luò)，只有輸出層有計算能力。 2. 多層前向神經(jīng)網(wǎng)絡(luò) 多層前向神經(jīng)網(wǎng)含有一個或多個隱層，即至少隱層和輸出層都有運算能力。 輸出層神經(jīng)元的工作： ① 計算隱層各神經(jīng)元輸出的加權(quán)和。 隱層神經(jīng)元的工作： ①計算輸入層各神經(jīng)元輸出的加權(quán)和； ②加權(quán)和 神經(jīng)元閾值； ③此值作為隱層神經(jīng)元激勵函數(shù)的輸入產(chǎn)生的函數(shù) 值作為隱層輸出。 3. 反饋網(wǎng)絡(luò) 所謂反饋網(wǎng)絡(luò)是指網(wǎng)絡(luò)中至少含有一個反饋回路的神經(jīng)網(wǎng)絡(luò)。 這是一個自反饋神經(jīng)網(wǎng)絡(luò)， z1是滯后環(huán)節(jié)。 將隨機運算引入到神經(jīng)網(wǎng)絡(luò)中，具體來說，神經(jīng)元的運算是按概率原理進行的。下圖中閾值是一個隨機變量 ? 競爭神經(jīng)網(wǎng)絡(luò) 競爭神經(jīng)網(wǎng)絡(luò)的輸出神經(jīng)元相互競爭以確定勝者，勝者指出那一種輸出最能代表網(wǎng)絡(luò)輸出。 上圖是一個最簡單的競爭神經(jīng)網(wǎng)絡(luò)， Hamming網(wǎng)絡(luò)。 ①每個輸出神經(jīng)元都與輸入節(jié)點全連結(jié)； ②輸出神經(jīng)元之間全互連 （用于相互比較） ； ③最終，競爭獲勝的勝者作為網(wǎng)絡(luò)的輸出。 神經(jīng)網(wǎng)絡(luò)的學習 定義： 神經(jīng)網(wǎng)絡(luò)的學習又稱為 訓練 ，是指神經(jīng)網(wǎng)絡(luò)根據(jù)環(huán)境的刺激作用自動調(diào)整 神經(jīng)元連結(jié)權(quán)值和自身閾值的過程。 神經(jīng)網(wǎng)絡(luò)學習的方式： 有教師學習 無教師學習 ①有教師學習 又稱有監(jiān)督學習（ Surpervised Learning） 訓練樣本 { （輸入 輸出），（輸入 輸出）， …… } 偏差 = 網(wǎng)絡(luò)實際輸出 網(wǎng)絡(luò)期望輸出 權(quán)重改變量 ΔW = G( 偏差 ) W(n+1)= W(n)+ΔW 見圖 111 ② 無教師的學習 沒有外部導師統(tǒng)觀學習過程，而是提供一個網(wǎng)絡(luò)質(zhì)量的衡量標準。根據(jù)這個標準進行學習。 圖 111 有教師的神經(jīng)網(wǎng)絡(luò)學習 圖 112 無教師神經(jīng)網(wǎng)絡(luò)實現(xiàn)濾波電路 神經(jīng)網(wǎng)絡(luò)學習的方式： 每 個神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)都對應著一種學習方式。下面介紹 5種主要的神經(jīng)網(wǎng)絡(luò)學習規(guī)則： Hebb學習 、 糾錯學習 、 基于記憶的學習 、 隨機學習 、 競爭學習 1 Hebb學習規(guī)則 a) 語言描述： i 如果一個突觸 Wij兩邊的神經(jīng)元被同時激活，則它的能量（權(quán)重）就被選擇性的加強； ii 如果一個突觸兩邊的神經(jīng)元被異步激活，則它的能量（權(quán)重）就被選擇性的消弱或消除。 Hebb規(guī)則的數(shù)學描述： Wij—— 表示神經(jīng)元 xj到神經(jīng)元 xi的突觸權(quán)重 —— 神經(jīng)元 xj在一段時間內(nèi)的平均值 —— 神經(jīng)元 xi在一段時間內(nèi)的平均值 在學習進行到第 N步時，對權(quán)重的調(diào)整為 式中， 是正常數(shù)，稱為學習速率或者步長。 它就像 PID算法中的比例系數(shù)（后面會講道）。 Hebb規(guī)則的工作過程的描述： 情況 神經(jīng)元 Xi、 Xj活動充分，則 權(quán)值被加強了。 jxix?ii xx ? jj xx ?)()1()( nwnwnw ijij ???? ][][)( jjii xxS i g nxxS i g nnw ?????? ?情況 神經(jīng)元 Xi、 Xj活動異步，則即 之一的情況存在，權(quán)重 Δ Wij顯然小于 0。權(quán)重 Wij被減弱了 。 2 糾錯學習規(guī)則 又稱為 Delta規(guī)則 或 WidrowHoff規(guī)則 。 ii xx ? jjxx ? 神經(jīng)網(wǎng)絡(luò)的輸入 Xi(n)，產(chǎn)生實際輸出 yi(n), 網(wǎng)絡(luò)期望輸出 di(n), 期望值和真實值之間偏差 )n(y)n(d)n(e ii ?? 要調(diào)整權(quán)值，以誤差 e(n)最小為原則（才能使得網(wǎng)絡(luò)無差），為避免正負號的影響，采用 e(n)的最小二乘值最小為性能指數(shù) )()( te21nE 2? 可以推出權(quán)值的調(diào)整為 )()()( nxnenw jij ??? 每一步運算都會得到一個權(quán)值的修改量 用于修改權(quán)值 )()(( nwnw1nw ijijij ???? ）反復次運算，就可以獲得新的權(quán)值，它實際是一個矩陣， 例如，下面是一個 3單元輸入層， 2單元輸出層的神經(jīng)網(wǎng)絡(luò)。 ? ? )()()()()()()()(nWnwnwnwnwnwnwnwij323122211211???????????? 因此，神經(jīng)網(wǎng)絡(luò)的運算（前向 —— 工作、反向 —— 學習）都是矩陣運算。 基于記憶的學習規(guī)則 基于記憶的學習規(guī)則主要用于模式分類，一種簡單而 有效的方法 —— 最近臨域法。 設(shè)存儲器中所記憶的某一類 l1含有向量 ? ?xNx2x1XN ?,?如果，下式成立 ),(),( t e s tNt e s ti XXdXXm i n d ?則 Xtest屬于 l1類，上式采用了歐式距離的計算 。 4. 隨機學習規(guī)則