【正文】 神經(jīng)網(wǎng)絡控制 人工神經(jīng)元網(wǎng)絡模型與控制 ? 引言 ? 前向神經(jīng)網(wǎng)絡模型 ? 動態(tài)神經(jīng)網(wǎng)絡模型 ? 神經(jīng)網(wǎng)絡 PID控制 ? 小結 第一節(jié) 引言 模糊控制解決了人類語言的描述和推理問題，為模擬人腦的感知推理等智能行為邁了一大步。但是在數(shù)據(jù)處理、自學習能力方面還有很大的差距。 人工神經(jīng)網(wǎng)絡就是模擬人腦細胞的分布式工作特點和自組織功能實現(xiàn)并行處理、自學習和非線性映射等能力。 1943年，心理學家 McCmloch和數(shù)學家 Pitts合作提出里神經(jīng)元數(shù)學模型（ MP）； 1944年， Hebb提出的改變神經(jīng)元連接強度的 Hebb規(guī)則； 1957年， Rosenblatt引進感知概念； 1976年， Grossberg基于生理和心理學的經(jīng)驗，提出了自適應共振理論； 1982年，美國加州工學院物理學家 Hopfield提出了 HNN模型； 1986年， Rummelhart等 PDF研究小組提出了多層前向傳播網(wǎng)絡的 BP學習算法。 研究神經(jīng)元網(wǎng)絡系統(tǒng)主要有三個方面的內容：神經(jīng)元模型、神經(jīng)網(wǎng)絡結構、神經(jīng)網(wǎng)絡學習方法。從神經(jīng)元模型來分有：線性處理單元、非線性處理單元；從網(wǎng)絡結構來分有：前向網(wǎng)絡、反饋網(wǎng)絡和自組織網(wǎng)絡。 神經(jīng)元網(wǎng)絡的特點： 1）非線性 2）分布處理 3）學習并行和自適應 4）數(shù)據(jù)融合 5）適用于多變量系統(tǒng) 6）便于硬件實現(xiàn) 人 工 神 經(jīng) 網(wǎng) 絡 前向網(wǎng)絡 反饋網(wǎng)絡 自組織網(wǎng)絡 CMAC MLP Hopfield RNN Kohonen ART Boltzman Machine 圖 41 神經(jīng)網(wǎng)絡結構分類示意圖 人腦大約包含 1012個神經(jīng)元，分成約 1000種類型，每個神經(jīng)元大約與 102～ 104個其他神經(jīng)元相連接，形成極為錯綜復雜而又靈活多變的神經(jīng)網(wǎng)絡。每個神經(jīng)元雖然都十分簡單，但是如此大量的神經(jīng)元之間、如此復雜的連接卻可以演化出豐富多彩的行為方式。同時，如此大量的神經(jīng)元與外部感受器之間的多種多樣的連接方式也蘊含了變化莫測的反應方式。 一、神經(jīng)元模型 從生物控制論的觀點來看，神經(jīng)元作為控制和信息處理的基本單元，具有下列一些重要的功能與特性 ： ? 時空整合功能 ? 興奮與抑制狀態(tài) ? 脈沖與電位轉換 ? 神經(jīng)纖維傳導速度 ? 突觸延時和不應期 ? 學習、遺忘和疲勞 圖 42 神經(jīng)元結構模型 X1 X2 Xn Wi1 Wi2 Win Ui yi Si 神經(jīng)元是生物神經(jīng)系統(tǒng)的基本單元。 神經(jīng)元模型是生物神經(jīng)元的抽象和模擬。 神經(jīng)元一般是多輸入 三輸出的非線性器件。 圖中 為神經(jīng)元內部狀態(tài)； 為閥值； 為輸入信號， j=1， 2，3,…….n。 表示從單元 到單元 的連接系數(shù)， 為外部輸入信號。 iu i?ixijw ju iu is)34()()()24()()14(????????? ?iiiiiiijjijiN e thugyN e tfusxwN e t ?圖 42 神經(jīng)元結構模型 X1 X2 Xn Wi1 Wi2 Win Ui yi Si 假如， 即 ，常用的神經(jīng)元非線性特性有四種： ii uug ?)( )( ii Netfy ?（ 1）、閥值型 iNet（ 2）、分段線性型 ??????????iliiliiiiiiN e tN e tfN e tN e tN e tk N e tN e tN e tN e tfm a x000)(iNetilNet0iNet（ 3）、 Sigmoid函數(shù)型 TN e ti ieNe tf???11)(iNet??????0001)(iii Ne tNe tNe tf（ 4）、 Tan函數(shù)型 TN e tTN e tTN e tTN e ti iiiieeeeN e tf?????)(二、神經(jīng)網(wǎng)絡的模型分類 （ 1）、神經(jīng)元層次模型 —— 研究由單個神經(jīng)元的動態(tài)特性和自適應特性； （ 2）、組合式模型 —— 由幾種互相補充、互相協(xié)作的神經(jīng)元組成，完成特定的任務； （ 3）、網(wǎng)絡層次模型 —— 由眾多相同的神經(jīng)元相互連接而成的網(wǎng)絡，研究神經(jīng)網(wǎng)絡的整體性能； （ 4）、神經(jīng)系統(tǒng)層次模型 —— 一般有多個神經(jīng)網(wǎng)絡構成，以模擬生物神經(jīng)系統(tǒng)更復雜、更抽象的特性。 典型的神經(jīng)網(wǎng)絡有： BP網(wǎng)、 Hopfield網(wǎng)絡、 CMAC小腦模型、 ART自適應共振理論、 BAM雙向聯(lián)想記憶、 SOM自組織網(wǎng)絡、 Blotzman機網(wǎng)絡和 Madaline網(wǎng)絡等等 根據(jù)聯(lián)結方式分： （ 1）、前向網(wǎng)絡 —— 神經(jīng)元分層排列，組成輸入層、隱含層和輸出層。每層只能夠接受前一層神經(jīng)元的輸入。 （ 2）、反饋網(wǎng)絡 —— 在輸入層到輸出層存在反饋。 （ 3）、相互結合型網(wǎng)絡 —— 相互結合網(wǎng)絡屬于網(wǎng)絡結構。任意兩個神經(jīng)元之間可能有連接。 （ 4）、混合型網(wǎng)絡 —— 層次形型網(wǎng)絡和網(wǎng)狀結構網(wǎng)絡的一種結合。 … … 輸 入 輸 出 輸 入 輸 出 (a) (b) (c) (d) 三、神經(jīng)網(wǎng)絡的學習算法 學習的實質就是針對一組給定輸入 Xp使網(wǎng)絡產生相應的期望的輸出的過程。 網(wǎng)絡學習分兩大類： 有導師學習 —— 存在一個期望的網(wǎng)絡輸出。期望輸出和實際輸出之間的距離作為誤差度量并用于調整權值。 無導師學習 —— 沒有直接的誤差信息，需要建立一個間接的評價函數(shù)，以對網(wǎng)絡的某種行為進行評價。 學習規(guī)則根據(jù)連接權系數(shù)的改變方式分： （ 1）、相關學習 —— 根據(jù)連接之間的激活水平改變權系數(shù)。 （ 2）、糾錯學習 —— 依賴關于輸出節(jié)點的外部反饋改變權系數(shù)。 （ 3）、無導師學習 —— 學習表現(xiàn)為自動實現(xiàn)輸入空間的檢測和分類。 第二節(jié) 前向神經(jīng)網(wǎng)絡模型 前向神經(jīng)網(wǎng)絡是由一層或者多層非線性處理單元組成的。相鄰層之間通過突觸權連接起來。由于前一層的輸出作為下一層的輸入，因此，稱此類網(wǎng)絡結構為前向神經(jīng)網(wǎng)絡。 一、單一人工神經(jīng)元 ? )(x?1 X1 X2 Xn 0?1w2wnwy 圖 411 單一人工神經(jīng)元示意圖 )()(1010?????????njjjnjjjxwN e tyxwN e t????1xnx1x2xnx1x2xnx11w12wnw11nw2nwnnw? y圖 412 只含二次項的神經(jīng)元結構示意圖 )()(1 1101 110? ??? ??? ??? ???????????njnkkjjknjjjnjnkkjjknjjjxxwxwN e tyxxwxwN e t??????二、單層神經(jīng)網(wǎng)絡結構 1x2xnx1y2yny圖 213 單層前向傳播網(wǎng)絡結構示意圖 ????jnjijiji xwy1)( ??三、多層 神經(jīng)網(wǎng)絡 結構 kx1kx2knixky1ky2kny01ijw 2ijw(a) kx1kx2knix1ijw Lijwky1ky2kny0(b) 圖 414 多層前向傳播網(wǎng)絡結構示意圖 (a)含一個隱含層前向傳播網(wǎng)絡結構示意圖 (b)含 L+1個隱含層前向傳播網(wǎng)絡結構示意圖 00211