【文章內容簡介】 次會上確定今后每年召開一次中國神經網絡學術大會。 1991 年在南京召開的中國神經網絡學術人會上成立了中國神經網絡學會。此后經過十兒年的努力，我國學術界和 工 程界在人工神經網絡的理論研究和麻用方面取得了豐碩的成果，學術論文、應用成果和研究人員的數量逐年增加。目前，人工神 經網絡已在我國科研、生產和生活中產生了普遍而巨大的影響 。 神經網絡的問世標志著認知科學、計算機科學及人工智能的發(fā)展又處于一個新的轉折 點，它的應用和發(fā)展不但會推動神經動力學本身，而且將影響新一代計算機的設計原理，有可能為新一代計算機和人工智能開辟一條嶄新的途徑。同時，它為學習識別和計算提供了新的現代途徑，有可能給信息科學帶來革命性的變化。 神經網絡的學習規(guī)則 人類 具有學習能力，人的知識和智慧是在不斷學習與實踐中逐漸形成和發(fā)展起來的，所以作為模擬人的智能的神經網絡，也麻當具有學習能力。神經網絡在外界輸入樣本 的刺激下不斷改變網絡的連接權值乃至拓撲結構，以使網絡青島科技大學本科畢業(yè)設計（論文） 13 的輸出不斷地接近期望的輸出，這一過程稱為神經網絡的學習，其本質是對可變權值的動態(tài)調整。 神經 網絡 的學習方式可分為：有導師學習和無導師學習。 有 導師的學習 (SL． Supervised Learning):在學習過程中，網絡根據實際輸出與期望輸出的比較進行連接權值的調整，將期望輸出稱為導師信號，代表了神經網絡執(zhí)行情況的最佳結果，它是評價學習的標準。如圖 所示 圖 有導師的學習 無 導師的學習包括無監(jiān)督學習 （ Learning）和再勵學習(RL． Reinforcement Learning)。 無 監(jiān)督學習沒有導師信號提供給網絡，而是提供一個關于網絡學習表示方法質量的測量尺度，網絡根據該尺度進行連接權值的調整，此時，網絡的學習評價標準隱含于其內部。如圖 所示 圖 無監(jiān)督學習 再勵學習把學習看作試探評價（獎或懲）過程，學習機選擇一個動作（輸出）作用于環(huán)境之后，使環(huán)境的狀態(tài)改變，并產生一個再勵信號 re（獎或懲）反饋至學習機。學習機依據再勵信號與環(huán)境當前的狀態(tài)選擇下一動作作 用 于環(huán)境，基于神經網絡的非線性自適應控制研究 14 選擇的原則是使受到獎勵的可能性增大。 如圖 所示： 圖 再勵學習 在 學習過程中，網絡中各神經元的連接權需按一定的規(guī)則調整變化，這種權值調整規(guī)則稱為學習規(guī)則。學習能力是神經網絡最重要的一個能力，學習規(guī)則也幾乎是神經網絡的核心問咫之一。神經網絡學習規(guī)則可分為如下幾類： Hebb 學習規(guī)則 Hebb 學習規(guī)則用于 調整 神經網絡的權值，可以概括為： 1)如果一個突觸（連接）兩邊的兩個神經元被同時（即同步）激活，則該突觸的能量就被選擇性的增加。 (2)如果一個突觸（連接）兩邊的兩個神經元被異步激活，則該突觸的能量就被有選擇的消弱或者消除 。 Delta 規(guī)則：又稱誤差修正規(guī)則，根據這個規(guī)則的學習算法，通過反復迭代運算，直至求出最佳的權值，使期望輸出與實際輸出的差值展小。 競爭式學習規(guī)則：屬于無教師學習方式，這種學習方式利用不同層間的神經元興奮性聯接，以及同一層內距離很近的神經元間發(fā)生同樣的興奮性聯接，而距離較遠的神經元產生抑制性聯接，這種在神經網絡中的興奮性或抑制性聯接機制中引入了競爭機制的學習方式，稱為競爭式學習。其本質特征在于神經網絡中高層次神經元對低層次神經元輸入模式進行競爭式識別。 Boitzman 機學習規(guī)則：也稱為隨機學習規(guī)則， 是基 于 模擬退火的統(tǒng)計方法，適用于多層網絡。它提供了學習隱節(jié)點的一個有效方法，能學習復雜的非線性可分函數。主要缺點是學習速度太慢 。 青島科技大學本科畢業(yè)設計（論文） 15 神經網絡的研究方法 神經 網絡的研究方法有許多，從傳統(tǒng)工程方法上看，神經網絡的宏觀研究方法可分為： l、動力系統(tǒng)理論：實現層次描述。動力系統(tǒng)理論方法主要研究與刻畫動力系統(tǒng)的漸近行為，如平衡點、極限環(huán)、奇怪吸引子及系統(tǒng)的絕對穩(wěn)定性。但動力系統(tǒng)理論不是萬能的，它不能提供關于信息處理及如何有效地處理不同的動力系統(tǒng)的任何消息。 非線性規(guī)劃理論：算法層次描述。算法層次主要研究如何求 解一特殊的信息處理 問題 ，非線性規(guī)劃理論主要關心用于探索目標函數全局極小的有關算法的分析與設計。動力系統(tǒng)理論僅關心系統(tǒng)的動力學行為，非線性規(guī)劃則僅關心如何活動目標函數的全局極小。 統(tǒng)計推理：計算水平描述。主要關心信息處理的基本目的，解釋所得結果是否合理、正確。 神經 網絡是一個由大量神經元組成的動力學系統(tǒng)，根據概率統(tǒng)計的觀點，從宏觀上看，各神經元的狀態(tài)可看作是一個隨機變量，是服從統(tǒng)計規(guī)律的。從統(tǒng)計觀點分析也可尋找神經網絡系統(tǒng)中某種神經元狀態(tài)的概率分布，這一分布的形式與網絡的結構有關，其參數就是權系數 。 神經網絡的能力 神經 網絡的能力應包含兩個方面的內容，一是神經網絡的信息存儲能力；二是神經網 絡的計算能力，對應如 下 問題： 在一個有 N 個神經元的神經網絡中，它可以儲存多少位的信息 ？ 神經網絡具有什么樣的計算能力，也就是說它能夠有效地計算哪些問題？ 在 神經網絡模型中，存儲能力與計算能力構成了神經網絡理論的兩個最基本的問題。 傳統(tǒng) 計算機在計算之前要從存儲器中取出指令和待處理的數據，然后進行計算，最后將結果又放入到存儲器中。這樣，存儲器與運算器之間的通道就成為提高計算能力的瓶頸。神經網絡模型則從本質上解決 了傳統(tǒng)計算機的這個瓶頸問題，這是因為神經網絡的運行是從輸入到輸出的值傳遞過程，在值傳遞的基于神經網絡的非線性自適應控制研究 16 同時完成了信息的存儲和計算 ， 從而將信息的存取和計算完善地結合在一起。 對于 神經網絡來說，計算可理解為給定一組輸入而得到一組輸出。由輸入得到輸出的過程也就是計算。神經網絡的計算能力有三個顯著的特點：一是它的非線性特性；二是大量的并行分布結構：三是它的學習和歸納能力。 迄今為止 ，神經網絡至少可以完成以下信息處理任務： 教學逼近映射：開發(fā) 合適 的函數 : nnf A R B R? ? ?，以自組織的方式響應以下的樣本集合： 1 1 2 2( , ) , ( , ) , ( , )mmx y x y x y???。 概率密度函數的估計：通過自組織的方式開發(fā)出一組等概率“錨點”來響應在空間 nR 中按照一定確定概率密度函數 p 選取的一組向量樣本1 2 3,X X X ?。 從二進制數據基中提取相關知識：將從二進制數據基中提取的相關知識形成一種知識的聚集 模型，這些知識依照數據基的自組織在它們之間有某種統(tǒng)計上的共性，并依據這些共性來響應輸入的數據基。 形成拓撲連續(xù)及統(tǒng)計意義上的同構映射：這是對同定概率密度函數選擇的輸入數據進行自適應的一種自組織映射，最終使得數據空間上的不同項有某種同構。 最 近相鄰模式分類：這種能力可應 用 于暫態(tài)或暫穩(wěn)態(tài)模式分類，并且可用層次性的存貯模式來表達存儲。 數據聚集：這是采用自組織的方式所選擇的“顆粒”或模式的聚類，以此來響應輸入數據。 最優(yōu)化 問題 的計算：這是用來求解局部甚至是全局最優(yōu)解的。 神經網絡的應用 神經 網絡的腦式智能信息處理特征與能力，特別是其所具有的計算能力使其應用領域日益擴大，潛力 R 趨明顯，其主要應用有以下幾個方面： 傳感器 信息處理涉及到兩個主要的問題：模式處理變換和模式識別。 神經 網絡還被廣泛地應用于信號處理，如目標檢測、雜波去噪或畸變波的恢復、多目標跟蹤等。神經網絡也可用于多探測器信號的融合． 青島科技大學本科畢業(yè)設計（論文） 17 神經 網絡可對待傳送（或待存儲）的數據提取模式特征，只將該特征傳（或存儲）．接收后再將其恢復成原始模式。 神經 網絡所具有的非線性特性和學習能力，使 其在系統(tǒng)辨識方面有很大潛力。另外，神經網絡具有自學習和自適應等智能特點，非常適合作控制器。神經網絡還被用于機器人控制中。在魚雷的控制上，有的也采用了神經網絡方法 。 在 金融財政、銀行、保險行業(yè)的應用主要是進行顧客群體特征分析、市場研究、社會資金需求分析、顧客心理分析、消費傾向分析以及新產品分析及優(yōu)化等 。 神經網絡控制系統(tǒng) 控制 理論與相對論、量子理論一起被認為是 20 世紀上半葉科學發(fā)展的三大飛躍，它是應社會發(fā)展的需要，在解決重大下程技術問題以及軍事問題的實踐中產生和發(fā)展起 來的一門新科學。經過幾十年的發(fā)展，控制理論的應用和影響已遍及眾多工業(yè)技術領域，深入到社會生活的各個方面，使人類大大突破了自身能力的限制。尤其是在當今社會，小的方面如現代化家用電器的芯片控制，交通紅綠燈、路燈的控制，大的方面如宇宙飛船的控制等都離不開控制技術。控制理論的發(fā)展一直受到以下三方面需求的推動： 處理不斷復雜的對象； 完成不斷復雜的設計； 在對象和環(huán)境的知識所知甚少的情況下達到以上兩條要求阻 1。其發(fā)展過程大體上經歷了經典控制理論、現代控制理論以及 20 世紀70 年代后期提出和發(fā)展起來的非線性智能控制 理論三個發(fā)展階段。 隨著 工 程研究的深入，控制理論所面臨的問題日益復雜多變，主要表現于控制對象、控制目標的日益復雜化，系統(tǒng)的數學模型難以建立，這時智能控制則體現了較人的優(yōu)勢。目前，智能控制已形成多種方法，較典型的有：專家控制、模糊控制和神經網絡控制等，并以它們?yōu)榇?，經過短短一二十年的發(fā)展，給整個控制理論帶來了無限生機和活力。控制系統(tǒng)就是使機器按期望目標運轉的系統(tǒng)，一般需要通過反饋來進行行為調整和性能修正，因而也可以說，反饋思想是控制理論的基石。 基于 神經網絡的控制稱為神經 網絡 控制 (Neural Network Control． NNC)，基于神經網絡的非線性自適應控制研究 18 簡稱神經控制。神經網絡控制是 20 世紀 80 年代來期發(fā)展起來的 自 動控制領域的前沿學科之一，是人工種經網絡理論與控制理論相結臺的產物，是發(fā)展中的學科。神經網絡控制匯集了包括數學、神經生理學、腦科學、生物學、遺傳學、人工智能、計算機科學、自動控制等學科的理論、技術、方法及研究成果。 神經 網絡控制，是將神經網絡在相應的控制結構中當作控制器與（或）辨識器，主要是為了解決復雜的非線性、不確定系統(tǒng)在不確定、不確知環(huán)境中的控制問題，使控制系統(tǒng)穩(wěn)定性、魯棒性好，達到要求的動態(tài)與靜態(tài)性能。 神經 網絡 控制是非線性控制的一個分支。它與傳統(tǒng)非線性控制的區(qū)別在于神經網絡控制是基于系統(tǒng)的輸入 — 輸出映射，而非系統(tǒng)的數學模型：控制器設計是通過學習來完成的，而不是針對模型進行的，可以說神經網絡控制器是一種結構特殊的非線性控制器。 由于 人工神經網絡是采朋仿生學的觀點與方法來研究人腦和智能系統(tǒng)中的高級信息處理，從微觀結構與功能上對人腦神經系統(tǒng)的模擬而建立起來的一類模型，具有模擬人的部分智能的特性，主要是具有 非線性特性、自學習能力和自適應性，所以神經網絡控制能對變化的環(huán)境具有 自適應 性，成為基本上不依賴于模型的一類控制，比較適 合于那些具有不確定性和高度非線性的被控對象，岡而神經網絡控制又是智能控制的一個重要分支領域。 對 控制科學而言，神經網絡的巨人吸引力在于： 非線性映射能力，神經網絡本質上是非線性系統(tǒng)，可以處理那些難以用模型或規(guī)則描述的復雜系統(tǒng)。 自學習適應能力，經過適當訓練的神經網絡具有高度的自適應性，具有能夠學習和適應嚴重不確定性關系的動態(tài)特性，可用來處理復雜系統(tǒng)的不確定問題。 優(yōu)良的容錯性能，系統(tǒng)信息等分布存貯在網絡的各神經元及其連接權中，故有很強的魯棒性和容錯能力。 便于用犬規(guī)模集成電路來實現。 可 實現在線或離線學習，使之滿足某種控制要求，靈活性很大。 這些 特點說明神經網絡適應了控制理論和控制工程領域發(fā)展的基本要求，在解決高度非線性和嚴重不確定性系統(tǒng)的控制方面有巨大潛力。這些特點也使得神經網絡非常適合于復雜系統(tǒng)的建模與控制，特塒是當系統(tǒng)存在不確定性因素時，更體現了神經網絡方法的優(yōu)越性，它使模型與控制的概念更加一般化。 Hunt 總結了神經網絡與控制科學之間的一般關系 。 如圖 所示 青島科技大學本科畢業(yè)設計（論文） 19 圖 控制與神經網絡之間的關系 由于 神經網絡具有 以 上特點，使得采用神經同絡的控制系統(tǒng)具有更強的適應性和魯棒性，所以 在控制系統(tǒng)的建模、辨識和控制等方面都獲得了廣泛的應用，并且已取得了許多顯著的成果，通常 神經網絡 在控制系統(tǒng)中的主要作用可分為如下幾種 ： 在基于精確模型的各種控制結構中充當系統(tǒng)的模型，如內膜控制、模型參考自適應控制、預測控制等。 在反饋控制系統(tǒng)中直接用作控制囂 。 在傳統(tǒng)控制系統(tǒng)中起優(yōu)化計算的作用 。 在與其他智能控制方法和優(yōu)化算法的融合中 。 為其提供非參數化對象模型、優(yōu)化參數、推理模型及故障診斷辭 。 控制中常用的神經網絡模型 根據 人工神經網絡對生物神經系統(tǒng)的不同組織層次和抽象層次的模擬，神經網 絡模型的類型可分為： 神經元層次模型：研究工作主要集中在單個神經元的動態(tài)特性和自適應特性上，探索神經元對輸入信息有選擇的響應和某些基本存儲功能的機理。 組合式模型：它由數種相互互補、相互協(xié)作的神經元組成，用于完成某基于神經網絡的非線性自適應控制研究 20