【正文】 人工神經(jīng)網(wǎng)絡(luò) Artificial Neural Network 目錄 第 1章 概述 1． 1 人工神經(jīng)網(wǎng)絡(luò)研究與發(fā)展 1． 2 生物神經(jīng)元 1． 3 人工神經(jīng)網(wǎng)絡(luò)的構(gòu)成 第 2章人工神經(jīng)網(wǎng)絡(luò)基本模型 2． 1 MP模型 2． 2 感知器模型 2． 3 自適應(yīng)線性神經(jīng)元 第 3章 EBP網(wǎng)絡(luò) (反向傳播算法） 3． 1 含隱層的前饋網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則 3． 2 Sigmoid激發(fā)函數(shù)下的 BP算法 3． 3 BP網(wǎng)絡(luò)的訓(xùn)練與測試 3． 4 BP算法的改進 3． 5 多層網(wǎng)絡(luò) BP算法的程序設(shè)計 多層前向網(wǎng)絡(luò) BP算法源程序 第 4章 Hopfield網(wǎng)絡(luò)模型 4． 1 離散型 Hopfield神經(jīng)網(wǎng)絡(luò) 4． 2 連續(xù)型 Hopfield神經(jīng)網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò)模型源程序 4． 3 旅行商問題 (TSP)的 HNN求解 Hopfield模型求解 TSP源程序 第 5章 隨機型神經(jīng)網(wǎng)絡(luò) 5． 1 模擬退火算法 5． 2 Boltzmann機 Boltzmann機模型源程序 5． 3 Gaussian機 第 6章自組織神經(jīng)網(wǎng)絡(luò) 6． 1 競爭型學(xué)習(xí) 6． 2 自適應(yīng)共振理論 (ART)模型 6． 3 自組織特征映射 (SOM)模型 6． 4 CPN模型 目錄 第 7章 聯(lián)想記憶神經(jīng)網(wǎng)絡(luò) 7． 1 聯(lián)想記憶基本特點 7． 2 線性聯(lián)想記憶 LAM模型 7． 3 雙向聯(lián)想記憶 BAM模型 7． 4 時間聯(lián)想記憶 TAM模型 Hopfield模型聯(lián)想記憶源程序 第 8章 CMAC模型 8． 1 CMAC模型 8． 2 CMAC映射算法 8． 3 CMAC的輸出計算 8． 4 CMAC控制器模型 目錄 神經(jīng)網(wǎng)絡(luò)研究與發(fā)展 40年代初，美國 Mc Culloch和 PiMs從信息處理的角度，研究神經(jīng)細(xì)胞行為的數(shù)學(xué)模型表達．提出了二值神經(jīng)元模型。 MP模型的提出開始了對神經(jīng)網(wǎng)絡(luò)的研究進程。 1949年心理學(xué)家 Hebb提出著名的 Hebb學(xué)習(xí)規(guī)則，即由神經(jīng)元之間結(jié)合強度的改變來實現(xiàn)神經(jīng)學(xué)習(xí)的方法。雖然 Hebb學(xué)習(xí)規(guī)則在人們研究神經(jīng)網(wǎng)絡(luò)的初期就已提出，但是其基本思想至今在神經(jīng)網(wǎng)絡(luò)的研究中仍發(fā)揮著重要作用。 50年代末期， Rosenblatt提出感知機模型(Perceptron)，首先從工程角度出發(fā)，研究了用于信息處理的神經(jīng)網(wǎng)絡(luò)模型 .這是一種學(xué)習(xí)和自組織的心理學(xué)模型，它基本符合神經(jīng)生理學(xué)的原理。感知機雖然比較簡單，卻已具有神經(jīng)網(wǎng)絡(luò)的一些基本性質(zhì)，如分布式存貯、并行處理、可學(xué)習(xí)性、連續(xù)計算等。這些神經(jīng)網(wǎng)絡(luò)的特性與當(dāng)時流行串行的、離散的、符號處理的電子計算機及其相應(yīng)的人工智能技術(shù)有本質(zhì)上的不同，由此引起許多研究者的興趣，在 60代掀起了神經(jīng)網(wǎng)絡(luò)研究的第一次高潮。但是，當(dāng)時人們對神經(jīng)網(wǎng)絡(luò)研究過于樂觀，認(rèn)為只要將這種神經(jīng)元互連成一個網(wǎng)絡(luò)，就可以解決人腦思維的模擬問題，然而，后來的研究結(jié)果卻又使人們走到另一個極端上。 在 60年代末，美國著名人工智能專家 Minsky和 Papert對Rosenblatt的工作進行了深人研究，出版了有較大影響的(Perceptron)一書，指出感知機的功能和處理能力的局限性，甚至連 XOR(異或 )這樣的問題也不能解決，同時也指出如果在感知器中引入隱含神經(jīng)元，增加神經(jīng)網(wǎng)絡(luò)的層次，可以提高神經(jīng)網(wǎng)絡(luò)的處理能力，但是卻無法給出相應(yīng)的網(wǎng)絡(luò)學(xué)習(xí)算法。因此 Minsky的結(jié)論是悲觀的。另一方面，由于60年代以來集成電路和微電子技術(shù)日新月異的發(fā)展，使得電子計算機的計算速度飛速提高，加上那時以功能模擬為目標(biāo)、以知識信息處理為基礎(chǔ)的知識工程等研究成果，給人工智能從實驗室走向?qū)嵱脦砹讼Ｍ?，這些技術(shù)進步給人們造成這樣的認(rèn)識：以為串行信息處理及以它為基礎(chǔ)的傳統(tǒng)人工智能技術(shù)的潛力是無窮的，這就暫時掩蓋了發(fā)展新型計算機和尋找新的人工智能途徑的必要性和迫切性。另外，當(dāng)時對大腦的計算原理、對神經(jīng)網(wǎng)絡(luò)計算的優(yōu)點、缺點、可能性及其局限性等還很不清楚?？傊?，認(rèn)識上的局限性使對神經(jīng)網(wǎng)絡(luò)的研究進入了低潮。 在這一低潮時期 ， 仍有一些學(xué)者扎扎實實地繼續(xù)著神經(jīng)網(wǎng)絡(luò)模型和學(xué)習(xí)算法的基礎(chǔ)理論研究 ， 提出了許多有意義的理論和方法 。 其中 ， 主要有自適應(yīng)共振理論 ， 自組織映射 ， 認(rèn)知機網(wǎng)絡(luò)模型理論 ， BSB模型等等 ， 為神經(jīng)網(wǎng)絡(luò)的發(fā)展奠定了理論基礎(chǔ) 。 進入 80年代，首先是基于“知識庫”的專家系統(tǒng)的研究和運用，在許多方面取得了較大成功。但在一段時間以后，實際情況表明專家系統(tǒng)并不像人們所希望的那樣高明，特別是在處理視覺、聽覺、形象思維、聯(lián)想記憶以及運動控制等方面，傳統(tǒng)的計算機和人工智能技術(shù)面臨著重重困難。模擬人腦的智能信息處理過程，如果僅靠串行邏輯和符號處理等傳統(tǒng)的方法來濟決復(fù)雜的問題，會產(chǎn)生計算量的組合爆炸。因此，具有并行分布處理模式的神經(jīng)網(wǎng)絡(luò)理論又重新受到人們的重視。對神經(jīng)網(wǎng)絡(luò)的研究又開始復(fù)興，掀起了第二次研究高潮。 1982年，美國加州理工學(xué)院物理學(xué)家 J． J． Hopfield提出了一種新的神經(jīng)網(wǎng)絡(luò) HNN。他引入了“能量函數(shù)”的概念，使得網(wǎng)絡(luò)穩(wěn)定性研究有了明確的判據(jù)。 HNN的電子電路物理實現(xiàn)為神經(jīng)計算機的研究奠定了基礎(chǔ)，并將其應(yīng)用于目前電子計算機尚難解決的計算復(fù)雜度為NP完全型的問題，例如著名的“巡回推銷員問” (TSP)，取得很好的效果。從事并行分布處理研究的學(xué)者，于1985年對 Hopfield模型引入隨機機制，提出了 Boltzmann機。 1986年 Rumelhart等人在多層神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)上，提出了多層神經(jīng)網(wǎng)絡(luò)模型的反向傳播學(xué)習(xí)算法 (BP算法 )，解決了多層前向神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)問題，證明了多層神經(jīng)網(wǎng)絡(luò)具有很強的學(xué)習(xí)能力，它可以完成許多學(xué)習(xí)任務(wù)，解決許多實際問題。 近十幾年來，許多具備不同信息處理能力的神經(jīng)網(wǎng)絡(luò)已被提出來并應(yīng)用于許多信息處理領(lǐng)域，如模式識別、自動控制、信號處理、決策輔助、人工智能等方面。神經(jīng)計算機的研究也為神經(jīng)網(wǎng)絡(luò)的理論研究提供了許多有利條件，各種神經(jīng)網(wǎng)絡(luò)模擬軟件包、神經(jīng)網(wǎng)絡(luò)芯片以及電子神經(jīng)計算機的出現(xiàn)，體現(xiàn)了神經(jīng)網(wǎng)絡(luò)領(lǐng)域的各項研究均取得了長足進展。同時，相應(yīng)的神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)會議和神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)刊物的大量出現(xiàn)，給神經(jīng)網(wǎng)絡(luò)的研究者們提供了許多討論交流的機會。 雖然人們已對神經(jīng)網(wǎng)絡(luò)在人工智能領(lǐng)域的研究達成了共識 ， 對其巨大潛力也毋庸置疑 ， 但是須知 ， 人類對自身大腦的研究 ， 尤其是對其中智能信息處理機制的了解 ， 還十分膚淺 。 因而現(xiàn)有的研究成果僅僅處于起步階段 ， 還需許多有識之士長期的艱苦努力 。 概括以上的簡要介紹，可以看出，當(dāng)前又處于神經(jīng)網(wǎng)絡(luò)理論的研究高潮，不僅給新一代智能計算機的研究帶來巨大影響，而且將推動整個人工智能領(lǐng)域的發(fā)展。但另一方面，由于問題本身的復(fù)雜性，不論是神經(jīng)網(wǎng)絡(luò)原理自身，還是正在努力進行探索和研究的神經(jīng)計算機，目前 ,都還處于起步發(fā)展階段。 為了了解 ANN，我們首先分析一下現(xiàn)行計算機所存在的問題。盡管馮 諾依曼型計算機在當(dāng)今世界發(fā)揮著巨大的作用，但它在智能化信息處理過程中存在著許多局限性。我們簡單分析一下馮 諾依曼型計算機求解某個問題所采用的方法。 (1)根據(jù)該問題的特點 ， 建立合適的數(shù)學(xué)模型 。 (2)根據(jù)所建立的數(shù)學(xué)模型的原始數(shù)