【正文】 人工神經(jīng)網(wǎng)絡(luò) 第一章 緒論 第二章 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)知識 第三章 監(jiān)督學(xué)習(xí)神經(jīng)網(wǎng)絡(luò) 第四章 競爭學(xué)習(xí)神經(jīng)網(wǎng)絡(luò) 第五章 組合學(xué)習(xí)神經(jīng)網(wǎng)絡(luò) 第六章 反饋神經(jīng)網(wǎng)絡(luò) 第 1章 緒論 167。 人腦與計算機 167。 人工神經(jīng)網(wǎng)絡(luò)發(fā)展簡史 167。 啟蒙時期 167。 低潮時期 167。 復(fù)興時期 167。 新時期 167。 國內(nèi)研究概況 167。 神經(jīng)網(wǎng)絡(luò)的基本特征與功能 167。 神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域 本章小結(jié) 第 2章 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)知識 167。 人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)基礎(chǔ) 167。 人工神經(jīng)元模型 167。 神經(jīng)元的建摸 167。 神經(jīng)元的數(shù)學(xué)模型 167。 神經(jīng)元的轉(zhuǎn)移函數(shù) 167。 人工神經(jīng)網(wǎng)絡(luò)模型 167。 網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)類型 167。 層次型結(jié)構(gòu) 167。 互連型結(jié)構(gòu) 167。 網(wǎng)絡(luò)信息流向類型 167。 前饋型網(wǎng)絡(luò) 167。 反饋型網(wǎng)絡(luò) 167。 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí) 167。 Hebbian學(xué)習(xí)規(guī)則 167。 Perceptron（感知器）學(xué)習(xí)規(guī)則 167。 δ(Delta)學(xué)習(xí)規(guī)則 167。 WidrowHoff學(xué)習(xí)規(guī)則 167。 Correlation（相關(guān)）學(xué)習(xí)規(guī)則 167。 WinnerTakeAll（勝者為王）學(xué)習(xí)規(guī)則 167。 Outstar（外星）學(xué)習(xí)規(guī)則 本章小結(jié) 第 3章 監(jiān)督學(xué)習(xí)神經(jīng)網(wǎng)絡(luò) 167。 單層感知器 167。 感知器模型 167。 單節(jié)點感知器的功能分析 167。 感知器的學(xué)習(xí)算法 167。 感知器的局限性及解決途徑 167。 基于誤差反傳的多層感知器 — BP神經(jīng)網(wǎng)絡(luò) 167。 BP網(wǎng)絡(luò)模型 167。 BP學(xué)習(xí)算法 167。 BP算法的程序?qū)崿F(xiàn) 167。 BP網(wǎng)絡(luò)的主要能力 167。 誤差曲面與 BP算法的局限性 167。 BP算法的改進 167。 BP網(wǎng)絡(luò)設(shè)計基礎(chǔ) 167。 BP網(wǎng)絡(luò)應(yīng)用與設(shè)計實例 本章小結(jié) 第 4章 競爭學(xué)習(xí)神經(jīng)網(wǎng)絡(luò) 167。 競爭學(xué)習(xí)的概念與原理 167。 基本概念 167。 競爭學(xué)習(xí)原理 167。 自組織特征映射神經(jīng)網(wǎng)絡(luò) 167。 SOM網(wǎng)絡(luò)的生物學(xué)基礎(chǔ) 167。 SOM網(wǎng) (絡(luò) )的拓?fù)浣Y(jié)構(gòu) 與權(quán)值調(diào)整域 167。 自組織特征映射網(wǎng) (絡(luò) )的運行原理與學(xué)習(xí)算法 167。 運行原理 167。 學(xué)習(xí)算法 167。 功能分析 167。 自組織特征映射網(wǎng)絡(luò)的設(shè)計與應(yīng)用 167。 自適應(yīng)共振理論 本章小結(jié) 第 6章 反饋神經(jīng)網(wǎng)絡(luò) 167。 離散型 Hopfield神經(jīng)網(wǎng)絡(luò) (DHNN) 167。 網(wǎng)絡(luò)的結(jié)構(gòu)與工作方式 167。 網(wǎng)絡(luò)的穩(wěn)定性與吸引子 167。 網(wǎng)絡(luò)的穩(wěn)定性 167。 吸引子 與能量函數(shù) 167。 吸引子的性質(zhì) 167。 吸引子的吸引域 167。 網(wǎng)絡(luò)的權(quán)值設(shè)計 167。 網(wǎng)絡(luò)的信息存儲容量 167。 連續(xù)型 Hopfield神經(jīng)網(wǎng)絡(luò) (CHNN) 167。 Hopfield網(wǎng)絡(luò)應(yīng)用與設(shè)計實例 167。 雙向聯(lián)想記憶 (BAM)神經(jīng)網(wǎng)絡(luò) 167。 隨機神經(jīng)網(wǎng)絡(luò) 167。 遞歸神經(jīng)網(wǎng)絡(luò) 本章小結(jié) 第 1章 緒論 167。 人腦與計算機 167。 人工神經(jīng)網(wǎng)絡(luò)發(fā)展簡史 167。 啟蒙時期 167。 低潮時期 167。 復(fù)興時期 167。 新時期 167。 國內(nèi)研究概況 167。 神經(jīng)網(wǎng)絡(luò)的基本特征與功能 167。 神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域 本章小結(jié) 167。 人工神經(jīng)網(wǎng)絡(luò)發(fā)展簡史 神經(jīng)網(wǎng)絡(luò)的研究可追溯到 19世紀(jì)末期，其發(fā)展歷史可分為四個時期。 第一個時期為 啟蒙時期 ，開始于 1890年美國著名心理學(xué)家 W． James關(guān)于人腦結(jié)構(gòu)與功能的研究，結(jié)束于 1969年 Minsky和 Papert發(fā)表 《 感知器 》(Perceptron)一書。 第二個時期為 低潮時期 ，開始于 1969年，結(jié)束于 1982年 Hopfield發(fā)表著名的文章“神經(jīng)網(wǎng)絡(luò)和物理系統(tǒng)” (Neural Network and Physical System)。 第三個時期為 復(fù)興時期 ，開始于 J． J． Hopfield的突破性研究論文，結(jié)束于 1986年 D． E． Rumelhart和 J． L． McClelland領(lǐng)導(dǎo)的研究小組發(fā)表的 《 并行分布式處理 》 (Parallel Distributed Processing)一書。 第四個時期為 高潮時期 ，以 1987年首屆國際人工神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)會議為開端，迅速在全世界范圍內(nèi)掀起人工神經(jīng)網(wǎng)絡(luò)的研究應(yīng)用熱潮，至今勢頭不衰。 167。 啟蒙時期 … 低潮時期 … 復(fù)興時期 … 高潮時期 (新高潮 )……… 本章小結(jié) 第 2章 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)知識 167。 人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)基礎(chǔ) 167。 人工神經(jīng)元模型 167。 神經(jīng)元的建摸 167。 神經(jīng)元的數(shù)學(xué)模型 167。 神經(jīng)元的轉(zhuǎn)移函數(shù) 167。 人工神經(jīng)網(wǎng)絡(luò)模型 167。 網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)類型 167。 層次型結(jié)構(gòu) 167。 互連型結(jié)構(gòu) 167。 網(wǎng)絡(luò)信息流向類型 167。 前饋型網(wǎng)絡(luò) 167。 反饋型網(wǎng)絡(luò) 167。 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí) 167。 Hebbian學(xué)習(xí)規(guī)則 167。 Perceptron（感知器）學(xué)習(xí)規(guī)則 167。 δ(Delta)學(xué)習(xí)規(guī)則 167。 WidrowHoff學(xué)習(xí)規(guī)則 167。 Correlation（相關(guān)）學(xué)習(xí)規(guī)則 167。 WinnerTakeAll（勝者為王）學(xué)習(xí)規(guī)則 167。 Outstar（外星）學(xué)習(xí)規(guī)則 本章小結(jié) 167。 人工神經(jīng)元模型 人工神經(jīng)網(wǎng)絡(luò)是在現(xiàn)代神經(jīng)生物學(xué)研究基礎(chǔ)上提出的模擬生物過程以反映人腦某些特性的 計算結(jié)構(gòu) 。它不是人腦神經(jīng)系統(tǒng)的真實描寫，而只是人腦神經(jīng)系統(tǒng)的某種抽象、簡化和模擬。 神經(jīng)元及其突觸是神經(jīng)網(wǎng)絡(luò)的基本器件。因此，模擬生物神經(jīng)網(wǎng)絡(luò)應(yīng) 首先模擬生物神經(jīng)元 。 在人工神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元常被稱為“處理單元”。 人工神經(jīng)元是 對生物神經(jīng)元的一種形式化描述； 人工神經(jīng)元是 對生物神經(jīng)元的信息處理過程進行抽象，并用數(shù)學(xué)語言予以描述； 人工神經(jīng)元是 對生物神經(jīng)元的結(jié)構(gòu)和功能進行模擬，并用模型圖予以表達。 神經(jīng)元的建摸 (1/6) 目前人們提出的神經(jīng)元模型已有很多，其中最早提出且影響最大的是 MP模型（ 1943年由心理學(xué)家 McCulloch和數(shù)學(xué)家W． Pitts首先提出的）。 該模型經(jīng)過不斷改進后，形成目前應(yīng)用廣泛的一種神經(jīng)元模型。 關(guān)于神經(jīng)元的信息處理機制，該模型在簡化的基礎(chǔ)上提出以下 6點假定： 是一個多輸入單輸出的信息處理單元； 突觸分興奮性和抑制性兩種類型； 神經(jīng)元具有空間整合特性和閥值特性； 輸入與輸出間有固定的時滯，取決于突觸延擱； 忽略時間整合作用和不應(yīng)期； 神經(jīng)元本身是非時變的，即其突觸時延和突觸強度均為常數(shù)。 神經(jīng)元的建摸 (2/6) 上述假定，可用圖 示。 神經(jīng)元的建摸 (3/6) 如生物神經(jīng)元有許多激勵輸入一樣，人工神經(jīng)元也應(yīng)該有許多的輸入信號。 圖中用 xi ( i=1, 2, …, n ) 表示輸入數(shù)值的大小，它們同時輸入神經(jīng)元 j。 j x1 … xi … xn wnj wij w1j 神經(jīng)元的建摸 (4/6) 生物神經(jīng)元具有不同的突觸性質(zhì)和突觸強度，其影響是使有些輸入的作用比另外一些輸入更為重要。 對模擬神經(jīng)元的每一個輸入都有一個 加權(quán)系數(shù) wij，稱為權(quán)重值，其 正負(fù) 模擬了生物神經(jīng)元中突觸的興奮和抑制，其 大小則代表了突觸的不同連接強度。 j x1 … xi … xn 神經(jīng)元的建摸 (5/6) 作為基本處理單元，必須對全部輸入信號進行整合，以確定各類輸入的作用總效果，組合表示輸入信號的“ 總和 值”，相應(yīng)于生物神經(jīng)元的膜電位。 神經(jīng)元是否激活，決于某一 閾值 電平，即只有當(dāng)其 輸入總和超過閾值 時，神經(jīng)元才被激活而發(fā)出脈沖，否則神經(jīng)元不會產(chǎn)生輸出信號。 ∑ wnj wij w1j j x1 … xi … xn f oj 神經(jīng)元的建摸 (6/6) 人工神經(jīng)元的輸出也同生物神經(jīng)元一樣僅有一個，如用oj表示神經(jīng)元 j輸出。 輸出與輸入之間的對應(yīng)關(guān)系可用某種函數(shù)來表示，這種函數(shù)稱為 轉(zhuǎn)移函數(shù) ，一般都是 非線性的 。 ∑ wnj wij w1j j x1 … xi … xn 神經(jīng)元的數(shù)學(xué)模型 (1/6) 我們用一個數(shù)學(xué)表達式對上述內(nèi)容可進行抽象與概括。 令 xi(t)表示 t時刻神經(jīng)元 j接收的來自神經(jīng)元 i的信息輸入， oj(t)表示 t時刻神經(jīng)元的信息輸出，則神經(jīng)元 j的狀態(tài)可表達為 )(T)t(xwf)t(o jn1iijiijj????????????? ??? ??式中 τij —— 輸入 i輸出 j間的突觸延時； Tj —— 神經(jīng)元 j的 閾 值； wij —— 神經(jīng)元 i到 j的突觸連接系數(shù)值； f( ) —— 神經(jīng)元轉(zhuǎn)移函數(shù)。 神經(jīng)元的數(shù)學(xué)模型 (2/6) )(T)t(xwf)1t(o jn1iiijj?????? ????????? ?? 為簡單起見，將上式中的突觸延時取為單位時間，則式（ ）可寫為 上式描述的神經(jīng)元數(shù)學(xué)模型全面表達了神經(jīng)元模型的 6點假定。 多輸入單輸出 。 (n個輸入 。 1個輸出 ) 突觸分興奮性和抑制性 。 (wij可正可負(fù)、可大可小 ) 有空間整合特性和閥值特性 。 (∑求和 , Tj) 輸入與輸出間有固定的時滯 。 忽略時間整合作用和不應(yīng)期 。 非時變，即突觸時延和突觸強度為常數(shù)。 神經(jīng)元的數(shù)學(xué)模型 (3/6) )(T)t(xwf)1t(o jn1iiijj?????? ????????? ?? 輸入總和常稱為神經(jīng)元在 t時刻的凈輸入，用 )()t(xw)t(n e tn1iiij39。j ??? 當(dāng) ’jTj時，神經(jīng)元 j才能被激活。 oj(t+1)與 xi(t)之間的單位時間差代表所有神經(jīng)元具有相同的、恒定的工作節(jié)律， wij與時間無關(guān)。 為簡便起見，后面用到式 ()和 ()時，常將其中的 (t+1)和 (t)省略。 神經(jīng)元的數(shù)學(xué)模型 (4/6) ? ??????????????????????????????????ni1Tnjijj1njijj1jxxxX。wwwW??????)(XW)t(n e t Tj39。j ? 式 ()還可表示為權(quán)重向量和輸入向量的點積 其中 Wj 和 X 均為列向量，定義為 )()t(xw)t(n e tn1iiij39。j ??? 神經(jīng)元的數(shù)學(xué)模型 (5/6) ? ?????????????????ni0njijj0TjxxxXW????)(XWxwn e tTn e t Tjn0iiijjj39。j ???? ?? 如果令 x0=1， w0j=Tj，則有