【正文】 這個輸出可以根據(jù)需要被分枝成希望個數(shù)的許多并行聯(lián)接，且這些并行聯(lián)接都輸出相同的信號，即相應(yīng)處理單元的信號，信號的大小不因分支的多少而變化。也就是說，它必須僅僅依賴于經(jīng)過輸入聯(lián)接到達處理單元的所有輸入信號的當前值和存儲在處理單元局部內(nèi)存中的值。 2022/2/2 42 人工神經(jīng)網(wǎng)絡(luò)的概念 ? （ 3） Simpson（ 1987年 ） ? 人工神經(jīng)網(wǎng)絡(luò)是一個非線性的有向圖，圖中含有可以通過改變權(quán)大小來存放模式的加權(quán)邊，并且可以從不完整的或未知的輸入找到模式。 ——―抽象 ” 功能 。 ? 普化（ Generalization）能力與抽象能力 2022/2/2 47 信息的分布存放 ? 信息的分布存提供容錯功能 ? 由于信息被分布存放在幾乎整個網(wǎng)絡(luò)中，所以，當其中的某一個點或者某幾個點被破壞時，信息仍然可以被存取。 ? 并不是說可以任意地對完成學(xué)習(xí)的網(wǎng)絡(luò)進行修改。 2022/2/2 48 (Applicability)問題 ? 擅長兩個方面： ? 對大量的數(shù)據(jù)進行分類 ， 并且只有較少的幾種情況； ? 必須學(xué)習(xí)一個復(fù)雜的非線性映射 。 ? 在數(shù)據(jù)壓縮、模式匹配、系統(tǒng)建模、模糊控制、求組合優(yōu)化問題的最佳解的近似解（不是最佳近似解）等方面也有較好的應(yīng)用。 ? 1943年 ， 心理學(xué)家 McCulloch和數(shù)學(xué)家 Pitts建立起了著名的閾值加權(quán)和模型 ， 簡稱為MP模型 。 2022/2/2 50 第一高潮期（ 1950~1968） ? 以 Marvin Minsky ， Frank Rosenblatt ，Bernard Widrow等為代表人物 ， 代表作是單級感知器 （ Perceptron） 。 ? 人們樂觀地認為幾乎已經(jīng)找到了智能的關(guān)鍵。 2022/2/2 51 反思期（ 1969~1982） ? M. L. Minsky和 S. Papert， 《 Perceptron》 ，MIT Press， 1969年 ? 異或 ” 運算不可表示 ? 二十世紀 70年代和 80年代早期的研究結(jié)果 ? 認識規(guī)律：認識 ——實踐 ——再認識 2022/2/2 52 第二高潮期（ 1983~1990） ? 1982年， J. Hopfield提出循環(huán)網(wǎng)絡(luò) ? 用 Lyapunov函數(shù) 作為網(wǎng)絡(luò)性能判定的能量函數(shù)，建立 ANN穩(wěn)定性的判別依據(jù) ? 闡明了 ANN與動力學(xué)的關(guān)系 ? 用非線性動力學(xué)的方法來研究 ANN的特性 ? 指出信息被存放在網(wǎng)絡(luò)中神經(jīng)元的聯(lián)接上 ? ?? ?? ?? ??? ?????ninjijnixiiiiininjjiij wdsxsxswVi1 11 01 1)()()()(21 ????2022/2/2 53 第二高潮期（ 1983~1990） ? 2） 1984年， J. Hopfield設(shè)計研制了后來被人們稱為 Hopfield網(wǎng) 的電路。 ? 3） 1985年， UCSD的 Hinton、 Sejnowsky、Rumelhart等人所在的并行分布處理（ PDP）小組的研究者在 Hopfield網(wǎng)絡(luò)中引入了隨機機制，提出所謂的 Boltzmann機 。 （ Paker1982 和Werbos1974年 ） ? 國內(nèi)首屆神經(jīng)網(wǎng)絡(luò)大會 是 1990年 12月在北京舉行的 。 ? 2） 充分發(fā)揮兩種技術(shù)各自的優(yōu)勢是一個有效方法 ? 3） 希望在理論上尋找新的突破 ， 建立新的專用 /通用模型和算法 。 2022/2/2 57 ? 神經(jīng)網(wǎng)絡(luò)的研究已有 50多年的歷史，它的發(fā)展道路是曲折的，幾經(jīng)興衰，目前已在許多領(lǐng)域得到了成功的應(yīng)用。 1943年 ，心理學(xué)家 McCulloch和數(shù)學(xué)家 Pitts合作 ， 融合了生物物理學(xué)和數(shù)學(xué) ， 提出了第一個神經(jīng)元計算模型 — MP模型 。 這種巨大的記憶能力存儲在網(wǎng)絡(luò)中足夠多的神經(jīng)元之間豐富的連接強度上 。 歷史總結(jié) 2022/2/2 59 ? 1949年心理學(xué)家 Hebb提出神經(jīng)元之間突觸聯(lián)系強度可變的假設(shè)。根據(jù)這一假說提出了改變神經(jīng)元連接強度的 Hebb規(guī)則。直到現(xiàn)在， Hebb的學(xué)習(xí)算法仍在不少人工神經(jīng)網(wǎng)絡(luò)中應(yīng)用。這是一種學(xué)習(xí)和自組織的心理學(xué)模型，它基本上符合神經(jīng)生理學(xué)的知識，模型的學(xué)習(xí)環(huán)境是有噪聲的，網(wǎng)絡(luò)構(gòu)造中存在隨機連接，這符合動物學(xué)習(xí)的自然環(huán)境。后來的一大類神經(jīng)網(wǎng)絡(luò)模型都是感知器模型的變形。這時應(yīng)采用含有隱單元的多層神經(jīng)網(wǎng)絡(luò)，但引入隱單元后找到一個有效的學(xué)習(xí)算法非常困難， Minsky斷言這種感知器無科學(xué)研究價值可言，包括多層的也沒有什么意義。同時當時的微電子技術(shù)也無法為神經(jīng)網(wǎng)絡(luò)的研究提供有效的技術(shù)保障。 歷史總結(jié) 2022/2/2 63 ? 然而在此期間，仍有為數(shù)不多的學(xué)者致力于神經(jīng)網(wǎng)絡(luò)的研究， 1969年 Grossberg等提出了自適應(yīng)共振理論模型。所有這些理論為神經(jīng)網(wǎng)絡(luò)的進一步發(fā)展奠定了理論基礎(chǔ)。 1985年 Hopfield和Tank提出用神經(jīng)網(wǎng)絡(luò)解決優(yōu)化問題。 BP算法目前已成為迄今為止應(yīng)用最普遍的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法。 ? 上世紀 80年代后 ? Rumelhart， Mcclelland以及 Hopfield等取得突破性進展 ? 上世紀 90年代開始 ? 功能柱和神經(jīng)場模型的提出 歷史總結(jié) 2022/2/2 67 第 2章 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ) ? 主要內(nèi)容 ： ? BN與 AN； ? 拓撲結(jié)構(gòu)； ? 存儲； ? 訓(xùn)練 ? 重點： AN；拓撲結(jié)構(gòu)；訓(xùn)練 ? 難點： 訓(xùn)練 2022/2/2 68 第 2章 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ) 生物神經(jīng)網(wǎng) 人工神經(jīng)元 人工神經(jīng)網(wǎng)絡(luò)的拓撲特性 存儲與映射 人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練 2022/2/2 69 ? 或稱神經(jīng)細胞 ， 是生物神經(jīng)系統(tǒng)的最基本單元 。 生物神經(jīng)網(wǎng) 生物神經(jīng)元（ Neuron） 時空整合功能 興奮與抑制狀態(tài) 脈沖與電位轉(zhuǎn)換 突觸延時與不應(yīng)期 2022/2/2 70 生物神經(jīng)網(wǎng) 構(gòu)成 胞體 (Soma) 枝蔓 （ Dendrite） 胞體 (Soma) 軸突（ Axon） 突觸（ Synapse） 工作過程 2022/2/2 71 生物神經(jīng)網(wǎng) ? 六個基本特征： ? 1） 神經(jīng)元及其聯(lián)接 ； ? 2） 神經(jīng)元之間的聯(lián)接強度決定 信號傳遞 的強弱； ? 3） 神經(jīng)元之間的聯(lián)接強度是可以隨 訓(xùn)練 改變的； ? 4） 信號可以是起 刺激 作用的 ， 也可以是起 抑制 作用的； ? 5） 一個神經(jīng)元接受的信號的 累積效果 決定該神經(jīng)元的狀態(tài)； ? 6) 每個神經(jīng)元可以有一個 “ 閾值 ” 。 ? 人工神經(jīng)元模型應(yīng)該具有生物神經(jīng)元的六個基本特性。 ? 輸入： X=（ x1， x2， … ， xn） ? 聯(lián)接權(quán)： W=（ w1， w2， … ， wn） T ? 網(wǎng)絡(luò)輸入： =∑xiwi ? 向量形式： =XW xn wn ∑ x1 w1 x2 w2 =XW … 2022/2/2 74 激活函數(shù) (Activation Function) ? 激活函數(shù) ——執(zhí)行對該神經(jīng)元所獲得的網(wǎng)絡(luò)輸入的變換 ， 也可以稱為激勵函數(shù) 、 活化函數(shù)： o=f（ ） ? 線性函數(shù)（ Liner Function） f（ ） =k*+c o o c 2022/2/2 75 非線性斜面函數(shù) (Ramp Function) γ if ≥θ f（ ） = k* if ||θ γ if ≤θ ? γ0為一常數(shù)，被稱為飽和值，為該神經(jīng)元的最大輸出。 f（ ） =a+b/(1+exp(d*)) a， b， d為常數(shù) 。 最簡單形式為： f（ ） = 1/(1+exp(d*)) 函數(shù)的飽和值為 0和 1。 ? 輸入： X=（ x1， x2， … ， xn） ? 聯(lián)接權(quán)： W=（ w1， w2， … ， wn） T ? 網(wǎng)絡(luò)輸入： =∑xiwi ? 向量形式： =XW ? 激活函數(shù)： f ? 網(wǎng)絡(luò)輸出： o=f（ ） Input signal Synaptic weights Summing function Activation function Local Field v Output o x1 x2 xn w2 wn w1 ? ?? )(fw0 x0 = +1 2022/2/2 85 內(nèi)容回顧 ? 擅長兩個方面 ? 目前應(yīng)用 ? 語音、視覺、知識處理 ? 數(shù)據(jù)壓縮、模式匹配、系統(tǒng)建模、模糊控制、求組合優(yōu)化問題的最佳解的近似解（不是最佳近似解） ? 輔助決策 ——預(yù)報與智能管理 ? 通信 —— 自適應(yīng)均衡、回波抵消、路由選擇、ATM中的呼叫接納、識別與控制 ? 空間科學(xué) —— 對接、導(dǎo)航、制導(dǎo)、飛行程序優(yōu)化 2022/2/2 86 內(nèi)容回顧 ? 發(fā)展過程 ? 萌芽期（ 20世紀 40年代） ? MP模型 ? Hebb學(xué)習(xí)律 ? 第一高潮期（ 1950~1968） ? Perceptron的興衰 ? 反思期（ 1969~1982） ? 第二高潮期（ 1983~1990） ? 4個標志性成果 ? 再認識與應(yīng)用研究期（ 1991~） 2022/2/2 87 內(nèi)容回顧 ? 生物神經(jīng)網(wǎng) 六個基本特征 ? 神經(jīng)元及其聯(lián)接 、 信號傳遞 、 訓(xùn)練 、 刺激 與 抑制 、 累積效果 、 “ 閾值 ” 。 ? 層次 （又稱為 “ 級 ” ）的劃分，導(dǎo)致了神經(jīng)元之間的三種不同的 互連模式 ： 2022/2/2 91 聯(lián)接模式 ? 層（級）內(nèi)聯(lián)接 ? 層內(nèi)聯(lián)接又叫做區(qū)域內(nèi)（ Intrafield）聯(lián)接或側(cè)聯(lián)接（ Lateral）。 2022/2/2 92 聯(lián)接模式 ? 層（級）間聯(lián)接 ? 層間 （ Interfield） 聯(lián)接指不同層中的神經(jīng)元之間的聯(lián)接 。 取 ? NET=（ 1， 2， … ， m） ? NET=XW ? O=F（ NET） 2022/2/2 96 單級橫向反饋網(wǎng) 輸出層 x1 o1 w11 w1m x2 o2 w2m … … … xn om wn1 輸入層 V 2022/2/2 97 單級橫向反饋網(wǎng) ? V=（ vij） ? NET=XW+OV ? O=F（ NET） ? 時間參數(shù) ——神經(jīng)元的狀態(tài)在主時鐘的控制下同步變化 ? 考慮 X總加在網(wǎng)上的情況 ? NET（ t+1） =X（ t） W+O（ t） V ? O(t+1)=F(NET(t+1)) ? O（ 0） =0 ? 考慮僅在 t=0時加 X的情況 。 ? 層號確定層的高低：層號較小者 ， 層次較低 ， 層號較大者 ， 層次較高 。 該層負責(zé)接收來自網(wǎng)絡(luò)外部的信息 輸出層 隱藏層 輸入層 o1 o2 om … x1 x2 xn … … … … … … 2022/2/2 100 ? 第 j層 ：第 j1層的直接后繼層 （ j0） ， 它直接接受第 j1層的輸出 。 ? 隱藏層 ：除輸入層和輸出層以外的其它各層叫隱藏層。 ? 第 j1層到第 j層的聯(lián)接矩陣為第 j層聯(lián)接矩陣 ， 輸出層對應(yīng)的矩陣叫輸出層聯(lián)接矩陣 。 輸出層 隱藏層 輸入層 o1 o2 om … x1 x2 xn … … … … … … W(1) W(2) W(3) W(h) 2022/2/2 102 多級網(wǎng) ——h層網(wǎng)絡(luò) 輸出層 隱藏層 輸入層 o1 o2 om … x1 x2 xn … … … … … … W(1) W(2) W(3) W(h) 2022/2/2 103 多級網(wǎng) ?非線性激活函數(shù) ?F(X)=kX+C ?F3(F2(F1(XW(1))W(2))W(3)) 2022/2/2 104 循環(huán)網(wǎng) x1 o1 輸出層 隱藏層 輸入層 x2 o2 om xn … … … … … … … 2022/2/2 105 循環(huán)網(wǎng) ? 如果將輸出信號反饋到輸入端 ,就可構(gòu)成一個多層的循環(huán)網(wǎng)絡(luò) 。 ? 大腦的 短期記憶特征 ——看到的東西不是一下子就從腦海里消失的 。我們希望這種變化逐漸減小，并且最后能消失。如果這種變化不能消失，則稱該網(wǎng)絡(luò)是不穩(wěn)定的。 ? CAM方式 （ Content Addressable Memory）