【文章內(nèi)容簡介】 022/2/2 70 生物神經(jīng)網(wǎng) 構(gòu)成 胞體 (Soma) 枝蔓 （ Dendrite） 胞體 (Soma) 軸突（ Axon） 突觸（ Synapse） 工作過程 2022/2/2 71 生物神經(jīng)網(wǎng) ? 六個基本特征： ? 1） 神經(jīng)元及其聯(lián)接 ； ? 2） 神經(jīng)元之間的聯(lián)接強度決定 信號傳遞 的強弱； ? 3） 神經(jīng)元之間的聯(lián)接強度是可以隨 訓(xùn)練 改變的； ? 4） 信號可以是起 刺激 作用的 ， 也可以是起 抑制 作用的； ? 5） 一個神經(jīng)元接受的信號的 累積效果 決定該神經(jīng)元的狀態(tài)； ? 6) 每個神經(jīng)元可以有一個 “ 閾值 ” 。 2022/2/2 72 人工神經(jīng)元 ? 神經(jīng)元是構(gòu)成神經(jīng)網(wǎng)絡(luò)的最基本單元 （ 構(gòu)件 ） 。 ? 人工神經(jīng)元模型應(yīng)該具有生物神經(jīng)元的六個基本特性。 2022/2/2 73 人工神經(jīng)元的基本構(gòu)成 ? 人工神經(jīng)元模擬生物神經(jīng)元的 一階特性 。 ? 輸入： X=（ x1， x2， … ， xn） ? 聯(lián)接權(quán)： W=（ w1， w2， … ， wn） T ? 網(wǎng)絡(luò)輸入： =∑xiwi ? 向量形式： =XW xn wn ∑ x1 w1 x2 w2 =XW … 2022/2/2 74 激活函數(shù) (Activation Function) ? 激活函數(shù) ——執(zhí)行對該神經(jīng)元所獲得的網(wǎng)絡(luò)輸入的變換 ， 也可以稱為激勵函數(shù) 、 活化函數(shù)： o=f（ ） ? 線性函數(shù)（ Liner Function） f（ ） =k*+c o o c 2022/2/2 75 非線性斜面函數(shù) (Ramp Function) γ if ≥θ f（ ） = k* if ||θ γ if ≤θ ? γ0為一常數(shù)，被稱為飽和值，為該神經(jīng)元的最大輸出。 2022/2/2 76 非線性斜面函數(shù)（ Ramp Function） γ γ θ θ net o 2022/2/2 77 閾值函數(shù)（ Threshold Function）階躍函數(shù) β if θ f（ ） = γ if ≤ θ β、 γ、 θ均為非負實數(shù) ， θ為閾值 二值形式： 1 if θ f（ ） = 0 if ≤ θ 雙極形式： 1 if θ f（ ） = 1 if ≤ θ 2022/2/2 78 閾值函數(shù)（ Threshold Function）階躍函數(shù) β γ θ o 0 2022/2/2 79 S形函數(shù) 壓縮函數(shù) （ Squashing Function） 和邏輯斯特函數(shù)（ Logistic Function） 。 f（ ） =a+b/(1+exp(d*)) a， b， d為常數(shù) 。 它的飽和值為 a和 a+b。 最簡單形式為： f（ ） = 1/(1+exp(d*)) 函數(shù)的飽和值為 0和 1。 ? S形函數(shù)有較好的增益控制 2022/2/2 80 S形函數(shù) a+b o (0,c) a c=a+b/2 2022/2/2 81 2022/2/2 82 典型激勵函數(shù) o o c 線性函數(shù)（ Liner Function） f（ ） =k*+c γ γ θ θ o 非線性斜面函數(shù)（ Ramp Function） a+b o (0,c) a c=a+b/2 S形函數(shù) 2022/2/2 83 MP模型 x2 w2 ∑ f o=f（ ） xn wn … =XW x1 w1 McCulloch—Pitts（ M—P）模型，也稱為處理單元（ PE） 2022/2/2 84 人工神經(jīng)元的基本構(gòu)成 胞體 (Soma) 枝蔓 （ Dendrite） 胞體 (Soma) 軸突（ Axon） 突觸（ Synapse） 人工神經(jīng)元模擬生物神經(jīng)元的一階特性 。 ? 輸入： X=（ x1， x2， … ， xn） ? 聯(lián)接權(quán)： W=（ w1， w2， … ， wn） T ? 網(wǎng)絡(luò)輸入： =∑xiwi ? 向量形式： =XW ? 激活函數(shù)： f ? 網(wǎng)絡(luò)輸出： o=f（ ） Input signal Synaptic weights Summing function Activation function Local Field v Output o x1 x2 xn w2 wn w1 ? ?? )(fw0 x0 = +1 2022/2/2 85 內(nèi)容回顧 ? 擅長兩個方面 ? 目前應(yīng)用 ? 語音、視覺、知識處理 ? 數(shù)據(jù)壓縮、模式匹配、系統(tǒng)建模、模糊控制、求組合優(yōu)化問題的最佳解的近似解（不是最佳近似解） ? 輔助決策 ——預(yù)報與智能管理 ? 通信 —— 自適應(yīng)均衡、回波抵消、路由選擇、ATM中的呼叫接納、識別與控制 ? 空間科學(xué) —— 對接、導(dǎo)航、制導(dǎo)、飛行程序優(yōu)化 2022/2/2 86 內(nèi)容回顧 ? 發(fā)展過程 ? 萌芽期（ 20世紀 40年代） ? MP模型 ? Hebb學(xué)習(xí)律 ? 第一高潮期（ 1950~1968） ? Perceptron的興衰 ? 反思期（ 1969~1982） ? 第二高潮期（ 1983~1990） ? 4個標志性成果 ? 再認識與應(yīng)用研究期（ 1991~） 2022/2/2 87 內(nèi)容回顧 ? 生物神經(jīng)網(wǎng) 六個基本特征 ? 神經(jīng)元及其聯(lián)接 、 信號傳遞 、 訓(xùn)練 、 刺激 與 抑制 、 累積效果 、 “ 閾值 ” 。 ? 人工神經(jīng)元的基本構(gòu)成 xn wn ∑ x1 w1 x2 w2 =XW … 2022/2/2 88 內(nèi)容回顧 ? 激活函數(shù)與 MP模型 ? 線性函數(shù)、非線性斜面函數(shù)、 閾值函數(shù) ? S形函數(shù) ? MP模型 x2 w2 ∑ f o=f（ ） xn wn … =XW x1 w1 2022/2/2 89 人工神經(jīng)網(wǎng)絡(luò)的拓撲特性 連接的拓撲表示 ANi wij ANj 2022/2/2 90 聯(lián)接模式 ? 用正號 （ “ +‖， 可省略 ） 表示傳送來的信號起 刺激 作用 ， 它用于增加神經(jīng)元的活躍度； ? 用負號 （ “ ‖） 表示傳送來的信號起 抑制 作用 ， 它用于降低神經(jīng)元的活躍度 。 ? 層次 （又稱為 “ 級 ” ）的劃分，導(dǎo)致了神經(jīng)元之間的三種不同的 互連模式 ： 2022/2/2 91 聯(lián)接模式 ? 層（級）內(nèi)聯(lián)接 ? 層內(nèi)聯(lián)接又叫做區(qū)域內(nèi)（ Intrafield）聯(lián)接或側(cè)聯(lián)接（ Lateral）。 ? 用來加強和完成層內(nèi)神經(jīng)元之間的競爭 ? 循環(huán)聯(lián)接 ? 反饋信號。 2022/2/2 92 聯(lián)接模式 ? 層（級）間聯(lián)接 ? 層間 （ Interfield） 聯(lián)接指不同層中的神經(jīng)元之間的聯(lián)接 。 這種聯(lián)接用來實現(xiàn)層間的信號傳遞 ? 前饋信號 ? 反饋信號 2022/2/2 93 網(wǎng)絡(luò)的分層結(jié)構(gòu) ? 單級網(wǎng) ? 簡單單級網(wǎng) 2022/2/2 94 簡單單級網(wǎng) … … x1 x2 … xn o1 o2 om wnm w11 w1m w2m wn1 輸出層 輸入層 2022/2/2 95 簡單單級網(wǎng) ? W=（ wij） ? 輸出層的第 j個神經(jīng)元的網(wǎng)絡(luò)輸入記為 j： ? j=x1w1j+x2w2j+… +xnwnj ? 其中 , 1≤ j ≤ m。 取 ? NET=（ 1， 2， … ， m） ? NET=XW ? O=F（ NET） 2022/2/2 96 單級橫向反饋網(wǎng) 輸出層 x1 o1 w11 w1m x2 o2 w2m … … … xn om wn1 輸入層 V 2022/2/2 97 單級橫向反饋網(wǎng) ? V=（ vij） ? NET=XW+OV ? O=F（ NET） ? 時間參數(shù) ——神經(jīng)元的狀態(tài)在主時鐘的控制下同步變化 ? 考慮 X總加在網(wǎng)上的情況 ? NET（ t+1） =X（ t） W+O（ t） V ? O(t+1)=F(NET(t+1)) ? O（ 0） =0 ? 考慮僅在 t=0時加 X的情況 。 ? 穩(wěn)定性判定 2022/2/2 98 多級網(wǎng) 輸出層 隱藏層 輸入層 o1 o2 om … x1 x2 xn … … … … … … 2022/2/2 99 ? 層次劃分 ? 信號只被允許從較低層流向較高層 。 ? 層號確定層的高低：層號較小者 ， 層次較低 ， 層號較大者 ， 層次較高 。 ? 輸入層 ：被記作第 0層 。 該層負責(zé)接收來自網(wǎng)絡(luò)外部的信息 輸出層 隱藏層 輸入層 o1 o2 om … x1 x2 xn … … … … … … 2022/2/2 100 ? 第 j層 ：第 j1層的直接后繼層 （ j0） ， 它直接接受第 j1層的輸出 。 ? 輸出層 ：它是網(wǎng)絡(luò)的最后一層 ， 具有該網(wǎng)絡(luò)的最大層號 ， 負責(zé)輸出網(wǎng)絡(luò)的計算結(jié)果 。 ? 隱藏層 ：除輸入層和輸出層以外的其它各層叫隱藏層。隱藏層不直接接受外界的信號，也不直接向外界發(fā)送信號 輸出層 隱藏層 輸入層 o1 o2 om … x1 x2 xn … … … … … … 2022/2/2 101 ? 約定 : ? 輸出層的層號為該網(wǎng)絡(luò)的層數(shù)： n層網(wǎng)絡(luò) ， 或 n級網(wǎng)絡(luò) 。 ? 第 j1層到第 j層的聯(lián)接矩陣為第 j層聯(lián)接矩陣 ， 輸出層對應(yīng)的矩陣叫輸出層聯(lián)接矩陣 。 今后 ， 在需要的時候 ， 一般我們用 W（ j） 表示第 j層矩陣 。 輸出層 隱藏層 輸入層 o1 o2 om … x1 x2 xn … … … … … … W(1) W(2) W(3) W(h) 2022/2/2 102 多級網(wǎng) ——h層網(wǎng)絡(luò) 輸出層 隱藏層 輸入層 o1 o2 om … x1 x2 xn … … … … … … W(1) W(2) W(3) W(h) 2022/2/2 103 多級網(wǎng) ?非線性激活函數(shù) ?F(X)=kX+C ?F3(F2(F1(XW(1))W(2))W(3)) 2022/2/2 104 循環(huán)網(wǎng) x1 o1 輸出層 隱藏層 輸入層 x2 o2 om xn … … … … … … … 2022/2/2 105 循環(huán)網(wǎng) ? 如果將輸出信號反饋到輸入端 ,就可構(gòu)成一個多層的循環(huán)網(wǎng)絡(luò) 。 ? 輸入的原始信號被逐步地 “ 加強 ” 、 被 “ 修復(fù) ” 。 ? 大腦的 短期記憶特征 ——看到的東西不是一下子就從腦海里消失的 。 ? 穩(wěn)定 ：反饋信號會引起網(wǎng)絡(luò)輸出的不斷變化。我們希望這種變化逐漸減小，并且最后能消失。當變化最后消失時，網(wǎng)絡(luò)達到了平衡狀態(tài)。如果這種變化不能消失，則稱該網(wǎng)絡(luò)是不穩(wěn)定的。 2022/2/2 106 存儲與映射 ? 空間模式 （ Spatial Model） ? 時空模式 （ Spatialtemporal Model） ? 空間模式三種 存儲類型 ? RAM方式 （ Random Access Memory） ? 隨機訪問方式是將地址映射到數(shù)據(jù) 。 ? CAM方式 （ Content Addressable Memory） ? 內(nèi)容尋址方式是將數(shù)據(jù)映射到地址 。 ? AM方式 （ Associative Memory） ? 相聯(lián)存儲方式是將數(shù)據(jù)映射到數(shù)據(jù) 。 2022/2/2 107 存儲與映射 ? 后續(xù)的兩種方式是人工神經(jīng)網(wǎng)絡(luò)的工作方式 。 ? 在學(xué)習(xí) /訓(xùn)練期間 ， 人工神經(jīng)網(wǎng)絡(luò)以 CAM方式工作；權(quán)矩陣又被稱為網(wǎng)絡(luò)的 長期存儲（ Long Term Memory， 簡記為 LTM） 。 ? 網(wǎng)絡(luò)在正常工作階段是以 AM方式工