【正文】 ative） 映射 ： 訓(xùn)練網(wǎng)絡(luò)的樣本集為向量集合為 {A1， A2， … ， An} ? 在理想情況下，該網(wǎng)絡(luò)在完成訓(xùn)練后，其權(quán)矩陣存放的將是上面所給的向量集合。 ? 在學(xué)習(xí) /訓(xùn)練期間 ， 人工神經(jīng)網(wǎng)絡(luò)以 CAM方式工作；權(quán)矩陣又被稱為網(wǎng)絡(luò)的 長期存儲（ Long Term Memory， 簡記為 LTM） 。 ? AM方式 （ Associative Memory） ? 相聯(lián)存儲方式是將數(shù)據(jù)映射到數(shù)據(jù) 。 2022/2/2 106 存儲與映射 ? 空間模式 （ Spatial Model） ? 時空模式 （ Spatialtemporal Model） ? 空間模式三種 存儲類型 ? RAM方式 （ Random Access Memory） ? 隨機訪問方式是將地址映射到數(shù)據(jù) 。當(dāng)變化最后消失時，網(wǎng)絡(luò)達到了平衡狀態(tài)。 ? 穩(wěn)定 ：反饋信號會引起網(wǎng)絡(luò)輸出的不斷變化。 ? 輸入的原始信號被逐步地 “ 加強 ” 、 被 “ 修復(fù) ” 。 今后 ， 在需要的時候 ， 一般我們用 W（ j） 表示第 j層矩陣 。隱藏層不直接接受外界的信號，也不直接向外界發(fā)送信號 輸出層 隱藏層 輸入層 o1 o2 om … x1 x2 xn … … … … … … 2022/2/2 101 ? 約定 : ? 輸出層的層號為該網(wǎng)絡(luò)的層數(shù)： n層網(wǎng)絡(luò) ， 或 n級網(wǎng)絡(luò) 。 ? 輸出層 ：它是網(wǎng)絡(luò)的最后一層 ， 具有該網(wǎng)絡(luò)的最大層號 ， 負責(zé)輸出網(wǎng)絡(luò)的計算結(jié)果 。 ? 輸入層 ：被記作第 0層 。 ? 穩(wěn)定性判定 2022/2/2 98 多級網(wǎng) 輸出層 隱藏層 輸入層 o1 o2 om … x1 x2 xn … … … … … … 2022/2/2 99 ? 層次劃分 ? 信號只被允許從較低層流向較高層 。 這種聯(lián)接用來實現(xiàn)層間的信號傳遞 ? 前饋信號 ? 反饋信號 2022/2/2 93 網(wǎng)絡(luò)的分層結(jié)構(gòu) ? 單級網(wǎng) ? 簡單單級網(wǎng) 2022/2/2 94 簡單單級網(wǎng) … … x1 x2 … xn o1 o2 om wnm w11 w1m w2m wn1 輸出層 輸入層 2022/2/2 95 簡單單級網(wǎng) ? W=（ wij） ? 輸出層的第 j個神經(jīng)元的網(wǎng)絡(luò)輸入記為 j： ? j=x1w1j+x2w2j+… +xnwnj ? 其中 , 1≤ j ≤ m。 ? 用來加強和完成層內(nèi)神經(jīng)元之間的競爭 ? 循環(huán)聯(lián)接 ? 反饋信號。 ? 人工神經(jīng)元的基本構(gòu)成 xn wn ∑ x1 w1 x2 w2 =XW … 2022/2/2 88 內(nèi)容回顧 ? 激活函數(shù)與 MP模型 ? 線性函數(shù)、非線性斜面函數(shù)、 閾值函數(shù) ? S形函數(shù) ? MP模型 x2 w2 ∑ f o=f（ ） xn wn … =XW x1 w1 2022/2/2 89 人工神經(jīng)網(wǎng)絡(luò)的拓撲特性 連接的拓撲表示 ANi wij ANj 2022/2/2 90 聯(lián)接模式 ? 用正號 （ “ +‖， 可省略 ） 表示傳送來的信號起 刺激 作用 ， 它用于增加神經(jīng)元的活躍度； ? 用負號 （ “ ‖） 表示傳送來的信號起 抑制 作用 ， 它用于降低神經(jīng)元的活躍度 。 ? S形函數(shù)有較好的增益控制 2022/2/2 80 S形函數(shù) a+b o (0,c) a c=a+b/2 2022/2/2 81 2022/2/2 82 典型激勵函數(shù) o o c 線性函數(shù)（ Liner Function） f（ ） =k*+c γ γ θ θ o 非線性斜面函數(shù)（ Ramp Function） a+b o (0,c) a c=a+b/2 S形函數(shù) 2022/2/2 83 MP模型 x2 w2 ∑ f o=f（ ） xn wn … =XW x1 w1 McCulloch—Pitts（ M—P）模型，也稱為處理單元（ PE） 2022/2/2 84 人工神經(jīng)元的基本構(gòu)成 胞體 (Soma) 枝蔓 （ Dendrite） 胞體 (Soma) 軸突（ Axon） 突觸（ Synapse） 人工神經(jīng)元模擬生物神經(jīng)元的一階特性 。 它的飽和值為 a和 a+b。 2022/2/2 76 非線性斜面函數(shù)（ Ramp Function） γ γ θ θ net o 2022/2/2 77 閾值函數(shù)（ Threshold Function）階躍函數(shù) β if θ f（ ） = γ if ≤ θ β、 γ、 θ均為非負實數(shù) ， θ為閾值 二值形式： 1 if θ f（ ） = 0 if ≤ θ 雙極形式： 1 if θ f（ ） = 1 if ≤ θ 2022/2/2 78 閾值函數(shù)（ Threshold Function）階躍函數(shù) β γ θ o 0 2022/2/2 79 S形函數(shù) 壓縮函數(shù) （ Squashing Function） 和邏輯斯特函數(shù)（ Logistic Function） 。 2022/2/2 73 人工神經(jīng)元的基本構(gòu)成 ? 人工神經(jīng)元模擬生物神經(jīng)元的 一階特性 。 2022/2/2 72 人工神經(jīng)元 ? 神經(jīng)元是構(gòu)成神經(jīng)網(wǎng)絡(luò)的最基本單元 （ 構(gòu)件 ） 。 從組成結(jié)構(gòu)看 ， 各種神經(jīng)元具有共性 ，它由細胞體 （ Soma） 、 軸突 （ Axon） 和樹突（ Dendrite） 三個主要部分組成 。 歷史總結(jié) 2022/2/2 66 ? 上世紀(jì) 40年代 ? 興奮與抑制型神經(jīng)元模型（ Mcculloch， Pitts） ? 神經(jīng)元連接強度的修改規(guī)則（ Hebb） ? 上世紀(jì) 50年代、 60年代 ? 感知機（ Rosenblatt）和自適應(yīng)性元件（ Widrow） ? 上世紀(jì) 70年代 ? Perceptron一書出版（ Minsky和 Papert）研究處于低潮。 歷史總結(jié) 2022/2/2 65 ? 這一時期還有一個以 Rumelhart和 McClelland 為首的并行分布處理（ PDP）的研究小組，他們 提出 了多層網(wǎng)絡(luò)學(xué)習(xí)的誤差反向傳播學(xué)習(xí)算法（ BP算法），解決了多層網(wǎng)絡(luò)的學(xué)習(xí)問題，從實踐上證實了人工神經(jīng)網(wǎng)絡(luò)具有很強的學(xué)習(xí)能力，并不象 Minsky等人預(yù)料的那樣弱，相反它可以完成許多學(xué)習(xí)任務(wù)，解決許多實際問題，也因此推動了前饋式神經(jīng)網(wǎng)絡(luò)的研究。 歷史總結(jié) 2022/2/2 64 ? 1982年，美國加州工程學(xué)院物理學(xué)家Hopfield提出了一個用于聯(lián)想記憶及優(yōu)化計算的新途徑 —Hopfield模型，并于 1984年進行修改，提出了利用模擬電路的基礎(chǔ)元件構(gòu)成了人工神經(jīng)網(wǎng)絡(luò)的硬件原理模型，為實現(xiàn)硬件奠定了基礎(chǔ)。 1972年 Kohenen提出自組織映射的理論模型，并稱神經(jīng)網(wǎng)絡(luò)為聯(lián)想存貯器。故在其后的十幾年內(nèi)，從事神經(jīng)網(wǎng)絡(luò)研究的人數(shù)及經(jīng)費支持大大下降，神經(jīng)網(wǎng)絡(luò)研究處于低潮。 歷史總結(jié) 2022/2/2 62 ? 這個結(jié)論對當(dāng)時的神經(jīng)網(wǎng)絡(luò)研究無疑是一個沉重的打擊，客觀上對神經(jīng)網(wǎng)絡(luò)的研究起了一定的消極作用。 歷史總結(jié) 2022/2/2 61 ? 60年代末，美國著名人工智能學(xué)者 Minsky和Papart對 Rosenblatt的工作進行了深入的研究，寫了很有影響的 《 感知器 》 一書，指出感知器的處理能力有限，單層感知器只能作線性劃分，對于非線性或其他分類會遇到很大的困難。這是第一個真正的人工神經(jīng)網(wǎng)絡(luò)，他給出了兩層感知器的收斂定理。 歷史總結(jié) 2022/2/2 60 ? 50年代末， Rosenblatt提出感知器模型，第一次把神經(jīng)網(wǎng)絡(luò)的研究付諸工程實踐。它對以后人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)及算法都有很大影響。他認(rèn)為學(xué)習(xí)過程是在突觸上發(fā)生的，突觸的聯(lián)系強度隨其前后神經(jīng)元的活動而變化。 ? MP模型雖然簡單，但它開創(chuàng)了神經(jīng)網(wǎng)絡(luò)模型的理論研究，為各種神經(jīng)元模型及網(wǎng)絡(luò)模型的研究打下了基礎(chǔ)。 這種單個神經(jīng)元模型功能較弱 ， 但連接而成的網(wǎng)絡(luò)記憶能力巨大 。 歷史總結(jié) 2022/2/2 58 ? 人工神經(jīng)網(wǎng)絡(luò)的研究始于本世紀(jì) 40年代 。 ? 4） 進一步對生物神經(jīng)系統(tǒng)進行研究 ， 不斷地豐富對人腦的認(rèn)識 。 2022/2/2 55 再認(rèn)識與應(yīng)用研究期（ 1991~） ? 問題： ? 1） 應(yīng)用面還不夠?qū)? ? 2） 結(jié)果不夠精確 ? 3） 存在可信度的問題 2022/2/2 56 再認(rèn)識與應(yīng)用研究期（ 1991~） ? 研究： ? 1） 開發(fā)現(xiàn)有模型的應(yīng)用 ， 并在應(yīng)用中根據(jù)實際運行情況對模型 、 算法加以改造 ， 以提高網(wǎng)絡(luò)的訓(xùn)練速度和運行的準(zhǔn)確度 。 2022/2/2 54 第二高潮期（ 1983~1990） ? 4 ） 1986 年 ， 并行分布處理小組的Rumelhart等研究者重新獨立地提出多層網(wǎng)絡(luò)的學(xué)習(xí)算法 ——BP算法 ， 較好地解決了多層網(wǎng)絡(luò)的學(xué)習(xí)問題 。較好地解決了著名的 TSP問題，找到了最佳解的近似解，引起了較大的轟動。許多部門都開始大批地投入此項研究，希望盡快占領(lǐng)制高點。 ? 可用電子線路模擬 。 發(fā)表于數(shù)學(xué)生物物理學(xué)會刊《 Bulletin of Methematical Biophysics》 ? 1949年，心理學(xué)家 D. O. Hebb提出神經(jīng)元之間突觸聯(lián)系是可變的假說 ——Hebb學(xué)習(xí)律。 2022/2/2 49 歷史回顧 ? 萌芽期 （ 20世紀(jì) 40年代 ） ? 人工神經(jīng)網(wǎng)絡(luò)的研究最早可以追溯到人類開始研究自己的智能的時期 ， 到 1949年止 。 ? 目前應(yīng)用： ? 人們主要將其用于語音、視覺、知識處理、輔助決策等方面。也正是由于信息的分布存放，對一類網(wǎng)來說，當(dāng)它完成學(xué)習(xí)后，如果再讓它學(xué)習(xí)新的東西，這時就會破壞原來已學(xué)會的東西。 ? 系統(tǒng)在受到 局部 損傷時還可以正常工作。 ? 不同的人工神經(jīng)網(wǎng)絡(luò)模型，有不同的學(xué)習(xí) /訓(xùn)練算法 2022/2/2 46 基本特征的自動提取 ? 由于其運算的 不精確性 ， 表現(xiàn)成 “ 去噪音 、容殘缺 ” 的能力 ， 利用這種不精確性 ， 比較自然地實現(xiàn)模式的自動分類 。 2022/2/2 43 人工神經(jīng)網(wǎng)絡(luò)的概念 ? 關(guān)鍵點 ? （ 1） 信息的分布表示 ? （ 2） 運算的全局并行與局部操作 ? （ 3） 處理的非線性特征 ? 對大腦基本特征的模擬 ? 1） 形式上：神經(jīng)元及其聯(lián)接； BN對 AN ? 2） 表現(xiàn)特征：信息的存儲與處理 2022/2/2 44 人工神經(jīng)網(wǎng)絡(luò)的概念 ? 別名 ? 人工神經(jīng)系統(tǒng) （ ANS） ? 神經(jīng)網(wǎng)絡(luò) （ NN） ? 自適應(yīng)系統(tǒng) （ Adaptive Systems） 、 自適應(yīng)網(wǎng) （ Adaptive Networks） ? 聯(lián)接模型 （ Connectionism） ? 神經(jīng)計算機 （ Neuroputer） 2022/2/2 45 學(xué)習(xí)（ Learning）能力 ? 人工神經(jīng)網(wǎng)絡(luò)可以根據(jù)所在的環(huán)境去改變它的行為 ? 自相聯(lián)的網(wǎng)絡(luò) ? 異相聯(lián)的網(wǎng)絡(luò) ： 它在接受樣本集合 A時 ， 可以抽取集合 A中輸入數(shù)據(jù)與輸出數(shù)據(jù)之間的映射關(guān)系 。 2022/2/2 40 人工神經(jīng)網(wǎng)絡(luò)的概念 ? 強調(diào)： ? ① 并行 、 分布處理結(jié)構(gòu)； ? ② 一個處理單元的輸出可以被任意分枝 ， 且 ? 大小不變； ? ③ 輸出信號可以是任意的數(shù)學(xué)模型； ? ④ 處理單元完全的局部操作 2022/2/2 41 人工神經(jīng)網(wǎng)絡(luò)的概念 ? （ 2） Rumellhart， McClelland， Hinton的 PDP ? 1） 一組處理單元 （ PE或 AN） ； ? 2） 處理單元的 激活狀態(tài) （ ai） ； ? 3） 每個處理單元的 輸出函數(shù) （ fi） ； ? 4） 處理單元之間的 聯(lián)接模式 ； ? 5） 傳遞規(guī)則 （ ∑wijoi） ； ? 6） 把處理單元的輸入及