神經(jīng)網(wǎng)絡基本理論ppt課件(已修改)
2025-01-17 15:31 本頁面
【正文】 第四章 神經(jīng)網(wǎng)絡基本理論 College of Electrical and Information Engineering, Hunan Univ. 2 人工神經(jīng)元模型 人工神經(jīng)元是對人或其它生物的神經(jīng)元細胞的若干基本特性的抽象和模擬。 ?生物神經(jīng)元模型 生物神經(jīng)元主要由細胞體、樹突和軸突組成，樹突和軸突負責傳入和傳出信息，興奮性的沖動沿樹突抵達細胞體，在細胞膜上累積形成興奮性電位；相反，抑制性沖動到達細胞膜則形成抑制性電位。兩種電位進行累加，若代數(shù)和超過某個閾值，神經(jīng)元將產(chǎn)生沖動。 College of Electrical and Information Engineering, Hunan Univ. 3 人工神經(jīng)元模型 ?人工神經(jīng)元模型 模仿生物神經(jīng)元產(chǎn)生沖動的過程，可以建立一個典型的人工神經(jīng)元數(shù)學模型 [x1,…, xn]T為輸入向量， y為輸出， f()為激發(fā)函數(shù)， θ為閾值。 Wi為神經(jīng)元與其它神經(jīng)元的連接強度，也稱權值。 College of Electrical and Information Engineering, Hunan Univ. 4 人工神經(jīng)元模型 常用的激發(fā)函數(shù) f 的種類 ： 1）閾值型函數(shù) ??????0x00x1f(x )???????0x10x1f ( x )College of Electrical and Information Engineering, Hunan Univ. 5 人工神經(jīng)元模型 2）飽和型函數(shù) ?????????????????k1x1k1xk1kxk1x1f ( x)3）雙曲函數(shù) a r c t a n ( x )f ( x ) ?College of Electrical and Information Engineering, Hunan Univ. 6 人工神經(jīng)元模型 4） S型函數(shù) 0β,β x )e x p (1 1f ( x ) ????5）高斯函數(shù) )bxe x p (f ( x ) 22??College of Electrical and Information Engineering, Hunan Univ. 7 神經(jīng)網(wǎng)絡的定義和特點 神經(jīng)網(wǎng)絡系統(tǒng)是由大量的神經(jīng)元，通過廣泛地互相連接而形成的復雜網(wǎng)絡系統(tǒng)。 ? 定義 ? 特點 （ 1） 非線性映射逼近能力。 任意的連續(xù)非線性函數(shù)映射關系可由多層神經(jīng)網(wǎng)絡以任意精度加以逼近。 （ 2） 自適應性和自組織性 。 神經(jīng)元之間的連接具有多樣性，各神經(jīng)元之間的連接強度具有可塑性，網(wǎng)絡可以通過學習與訓練進行自組織，以適應不同信息處理的要求。 （ 3） 并行處理性。 網(wǎng)絡的各單元可以同時進行類似的處理過程，整個網(wǎng)絡的信息處理方式是大規(guī)模并行的，可以大大加快對信息處理的速度。 （ 4） 分布存儲和容錯性。 信息在神經(jīng)網(wǎng)絡內(nèi)的存儲按內(nèi)容分布于許多神經(jīng)元中，而且每個神經(jīng)元存儲多種信息的部分內(nèi)容。網(wǎng)絡的每部分對信息的存儲具有等勢作用，部分的信息丟失仍可以使完整的信息得到恢復，因而使網(wǎng)絡具有容錯性和聯(lián)想記憶功能。 （ 5） 便于集成實現(xiàn)和計算模擬。 神經(jīng)網(wǎng)絡在結(jié)構(gòu)上是相同神經(jīng)元的大規(guī)模組合，特別適合于用大規(guī)模集成電路實現(xiàn)。 College of Electrical and Information Engineering, Hunan Univ. 8 感知器模型 感知器 (Perceptron)是由美國學者 1957年提出的，它是一個具有單層計算單元的神經(jīng)網(wǎng)絡，并由線性閾值元件組成。 ? 激發(fā)函數(shù)為閾值型函數(shù)，當其輸入的加權和大于或等于閾值時，輸出為 1，否則為 0或 1。 ?它的權系 W可變，這樣它就可以學習。 ?感知器的結(jié)構(gòu) College of Electrical and Information Engineering, Hunan Univ. 9 感知器模型 ?感知器的學習算法 為方便起見，將閾值 θ(它也同樣需要學習 )并入 W中，令 Wn+1=θ， X向量也相應地增加一個分量 xn+1=1，則 ????1n1iii )xWf(y學習算法： ① 給定初始值：賦給 Wi(0)各一個較小的隨機非零值，這里 Wi(t)為 t時刻第 i個輸入的權 (1≤i≤n)， Wn+1(t)為 t時刻的閾值； ② 輸入一樣本 X=(xi,…, xn,1)和它的希望輸出 d； ③ 計算實際輸出 ????1n1iii )( t ) xWf(Y ( t )④ 修正權 W ： Wi(t+1)=Wi(t)+η[dY(t)]xi, i=1,2,…, n+1 ⑤ 轉(zhuǎn)到②直到 W對一切樣本均穩(wěn)定不變?yōu)橹埂? College of Electrical and Information Engineering, Hunan Univ. 10 感知器模型 根據(jù)某樣本訓練時，均方差隨訓練次數(shù)的收斂情況 College of Electrical and Information Engineering, Hunan Univ. 11 神經(jīng)網(wǎng)絡的構(gòu)成和分類 ? 構(gòu)成 ? 從 Perceptron模型可以看出神經(jīng)網(wǎng)絡通過一組狀態(tài)方程和一組學習方程加以描述。 ? 狀態(tài)方程描述每個神經(jīng)元的輸入、輸出、權值間的函數(shù)關系。 ? 學習方程描述權值應該怎樣修正。神經(jīng)網(wǎng)絡通過修正這些權值來進行學習，從而調(diào)整整個神經(jīng)網(wǎng)絡的輸入輸出關系。 ?分類 （ 1）從結(jié)構(gòu)上劃分 通常所說的網(wǎng)絡結(jié)構(gòu)，主要是指它的聯(lián)接方式。神經(jīng)網(wǎng)絡從拓撲結(jié)構(gòu)上來說，主要分為層狀和網(wǎng)狀結(jié)構(gòu)。 College of Electrical and Information Engineering, Hunan Univ. 12 神經(jīng)網(wǎng)絡的構(gòu)成和分類 ① 層狀結(jié)構(gòu) ： 網(wǎng)絡由若干層組成，每層中有一定數(shù)量的神經(jīng)元，相鄰層中神經(jīng)元單向聯(lián)接，一般同層內(nèi)神經(jīng)元不能聯(lián)接。 前向網(wǎng)絡：只有前后相鄰兩層之間神經(jīng)元相互聯(lián)接，各神經(jīng)元之間沒有反饋。每個神經(jīng)元從前一層接收輸入，發(fā)送輸出給下一層。 College of Electrical and Information Engineering, Hunan Univ. 13 神經(jīng)網(wǎng)絡的構(gòu)成和分類 ② 網(wǎng)狀結(jié)構(gòu)：網(wǎng)絡中任何兩個神經(jīng)元之間都可能雙向聯(lián)接。 ?反饋網(wǎng)絡：從輸出層到輸入層有反饋，每一個神經(jīng)元同時接收外來輸入和來自其它神經(jīng)元的反饋輸入，其中包括神經(jīng)元輸出
教學課件相關推薦
鄂ICP備17016276號-1