神經(jīng)網(wǎng)絡(luò)基本理論ppt課件(已修改)
2025-01-17 15:31 本頁(yè)面
【正文】 第四章 神經(jīng)網(wǎng)絡(luò)基本理論 College of Electrical and Information Engineering, Hunan Univ. 2 人工神經(jīng)元模型 人工神經(jīng)元是對(duì)人或其它生物的神經(jīng)元細(xì)胞的若干基本特性的抽象和模擬。 ?生物神經(jīng)元模型 生物神經(jīng)元主要由細(xì)胞體、樹(shù)突和軸突組成，樹(shù)突和軸突負(fù)責(zé)傳入和傳出信息，興奮性的沖動(dòng)沿樹(shù)突抵達(dá)細(xì)胞體，在細(xì)胞膜上累積形成興奮性電位；相反，抑制性沖動(dòng)到達(dá)細(xì)胞膜則形成抑制性電位。兩種電位進(jìn)行累加，若代數(shù)和超過(guò)某個(gè)閾值，神經(jīng)元將產(chǎn)生沖動(dòng)。 College of Electrical and Information Engineering, Hunan Univ. 3 人工神經(jīng)元模型 ?人工神經(jīng)元模型 模仿生物神經(jīng)元產(chǎn)生沖動(dòng)的過(guò)程，可以建立一個(gè)典型的人工神經(jīng)元數(shù)學(xué)模型 [x1,…, xn]T為輸入向量， y為輸出， f()為激發(fā)函數(shù)， θ為閾值。 Wi為神經(jīng)元與其它神經(jīng)元的連接強(qiáng)度，也稱權(quán)值。 College of Electrical and Information Engineering, Hunan Univ. 4 人工神經(jīng)元模型 常用的激發(fā)函數(shù) f 的種類(lèi) ： 1）閾值型函數(shù) ??????0x00x1f(x )???????0x10x1f ( x )College of Electrical and Information Engineering, Hunan Univ. 5 人工神經(jīng)元模型 2）飽和型函數(shù) ?????????????????k1x1k1xk1kxk1x1f ( x)3）雙曲函數(shù) a r c t a n ( x )f ( x ) ?College of Electrical and Information Engineering, Hunan Univ. 6 人工神經(jīng)元模型 4） S型函數(shù) 0β,β x )e x p (1 1f ( x ) ????5）高斯函數(shù) )bxe x p (f ( x ) 22??College of Electrical and Information Engineering, Hunan Univ. 7 神經(jīng)網(wǎng)絡(luò)的定義和特點(diǎn) 神經(jīng)網(wǎng)絡(luò)系統(tǒng)是由大量的神經(jīng)元，通過(guò)廣泛地互相連接而形成的復(fù)雜網(wǎng)絡(luò)系統(tǒng)。 ? 定義 ? 特點(diǎn) （ 1） 非線性映射逼近能力。 任意的連續(xù)非線性函數(shù)映射關(guān)系可由多層神經(jīng)網(wǎng)絡(luò)以任意精度加以逼近。 （ 2） 自適應(yīng)性和自組織性 。 神經(jīng)元之間的連接具有多樣性，各神經(jīng)元之間的連接強(qiáng)度具有可塑性，網(wǎng)絡(luò)可以通過(guò)學(xué)習(xí)與訓(xùn)練進(jìn)行自組織，以適應(yīng)不同信息處理的要求。 （ 3） 并行處理性。 網(wǎng)絡(luò)的各單元可以同時(shí)進(jìn)行類(lèi)似的處理過(guò)程，整個(gè)網(wǎng)絡(luò)的信息處理方式是大規(guī)模并行的，可以大大加快對(duì)信息處理的速度。 （ 4） 分布存儲(chǔ)和容錯(cuò)性。 信息在神經(jīng)網(wǎng)絡(luò)內(nèi)的存儲(chǔ)按內(nèi)容分布于許多神經(jīng)元中，而且每個(gè)神經(jīng)元存儲(chǔ)多種信息的部分內(nèi)容。網(wǎng)絡(luò)的每部分對(duì)信息的存儲(chǔ)具有等勢(shì)作用，部分的信息丟失仍可以使完整的信息得到恢復(fù)，因而使網(wǎng)絡(luò)具有容錯(cuò)性和聯(lián)想記憶功能。 （ 5） 便于集成實(shí)現(xiàn)和計(jì)算模擬。 神經(jīng)網(wǎng)絡(luò)在結(jié)構(gòu)上是相同神經(jīng)元的大規(guī)模組合，特別適合于用大規(guī)模集成電路實(shí)現(xiàn)。 College of Electrical and Information Engineering, Hunan Univ. 8 感知器模型 感知器 (Perceptron)是由美國(guó)學(xué)者 1957年提出的，它是一個(gè)具有單層計(jì)算單元的神經(jīng)網(wǎng)絡(luò)，并由線性閾值元件組成。 ? 激發(fā)函數(shù)為閾值型函數(shù)，當(dāng)其輸入的加權(quán)和大于或等于閾值時(shí)，輸出為 1，否則為 0或 1。 ?它的權(quán)系 W可變，這樣它就可以學(xué)習(xí)。 ?感知器的結(jié)構(gòu) College of Electrical and Information Engineering, Hunan Univ. 9 感知器模型 ?感知器的學(xué)習(xí)算法 為方便起見(jiàn)，將閾值 θ(它也同樣需要學(xué)習(xí) )并入 W中，令 Wn+1=θ， X向量也相應(yīng)地增加一個(gè)分量 xn+1=1，則 ????1n1iii )xWf(y學(xué)習(xí)算法： ① 給定初始值：賦給 Wi(0)各一個(gè)較小的隨機(jī)非零值，這里 Wi(t)為 t時(shí)刻第 i個(gè)輸入的權(quán) (1≤i≤n)， Wn+1(t)為 t時(shí)刻的閾值； ② 輸入一樣本 X=(xi,…, xn,1)和它的希望輸出 d； ③ 計(jì)算實(shí)際輸出 ????1n1iii )( t ) xWf(Y ( t )④ 修正權(quán) W ： Wi(t+1)=Wi(t)+η[dY(t)]xi, i=1,2,…, n+1 ⑤ 轉(zhuǎn)到②直到 W對(duì)一切樣本均穩(wěn)定不變?yōu)橹埂? College of Electrical and Information Engineering, Hunan Univ. 10 感知器模型 根據(jù)某樣本訓(xùn)練時(shí)，均方差隨訓(xùn)練次數(shù)的收斂情況 College of Electrical and Information Engineering, Hunan Univ. 11 神經(jīng)網(wǎng)絡(luò)的構(gòu)成和分類(lèi) ? 構(gòu)成 ? 從 Perceptron模型可以看出神經(jīng)網(wǎng)絡(luò)通過(guò)一組狀態(tài)方程和一組學(xué)習(xí)方程加以描述。 ? 狀態(tài)方程描述每個(gè)神經(jīng)元的輸入、輸出、權(quán)值間的函數(shù)關(guān)系。 ? 學(xué)習(xí)方程描述權(quán)值應(yīng)該怎樣修正。神經(jīng)網(wǎng)絡(luò)通過(guò)修正這些權(quán)值來(lái)進(jìn)行學(xué)習(xí)，從而調(diào)整整個(gè)神經(jīng)網(wǎng)絡(luò)的輸入輸出關(guān)系。 ?分類(lèi) （ 1）從結(jié)構(gòu)上劃分 通常所說(shuō)的網(wǎng)絡(luò)結(jié)構(gòu)，主要是指它的聯(lián)接方式。神經(jīng)網(wǎng)絡(luò)從拓?fù)浣Y(jié)構(gòu)上來(lái)說(shuō)，主要分為層狀和網(wǎng)狀結(jié)構(gòu)。 College of Electrical and Information Engineering, Hunan Univ. 12 神經(jīng)網(wǎng)絡(luò)的構(gòu)成和分類(lèi) ① 層狀結(jié)構(gòu) ： 網(wǎng)絡(luò)由若干層組成，每層中有一定數(shù)量的神經(jīng)元，相鄰層中神經(jīng)元單向聯(lián)接，一般同層內(nèi)神經(jīng)元不能聯(lián)接。 前向網(wǎng)絡(luò)：只有前后相鄰兩層之間神經(jīng)元相互聯(lián)接，各神經(jīng)元之間沒(méi)有反饋。每個(gè)神經(jīng)元從前一層接收輸入，發(fā)送輸出給下一層。 College of Electrical and Information Engineering, Hunan Univ. 13 神經(jīng)網(wǎng)絡(luò)的構(gòu)成和分類(lèi) ② 網(wǎng)狀結(jié)構(gòu)：網(wǎng)絡(luò)中任何兩個(gè)神經(jīng)元之間都可能雙向聯(lián)接。 ?反饋網(wǎng)絡(luò)：從輸出層到輸入層有反饋，每一個(gè)神經(jīng)元同時(shí)接收外來(lái)輸入和來(lái)自其它神經(jīng)元的反饋輸入，其中包括神經(jīng)元輸出
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1