神經(jīng)網(wǎng)絡(luò)基本理論(1)-wenkub
2023-06-10 18:04:03 本頁面
【正文】 。 神經(jīng)網(wǎng)絡(luò)在結(jié)構(gòu)上是相同神經(jīng)元的大規(guī)模組合，特別適合于用大規(guī)模集成電路實(shí)現(xiàn)。 （ 4） 分布存儲(chǔ)和容錯(cuò)性。 （ 2） 自適應(yīng)性和自組織性 。 Wi為神經(jīng)元與其它神經(jīng)元的連接強(qiáng)度，也稱權(quán)值。 ?生物神經(jīng)元模型 生物神經(jīng)元主要由細(xì)胞體、樹突和軸突組成，樹突和軸突負(fù)責(zé)傳入和傳出信息，興奮性的沖動(dòng)沿樹突抵達(dá)細(xì)胞體，在細(xì)胞膜上累積形成興奮性電位；相反，抑制性沖動(dòng)到達(dá)細(xì)胞膜則形成抑制性電位。兩種電位進(jìn)行累加，若代數(shù)和超過某個(gè)閾值，神經(jīng)元將產(chǎn)生沖動(dòng)。 Beijing University of Posts and Telemunications. 4 人工神經(jīng)元模型 常用的激發(fā)函數(shù) f 的種類 ： 1）閾值型函數(shù) ??????0x00x1f(x )???????0x10x1f ( x )Beijing University of Posts and Telemunications. 5 人工神經(jīng)元模型 2）飽和型函數(shù) ?????????????????k1x1k1xk1kxk1x1f ( x)3）雙曲函數(shù) a r c t a n ( x )f ( x ) ?Beijing University of Posts and Telemunications. 6 人工神經(jīng)元模型 4） S型函數(shù) 0β,β x )e x p (1 1f ( x ) ????5）高斯函數(shù) )bxe x p (f ( x ) 22??Beijing University of Posts and Telemunications. 7 神經(jīng)網(wǎng)絡(luò)的定義和特點(diǎn) 神經(jīng)網(wǎng)絡(luò)系統(tǒng)是由大量的神經(jīng)元，通過廣泛地互相連接而形成的復(fù)雜網(wǎng)絡(luò)系統(tǒng)。 神經(jīng)元之間的連接具有多樣性，各神經(jīng)元之間的連接強(qiáng)度具有可塑性，網(wǎng)絡(luò)可以通過學(xué)習(xí)與訓(xùn)練進(jìn)行自組織，以適應(yīng)不同信息處理的要求。 信息在神經(jīng)網(wǎng)絡(luò)內(nèi)的存儲(chǔ)按內(nèi)容分布于許多神經(jīng)元中，而且每個(gè)神經(jīng)元存儲(chǔ)多種信息的部分內(nèi)容。 Beijing University of Posts and Telemunications. 8 感知器模型 感知器 (Perceptron)是由美國學(xué)者 1957年提出的，它是一個(gè)具有單層計(jì)算單元的神經(jīng)網(wǎng)絡(luò)，并由線性閾值元件組成。 ? 感知器的訓(xùn)練算法的基本原理來源于著名的Hebb學(xué)習(xí)律。 Beijing University of Posts and Telemunications. 15 離散多輸出感知器訓(xùn)練算法 ?第 2步 ， 循環(huán)控制 。根據(jù)實(shí)際問題選定；初始測試階段，精度要求低，測試完成后，再給出實(shí)際的精度要求。 ? 狀態(tài)方程描述每個(gè)神經(jīng)元的輸入、輸出、權(quán)值間的函數(shù)關(guān)系。神經(jīng)網(wǎng)絡(luò)從拓?fù)浣Y(jié)構(gòu)上來說，主要分為層狀和網(wǎng)狀結(jié)構(gòu)。 Beijing University of Posts and Telemunications. 27 神經(jīng)網(wǎng)絡(luò)的構(gòu)成和分類 ② 網(wǎng)狀結(jié)構(gòu)：網(wǎng)絡(luò)中任何兩個(gè)神經(jīng)元之間都可能雙向聯(lián)接。 ②無導(dǎo)師學(xué)習(xí)神經(jīng)網(wǎng)絡(luò) 不為神經(jīng)網(wǎng)絡(luò)提供樣本數(shù)據(jù)，學(xué)習(xí)過程中網(wǎng)絡(luò)自動(dòng)將輸入數(shù)據(jù)的特征提取出來。 Beijing University of Posts and Telemunications. 30 多層前向 BP神經(jīng)網(wǎng)絡(luò) 沿信息的傳播方向，給出網(wǎng)絡(luò)的狀態(tài)方程，用 Inj(i)， Outj(i)表示第 i層第 j個(gè)神經(jīng)元的輸入和輸出，則各層的輸入輸出關(guān)系可描述為： 第一層（輸入層）：將輸入引入網(wǎng)絡(luò) iii xInO u t ?? )1()1( ni ,2,1 ??第二層（隱層） ????niiijj O u twIn1)1()1()2()( )2()2( jj InfOu t ?lj ,2,1 ??第三層（輸出層） ??????ljjj O u twInO u ty1)2()2()3()3(Beijing University of Posts and Telemunications. 31 多層前向 BP神經(jīng)網(wǎng)絡(luò) ?網(wǎng)絡(luò)的學(xué)習(xí) 學(xué)習(xí)的基本思想是：誤差反傳算法調(diào)整網(wǎng)絡(luò)的權(quán)值，使網(wǎng)絡(luò)的實(shí)際輸出盡可能接近期望的輸出?？刹捎秒S機(jī)學(xué)習(xí)法每次以樣本中隨機(jī)選取幾個(gè)樣本，計(jì)算 dJk/dw, ，調(diào)整權(quán)值。 W2=rand(1,5)。 LearningRate2=。 W2=[ ]。 ② 學(xué)習(xí)算法收斂速度慢， Sigmaid函數(shù)本身存在無窮多閃導(dǎo)數(shù)，而 BP算法只用了一次導(dǎo)數(shù)，致使收斂速度慢。 大腦自組織神經(jīng)網(wǎng)絡(luò)在接受外界輸入時(shí)，將會(huì)分成不同的區(qū)域，不同的區(qū)域?qū)Σ煌哪Ｊ骄哂胁煌捻憫?yīng)特征，即不同的神經(jīng)元以最佳方式響應(yīng)不同性質(zhì)的信號(hào)激勵(lì)，從而形成一種拓?fù)湟饬x上的有序排列 在這種網(wǎng)絡(luò)中，輸出節(jié)點(diǎn)與其鄰域其他節(jié)點(diǎn)廣泛相連，并互相激勵(lì)。 (6) 返回到第 (2)步，直至滿足 [xi(t) wij(t)]2＜ ε(ε為給定的誤差 )。在這種技術(shù)里，每個(gè)狀態(tài)變量被量化并且輸入空間被劃分成離散狀態(tài)。用 CMAC技術(shù)，第 s個(gè)狀態(tài)對(duì)應(yīng)的輸出數(shù)據(jù) ys可以被表示為： ???????????????????hhhNjjjsNNsssTss ccccWCy1,21,2,1, ][ ??????式中 W是代表存儲(chǔ)內(nèi)容（聯(lián)想強(qiáng)度）的向量， Cs是存儲(chǔ)單元激活向量，該向量包含 Ne個(gè) 1。有 hash映射的 CMAC特別適用于存儲(chǔ)空間小于超立方體數(shù)量時(shí)的情況。 Beijing University of Posts and Telemunications. 53 小腦神經(jīng)網(wǎng)絡(luò) ? ?WaaaWAy hNsssTss ,2,1, ??? 沒有 hash映射的公式和有 hash映射的公式可以合并為一個(gè)式子： ??????映射有映射無h a s h h a s h HCCATsTsTs?CMAC的學(xué)習(xí) CMAC用迭代算法來訓(xùn)練聯(lián)想強(qiáng)度。 SampleOutput=[4 4 4 4。 量化：兩輸入均量化為四個(gè)元素 if x10 amp。amp。 x1= indexX1=3。 end Beijing University of Posts and Telemunications. 56 小腦神經(jīng)網(wǎng)絡(luò) 狀態(tài)編號(hào)： MSTATENUM= 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 激活向量矩陣： 1 0 0 0 1 0 0 0 1 0 0 0 1 0 0 0 0 1 0 0 1 0 0 0 1 0 0 0 0 1 0 0 0 1 0 0 0 1 0 0 0 1 0 0 0 1 0 0 1 0 0 0 0 0 1
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1