神經(jīng)網(wǎng)絡(luò)基本理論(1)(已改無錯字)
2023-06-26 18:04:03 本頁面
【正文】 g University of Posts and Telemunications. 42 大腦自組織神經(jīng)網(wǎng)絡(luò) 是一種無導(dǎo)師學(xué)習(xí)的網(wǎng)絡(luò) 腦神經(jīng)科學(xué)研究表明： 傳遞感覺的神經(jīng)元排列是按某種規(guī)律有序進(jìn)行的，這種排列往往反映所感受的外部刺激的某些物理特征。 大腦自組織神經(jīng)網(wǎng)絡(luò)在接受外界輸入時，將會分成不同的區(qū)域，不同的區(qū)域?qū)Σ煌哪Ｊ骄哂胁煌捻憫?yīng)特征，即不同的神經(jīng)元以最佳方式響應(yīng)不同性質(zhì)的信號激勵，從而形成一種拓?fù)湟饬x上的有序排列 在這種網(wǎng)絡(luò)中，輸出節(jié)點與其鄰域其他節(jié)點廣泛相連，并互相激勵。輸入節(jié)點和輸出節(jié)點之間通過強度 wij(t)相連接。通過某種規(guī)則，不斷地調(diào)整 wij(t)，使得在穩(wěn)定時，每一鄰域的所有節(jié)點對某種輸入具有類似的輸出，并且這種聚類的概率分布與輸入模式的概率分布相接近。 Beijing University of Posts and Telemunications. 43 大腦自組織神經(jīng)網(wǎng)絡(luò) 自組織學(xué)習(xí)算法： (1) 權(quán)值初始化并選定領(lǐng)域的大小 ； (2) 輸入模式； (3) 計算空間距離 ?????102)]()([Niijij twtxd式中 xi(t)是 t時刻 i節(jié)點的輸入， wij(t)是輸入節(jié)點 i與輸出節(jié)點 j 的連接強度， N為輸入節(jié)點的數(shù)目； (4) 選擇節(jié)點 j*，它滿足 jj dmin(5) 按下式改變 j*和其領(lǐng)域節(jié)點的連接強度 wij(t+1)= wij(t)+η(t)[xi(t) wij(t)], j∈ j*的領(lǐng)域， 0≤ i≤ N1 式中 η(t)稱之為衰減因子。 (6) 返回到第 (2)步，直至滿足 [xi(t) wij(t)]2＜ ε(ε為給定的誤差 )。 Beijing University of Posts and Telemunications. 44 大腦自組織神經(jīng)網(wǎng)絡(luò) 例 大腦自組織網(wǎng)絡(luò)的訓(xùn)練 輸入模式： X＝ [x1,x2,x3] 網(wǎng)絡(luò)節(jié)點數(shù)量： 9 鄰域： 1 網(wǎng)絡(luò)初始權(quán)值： W=[ ]。 Beijing University of Posts and Telemunications. 45 大腦自組織神經(jīng)網(wǎng)絡(luò) 1. 單模式訓(xùn)練情況 輸入為： X=[0 0 1] 結(jié)果： W=[ ] 輸入為： X=[0 1 0] 結(jié)果： W=[ ] Beijing University of Posts and Telemunications. 46 大腦自組織神經(jīng)網(wǎng)絡(luò) 2. 多模式訓(xùn)練情況 1 0 0 0 1 0 0 0 1 Input= 訓(xùn)練結(jié)果： W＝ 網(wǎng)絡(luò)輸出： Output=Input*W= 模式 1 模式 2 模式 3 模式 2 模式 1 模式 3 模式 1 模式 2 模式 3 Beijing University of Posts and Telemunications. 47 小腦神經(jīng)網(wǎng)絡(luò) 小腦模型關(guān)節(jié)控制器（ CMAC）是由 Albus最初于 1975年基于神經(jīng)生理學(xué)提出的，它是一種基于局部逼近的簡單快速的神經(jīng)網(wǎng)絡(luò)，能夠?qū)W習(xí)任意多維非線性映射 , 迄今已廣泛用于許多領(lǐng)域。 CMAC具有優(yōu)點： ? 具有局部逼近能力，每次修正的權(quán)值極少，學(xué)習(xí)速度快，適合于在線學(xué)習(xí)； ? 一定的泛化能力，相近輸入給出相近輸出，不同輸入給出不同輸出； Beijing University of Posts and Telemunications. 48 小腦神經(jīng)網(wǎng)絡(luò) ?CMAC的原理 CMAC是一種模仿人類小腦的學(xué)習(xí)結(jié)構(gòu)。在這種技術(shù)里，每個狀態(tài)變量被量化并且輸入空間被劃分成離散狀態(tài)。量化的輸入構(gòu)成的向量指定了一個離散狀態(tài)并且被用于產(chǎn)生地址來激活聯(lián)想單元中存儲的聯(lián)想強度從而恢復(fù)這個狀態(tài)的信息。 對于輸入空間大的情況，聯(lián)想單元數(shù)量巨大，為了節(jié)省存儲空間， Albus提出了 hash編碼，將聯(lián)想強度存于數(shù)量大大少于聯(lián)想單元的 hash單元中，聯(lián)想單元中只存儲 hash單元的散列地址編碼 ?狀態(tài)空間聯(lián)想單元 ha sh 單元加法器輸出輸入空間狀態(tài)劃分Beijing University of Posts and Telemunications. 49 小腦神經(jīng)網(wǎng)絡(luò) ? CMAC的空間劃分和量化機制 超立方體 聯(lián)想單元 “塊” 1234 87651091 2 3 41234111213141516A BC DE Fbacdef量化的第1種方式量化的第2種方式量化的第3種方式量化的第1種方式量化的第2種方式量化的第3種方式Beijing University of Posts and Telemunications. 50 小腦神經(jīng)網(wǎng)絡(luò) ?CMAC學(xué)習(xí)的數(shù)學(xué)推導(dǎo) 1)無 hash映射的 CMAC 在 CMAC中，每個量化的狀態(tài)對應(yīng) Ne個聯(lián)想單元。假設(shè) Nh是總的聯(lián)想單元的數(shù)量，該數(shù)量與沒有 hash映射時的物理存儲空間大小一致。用 CMAC技術(shù)，第 s個狀態(tài)對應(yīng)的輸出數(shù)據(jù) ys可以被表示為： ???????????????????hhhNjjjsNNsssTss ccccWCy1,21,2,1, ][ ??????式中 W是代表存儲內(nèi)容（聯(lián)想強度）的向量， Cs是存儲單元激活向量，該向量包含 Ne個 1。在決定了空間的劃分方式后，對于指定的狀態(tài)，單元激活向量 Cs也隨之確定。 Beijing University of Posts and Telemunications. 51 小腦神經(jīng)網(wǎng)絡(luò) ? CMAC的空間劃分和量化機制 123
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1