小腦模型（cmac）神經(jīng)網(wǎng)絡(luò)(1)-文庫(kù)吧
2024-12-25 08:50 本頁(yè)面
【正文】 0。Jacobi迭代法q 分析情況、結(jié)論（ 1） 輸入樣本有重疊，雜散編碼 無(wú)碰撞若 重疊少，解收斂（ 2） 輸入樣本有重疊，雜散編碼 有碰撞 因 碰撞，收斂速度降低、收斂性態(tài)變壞、也可能不收斂113 CMAC算法及程序語(yǔ)言描述 0次接收域函數(shù)例次接收域函數(shù)例（ b）鄰近兩點(diǎn)輸入重疊單元 =3,無(wú)碰撞（ a）一維c=4c=41（ c）鄰近兩點(diǎn)輸入重疊單元 =3,有碰撞113 CMAC算法及程序語(yǔ)言描述114 CMAC網(wǎng)絡(luò)的泛化能力 最早進(jìn)行泛化理論研究的是 Amaril，他認(rèn)為泛化是將輸入集中樣本點(diǎn)的給定鄰域映射到輸出集中映射點(diǎn) (與樣本點(diǎn)對(duì)應(yīng) )的某一鄰域。由此可見(jiàn)，泛化能力除了由精度決定外，還取決于映射方式和輸入的量化級(jí)。所以多層感知器的泛化能力是極其有限的，實(shí)踐也證明了這點(diǎn)。而CMAC神經(jīng)網(wǎng)絡(luò)是在對(duì)小腦進(jìn)行神經(jīng)解剖生理學(xué)研究的基礎(chǔ)上提出的，它被證明具有局域泛化能力。 CMAC網(wǎng)絡(luò)中，若兩個(gè)輸入向量相距較近，則它們所觸發(fā)的神經(jīng)元有重疊，距離越近，重疊越多；若兩個(gè)輸入向量相距較遠(yuǎn)，則它們觸發(fā)的神經(jīng)元沒(méi)有重疊。因此 CMAC網(wǎng)絡(luò)具有局域泛化能力，它的泛化能力源自于它的網(wǎng)絡(luò)結(jié)構(gòu)本身。 影響 CMAC泛化精度的主要因素有 :訓(xùn)練精度、泛化常數(shù)和樣本點(diǎn)的選擇，但其結(jié)論還顯得相對(duì)簡(jiǎn)單。 1141 CMAC網(wǎng)絡(luò)泛化指標(biāo)114 CMAC網(wǎng)絡(luò)的泛化能力 對(duì)于一個(gè)神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō)，泛化能力越強(qiáng)，意味著經(jīng)樣本點(diǎn)訓(xùn)練后，對(duì)于樣本點(diǎn)附近非樣本點(diǎn) (即測(cè)試點(diǎn) )的輸入，網(wǎng)絡(luò)輸出與期望輸出間的誤差越小。設(shè)測(cè)試點(diǎn)序列 ,對(duì)應(yīng)的期望輸出為 。 CMAC輸出為 , 則可用測(cè)試點(diǎn)的誤差平方和： 作為指標(biāo)，來(lái)衡量網(wǎng)絡(luò)整體泛化性能的優(yōu)越。 越小，則意味著網(wǎng)絡(luò)泛化能力越強(qiáng)。 114 CMAC網(wǎng)絡(luò)的泛化能力1142 CMAC參數(shù)對(duì)網(wǎng)絡(luò)性能的影響1. CMAC網(wǎng)絡(luò)的結(jié)構(gòu)本身保證了對(duì)于訓(xùn)練樣本點(diǎn)鄰域內(nèi)的測(cè)試點(diǎn)具有一定的泛化能力。2. 在訓(xùn)練樣本采樣精度不變的條件下，量化精度越高， CMAC網(wǎng)絡(luò)整體泛化性能越好，但隨著量化精度的提高， CMAC學(xué)習(xí)收斂要求的最小泛化常數(shù)值隨之增大。3. 在訓(xùn)練樣本采樣精度和網(wǎng)絡(luò)量化精度保持不變的條件下，在一定范圍內(nèi)，泛化常數(shù)的增加可以提高 CMAC網(wǎng)絡(luò)整體的泛化性能，但當(dāng)泛化常數(shù)增大到一定程度后，它的變化不再影響網(wǎng)絡(luò)泛化性能。4. 在訓(xùn)練樣本采樣精度和網(wǎng)絡(luò)量化精度保持不變的條件下， CMAC泛化常數(shù)存在一個(gè)相對(duì)最優(yōu)值，可保證樣本點(diǎn)和測(cè)試點(diǎn)誤差都較小。5. 為保證 CMAC收斂，應(yīng)避免采用網(wǎng)絡(luò)量化精度小于訓(xùn)練樣本采樣精度的參數(shù)配置訓(xùn)練網(wǎng)絡(luò)。6. 提高訓(xùn)練樣本采樣精度，可提高 CMAC網(wǎng)絡(luò)整體泛化性能，但同時(shí)必須保證，網(wǎng)絡(luò)量化精度要等于或大于樣本采樣精度。114 CMAC網(wǎng)絡(luò)的泛化能力1143 樣本訓(xùn)練順序?qū)?CMAC網(wǎng)絡(luò)性能的影響 下面分四種情況以 CMAC網(wǎng)絡(luò)逼近復(fù)雜的 “海底深度 ”函數(shù)為例，研究訓(xùn)練樣本學(xué)習(xí)次序的變化對(duì) CMAC網(wǎng)絡(luò)性能的影響。 其中 為標(biāo)準(zhǔn)差為 。 將 等間距取 64個(gè)點(diǎn)，即樣本采樣間隔和網(wǎng)絡(luò)量化間距均約為 , 泛化常數(shù) 取 4, 物理存儲(chǔ)單元數(shù)取 400(=100 ), 最大訓(xùn)練次數(shù)設(shè)為 500。實(shí)驗(yàn)選取了四種不同的訓(xùn)練順序： 三種樣本訓(xùn)練順序 格雷碼 (英文： Gray Code，又稱作葛萊碼，二進(jìn)制循環(huán)碼 )是 1880年由法國(guó)工程師 JeanMauriceEmlle Baudot發(fā)明的一種編碼，是一種絕對(duì)編碼方式，典型格雷碼是一種具有反射特性和循環(huán)特性的單步自補(bǔ)碼，它的循環(huán)、單步特性消除了隨機(jī)取數(shù)時(shí)出現(xiàn)重大誤差的可能，它的反射、自補(bǔ)特性使得求反非常方便。函數(shù)真實(shí)值如下圖所示。 114 CMAC網(wǎng)絡(luò)的泛化能力1143 樣本訓(xùn)練順序?qū)?CMAC網(wǎng)絡(luò)性能的影響函數(shù)真實(shí)值圖 先后順序仿真圖 先后順序仿真圖 串聯(lián)順序仿真圖 格雷碼順序仿真圖 樣本訓(xùn)練的順序?qū)π∧X模型神經(jīng)網(wǎng)絡(luò)的訓(xùn)練結(jié)果是有影響的。訓(xùn)練時(shí)樣本間跨度 (或坐標(biāo)變化 )較大的那些點(diǎn)網(wǎng)絡(luò)學(xué)習(xí)效果較差，因此在樣本輸入訓(xùn)練過(guò)程中，應(yīng)盡量讓樣本按照鄰近且連續(xù)的順序?qū)W習(xí)。 1） CMAC的逼近原
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1