【正文】 31）中只有 未知 Jj?)()()1())(1)(())(()())(()(1nwnwnwnvnvnufnwnufuEnijijijJjJjJjjpPpPpJjJjJj????????????? ??這其中??代入公式（ 31），得 3）輸入層 M與第一隱層 I之間的連接權值的調(diào)整 )()()1()1()(1nwnwnwwvvnwijijijjpPpPpJjJjIiij??????? ?????)()()1())(1)(())(()())(()()()()(1nwnwnwnvnvnufnwnufuEnnxnnwmimimiIiIiIiijJjJjIiIiIikmIimi?????????????????這其中其中 ???? BP算法的學習步驟 第一步 設置變量和參數(shù)： 輸入向量（訓練樣本） N是訓練樣本的個數(shù)。 第三步（正向過程） 輸入樣本，獲得網(wǎng)絡實際輸出，計算偏差。 說明： 1）權值的初始化問題 權值過大會影響學習速度，使用小隨機數(shù)，隨機范圍 這里 F是輸入層單元的個數(shù)。 3） BP算法的 2種方式， 順序方式： 一個一個樣本的訓練 批處理方式：待組成一個周期的全部樣本都一次性輸 入網(wǎng)絡后，以總的平均誤差能量為修正 目標，訓練網(wǎng)絡。因此必須改進。 的取值范圍（ 0， 1），例如動量項取 ，則調(diào)節(jié)作用可增大到 10倍。 )()2()1()()(2mnwEnwEnwEnwEnw m?????????????????? ??????? ?)(nwE??)(11nwE???? ?動量項的 另一種分析： 從 Z變換結果可見，調(diào)節(jié)量是計算量的一階慣性濾波，對于被優(yōu)化曲線的波動，使其平滑，易于實現(xiàn)優(yōu)化。 2）彈性 BP算法 S型函數(shù)常常被稱為“壓扁 ”函數(shù)，它將正負無窮的輸入影射為（ 0， 1）范圍，在輸入很大、很小時，斜率 ZZEZWZEZWZnEwEnwnwwEnwnwZT?????????????????? ????????????????????1)()()()()1()()1()()1()(幾乎為 0，我們知道權值的修改量與激勵函數(shù)的導數(shù)有關，因 此此時權值修改幾乎停頓下來。 徑向基網(wǎng)絡 RBF歷史： 徑向基函數(shù) (Radial Basis Function ,RBF) 是多維空間插值的傳統(tǒng)技術，由 Powell于 1985年提出 。 1989年， Jackson論證了 RBF網(wǎng)絡對非線性的一致逼近性能。 RBF網(wǎng)絡的基本思想： 以徑向基函數(shù)（ RBF）作為隱單元的 “基 ” ，構成隱含層空間，將輸入數(shù)據(jù)用隱含層的多維空間進行衡量， 使得非線性的線性不可分問題轉(zhuǎn)化為高維空間線性可分問題 。 RBF網(wǎng)絡的應用： 徑向基函數(shù)（ RBF）網(wǎng)絡廣泛地應用于時間序列分析、模式識別和圖像處理等領域。假設訓練樣本個數(shù)有 N個，如圖 38 圖中輸入層有 M個神經(jīng)元， m表示任一個； 隱層有 N個神經(jīng)元， i表示任一個； 輸出層有 J個神經(jīng)元， j表示任一個； 為隱層的“基函數(shù)”，它是第 i個隱單元的激勵輸出。 設訓練樣本集 其中任一 訓練樣本 ),( iXX?ijwTNk XXXXX ],[ 21 ???),2,1(],[ 21 NkxxxxX kMkmkkk ??? ??對應實際輸出為 期望輸出 當網(wǎng)絡輸入訓練樣本 Xk時，網(wǎng)絡第 j個輸出的實際輸出為 其中“基函數(shù) ”一般選用格林函數(shù) 更多的情況下， 一般選用高斯函數(shù) （一種特殊的格林函數(shù)）， 式中， 為高斯函數(shù)的中心， 為方差。 ??????????????????????????MmimkmiiKiiKikxxXXXXGXXG12222)(21e x p21e x p)(),(??],[ 21 iMiii xxxX ??i? 正規(guī)化網(wǎng)絡是一個通用逼近器，只要隱單元足夠多，它就可以逼近任意 M元連續(xù)函數(shù)，且對任一未知的非線性函數(shù)out(.) ，總存在一組權值使網(wǎng)絡對該函數(shù) out(.)的逼近效果最好。 2. 廣義網(wǎng)絡 正規(guī)化網(wǎng)絡的訓練樣本 Xi與“基函數(shù)” 是一一對應的，當 N很大時，網(wǎng)絡的實現(xiàn)復雜，且求解網(wǎng)絡權值時可能產(chǎn)生病態(tài)問題。 廣義網(wǎng)絡輸入、輸出層數(shù)量未變，隱層數(shù)量減少（ IN），第 i個隱層神經(jīng)元的激勵輸出為“基函數(shù) ” ，其中 ，為基函數(shù)的中心； ),( itX?),2,1(],[ 21 Iittttt iMimiii ??? ??),( iXX?輸出層還設置了閾值 ，而令輸出層與其連接權值為 。實際應用中，我們使用的都是廣義的 RBF網(wǎng)絡。 RBF網(wǎng)絡有多種學習算法：隨機選取中心法、 自組織選取中心法 、有監(jiān)督選取中心法和正交最小二乘法。 ? ???????????????????????MmimkmikikikxxtXtXGtX12222)(21e x p21e x p),(???],[ 21 iMiii tttt ?? i?特點：中心和權值的確定分別獨立進行。 反映了數(shù)據(jù)的離散程度。 它們都是中心點徑向?qū)ΨQ函數(shù)。 2) BP網(wǎng)絡是對非線性輸入 輸出關系的全局逼近，而 RBF網(wǎng)絡使用局部指數(shù)衰減的非線性函數(shù)（如高斯函數(shù)）對非線性輸入 輸出關系的局部逼近 (局域性 ）。 小腦模型連接控制器（ CMAC）網(wǎng)絡 原理：從小腦活動只獲取啟發(fā) 1）小腦從各種傳感器獲得信號、反饋和命令，構成地址，地址 的內(nèi)容形成各種動作 —— 一種查表工作方式。 地址內(nèi)容 執(zhí)行器運動軌跡反饋傳感信號命令網(wǎng)絡逼近功能：前面所介紹的前饋都可以看為輸入輸出之間的映射。 這就是網(wǎng)絡的逼近能力。該網(wǎng)絡為全局逼近。這一點帶來的問題網(wǎng)絡 的 學習速度非常慢 ； 前面所學習的前饋網(wǎng)絡合反饋網(wǎng)絡大多屬于全局逼近型網(wǎng)絡。對于輸入輸出數(shù)據(jù)對只要少量幾個權連接系數(shù)需要進行調(diào)整。 全局網(wǎng)絡和局部網(wǎng)絡示意圖 耦合與解耦 2?m?1?12wmw111wmrw2rw1rwx1yryCMAC結構原理 4部分組成 輸入空間 相聯(lián)空間 輸出空間 rmmrrrr wy ???? ????? ?332211mm wy 11331221111 ???? ????? ?CMAC工作原理 以逼近函數(shù)關系為例 CMAC所要逼近的函數(shù)影射關系為 y=f(x) 其中 TrTn yyyyxxxx ],[,],[ 2121 ????實現(xiàn)二個映射 輸入狀態(tài)空間 n維 相聯(lián)存貯空間 m維 s : x A p: A P x A y輸出狀態(tài)空間 r維 S: x→A, 即 α=S(x),這里對 α進行關注 非線性影射。而且對輸入空間或向量的元素只能取這里，01x01],[21?????Tm??P:A→y ，即 y=P(α)=Wα 2?m?1?12wmw111w1y非線性體現(xiàn)在什么地方哪？截斷 ??1?2?m?1mw12w11w1y變前面的形式為下圖所示 寫為普遍形式 jmwj2wjy2?m?1?j1w對于這個圖所示影射關系我們應很熟悉。而且是非常簡單的影射。168。168。wwww)p(y??????rmrwww其中關系最終實現(xiàn) f ( x )y ?其中 Xm只是 X的一維，也就是說還有 m1個這樣 的對應關系，才是完整的 y=f(x)。168。168。wwyyym212m1m22212r12111r21????????????????????????????????????????????rmrwww輸入非線性影射的實現(xiàn) 非線性影射 S所實現(xiàn)的從輸入空間到相聯(lián)空間的影射，由于相聯(lián)空間向量 α中只有少量幾個元素為 1值，其余為零，因此，在一次訓練中只有少量的連接權值需要進行調(diào)整。 輸入空間中一個點對應相聯(lián)空間一個集合，當輸入空間中的兩個點比較靠近時，它們在相聯(lián)空間中影射的兩個集合產(chǎn)生的交疊越多。而對于兩個相距很遠的輸入產(chǎn)生各自的獨立的響應。通常選 ?A?? Am 100對于上述關系，能否保證對于輸入空間的每個點均存在唯一的影射 X→A ？ 假設輸入向量 X的每個分量均可取 q個不同的值，則輸入總共可能有 個不同的模式，可以證明要保證存在唯一的影射，只需 ?? A99q n非零元素如何分布？ 前面談到輸入空間兩個點距離較近，它們在相聯(lián)空間中影射的兩個點（向量）產(chǎn)生的交疊越多。比如非零元素連續(xù)分布就是一種選擇 映射： ? 使輸入空間中，相同或相距不遠的輸入向量，有相同 的輸出 —— 泛化 ? 使輸入空間中，不同或相距遠的輸入向量，有不同 的輸出 —— 分類 類似 BP網(wǎng)絡， CMAC神經(jīng)元網(wǎng)絡的連接權學習算法為 度較快。故量的連接權需要進行調(diào)只有少，因此，在一次訓練中，其余均為元素為中只有少量幾個相聯(lián)空間和實際值。時，上述迭代學習算法為學習率。 b) 相鄰的輸入，只有 1位不同 ； （連續(xù)） |Ai*|= 4 xi α i* 1 α1α2α3α4 2 α2α3α4α5 3 α3α4α5α6 4 α4α5α6α7 5 α5α6α7α8 6 α6α7α8α9 7 α7α8α9α10 8 α8α9α10α11 9 α9α10α11α12 一維向量 CMAC網(wǎng)絡主要優(yōu)點 CMAC 接受實際輸入，給出實際輸出 CMAC可用于實時大系統(tǒng)的訓練，因為每一輸出只要少量計算，與感知器 BP網(wǎng)絡比較對同樣規(guī)模的問題求解， CMAC迭代次數(shù)少得多； CMAC有局部泛化能力 (1個數(shù)大于 1）。 可以訓練種類很多的函數(shù)； CMAC在輸出空間服從迭加原理。 CMAC邏輯元陣列可硬件實現(xiàn)。 ???nMnm2 (n)e21nE )( 無需訓練樣本，只是通過加入擾動，引起網(wǎng)絡調(diào)整過程就會不斷優(yōu)化 PID參