【正文】 步時(shí)，對(duì)權(quán)重的調(diào)整為 式中， 是正常數(shù)，稱為學(xué)習(xí)速率或者步長(zhǎng)。權(quán)重 Wij被減弱了 。 基于記憶的學(xué)習(xí)規(guī)則 基于記憶的學(xué)習(xí)規(guī)則主要用于模式分類(lèi)，一種簡(jiǎn)單而 有效的方法 —— 最近臨域法。只能有一個(gè)輸出神經(jīng)元是活性的。 熱電廠煤塊粉碎尺寸的軟測(cè)量 測(cè)量粉碎機(jī)中煤塊的尺寸 利用聲音完成測(cè)量 ⑤ 基于小波 神經(jīng)網(wǎng)絡(luò)的瓷坯泥內(nèi)部應(yīng)力分布的軟測(cè)量 壓力差即壓力梯度是內(nèi)應(yīng)力不均勻的反應(yīng) 陶瓷顆粒定向問(wèn)題 內(nèi)部應(yīng)力的分布與真空練泥機(jī)的機(jī)頭內(nèi)壁壓力的關(guān)系 ?????????????NMNNMMPPPPPPPPPM???????212222111211軸向 徑向 切向 ⑥ 模式識(shí)別 如指紋識(shí)別 ⑦ 藥方的配置 黑箱問(wèn)題： 藥物的種類(lèi) 藥量 陶瓷的性質(zhì) 建立對(duì)應(yīng)關(guān)系 ⑧面部識(shí)別、虹膜識(shí)別、筆跡識(shí)別 身份識(shí)別： 原始數(shù)據(jù)用于訓(xùn)練、學(xué)習(xí)；記憶。是因?yàn)樽ブ? 要特征，而忽略細(xì)節(jié)。 進(jìn)行語(yǔ)音記憶，所占用信息量最小。因此，對(duì) 印刷 用紙的平滑度測(cè)量十分必要。 例 一種只有 2個(gè)外部輸入量 x1,x2的單層感知器。 第三步 計(jì)算單層感知器輸出（前向運(yùn)算） ?)]()([)( nXnWSgnny T?第四步 調(diào)整感知器權(quán)值向量（反向運(yùn)算） 第五步 判斷是否滿足條件 若滿足 則結(jié)束運(yùn)算；否則 n=n+1，轉(zhuǎn)到第三步接續(xù)運(yùn)算。 （ 1）給神經(jīng)元施加非線性輸入函數(shù)，見(jiàn)下圖 分界線為： 模擬輸出為： 0wxxwxwxwxwxb 1221222211212211 ??????1221222211212211 wxxwxwxwxwxby ??????顯然：有一些非線性的運(yùn)算需要在輸入前完成 例題： （ ， ）（ ， ）（ 1， 1） （ 2）多個(gè)自適應(yīng)線性元件組合，見(jiàn)下圖 解決線性可分的 2方法 問(wèn)題： 單層感知器與自適應(yīng)線性元件的區(qū)別在那里？ 答： 在于反饋?zhàn)兞坎煌兄鞣祷嘏c期望值相比較 的是二進(jìn)制輸出 yi,自適應(yīng)線性元件的連續(xù)輸出 vi。 )()()( )( nenXWWEW T?? ??????)]()()()[()()()()()(nWnXndnXnWnenXnW1nWTTT?????????)()()( nenXW nE T????10110101 0110 10LMS算法是一種迭代算法。 多層前向神經(jīng)元網(wǎng)絡(luò)中前一層神經(jīng)元作為后一層的輸入。 輸入層神經(jīng)元的個(gè)數(shù)為輸入信號(hào)的維數(shù)，輸出層的個(gè)數(shù)是 輸出信號(hào)的維數(shù)，隱層個(gè)數(shù)根據(jù)輸入輸出個(gè)數(shù)主要是對(duì)應(yīng) 關(guān)系的復(fù)雜程度而定，通常有 2n+1原則作為隱神經(jīng)元初 始個(gè)數(shù)，而后再調(diào)整。 正是因?yàn)槎鄬痈兄鞯倪@些特性，使得它是當(dāng)前應(yīng)用 最廣泛的一種神經(jīng)網(wǎng)絡(luò)。 1）工作信號(hào)正向傳播： 權(quán)值不變，由輸入信號(hào)產(chǎn)生輸出信號(hào)。 IivIiu所有的神經(jīng)元都用 Sigmoid函數(shù)。 1）隱層神經(jīng)元與輸出層神經(jīng)元之間權(quán)值的修改 BP算法中權(quán)值的修改量△ W與誤差對(duì)該權(quán)值的 偏微分 成正比，即 這就是尋優(yōu)方式中所謂的牛頓梯度法。 由下圖可見(jiàn)， E和 wip(n)之間通過(guò) 傳遞。 最后 xexf ?? 11)( )()()1 1(1 1)( 22 xfxfeexf xx ???????)()())(1)(())(( 2 nynynvnvnuf kpkpPpPpPp ?????)()()1( nwnwnw jpjpjp ????Jjkpp2kpkpJjkpkpp2kpkpJjkp2kpkpjpvnyndnynyvnynendnynyvnenynynw))()())(()(()())()())(()(()())()(()(???????????))()())(()(()())()(()( 22 nyndnynynenynyn kppkpkpkpkpkpPp ??????2）隱含層與隱含層之間的權(quán)值修正值 )()()(13vuEl e tvuEvwuvwuwuuEwEnwIiJjJjJjIiJjJ1jJjijJjIiijJjijJjJjijij???????????????????????????????（ 31）中只有 未知 Jj?)()()1())(1)(())(()())(()(1nwnwnwnvnvnufnwnufuEnijijijJjJjJjjpPpPpJjJjJj????????????? ??這其中??代入公式（ 31），得 3）輸入層 M與第一隱層 I之間的連接權(quán)值的調(diào)整 )()()1()1()(1nwnwnwwvvnwijijijjpPpPpJjJjIiij??????? ?????)()()1())(1)(())(()())(()()()()(1nwnwnwnvnvnufnwnufuEnnxnnwmimimiIiIiIiijJjJjIiIiIikmIimi?????????????????這其中其中 ???? BP算法的學(xué)習(xí)步驟 第一步 設(shè)置變量和參數(shù)： 輸入向量（訓(xùn)練樣本） N是訓(xùn)練樣本的個(gè)數(shù)。 說(shuō)明： 1）權(quán)值的初始化問(wèn)題 權(quán)值過(guò)大會(huì)影響學(xué)習(xí)速度，使用小隨機(jī)數(shù)，隨機(jī)范圍 這里 F是輸入層單元的個(gè)數(shù)。因此必須改進(jìn)。 )()2()1()()(2mnwEnwEnwEnwEnw m?????????????????? ??????? ?)(nwE??)(11nwE???? ?動(dòng)量項(xiàng)的 另一種分析： 從 Z變換結(jié)果可見(jiàn)，調(diào)節(jié)量是計(jì)算量的一階慣性濾波，對(duì)于被優(yōu)化曲線的波動(dòng)，使其平滑，易于實(shí)現(xiàn)優(yōu)化。 徑向基網(wǎng)絡(luò) RBF歷史： 徑向基函數(shù) (Radial Basis Function ,RBF) 是多維空間插值的傳統(tǒng)技術(shù)，由 Powell于 1985年提出 。 RBF網(wǎng)絡(luò)的基本思想： 以徑向基函數(shù)（ RBF）作為隱單元的 “基 ” ，構(gòu)成隱含層空間，將輸入數(shù)據(jù)用隱含層的多維空間進(jìn)行衡量， 使得非線性的線性不可分問(wèn)題轉(zhuǎn)化為高維空間線性可分問(wèn)題 。假設(shè)訓(xùn)練樣本個(gè)數(shù)有 N個(gè)，如圖 38 圖中輸入層有 M個(gè)神經(jīng)元， m表示任一個(gè)； 隱層有 N個(gè)神經(jīng)元， i表示任一個(gè)； 輸出層有 J個(gè)神經(jīng)元， j表示任一個(gè)； 為隱層的“基函數(shù)”，它是第 i個(gè)隱單元的激勵(lì)輸出。 ??????????????????????????MmimkmiiKiiKikxxXXXXGXXG12222)(21e x p21e x p)(),(??],[ 21 iMiii xxxX ??i? 正規(guī)化網(wǎng)絡(luò)是一個(gè)通用逼近器，只要隱單元足夠多，它就可以逼近任意 M元連續(xù)函數(shù)，且對(duì)任一未知的非線性函數(shù)out(.) ，總存在一組權(quán)值使網(wǎng)絡(luò)對(duì)該函數(shù) out(.)的逼近效果最好。 廣義網(wǎng)絡(luò)輸入、輸出層數(shù)量未變，隱層數(shù)量減少（ IN），第 i個(gè)隱層神經(jīng)元的激勵(lì)輸出為“基函數(shù) ” ，其中 ，為基函數(shù)的中心； ),( itX?),2,1(],[ 21 Iittttt iMimiii ??? ??),( iXX?輸出層還設(shè)置了閾值 ，而令輸出層與其連接權(quán)值為 。 RBF網(wǎng)絡(luò)有多種學(xué)習(xí)算法：隨機(jī)選取中心法、 自組織選取中心法 、有監(jiān)督選取中心法和正交最小二乘法。 反映了數(shù)據(jù)的離散程度。 2) BP網(wǎng)絡(luò)是對(duì)非線性輸入 輸出關(guān)系的全局逼近，而 RBF網(wǎng)絡(luò)使用局部指數(shù)衰減的非線性函數(shù)（如高斯函數(shù)）對(duì)非線性輸入 輸出關(guān)系的局部逼近 (局域性 ）。 地址內(nèi)容 執(zhí)行器運(yùn)動(dòng)軌跡反饋傳感信號(hào)命令網(wǎng)絡(luò)逼近功能：前面所介紹的前饋都可以看為輸入輸出之間的映射。該網(wǎng)絡(luò)為全局逼近。對(duì)于輸入輸出數(shù)據(jù)對(duì)只要少量幾個(gè)權(quán)連接系數(shù)需要進(jìn)行調(diào)整。而且對(duì)輸入空間或向量的元素只能取這里，01x01],[21?????Tm??P:A→y ，即 y=P(α)=Wα 2?m?1?12wmw111w1y非線性體現(xiàn)在什么地方哪？截?cái)? ??1?2?m?1mw12w11w1y變前面的形式為下圖所示 寫(xiě)為普遍形式 jmwj2wjy2?m?1?j1w對(duì)于這個(gè)圖所示影射關(guān)系我們應(yīng)很熟悉。168。wwww)p(y??????rmrwww其中關(guān)系最終實(shí)現(xiàn) f ( x )y ?其中 Xm只是 X的一維，也就是說(shuō)還有 m1個(gè)這樣 的對(duì)應(yīng)關(guān)系，才是完整的 y=f(x)。168。 輸入空間中一個(gè)點(diǎn)對(duì)應(yīng)相聯(lián)空間一個(gè)集合，當(dāng)輸入空間中的兩個(gè)點(diǎn)比較靠近時(shí)，它們?cè)谙嗦?lián)空間中影射的兩個(gè)集合產(chǎn)生的交疊越多。通常選 ?A?? Am 100對(duì)于上述關(guān)系，能否保證對(duì)于輸入空間的每個(gè)點(diǎn)均存在唯一的影射 X→A ？ 假設(shè)輸入向量 X的每個(gè)分量均可取 q個(gè)不同的值，則輸入總共可能有 個(gè)不同的模式，可以證明要保證存在唯一的影射，只需 ?? A99q n非零元素如何分布？ 前面談到輸入空間兩個(gè)點(diǎn)距離較近，它們?cè)谙嗦?lián)空間中影射的兩個(gè)點(diǎn)（向量）產(chǎn)生的交疊越多。故量的連接權(quán)需要進(jìn)行調(diào)只有少，因此，在一次訓(xùn)練中，其余均為元素為中只有少量幾個(gè)相聯(lián)空間和實(shí)際值。 b) 相鄰的輸入，只有 1位不同 ； （連續(xù)） |Ai*|= 4 xi α i* 1 α1α2α3α4 2 α2α3α4α5 3 α3α4α5α6 4 α4α5α6α7 5 α5α6α7α8 6 α6α7α8α9 7 α7α8α9α10 8 α8α9α10α11 9 α9α10α11α12 一維向量 CMAC網(wǎng)絡(luò)主要優(yōu)點(diǎn) CMAC 接受實(shí)際輸入，給出實(shí)際輸出 CMAC可用于實(shí)時(shí)大系統(tǒng)的訓(xùn)練，因?yàn)槊恳惠敵鲋灰倭坑?jì)算，與感知器 BP網(wǎng)絡(luò)比較對(duì)同樣規(guī)模的問(wèn)題求解， CMAC迭代次數(shù)少得多； CMAC有局部泛化能力 (1個(gè)數(shù)大于 1）。 CMAC邏輯元陣列可硬件實(shí)