【正文】 的導(dǎo)數(shù)是 從而有 因此代入（ 31），得到 因此，第二隱層和輸出層之間的網(wǎng)絡(luò)權(quán)值改變量由網(wǎng)絡(luò)實際輸 出和期望輸出、實際輸入就可以計算易于計算。 4 新激活函數(shù) 5 組合激活函數(shù) 2)(21)( b axebxg??? ?)t a n h ()())( s i n h (t a n2)(211xxfxxf?? ?? BP學(xué)習(xí)算法 BP學(xué)習(xí)算法的描述 BP學(xué)習(xí)算法分為正向傳播和反向傳播 2部分。 LMS學(xué)習(xí)算法的推導(dǎo)： n時刻的誤差： 誤差的均方值： 由上 2式得到： )()()()( nWnXndne T??)(21)( 2 neWE ?)()()()()(nXWneWneneWWET?????????由上 2式得到： 為了使誤差均方值盡快減小，令權(quán)值 沿著誤差函數(shù)負(fù) 梯度方向 改變 LMS算法權(quán)值調(diào)整公式 學(xué)習(xí)步長 對于 LMS算法影響很大： ① 快速性； ② 全局最優(yōu)； ③ 收斂性 ；④ 數(shù)據(jù) 存 儲 量。紙張的平滑度與 印刷 油墨 在紙面上的均一轉(zhuǎn)移密切相關(guān)。 競爭學(xué)習(xí)中，神經(jīng)元網(wǎng)絡(luò)之間相互競爭，在任 一 時刻。 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí) 定義： 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)又稱為 訓(xùn)練 ，是指神經(jīng)網(wǎng)絡(luò)根據(jù)環(huán)境的刺激作用自動調(diào)整 神經(jīng)元連結(jié)權(quán)值和自身閾值的過程。 人工神經(jīng)元的模型 生物神經(jīng)元模型 結(jié)構(gòu)特點： 軸突（神經(jīng)纖維）很長（輸出沖動）、 樹突接受沖動，突出連接２者（體現(xiàn)出連接權(quán)值），細(xì) 胞膜內(nèi)外有電位差（內(nèi)高外低） 40100mV。 1949年，生物學(xué)家 提出改變 NN連接強(qiáng)度的 Hebb規(guī)則。 特點： *并行運(yùn)算 （每個神經(jīng)元都在獨(dú)立的運(yùn)算） *自學(xué)習(xí)能力很強(qiáng) *非線性處理能力 （這源于神經(jīng)網(wǎng)絡(luò)的每一塊磚都是非線性的，如 S型函數(shù)） 因此，神經(jīng)網(wǎng)絡(luò)具有能力： 獲取信息 儲存信息。是對 BP網(wǎng)絡(luò)的一大進(jìn)步。 這是一個自反饋神經(jīng)網(wǎng)絡(luò)， z1是滯后環(huán)節(jié)。 ii xx ? jjxx ? 神經(jīng)網(wǎng)絡(luò)的輸入 Xi(n)，產(chǎn)生實際輸出 yi(n), 網(wǎng)絡(luò)期望輸出 di(n), 期望值和真實值之間偏差 )n(y)n(d)n(e ii ?? 要調(diào)整權(quán)值，以誤差 e(n)最小為原則（才能使得網(wǎng)絡(luò)無差），為避免正負(fù)號的影響，采用 e(n)的最小二乘值最小為性能指數(shù) )()( te21nE 2? 可以推出權(quán)值的調(diào)整為 )()()( nxnenw jij ??? 每一步運(yùn)算都會得到一個權(quán)值的修改量 用于修改權(quán)值 )()(( nwnw1nw ijijij ???? ）反復(fù)次運(yùn)算，就可以獲得新的權(quán)值，它實際是一個矩陣， 例如，下面是一個 3單元輸入層， 2單元輸出層的神經(jīng)網(wǎng)絡(luò)。 ⑨語音壓縮、語音記憶、字符語音識別 隱層各個神經(jīng)元具有正交性（獨(dú)立性）、完備性。 自適應(yīng)線性元件 自適應(yīng)線性元件與感知器同時被提出，也很相似 顯然，自適應(yīng)線性元件與感知器有相當(dāng)?shù)墓δ堋? 隱層的激勵函數(shù)可以選用非線性函數(shù)，這對于整個神經(jīng)元網(wǎng)絡(luò)的性質(zhì)非常重要。 )()()( nyndne kpkpkp ??)(21 2 nekp???Ppkp nenE12 )(21)()n(w)n(E)n(wjpjp ?????也即 Delta規(guī)則 這里反映了修改權(quán)重的依據(jù)是 : 通過調(diào)整權(quán)重使得誤差的均方值減小。 的取值范圍（ 0， 1），例如動量項取 ，則調(diào)節(jié)作用可增大到 10倍。 設(shè)訓(xùn)練樣本集 其中任一 訓(xùn)練樣本 ),( iXX?ijwTNk XXXXX ],[ 21 ???),2,1(],[ 21 NkxxxxX kMkmkkk ??? ??對應(yīng)實際輸出為 期望輸出 當(dāng)網(wǎng)絡(luò)輸入訓(xùn)練樣本 Xk時，網(wǎng)絡(luò)第 j個輸出的實際輸出為 其中“基函數(shù) ”一般選用格林函數(shù) 更多的情況下， 一般選用高斯函數(shù) （一種特殊的格林函數(shù)）， 式中， 為高斯函數(shù)的中心， 為方差。 它們都是中心點徑向?qū)ΨQ函數(shù)。 全局網(wǎng)絡(luò)和局部網(wǎng)絡(luò)示意圖 耦合與解耦 2?m?1?12wmw111wmrw2rw1rwx1yryCMAC結(jié)構(gòu)原理 4部分組成 輸入空間 相聯(lián)空間 輸出空間 rmmrrrr wy ???? ????? ?332211mm wy 11331221111 ???? ????? ?CMAC工作原理 以逼近函數(shù)關(guān)系為例 CMAC所要逼近的函數(shù)影射關(guān)系為 y=f(x) 其中 TrTn yyyyxxxx ],[,],[ 2121 ????實現(xiàn)二個映射 輸入狀態(tài)空間 n維 相聯(lián)存貯空間 m維 s : x A p: A P x A y輸出狀態(tài)空間 r維 S: x→A, 即 α=S(x),這里對 α進(jìn)行關(guān)注 非線性影射。wwyyym212m1m22212r12111r21????????????????????????????????????????????rmrwww輸入非線性影射的實現(xiàn) 非線性影射 S所實現(xiàn)的從輸入空間到相聯(lián)空間的影射，由于相聯(lián)空間向量 α中只有少量幾個元素為 1值，其余為零，因此，在一次訓(xùn)練中只有少量的連接權(quán)值需要進(jìn)行調(diào)整。 可以訓(xùn)練種類很多的函數(shù)； CMAC在輸出空間服從迭加原理。時，上述迭代學(xué)習(xí)算法為學(xué)習(xí)率。168。這一點帶來的問題網(wǎng)絡(luò) 的 學(xué)習(xí)速度非常慢 ； 前面所學(xué)習(xí)的前饋網(wǎng)絡(luò)合反饋網(wǎng)絡(luò)大多屬于全局逼近型網(wǎng)絡(luò)。 ? ???????????????????????MmimkmikikikxxtXtXGtX12222)(21e x p21e x p),(???],[ 21 iMiii tttt ?? i?特點：中心和權(quán)值的確定分別獨(dú)立進(jìn)行。 RBF網(wǎng)絡(luò)的應(yīng)用： 徑向基函數(shù)（ RBF）網(wǎng)絡(luò)廣泛地應(yīng)用于時間序列分析、模式識別和圖像處理等領(lǐng)域。 3） BP算法的 2種方式， 順序方式： 一個一個樣本的訓(xùn)練 批處理方式：待組成一個周期的全部樣本都一次性輸 入網(wǎng)絡(luò)后，以總的平均誤差能量為修正 目標(biāo)，訓(xùn)練網(wǎng)絡(luò)。 網(wǎng)絡(luò)輸入訓(xùn)練樣本 Xk,由信號正向傳播過程可得 第一隱層 第二隱層 輸出層 ??? MmkmmiIi xwu1??????? ??MmkmmiIi xwfv1Ii ,2,1 ????????? ??IiIiijJj vwfv1Jj ?,2,1???? JjJjjpPp vwu1kpJjJjjpPp yvwfv ?????????? ?? 1Pp ?,2,1 ??? IiIiijJj vwu1輸出層第 p個神經(jīng)元誤差信號為 定義神經(jīng)元 p的誤差能量為 ，則輸出層所有神經(jīng)元的誤 差能量總和為 E(n) 誤差信號由后向前傳遞，傳播過程中，逐層修改權(quán)值。 多層感知器 多層感知器能夠解決單層感知器不能解決非線性問 題。 輸入向量： 權(quán)值向量： 其中， n代表迭帶次數(shù)，閾值 b可以用 w0來表示，因此，公式 (21)的 2個狀態(tài)的分界線可以表示為 )](,),(),(,1[)( 21 nxnxnxnX N??)](),(),(),([)( 21 nwnwnwnbnW N??0)()()()(0????nXnWnxnw TNjjj學(xué)習(xí)步驟： 第一步 定義變量和參數(shù) 訓(xùn)練樣本 =[輸入向量，期望輸出 ]=[X(n),d(n)] 權(quán)值向量（包括閾值 b(n)） W(n)=[b(n),w1(n),w2(n),? ,wN(n)] 實際輸出 y(n) n迭代次數(shù)，即第幾步 是學(xué)習(xí)速率 第二步 初始化， W(n)=[b(n),w1(n),w2(n),? ,wN(n)]是隨機(jī)給出的，不過研究表明 w1(n),w2(n),? ,wN(n)是小隨機(jī)數(shù)比較好。 面部識別：通過訓(xùn)練能夠抓住最主要的幾個特征點。 Hebb規(guī)則的工作過程的描述： 情況 神經(jīng)元 Xi、 Xj活動充分，則 權(quán)值被加強(qiáng)了。 2. 多層前向神經(jīng)網(wǎng)絡(luò) 多層前向神經(jīng)網(wǎng)含有一個或多個隱層，即至少隱層和輸出層都有運(yùn)算能力。不必關(guān)心它的參數(shù)，只關(guān)心輸入 輸出。 涉及神經(jīng) 科學(xué) 、 數(shù)學(xué) 、 統(tǒng)計學(xué) 、 計算機(jī)科學(xué) 的一門學(xué)科。 （ 19701980） 導(dǎo)致十年低谷的原因包括： 技術(shù)上的：計 算機(jī)技術(shù)支持不夠； 信心上的：資金悲觀情緒 這個階段的標(biāo)志， 1969年麻省理工學(xué)院著名的人工 智能專家 《 感知器 》 指出單層感知器無法解決非線性問題，線性問題需要由多 層感知器來解決，而感知器模型擴(kuò)展到多層是否有意義， 尚不能從理論上得到證明。 ave11vf???)( 人工神經(jīng)元網(wǎng)絡(luò)的結(jié)構(gòu)及學(xué)習(xí)規(guī)則 按網(wǎng)絡(luò)結(jié)構(gòu)分類：前向神經(jīng)網(wǎng)絡(luò) 反饋神經(jīng)網(wǎng)絡(luò) 按學(xué)習(xí)方式分類：有導(dǎo)師神經(jīng)網(wǎng)絡(luò) 無導(dǎo)師神經(jīng)網(wǎng)絡(luò) * 一定 的結(jié)構(gòu)決定了一定的學(xué)習(xí)方式。下面介紹 5種主要的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)規(guī)則： Hebb學(xué)習(xí) 、 糾錯學(xué)習(xí) 、 基于記憶的學(xué)習(xí) 、 隨機(jī)學(xué)習(xí) 、 競爭學(xué)習(xí) 1 Hebb學(xué)習(xí)規(guī)則 a) 語言描述： i 如果一個突觸 Wij兩邊的神經(jīng)元被同時激活，則它的能量（權(quán)重）就被選擇性的加強(qiáng)； ii 如果一個突觸兩邊的神經(jīng)元被異步激活，則它的能量（權(quán)重）就被選擇性的消弱或消除。 ③ 故障診斷 破壞性試驗 獲得數(shù)據(jù) —— 訓(xùn)練樣本 ④ 非線性軟測量 軟測量就是間接測量，利用溫度計接觸式測量溫度是直接測量，利用光譜測量溫度就是 溫度軟測量 。 這里（ 21）直線 (j=2)、平面 (j=3)、超平面 (j3)。這種由輸入層、隱含層（一層或多層）和輸出層構(gòu)成的網(wǎng)絡(luò)成為 多層前向神經(jīng)元網(wǎng)絡(luò)（ Multilayer forward Neural Networks)。 各層的連接權(quán)值分別是 Wmi Wij Wjp 神經(jīng)元的輸入和輸出： 上標(biāo)表示層（ M、 I、 J、 P）下標(biāo)表示神經(jīng)元序號， u表示輸入， v表示輸出。 第四步 （反向過程）根據(jù)偏差反向計算每層神經(jīng)元的局部偏差 第五步 計算權(quán)值的修正量，并獲得新權(quán)值 )](,),(),([)( 21 nynynynY kPkkk ??)](,),(),([)( 21 ndndndnd kPkkk ??)0(),0(),0( JPI