【正文】 三層 輸入層 隱層 —— 神經(jīng)元函數(shù)多采用高斯函數(shù) 輸出層 —— 線性神經(jīng)元函數(shù) 構(gòu)成 RBF網(wǎng)絡(luò)的基本思想： 1）用 RBF作為隱單元的“基”構(gòu)成隱含層空間，將輸入矢量直接映射到隱空間（不通過權(quán)連接）； 2）網(wǎng)絡(luò)輸出時(shí)隱單元輸出的線性加權(quán)和，（通過權(quán)連接可調(diào)參數(shù)） 輸入 隱層 輸出 非線性 線性 （高斯核函數(shù)） σ c 該激活函數(shù)具有局部感受能力，只有輸入落入某個(gè)范圍內(nèi)，才有明顯輸出，不象 BP， 輸入在（－ ∞ ，＋ ∞ ）均有輸出。這個(gè)技術(shù)已編入了函數(shù)。 BP網(wǎng)絡(luò)的局限與不足 (1)需要較長的訓(xùn)練時(shí)間 因?yàn)樯婕暗角髮?dǎo)的運(yùn)算，需要的時(shí)間較長 (2)訓(xùn)練癱瘓問題 通常為了避免這種現(xiàn)象的發(fā)生，一是選取較小的初始權(quán)值，二是采用較小的學(xué)習(xí)速率，但這又增加了訓(xùn)練時(shí)間。 一般情況下，應(yīng)優(yōu)先考慮增加隱含層中的神經(jīng)元數(shù)。 、 BP學(xué)習(xí)規(guī)則 BP算法屬于 δ算法，是一種監(jiān)督式的學(xué)習(xí)算法。 2）只有當(dāng)希望對(duì)網(wǎng)絡(luò)的輸出進(jìn)行限制，如限制在 0和 1之間，那么在輸出層應(yīng)當(dāng)包含 S 型激活函數(shù)，在一般情況下， …… …… …… x1 x2 xn y1 yp 均是在隱含層采用 S 型激活函數(shù)，而輸出層采用線性激活函數(shù)。2?? ? ? ? ? ?kykyke n??? ? 221 keE ?反向傳播：采用 δ學(xué)習(xí)算法調(diào)整各層間權(quán)值 梯度下降法 ijijjjEE????????????????22? ?221 keE?? ? ? ? 39。 感知機(jī)網(wǎng)絡(luò)利用輸出誤差只能修改最后一層的權(quán)值 而 BP網(wǎng)絡(luò)實(shí)現(xiàn)了多層學(xué)習(xí)，每一層的權(quán)值均可訓(xùn)練學(xué)習(xí)修改。這在結(jié)構(gòu)實(shí)現(xiàn)上，要比增加更多的隱含層要簡(jiǎn)單得多。 反向傳播法的改進(jìn)方法 目標(biāo)：為了加快訓(xùn)練速度，避免陷入局部極小值。 網(wǎng)絡(luò)的輸入神經(jīng)元數(shù)目及輸出層神經(jīng)元的數(shù)目是由問題的要求所決定的 ， 而輸入和輸出層之間的隱含層數(shù)以及每層的神經(jīng)元數(shù)是由設(shè)計(jì)者來決定的； 3)已證明 ， 兩層 S型線性網(wǎng)絡(luò) ， 如果 S型層有足夠的神經(jīng)元 ， 則能夠訓(xùn)練出任意輸入和輸出之間的有理函數(shù)關(guān)系； 4)反向傳播法沿著誤差表面的梯度下降 ， 使網(wǎng)絡(luò)誤差最小 ， 網(wǎng)絡(luò)有可能陷入局部極小值； 5)附加動(dòng)量法使反向傳播減少了網(wǎng)絡(luò)在誤差表面陷入低谷的可能性并有助于減少訓(xùn)練時(shí)間； 6)太大的學(xué)習(xí)速率導(dǎo)致學(xué)習(xí)的不穩(wěn)定 ， 太小值又導(dǎo)致極長的訓(xùn)練時(shí)間 。 j p p1 xp1 x pn t pk t pm Op1 O pn Op2 隱層 wj1 wjn 輸入層 隱層 輸出層 信息流 hjpS hpjO 黑白圖像的邊緣檢測(cè)： 思考 ?人工神經(jīng)網(wǎng)絡(luò)定義、三要素、結(jié)構(gòu)及各自特點(diǎn) ?BP算法的思路和過程描述 ?BP算法改進(jìn)的基本思路 1985年 —— Powell提出多變量插值的徑向基函數(shù) （ Radial Basis Function, RBF） 方法； 1988年 —— Broomheadamp。 使用方法為： [W， B， epochs， TE]＝ trainbpa(W， B， ’F’， P， T，TP) 可以將動(dòng)量法和自適應(yīng)學(xué)習(xí)速率結(jié)合起來以利用兩方面的優(yōu)點(diǎn)。 一般情況下，作為對(duì)比，可以同時(shí)對(duì)兩個(gè)不同期望誤差值的網(wǎng)絡(luò)進(jìn)行訓(xùn)練