ch7典型神經(jīng)網(wǎng)絡(luò)ok(參考版)
2025-01-08 02:54本頁(yè)面
【正文】 BP與 RBF結(jié)構(gòu)的區(qū)別： ?—— 隱含層 ?—— 激發(fā)函數(shù) ? RBF結(jié)構(gòu)： 具有單隱含層的兩層前向網(wǎng)絡(luò)， 隱含層的激發(fā)函數(shù)： RBF 結(jié)構(gòu)比較 ● 反傳（ BP）網(wǎng)絡(luò)的結(jié)構(gòu)圖 一個(gè)輸入層，一個(gè)輸出層，多個(gè)隱層。Lowe 將 RBF 應(yīng)用于神經(jīng)網(wǎng)絡(luò) RBF神經(jīng)網(wǎng)絡(luò) RBF網(wǎng)絡(luò) —— 徑向基函數(shù)網(wǎng)絡(luò)（ Radial Basis Function ， 簡(jiǎn)稱 RBFNN） ??…… …… x1 x2 xn y1 yp 輸 入 輸 出 是一種三層前饋網(wǎng)絡(luò) 網(wǎng)絡(luò)特點(diǎn)： １）結(jié)構(gòu)相對(duì)簡(jiǎn)單 ２）在參數(shù)（節(jié)點(diǎn)數(shù)， μ,σ ） 選擇合適時(shí)，收斂速度快 三層 輸入層 隱層 —— 神經(jīng)元函數(shù)多采用高斯函數(shù) 輸出層 —— 線性神經(jīng)元函數(shù) 構(gòu)成 RBF網(wǎng)絡(luò)的基本思想： 1）用 RBF作為隱單元的“基”構(gòu)成隱含層空間，將輸入矢量直接映射到隱空間（不通過(guò)權(quán)連接）； 2）網(wǎng)絡(luò)輸出時(shí)隱單元輸出的線性加權(quán)和，（通過(guò)權(quán)連接可調(diào)參數(shù)） 輸入 隱層 輸出 非線性 線性 （高斯核函數(shù)） σ c 該激活函數(shù)具有局部感受能力，只有輸入落入某個(gè)范圍內(nèi)，才有明顯輸出，不象 BP， 輸入在（－ ∞ ，＋ ∞ ）均有輸出。訓(xùn)練后的網(wǎng)絡(luò)就可以用來(lái)執(zhí)行圖像的數(shù)據(jù)壓縮任務(wù)了，此時(shí)隱層輸出向量便是數(shù)據(jù)壓縮結(jié)果，而輸出層的輸出向量便是圖像重建的結(jié)果。隱層神經(jīng)元的數(shù)量由圖像壓縮比決定，如 n=16時(shí)，取隱層神經(jīng)元數(shù)為 m=8， 則可將 256像素的圖像塊壓縮為８像素。在這個(gè)過(guò)程中，輸入層和隱層的變換可以看成是壓縮編碼的過(guò)程；而隱層和輸出層的變換可以看成是解碼過(guò)程。 其原理是，把一組輸入模式通過(guò)少量的隱層節(jié)點(diǎn)映射到一組輸出模式，并使輸出模式等同于輸入模式。 BP網(wǎng)絡(luò)主要用于： 1)函數(shù)逼近：用輸入矢量和相應(yīng)的輸出矢量訓(xùn)練一個(gè)網(wǎng)絡(luò)逼近 — 個(gè)函數(shù)； 2)模式識(shí)別：用一個(gè)特定的輸出矢量將它與輸入矢量聯(lián)系起來(lái)； 3)分類：把輸入矢量以所定義的合適方式進(jìn)行分類； 4)數(shù)據(jù)壓縮：減少輸出矢量維數(shù)以便于傳輸或存儲(chǔ)。 自適應(yīng)學(xué)習(xí)速率通過(guò)在保證穩(wěn)定訓(xùn)練的前提下 ， 達(dá)到了合理的高速率 ，可以減少訓(xùn)練時(shí)間； 7)80％ — 90％ 的實(shí)際應(yīng)用都是采用反向傳播網(wǎng)絡(luò)的 。 lr]]＝ trainbpx(W， B，F(xiàn)， P， T， TP) 本章小結(jié) 1)反向傳播法可以用來(lái)訓(xùn)練具有可微激活函數(shù)的多層前向網(wǎng)絡(luò)以進(jìn)行函數(shù)逼近 ， 模式分類等工作； 2)反向傳播網(wǎng)絡(luò)的結(jié)構(gòu)不完全受所要解決的問(wèn)題所限制 。這個(gè)技術(shù)已編入了函數(shù)。 它可以訓(xùn)練直至三層網(wǎng)絡(luò)。 通常調(diào)節(jié)學(xué)習(xí)速率的準(zhǔn)則是：檢查權(quán)值的修正值是否真正降低了誤差函數(shù)，如果確實(shí)如此，則說(shuō)明所選取的學(xué)習(xí)速率值小了，可以對(duì)其增加一個(gè)量；若不是這樣，而產(chǎn)生了過(guò)調(diào)，那么就應(yīng)該減小學(xué)習(xí)速率的值。 3 自適應(yīng)學(xué)習(xí)速率 學(xué)習(xí)率 η也稱步長(zhǎng)，在標(biāo)準(zhǔn) BP 算法中定為常數(shù)，然而在實(shí)際應(yīng)用中，很難確定一個(gè)從始至終都合適的最佳學(xué)習(xí)率，從誤差曲面可以看出，平坦區(qū)域內(nèi) η太小會(huì)使訓(xùn)練次數(shù)增加而希望增大 η值；而在誤差變化劇烈的區(qū)域， η太大會(huì)因調(diào)整量過(guò)大而跨過(guò)較宰的“坑凹”處，使訓(xùn)練出現(xiàn)振蕩，反而使迭代次數(shù)增加。當(dāng)動(dòng)量因子取值為零時(shí)，權(quán)值的變化僅是根據(jù)梯度下降法產(chǎn)生；當(dāng)動(dòng)量因子取值為 1時(shí)，新的權(quán)值變化則是設(shè)置為最后一次權(quán)值的變化，而依梯度法產(chǎn)生的變化部分則被忽略掉了。 該方法是在反向傳播法的基礎(chǔ)上在每一個(gè)權(quán)值的變化上加上一項(xiàng)正比于前次權(quán)值變化量的值，并根據(jù)反向傳播法來(lái)產(chǎn)生新的權(quán)值變化。 1 附加動(dòng)量法 附加動(dòng)量法使網(wǎng)絡(luò)在修正其權(quán)值時(shí)，不僅考慮誤差在梯度上的作用，而且考慮在誤差
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1