ch7典型神經(jīng)網(wǎng)絡(luò)ok-wenkub.com
2025-01-02 02:54 本頁面
【正文】 j p p1 xp1 x pn t pk t pm Op1 O pn Op2 隱層 wj1 wjn 輸入層 隱層 輸出層 信息流 hjpS hpjO 黑白圖像的邊緣檢測： 思考 ?人工神經(jīng)網(wǎng)絡(luò)定義、三要素、結(jié)構(gòu)及各自特點(diǎn) ?BP算法的思路和過程描述 ?BP算法改進(jìn)的基本思路 1985年 —— Powell提出多變量插值的徑向基函數(shù) （ Radial Basis Function, RBF） 方法； 1988年 —— Broomheadamp。 用多層前饋網(wǎng)實(shí)現(xiàn)圖像數(shù)據(jù)壓縮時(shí)，只需一個(gè)隱層，如圖 原圖像 n n 重建圖像 n n 輸入層和輸出層均含有 n*n個(gè)神經(jīng)元，每個(gè)神經(jīng)元對(duì)應(yīng)于 n*n圖像分塊中的一個(gè)像素。 例 2：邊緣檢測 例 1：圖像壓縮 基于 BP算法的多層前饋網(wǎng)絡(luò)用圖像壓縮編碼 Ackley和 Hinton等人 1985年提出了利用多層前饋神經(jīng)網(wǎng)絡(luò)的模式變換能力實(shí)現(xiàn)數(shù)據(jù)編碼的基本思想。 網(wǎng)絡(luò)的輸入神經(jīng)元數(shù)目及輸出層神經(jīng)元的數(shù)目是由問題的要求所決定的 ， 而輸入和輸出層之間的隱含層數(shù)以及每層的神經(jīng)元數(shù)是由設(shè)計(jì)者來決定的； 3)已證明 ， 兩層 S型線性網(wǎng)絡(luò) ， 如果 S型層有足夠的神經(jīng)元 ， 則能夠訓(xùn)練出任意輸入和輸出之間的有理函數(shù)關(guān)系； 4)反向傳播法沿著誤差表面的梯度下降 ， 使網(wǎng)絡(luò)誤差最小 ， 網(wǎng)絡(luò)有可能陷入局部極小值； 5)附加動(dòng)量法使反向傳播減少了網(wǎng)絡(luò)在誤差表面陷入低谷的可能性并有助于減少訓(xùn)練時(shí)間； 6)太大的學(xué)習(xí)速率導(dǎo)致學(xué)習(xí)的不穩(wěn)定 ， 太小值又導(dǎo)致極長的訓(xùn)練時(shí)間 。 使用方法為： [W， B， epochs， TE]＝ trainbpa(W， B， ’F’， P， T，TP) 可以將動(dòng)量法和自適應(yīng)學(xué)習(xí)速率結(jié)合起來以利用兩方面的優(yōu)點(diǎn)。 為了加速收斂過程，一個(gè)較好的思路是自適應(yīng)改變學(xué)習(xí)率，使其該大時(shí)增大，該小時(shí)減小。 附加動(dòng)量法的實(shí)質(zhì)是將最后一次權(quán)值變化的影響，通過一個(gè)動(dòng)量因子來傳遞。 反向傳播法的改進(jìn)方法 目標(biāo)：為了加快訓(xùn)練速度，避免陷入局部極小值。 一般情況下，作為對(duì)比，可以同時(shí)對(duì)兩個(gè)不同期望誤差值的網(wǎng)絡(luò)進(jìn)行訓(xùn)練，最后通過綜合因素的考慮來確定采用其中一個(gè)網(wǎng)絡(luò)。 所以在一般情況下，傾向于選取較小的學(xué)習(xí)速率以保證系統(tǒng)的穩(wěn)定性。 由于每次訓(xùn)練時(shí)都對(duì)權(quán)值進(jìn)行隨機(jī)初始化，所以每次訓(xùn)練得到的網(wǎng)絡(luò)權(quán)值都是不一樣的。這在結(jié)構(gòu)實(shí)現(xiàn)上，要比增加更多的隱含層要簡單得多。 增加層數(shù)主要可以更進(jìn)一步的降低誤差，提高精度，但同時(shí)也使網(wǎng)絡(luò)復(fù)雜化，從而增加了網(wǎng)絡(luò)權(quán)值的訓(xùn)練時(shí)間。 為了能夠較好地掌握 BP網(wǎng)絡(luò)的訓(xùn)練過程，我們?cè)儆脙蓪泳W(wǎng)絡(luò)為例來敘述 BP網(wǎng)絡(luò)的訓(xùn)練步驟。 如果在輸出層沒有得到期望的輸出，則計(jì)算輸出層的誤差變化值，然后轉(zhuǎn)向反向傳播，通過網(wǎng)絡(luò)將誤差信號(hào)沿原來的連接通路反傳回來修改各層神經(jīng)元的權(quán)值直至達(dá)到期望目標(biāo)。 感知機(jī)網(wǎng)絡(luò)利用輸出誤差只能修改最后一層的權(quán)值 而 BP網(wǎng)絡(luò)實(shí)現(xiàn)了多層學(xué)習(xí)，每一層的權(quán)值均可訓(xùn)練學(xué)習(xí)修改。 ? 當(dāng)訓(xùn)練滿足要求后，得到知識(shí)庫，利用神經(jīng)網(wǎng)絡(luò)并行推理算法便可對(duì)所需的輸入模式進(jìn)行識(shí)別。 2. BP網(wǎng)絡(luò)的激活函數(shù)必須是處處可微的，所以它就不能采用二值型的閥值函數(shù) {0， 1}或符號(hào)函數(shù) {— 1， 1}， BP網(wǎng)絡(luò)經(jīng)常使用的是 S型的對(duì)數(shù)或正切激活函數(shù)和線性函數(shù)。2?? ? ? ? ? ?? ? ? ?? ?112239。2?? ? ? ? ? ?kykyke n??? ? 221 keE ?反向傳播：采用 δ學(xué)習(xí)算法調(diào)整各層間權(quán)值
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1