ch7典型神經(jīng)網(wǎng)絡(luò)ok(已改無錯字)
2023-02-05 02:54:29 本頁面
【正文】 算法中定為常數(shù)，然而在實際應(yīng)用中，很難確定一個從始至終都合適的最佳學(xué)習(xí)率，從誤差曲面可以看出，平坦區(qū)域內(nèi) η太小會使訓(xùn)練次數(shù)增加而希望增大 η值；而在誤差變化劇烈的區(qū)域， η太大會因調(diào)整量過大而跨過較宰的“坑凹”處，使訓(xùn)練出現(xiàn)振蕩，反而使迭代次數(shù)增加。 為了加速收斂過程，一個較好的思路是自適應(yīng)改變學(xué)習(xí)率，使其該大時增大，該小時減小。 通常調(diào)節(jié)學(xué)習(xí)速率的準則是：檢查權(quán)值的修正值是否真正降低了誤差函數(shù)，如果確實如此，則說明所選取的學(xué)習(xí)速率值小了，可以對其增加一個量；若不是這樣，而產(chǎn)生了過調(diào)，那么就應(yīng)該減小學(xué)習(xí)速率的值。下式給出了一種自適應(yīng)學(xué)習(xí)速率的調(diào)整公式： MATLAB工具箱中帶有自適應(yīng)學(xué)習(xí)速率進行反向傳播訓(xùn)練的函數(shù)為： 。 它可以訓(xùn)練直至三層網(wǎng)絡(luò)。 使用方法為： [W， B， epochs， TE]＝ trainbpa(W， B， ’F’， P， T，TP) 可以將動量法和自適應(yīng)學(xué)習(xí)速率結(jié)合起來以利用兩方面的優(yōu)點。這個技術(shù)已編入了函數(shù)。這個函數(shù)的調(diào)用和其他函數(shù)一樣，只是需要更多的初始參數(shù)而已： TP＝ [disp_freq max_epoch error_goal lr 1r_inc 1r_dec mom_const err_ratio]； [W， B， epochs， [error。 lr]]＝ trainbpx(W， B，F(xiàn)， P， T， TP) 本章小結(jié) 1)反向傳播法可以用來訓(xùn)練具有可微激活函數(shù)的多層前向網(wǎng)絡(luò)以進行函數(shù)逼近 ， 模式分類等工作； 2)反向傳播網(wǎng)絡(luò)的結(jié)構(gòu)不完全受所要解決的問題所限制 。 網(wǎng)絡(luò)的輸入神經(jīng)元數(shù)目及輸出層神經(jīng)元的數(shù)目是由問題的要求所決定的 ， 而輸入和輸出層之間的隱含層數(shù)以及每層的神經(jīng)元數(shù)是由設(shè)計者來決定的； 3)已證明 ， 兩層 S型線性網(wǎng)絡(luò) ， 如果 S型層有足夠的神經(jīng)元 ， 則能夠訓(xùn)練出任意輸入和輸出之間的有理函數(shù)關(guān)系； 4)反向傳播法沿著誤差表面的梯度下降 ， 使網(wǎng)絡(luò)誤差最小 ， 網(wǎng)絡(luò)有可能陷入局部極小值； 5)附加動量法使反向傳播減少了網(wǎng)絡(luò)在誤差表面陷入低谷的可能性并有助于減少訓(xùn)練時間； 6)太大的學(xué)習(xí)速率導(dǎo)致學(xué)習(xí)的不穩(wěn)定 ， 太小值又導(dǎo)致極長的訓(xùn)練時間 。 自適應(yīng)學(xué)習(xí)速率通過在保證穩(wěn)定訓(xùn)練的前提下 ， 達到了合理的高速率 ，可以減少訓(xùn)練時間； 7)80％ — 90％ 的實際應(yīng)用都是采用反向傳播網(wǎng)絡(luò)的 。 改進技術(shù)可以用來使反向傳播法更加容易實現(xiàn)并需要更少的訓(xùn)練時間 。 BP網(wǎng)絡(luò)主要用于： 1)函數(shù)逼近：用輸入矢量和相應(yīng)的輸出矢量訓(xùn)練一個網(wǎng)絡(luò)逼近 — 個函數(shù)； 2)模式識別：用一個特定的輸出矢量將它與輸入矢量聯(lián)系起來； 3)分類：把輸入矢量以所定義的合適方式進行分類； 4)數(shù)據(jù)壓縮：減少輸出矢量維數(shù)以便于傳輸或存儲。 例 2：邊緣檢測 例 1：圖像壓縮 基于 BP算法的多層前饋網(wǎng)絡(luò)用圖像壓縮編碼 Ackley和 Hinton等人 1985年提出了利用多層前饋神經(jīng)網(wǎng)絡(luò)的模式變換能力實現(xiàn)數(shù)據(jù)編碼的基本思想。 其原理是，把一組輸入模式通過少量的隱層節(jié)點映射到一組輸出模式，并使輸出模式等同于輸入模式。當中間隱層的節(jié)點數(shù)比輸入模式維數(shù)少時，就意味著隱層能更有效的表現(xiàn)輸入模式，并把這種表現(xiàn)傳給輸出層。在這個過程中，輸入層和隱層的變換可以看成是壓縮編碼的過程；而隱層和輸出層的變換可以看成是解碼過程。 用多層前饋網(wǎng)實現(xiàn)圖像數(shù)據(jù)壓縮時，只需一個隱層，如圖 原圖像 n n 重建圖像 n n 輸入層和輸出層均含有 n*n個神經(jīng)元，每個神經(jīng)元對應(yīng)于 n*n圖像分塊中的一個像素。隱層神經(jīng)元的數(shù)量由圖像壓縮比決定，如 n=16時，取隱層神經(jīng)元數(shù)為 m=8， 則可將 256像素的圖像塊壓縮為８像素。 通過調(diào)整權(quán)值使訓(xùn)練集圖像的重建誤差達到最小。訓(xùn)練后的網(wǎng)絡(luò)就可以用來執(zhí)行圖像的數(shù)據(jù)壓縮任務(wù)了，此時隱層輸出向量便是數(shù)據(jù)壓縮結(jié)果，而輸出層的輸出向量便是圖像重建的結(jié)果。 黑白圖像的邊緣檢測： 思考 ?人工神經(jīng)網(wǎng)絡(luò)定義、三要素、結(jié)構(gòu)及各自特點 ?BP算法的思路和過程描述 ?BP算法改進的基本思路
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1