ch7典型神經(jīng)網(wǎng)絡(luò)ok-預(yù)覽頁
【正文】 隱含層越多 ， 網(wǎng)絡(luò)輸出精度越高 ， 且個(gè)別權(quán)因子的損壞不會(huì)對(duì)網(wǎng)絡(luò)輸出產(chǎn)生大的影響 BP網(wǎng)絡(luò)模式識(shí)別 ? 一、 ? 由于神經(jīng)網(wǎng)絡(luò)具有自學(xué)習(xí)、自組織和并行處理等特征，并具有很強(qiáng)的容錯(cuò)能力和聯(lián)想能力，因此，神經(jīng)網(wǎng)絡(luò)具有模式識(shí)別能力。 其主要思想為：對(duì)于 q個(gè)輸入學(xué)習(xí)樣本： P1，P2， ……P q， 已知與其對(duì)應(yīng)的輸出樣本為： T1，T2， ……T q。 BP算法是由兩部分組成：信息的正向傳遞與誤差的反向傳播。 當(dāng)所訓(xùn)練矢量的誤差平方和小于誤差目標(biāo)，訓(xùn)練則停止，否則在輸出層計(jì)算誤差變化，且采用反向傳播學(xué)習(xí)規(guī)則來調(diào)整權(quán)值，并重復(fù)此過程。 以上所有的學(xué)習(xí)規(guī)則與訓(xùn)練的全過程，仍然可以用函數(shù) 。 能不能僅用具有非線性激活函數(shù)的單層網(wǎng)絡(luò)來解決問題呢？結(jié)論是：沒有必要或效果不好。 3）初始權(quán)值的選取 一般取初始權(quán)值在 (1， 1)之間的隨機(jī)數(shù)。 大的學(xué)習(xí)速率可能導(dǎo)致系統(tǒng)的不穩(wěn)定。 5 期望誤差的選取 在設(shè)計(jì)網(wǎng)絡(luò)的訓(xùn)練過程中，期望誤差值也應(yīng)當(dāng)通過對(duì)比訓(xùn)練后確定一個(gè)合適的值。 (3)局部極小值 BP算法可以使網(wǎng)絡(luò)權(quán)值收斂到一個(gè)解，但它并不能保證所求為誤差超平面的全局最小解，很可能是一個(gè)局部極小解。 利用附加動(dòng)量的作用則有可能滑過局部極小值。 2 誤差函數(shù)的改進(jìn) 包穆 (Baum)等人于 1988年提出一種誤差函數(shù)為： 不會(huì)產(chǎn)生不能完全訓(xùn)練的癱瘓現(xiàn)象。下式給出了一種自適應(yīng)學(xué)習(xí)速率的調(diào)整公式： MATLAB工具箱中帶有自適應(yīng)學(xué)習(xí)速率進(jìn)行反向傳播訓(xùn)練的函數(shù)為： 。這個(gè)函數(shù)的調(diào)用和其他函數(shù)一樣，只是需要更多的初始參數(shù)而已： TP＝ [disp_freq max_epoch error_goal lr 1r_inc 1r_dec mom_const err_ratio]； [W， B， epochs， [error。 改進(jìn)技術(shù)可以用來使反向傳播法更加容易實(shí)現(xiàn)并需要更少的訓(xùn)練時(shí)間 。當(dāng)中間隱層的節(jié)點(diǎn)數(shù)比輸入模式維數(shù)少時(shí)，就意味著隱層能更有效的表現(xiàn)輸入模式，并把這種表現(xiàn)傳給輸出層。 通過調(diào)整權(quán)值使訓(xùn)練集圖像的重建誤差達(dá)到最小。 隱含層節(jié)點(diǎn)核函數(shù)作用： 對(duì)輸入信號(hào)在局部產(chǎn)生響應(yīng) 網(wǎng)絡(luò)輸出 ? 采用高斯基函數(shù)的優(yōu)點(diǎn)： ? 1）表示形式簡單 ? 2）徑向?qū)ΨQ ? 3）光滑性好，任意階導(dǎo)數(shù)存在 ? 4）便于進(jìn)行理論分析 學(xué)習(xí)過程分為兩個(gè)階段： ?第一階段 —— 無教師學(xué)習(xí)（根據(jù)樣本決定隱含層各節(jié)點(diǎn)的高斯核函數(shù)的中心向量 ci和標(biāo)準(zhǔn)化常數(shù) bi） ?第二階段 —— 有教師學(xué)習(xí)（求權(quán)值 wki) RBF網(wǎng)絡(luò)的學(xué)習(xí)算法： １）無教師（監(jiān)督）學(xué)習(xí) —— 修改 μj， σj ２） 有教師（監(jiān)督）學(xué)習(xí) —— 修改 wj， θj 無教師學(xué)習(xí)階段 ? 將訓(xùn)練樣本集中的輸入向量分為若干族，在每個(gè)數(shù)據(jù)族內(nèi)找出一個(gè)徑向基函數(shù)中心向量，使得該族內(nèi)各樣本向量距該族中心的距離最小 ? 算法步驟： ? 1）給定初始中心向量和判定停止計(jì)算的 ε ? 2）計(jì)算距離并求最小距離節(jié)點(diǎn) ? 3）調(diào)整中心 ? 4）判定聚類質(zhì)量 BP—— 全局逼近的神經(jīng)網(wǎng)絡(luò) RBF—— 局部逼近的神經(jīng)網(wǎng)絡(luò) ? BP算法：在函數(shù)逼近時(shí) —— 采用負(fù)梯度下降法調(diào)節(jié)權(quán)值 缺點(diǎn)：收斂速度慢；局部極小值 ? RBF算法：按時(shí)間片訓(xùn)練網(wǎng)絡(luò)，局部逼近，可以以任意精度逼近任一連續(xù)函數(shù)。 pm 激發(fā)函數(shù)： S函數(shù) RBF網(wǎng)絡(luò)有關(guān)問題 ? RBF與 BP主要不同點(diǎn)在非線性映射上采用了不同的作用函數(shù) ? RBF網(wǎng)絡(luò)具有唯一最佳逼近，無局部極小 ? RBF網(wǎng)絡(luò)難點(diǎn)在于中心向量和標(biāo)準(zhǔn)化常數(shù)的求解 ? 如何選擇合適徑向基函數(shù)，如何確定隱節(jié)點(diǎn)數(shù)無解決辦法 ? 由于隱節(jié)點(diǎn)的中心難求，影響其發(fā)展推廣 ? RBF學(xué)習(xí)速度快，適于在線實(shí)時(shí)控制
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1