ch7典型神經(jīng)網(wǎng)絡(luò)ok-閱讀頁(yè)
2025-01-20 02:54本頁(yè)面
【正文】 p_freq max_epoch error_goal lr 1r_inc 1r_dec mom_const err_ratio]； [W， B， epochs， [error。 網(wǎng)絡(luò)的輸入神經(jīng)元數(shù)目及輸出層神經(jīng)元的數(shù)目是由問(wèn)題的要求所決定的 ， 而輸入和輸出層之間的隱含層數(shù)以及每層的神經(jīng)元數(shù)是由設(shè)計(jì)者來(lái)決定的； 3)已證明 ， 兩層 S型線性網(wǎng)絡(luò) ， 如果 S型層有足夠的神經(jīng)元 ， 則能夠訓(xùn)練出任意輸入和輸出之間的有理函數(shù)關(guān)系； 4)反向傳播法沿著誤差表面的梯度下降 ， 使網(wǎng)絡(luò)誤差最小 ， 網(wǎng)絡(luò)有可能陷入局部極小值； 5)附加動(dòng)量法使反向傳播減少了網(wǎng)絡(luò)在誤差表面陷入低谷的可能性并有助于減少訓(xùn)練時(shí)間； 6)太大的學(xué)習(xí)速率導(dǎo)致學(xué)習(xí)的不穩(wěn)定 ， 太小值又導(dǎo)致極長(zhǎng)的訓(xùn)練時(shí)間 。 改進(jìn)技術(shù)可以用來(lái)使反向傳播法更加容易實(shí)現(xiàn)并需要更少的訓(xùn)練時(shí)間 。 例 2：邊緣檢測(cè) 例 1：圖像壓縮 基于 BP算法的多層前饋網(wǎng)絡(luò)用圖像壓縮編碼 Ackley和 Hinton等人 1985年提出了利用多層前饋神經(jīng)網(wǎng)絡(luò)的模式變換能力實(shí)現(xiàn)數(shù)據(jù)編碼的基本思想。當(dāng)中間隱層的節(jié)點(diǎn)數(shù)比輸入模式維數(shù)少時(shí)，就意味著隱層能更有效的表現(xiàn)輸入模式，并把這種表現(xiàn)傳給輸出層。 用多層前饋網(wǎng)實(shí)現(xiàn)圖像數(shù)據(jù)壓縮時(shí)，只需一個(gè)隱層，如圖 原圖像 n n 重建圖像 n n 輸入層和輸出層均含有 n*n個(gè)神經(jīng)元，每個(gè)神經(jīng)元對(duì)應(yīng)于 n*n圖像分塊中的一個(gè)像素。 通過(guò)調(diào)整權(quán)值使訓(xùn)練集圖像的重建誤差達(dá)到最小。 黑白圖像的邊緣檢測(cè)： 思考 ?人工神經(jīng)網(wǎng)絡(luò)定義、三要素、結(jié)構(gòu)及各自特點(diǎn) ?BP算法的思路和過(guò)程描述 ?BP算法改進(jìn)的基本思路 1985年 —— Powell提出多變量插值的徑向基函數(shù) （ Radial Basis Function, RBF） 方法； 1988年 —— Broomheadamp。 隱含層節(jié)點(diǎn)核函數(shù)作用： 對(duì)輸入信號(hào)在局部產(chǎn)生響應(yīng) 網(wǎng)絡(luò)輸出 ? 采用高斯基函數(shù)的優(yōu)點(diǎn)： ? 1）表示形式簡(jiǎn)單 ? 2）徑向?qū)ΨQ ? 3）光滑性好，任意階導(dǎo)數(shù)存在 ? 4）便于進(jìn)行理論分析 學(xué)習(xí)過(guò)程分為兩個(gè)階段： ?第一階段 —— 無(wú)教師學(xué)習(xí)（根據(jù)樣本決定隱含層各節(jié)點(diǎn)的高斯核函數(shù)的中心向量 ci和標(biāo)準(zhǔn)化常數(shù) bi） ?第二階段 —— 有教師學(xué)習(xí)（求權(quán)值 wki) RBF網(wǎng)絡(luò)的學(xué)習(xí)算法： １）無(wú)教師（監(jiān)督）學(xué)習(xí) —— 修改 μj， σj ２） 有教師（監(jiān)督）學(xué)習(xí) —— 修改 wj， θj 無(wú)教師學(xué)習(xí)階段 ? 將訓(xùn)練樣本集中的輸入向量分為若干族，在每個(gè)數(shù)據(jù)族內(nèi)找出一個(gè)徑向基函數(shù)中心向量，使得該族內(nèi)各樣本向量距該族中心的距離最小 ? 算法步驟： ? 1）給定初始中心向量和判定停止計(jì)算的 ε ? 2）計(jì)算距離并求最小距離節(jié)點(diǎn) ? 3）調(diào)整中心 ? 4）判定聚類質(zhì)量 BP—— 全局逼近的神經(jīng)網(wǎng)絡(luò) RBF—— 局部逼近的神經(jīng)網(wǎng)絡(luò) ? BP算法：在函數(shù)逼近時(shí) —— 采用負(fù)梯度下降法調(diào)節(jié)權(quán)值 缺點(diǎn)：收斂速度慢；局部極小值 ? RBF算法：按時(shí)間片訓(xùn)練網(wǎng)絡(luò)，局部逼近，可以以任意精度逼近任一連續(xù)函數(shù)。 j p p1 xp1 x pn t pk t pm Op1 O pn Op2 隱層 wj1 wjn 輸入層 隱層 輸出層 信息流 hjpS hpjO pm 激發(fā)函數(shù)： S函數(shù) RBF網(wǎng)絡(luò)有關(guān)問(wèn)題 ? RBF與 BP主要不同點(diǎn)在非線性映射上采用了不同的作用函數(shù) ? RBF網(wǎng)絡(luò)具有唯一最佳逼近，無(wú)局部極小 ? RBF網(wǎng)絡(luò)難點(diǎn)在于中心向量和標(biāo)準(zhǔn)化常數(shù)的求解 ? 如何選擇合適徑向基函數(shù)，如何確定隱節(jié)點(diǎn)數(shù)無(wú)解決辦法 ? 由于隱節(jié)點(diǎn)的中心難求，影響其發(fā)展推廣 ? RBF學(xué)習(xí)速度快，適于在線實(shí)時(shí)控制
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1