我的人工神經(jīng)網(wǎng)絡(luò)6bp網(wǎng)絡(luò)-全文預(yù)覽
【正文】 取的學(xué)習(xí)速率值小了，可以對其增加一個量；否則可認(rèn)為產(chǎn)生過調(diào)，應(yīng)該減小學(xué)習(xí)速率的值 ? 一種自適應(yīng)學(xué)習(xí)速率的調(diào)整公式 武漢工程大學(xué)計算機(jī)科學(xué)與工程學(xué)院 56 自適應(yīng)學(xué)習(xí)速率 ? MATLAB工具箱中帶有自適應(yīng)學(xué)習(xí)速率進(jìn)行反向傳播訓(xùn)練的函數(shù)為 ? 可訓(xùn)練直至三層網(wǎng)絡(luò)。 – 逃離 —— 統(tǒng)計方法； [Wasserman， 1986]將 Cauchy訓(xùn)練與 BP算法結(jié)合起來，可以在保證訓(xùn)練速度不被降低的情況下，找到全局極小點(diǎn)。 ? 一般情況下應(yīng)優(yōu)先考慮增加隱含層中神經(jīng)元數(shù) ? 僅用具有非線性激活函數(shù)的單層網(wǎng)絡(luò)來解決問題沒有必要或效果不好 武漢工程大學(xué)計算機(jī)科學(xué)與工程學(xué)院 36 隱含層神經(jīng)元數(shù) ? 網(wǎng)絡(luò)訓(xùn)練精度的提高，可以通過采用一個隱含層，而增加其神經(jīng)元數(shù)的方法來獲得。 向前傳播階段： （ 1） 從樣本集中取一個樣本 (Xp， Yp)， 將 Xp輸入網(wǎng)絡(luò)； （ 2） 計算相應(yīng)的實(shí)際輸出 Op： Op=Fl(… (F2(F1(XpW(1))W(2))… )W(L)) 武漢工程大學(xué)計算機(jī)科學(xué)與工程學(xué)院 29 網(wǎng)絡(luò)訓(xùn)練 向后傳播階段 —— 誤差傳播階段： （ 1） 計算實(shí)際輸出 Op與相應(yīng)的理想輸出 Yp的差； （ 2） 按極小化誤差的方式調(diào)整權(quán)矩陣 。學(xué)習(xí)越多，網(wǎng)絡(luò)越聰明 – 隱含層越多，網(wǎng)絡(luò)輸出精度越高，且個別權(quán)因子的損壞不會對網(wǎng)絡(luò)輸出產(chǎn)生大的影響 – 只有當(dāng)希望對網(wǎng)絡(luò)的輸出進(jìn)行限制，如限制在 0和 1之間，那么在輸出層應(yīng)當(dāng)包含 S型激活函數(shù) – 在一般情況下，均是在隱含層采用 S型激活函數(shù)，而輸出層采用線性激活函數(shù) 武漢工程大學(xué)計算機(jī)科學(xué)與工程學(xué)院 15 網(wǎng)絡(luò)模型 ? S型函數(shù)具有非線性放大系數(shù)功能，可以把輸入從負(fù)無窮大到正無窮大的信號，變換成 1到 l之間輸出 ? 對較大的輸入信號，放大系數(shù)較??；而對較小的輸入信號，放大系數(shù)則較大 ? 采用 S型激活函數(shù)可以處理和逼近非線性輸入 /輸出關(guān)系 武漢工程大學(xué)計算機(jī)科學(xué)與工程學(xué)院 16 網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu) x1 o1 輸出層 隱藏層 輸入層 x2 o2 om xn … … … … … … … W(1) W(2) W(3) W(L) 武漢工程大學(xué)計算機(jī)科學(xué)與工程學(xué)院 17 網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu) 1. BP網(wǎng)的結(jié)構(gòu) 2. 輸入向量 、 輸出向量的維數(shù) 、 網(wǎng)絡(luò)隱藏層的層數(shù)和各個隱藏層神經(jīng)元的個數(shù)的決定 3. 實(shí)驗：增加隱藏層的層數(shù)和隱藏層神經(jīng)元個數(shù)不一定總能夠提高網(wǎng)絡(luò)精度和表達(dá)能力 。 優(yōu)點(diǎn)： 廣泛的適應(yīng)性和有效性 。W=WX – W=W+(YO)X ? 離散多輸出感知器訓(xùn)練算法 – Wj=Wj+(yjoj)X ? 連續(xù)多輸出感知器訓(xùn)練算法 – wij=wij+α(yjoj)xi 武漢工程大學(xué)計算機(jī)科學(xué)與工程學(xué)院 7 內(nèi)容回顧 :線性不可分問題 ax+by=θ 1 y x 1 (0,0) (1,1) ? 線性不可分問題的克服 ?兩級網(wǎng)絡(luò)可以劃分出封閉或開放的凸域 ? 多級網(wǎng)將可以識別出非凸域 ?隱藏層的聯(lián)接權(quán)的調(diào)整問題是非常關(guān)鍵 武漢工程大學(xué)計算機(jī)科學(xué)與工程學(xué)院 8 BP網(wǎng)絡(luò)簡介 網(wǎng)絡(luò)模型 學(xué)習(xí)規(guī)則 圖形解釋 網(wǎng)絡(luò)訓(xùn)練 二、 BP網(wǎng)絡(luò) 武漢工程大學(xué)計算機(jī)科學(xué)與工程學(xué)院 9 BP網(wǎng)絡(luò)簡介 BP算法的出現(xiàn) 非循環(huán)多級網(wǎng)絡(luò)的訓(xùn)練算法 UCSD PDP小組的 Rumelhart、 Hinton和 Williams1986年獨(dú)立地給出了 BP算法清楚而簡單的描述 1982年 ， Paker就完成了相似的工作 1974年 ， Werbos已提出了該方法 弱點(diǎn) ：訓(xùn)練速度非常慢 、 局部極小點(diǎn)的逃離問題 、 算法不一定收斂 。 ? BP網(wǎng)絡(luò)的激活函數(shù)必須是處處可微的，因此它不能采用二值型的閥值函數(shù) {0， 1}或符號函數(shù) {－ 1，1} ? BP網(wǎng)絡(luò)經(jīng)常使用的是 S型的對數(shù)或正切激活函數(shù)和線性函數(shù) 武漢工程大學(xué)計算機(jī)科學(xué)與工程學(xué)院 14 網(wǎng)絡(luò)模型 ? BP網(wǎng)絡(luò)特點(diǎn) – 輸入和輸出是并行的模擬量 – 網(wǎng)絡(luò)的輸入輸出關(guān)系是各層連接的權(quán)因子決定，沒有固定的算法 – 權(quán)因子通過學(xué)習(xí)信號調(diào)節(jié)。然后計算 ? 同樣通過將 ei與該層激活函數(shù)的一階導(dǎo)數(shù) f1’ 相乘，而求得 δ ij，以此求出前層權(quán)值的變化量 Δw1 ij ? 如果前面還有隱含層，沿用上述同樣方法依此類推，一直將輸出誤差 ek逐層的反推算到第一層為止 武漢工程大學(xué)計算機(jī)科
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1