人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第4講bp神經(jīng)網(wǎng)絡(luò)-展示頁
2025-01-17 01:10本頁面
【正文】 n(A2， E)； – D1＝ deltatan(A1， D2， W2)； – [dlWl， dBl]＝ learnbp(P， D1， lr)； – [dW2， dB2]＝ 1earnbp(A1， D2， 1r)； – W1＝ W1十 dW1； B1＝ B1十 dBl； – W2＝ W2十 dW2； B2＝ B2十 dB2 2022/2/1 25 網(wǎng)絡(luò)訓(xùn)練 ? 計算權(quán)值修正后誤差平方和 – SSE＝ sumsqr(Tpurelin(W2*tansig(W1*P， B1)， B2)) ? 檢查： SSE是否小于 err_goal。 ? BP網(wǎng)絡(luò)的激活函數(shù)必須是處處可微的，因此它不能采用二值型的閥值函數(shù) {0， 1}或符號函數(shù) {－ 1，1} ? BP網(wǎng)絡(luò)經(jīng)常使用的是 S型的對數(shù)或正切激活函數(shù)和線性函數(shù) 2022/2/1 11 網(wǎng)絡(luò)模型 ? BP網(wǎng)絡(luò)特點 – 輸入和輸出是并行的模擬量 – 網(wǎng)絡(luò)的輸入輸出關(guān)系是各層連接的權(quán)因子決定，沒有固定的算法 – 權(quán)因子通過學(xué)習(xí)信號調(diào)節(jié)。人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用 第 4講 BP神經(jīng)網(wǎng)絡(luò) 何建華 電信系，華中科技大學(xué) 2022年 2月 28日 2022/2/1 2 一、 內(nèi)容回顧 二、 BP網(wǎng)絡(luò) 三、網(wǎng)絡(luò)設(shè)計 四、改進(jìn) BP網(wǎng)絡(luò) 五、內(nèi)容小結(jié) 內(nèi)容安排 2022/2/1 3 一、內(nèi)容回顧 ?感知機(jī) ?自適應(yīng)線性元件 2022/2/1 4 一、內(nèi)容回顧 ?感知機(jī) – 感知機(jī)簡介 – 神經(jīng)元模型 – 網(wǎng)絡(luò)結(jié)構(gòu) – 功能解釋 – 學(xué)習(xí)和訓(xùn)練 – 局限性 ?自適應(yīng)線性元件 2022/2/1 5 一、內(nèi)容回顧 ?感知機(jī) ?自適應(yīng)線性元件 – Adline簡介 – 網(wǎng)絡(luò)結(jié)構(gòu) – 網(wǎng)絡(luò)學(xué)習(xí) – 網(wǎng)絡(luò)訓(xùn)練 2022/2/1 6 BP網(wǎng)絡(luò)簡介 網(wǎng)絡(luò)模型 學(xué)習(xí)規(guī)則 圖形解釋 網(wǎng)絡(luò)訓(xùn)練 二、 BP網(wǎng)絡(luò) 2022/2/1 7 ?反向傳播網(wǎng)絡(luò) (BackPropagation Network，簡稱 BP網(wǎng)絡(luò) )是將 WH學(xué)習(xí)規(guī)則一般化，對非線性可微分函數(shù)進(jìn)行權(quán)值訓(xùn)練的多層網(wǎng)絡(luò) ?權(quán)值的調(diào)整采用反向傳播 (Backpropagation）的學(xué)習(xí)算法 ?它是一種多層前向反饋神經(jīng)網(wǎng)絡(luò)，其神經(jīng)元的變換函數(shù)是 S型函數(shù) ?輸出量為 0到 1之間的連續(xù)量，它可實現(xiàn)從輸入到輸出的任意的非線性映射 BP網(wǎng)絡(luò)簡介 2022/2/1 8 BP網(wǎng)絡(luò)簡介 ? BP網(wǎng)絡(luò)主要用于下述方面 ?函數(shù)逼近：用輸入矢量和相應(yīng)的輸出矢量訓(xùn)練一個網(wǎng)絡(luò)逼近一個函數(shù) ?模式識別和分類：用一個特定的輸出矢量將它與輸入矢量聯(lián)系起來；把輸入矢量以所定義的合適方式進(jìn)行分類； ?數(shù)據(jù)壓縮：減少輸出矢量維數(shù)以便于傳輸或存儲 ? 具有將強(qiáng)泛化性能：使網(wǎng)絡(luò)平滑地學(xué)習(xí)函數(shù)，使網(wǎng)絡(luò)能夠合理地響應(yīng)被訓(xùn)練以外的輸入 ? 泛化性能只對被訓(xùn)練的輸入／輸出對最大值范圍內(nèi)的數(shù)據(jù)有效，即網(wǎng)絡(luò)具有內(nèi)插值特性，不具有外插值性。超出最大訓(xùn)練值的輸入必將產(chǎn)生大的輸出誤差 2022/2/1 9 網(wǎng)絡(luò)模型 一個具有 r個輸入和一個隱含層的神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu) 2022/2/1 10 網(wǎng)絡(luò)模型 ? 感知器和自適應(yīng)線性元件的主要差別在激活函數(shù)上：前者是二值型的，后者是線性的 ? BP網(wǎng)絡(luò)具有一層或多層隱含層，除了在多層網(wǎng)絡(luò)上與前面已介紹過的模型有不同外，其主要差別也表現(xiàn)在激活函數(shù)上。學(xué)習(xí)越多，網(wǎng)絡(luò)越聰明 – 隱含層越多，網(wǎng)絡(luò)輸出精度越高，且個別權(quán)因子的損壞不會對網(wǎng)絡(luò)輸出產(chǎn)生大的影響 – 只有當(dāng)希望對網(wǎng)絡(luò)的輸出進(jìn)行限制，如限制在 0和 1之間，那么在輸出層應(yīng)當(dāng)包含 S型激活函數(shù) – 在一般情況下，均是在隱含層采用 S型激活函數(shù)，而輸出層采用線性激活函數(shù) 2022/2/1 12 網(wǎng)絡(luò)模型 ? S型函數(shù)具有非線性放大系數(shù)功能，可以把輸入從負(fù)無窮大到正無窮大的信號，變換成 1到 l之間輸出 ? 對較大的輸入信號，放大系數(shù)較??；而對較小的輸入信號，放大系數(shù)則較大 ? 采用 S型激活函數(shù)可以處理和逼近非線性輸入 /輸出關(guān)系 2022/2/1 13 學(xué)習(xí)規(guī)則 ? BP算法屬于 δ 算法，是一種監(jiān)督式的學(xué)習(xí)算法 ? 主要思想 – 對于 q個輸入學(xué)習(xí)樣本： P1,P2,… ,Pq，已知與其對應(yīng)的輸出樣本為： T1,T2,… ,Tq – 使網(wǎng)絡(luò)輸出層的誤差平方和達(dá)到最小 – 用網(wǎng)絡(luò)的實際輸出 A1,A2,… ,Aq, 與目標(biāo)矢量 T1,T2,… ,Tq之間的誤差修改其權(quán)值，使 Am與期望的 Tm,(m＝ l,… ,q)盡可能接近 2022/2/1 14 學(xué)習(xí)規(guī)則 ? BP算法是由兩部分組成 ,信息的正向傳遞與誤差的反向傳播 – 正向傳播過程中，輸入信息從輸入層經(jīng)隱含層逐層
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1