人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第4講bp神經(jīng)網(wǎng)絡(luò)(已修改)
2024-11-02 20:05 本頁面
【正文】 人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用 第 4講 BP神經(jīng)網(wǎng)絡(luò) 何建華 電信系，華中科技大學(xué) 2020年 2月 28日 2020/11/23 2 一、 內(nèi)容回顧 二、 BP網(wǎng)絡(luò) 三、網(wǎng)絡(luò)設(shè)計 四、改進(jìn) BP網(wǎng)絡(luò) 五、內(nèi)容小結(jié) 內(nèi)容安排 2020/11/23 3 一、內(nèi)容回顧 ?感知機(jī) ?自適應(yīng)線性元件 2020/11/23 4 一、內(nèi)容回顧 ?感知機(jī) – 感知機(jī)簡介 – 神經(jīng)元模型 – 網(wǎng)絡(luò)結(jié)構(gòu) – 功能解釋 – 學(xué)習(xí)和訓(xùn)練 – 局限性 ?自適應(yīng)線性元件 2020/11/23 5 一、內(nèi)容回顧 ?感知機(jī) ?自適應(yīng)線性元件 – Adline簡介 – 網(wǎng)絡(luò)結(jié)構(gòu) – 網(wǎng)絡(luò)學(xué)習(xí) – 網(wǎng)絡(luò)訓(xùn)練 2020/11/23 6 BP網(wǎng)絡(luò)簡介 網(wǎng)絡(luò)模型 學(xué)習(xí)規(guī)則 圖形解釋 網(wǎng)絡(luò)訓(xùn)練 二、 BP網(wǎng)絡(luò) 2020/11/23 7 ? 反向傳播網(wǎng)絡(luò) (BackPropagation Network，簡稱 BP網(wǎng)絡(luò) )是將 WH學(xué)習(xí)規(guī)則一般化，對非線性可微分函數(shù)進(jìn)行權(quán)值訓(xùn)練的多層網(wǎng)絡(luò) ? 權(quán)值的調(diào)整采用反向傳播 (Backpropagation）的學(xué)習(xí)算法 ? 它是一種多層前向反饋神經(jīng)網(wǎng)絡(luò)，其神經(jīng)元的變換函數(shù)是 S型函數(shù) ? 輸出量為 0到 1之間的連續(xù)量，它可實(shí)現(xiàn)從輸入到輸出的任意的非線性映射 BP網(wǎng)絡(luò)簡介 2020/11/23 8 BP網(wǎng)絡(luò)簡介 ? BP網(wǎng)絡(luò)主要用于下述方面 ? 函數(shù)逼近：用輸入矢量和相應(yīng)的輸出矢量訓(xùn)練一個網(wǎng)絡(luò)逼近一個函數(shù) ? 模式識別和分類：用一個特定的輸出矢量將它與輸入矢量聯(lián)系起來；把輸入矢量以所定義的合適方式進(jìn)行分類； ? 數(shù)據(jù)壓縮：減少輸出矢量維數(shù)以便于傳輸或存儲 ? 具有將強(qiáng)泛化性能：使網(wǎng)絡(luò)平滑地學(xué)習(xí)函數(shù)，使網(wǎng)絡(luò)能夠合理地響應(yīng)被訓(xùn)練以外的輸入 ? 泛化性能只對被訓(xùn)練的輸入／輸出對最大值范圍內(nèi)的數(shù)據(jù)有效，即網(wǎng)絡(luò)具有內(nèi)插值特性，不具有外插值性。超出最大訓(xùn)練值的輸入必將產(chǎn)生大的輸出誤差 2020/11/23 9 網(wǎng)絡(luò)模型 一個具有 r個輸入和一個隱含層的神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu) 2020/11/23 10 網(wǎng)絡(luò)模型 ? 感知器和自適應(yīng)線性元件的主要差別在激活函數(shù)上：前者是二值型的，后者是線性的 ? BP網(wǎng)絡(luò)具有一層或多層隱含層，除了在多層網(wǎng)絡(luò)上與前面已介紹過的模型有不同外，其主要差別也表現(xiàn)在激活函數(shù)上。 ? BP網(wǎng)絡(luò)的激活函數(shù)必須是處處可微的，因此它不能采用二值型的閥值函數(shù) {0， 1}或符號函數(shù) {－ 1，1} ? BP網(wǎng)絡(luò)經(jīng)常使用的是 S型的對數(shù)或正切激活函數(shù)和線性函數(shù) 2020/11/23 11 網(wǎng)絡(luò)模型 ? BP網(wǎng)絡(luò)特點(diǎn) – 輸入和輸出是并行的模擬量 – 網(wǎng)絡(luò)的輸入輸出關(guān)系是各層連接的權(quán)因子決定，沒有固定的算法 – 權(quán)因子通過學(xué)習(xí)信號調(diào)節(jié)。學(xué)習(xí)越多，網(wǎng)絡(luò)越聰明 – 隱含層越多，網(wǎng)絡(luò)輸出精度越高，且個別權(quán)因子的損壞不會對網(wǎng)絡(luò)輸出產(chǎn)生大的影響 – 只有當(dāng)希望對網(wǎng)絡(luò)的輸出進(jìn)行限制，如限制在 0和 1之間，那么在輸出層應(yīng)當(dāng)包含 S型激活函數(shù) – 在一般情況下，均是在隱含層采用 S型激活函數(shù)，而輸出層采用線性激活函數(shù) 2020/11/23 12 網(wǎng)絡(luò)模型 ? S型函數(shù)具有非線性放大系數(shù)功能，可以把輸入從負(fù)無窮大到正無窮大的信號，變換成 1到 l之間輸出 ? 對較大的輸入信號，放大系數(shù)較??；而對較小的輸入信
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1