人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第4講bp神經(jīng)網(wǎng)絡(luò)-免費(fèi)閱讀
【正文】 – 網(wǎng)絡(luò)的輸入神經(jīng)元數(shù)目及輸出層神經(jīng)元的數(shù)目是由問(wèn)題的要求所決定 – 輸入和輸出層之間的隱含層數(shù)以及每層的神經(jīng)元數(shù)是由設(shè)計(jì)者來(lái)決定的 ? 已經(jīng)證明，兩層 S型線性網(wǎng)絡(luò)，如果 S型層有足夠的神經(jīng)元，則能夠訓(xùn)練出任意輸入和輸出之間的有理函數(shù)關(guān)系 2020/11/23 49 五 、內(nèi)容小結(jié) ? 反向傳播法沿著誤差表面的梯度下降，使網(wǎng)絡(luò)誤差最小，網(wǎng)絡(luò)有可能陷入局部極小值 ? 附加動(dòng)量法使反向傳播減少了網(wǎng)絡(luò)在誤差表面陷入低谷的可能性并有助于減少訓(xùn)練時(shí)間 ? 太大的學(xué)習(xí)速率導(dǎo)致學(xué)習(xí)的不穩(wěn)定，太小值又導(dǎo)致極長(zhǎng)的訓(xùn)練時(shí)間。 ? 一般情況下應(yīng)優(yōu)先考慮增加隱含層中神經(jīng)元數(shù) ? 僅用具有非線性激活函數(shù)的單層網(wǎng)絡(luò)來(lái)解決問(wèn)題沒(méi)有必要或效果不好 – 線性問(wèn)題 – 非線性問(wèn)題 2020/11/23 28 隱含層神經(jīng)元數(shù) ? 網(wǎng)絡(luò)訓(xùn)練精度的提高，可以通過(guò)采用一個(gè)隱含層，而增加其神經(jīng)元數(shù)的方法來(lái)獲得。人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用 第 4講 BP神經(jīng)網(wǎng)絡(luò) 何建華 電信系，華中科技大學(xué) 2020年 2月 28日 2020/11/23 2 一、 內(nèi)容回顧 二、 BP網(wǎng)絡(luò) 三、網(wǎng)絡(luò)設(shè)計(jì) 四、改進(jìn) BP網(wǎng)絡(luò) 五、內(nèi)容小結(jié) 內(nèi)容安排 2020/11/23 3 一、內(nèi)容回顧 ?感知機(jī) ?自適應(yīng)線性元件 2020/11/23 4 一、內(nèi)容回顧 ?感知機(jī) – 感知機(jī)簡(jiǎn)介 – 神經(jīng)元模型 – 網(wǎng)絡(luò)結(jié)構(gòu) – 功能解釋 – 學(xué)習(xí)和訓(xùn)練 – 局限性 ?自適應(yīng)線性元件 2020/11/23 5 一、內(nèi)容回顧 ?感知機(jī) ?自適應(yīng)線性元件 – Adline簡(jiǎn)介 – 網(wǎng)絡(luò)結(jié)構(gòu) – 網(wǎng)絡(luò)學(xué)習(xí) – 網(wǎng)絡(luò)訓(xùn)練 2020/11/23 6 BP網(wǎng)絡(luò)簡(jiǎn)介 網(wǎng)絡(luò)模型 學(xué)習(xí)規(guī)則 圖形解釋 網(wǎng)絡(luò)訓(xùn)練 二、 BP網(wǎng)絡(luò) 2020/11/23 7 ? 反向傳播網(wǎng)絡(luò) (BackPropagation Network，簡(jiǎn)稱 BP網(wǎng)絡(luò) )是將 WH學(xué)習(xí)規(guī)則一般化，對(duì)非線性可微分函數(shù)進(jìn)行權(quán)值訓(xùn)練的多層網(wǎng)絡(luò) ? 權(quán)值的調(diào)整采用反向傳播 (Backpropagation）的學(xué)習(xí)算法 ? 它是一種多層前向反饋神經(jīng)網(wǎng)絡(luò)，其神經(jīng)元的變換函數(shù)是 S型函數(shù) ? 輸出量為 0到 1之間的連續(xù)量，它可實(shí)現(xiàn)從輸入到輸出的任意的非線性映射 BP網(wǎng)絡(luò)簡(jiǎn)介 2020/11/23 8 BP網(wǎng)絡(luò)簡(jiǎn)介 ? BP網(wǎng)絡(luò)主要用于下述方面 ? 函數(shù)逼近：用輸入矢量和相應(yīng)的輸出矢量訓(xùn)練一個(gè)網(wǎng)絡(luò)逼近一個(gè)函數(shù) ? 模式識(shí)別和分類：用一個(gè)特定的輸出矢量將它與輸入矢量聯(lián)系起來(lái)；把輸入矢量以所定義的合適方式進(jìn)行分類； ? 數(shù)據(jù)壓縮：減少輸出矢量維數(shù)以便于傳輸或存儲(chǔ) ? 具有將強(qiáng)泛化性能：使網(wǎng)絡(luò)平滑地學(xué)習(xí)函數(shù)，使網(wǎng)絡(luò)能夠合理地響應(yīng)被訓(xùn)練以外的輸入 ? 泛化性能只對(duì)被訓(xùn)練的輸入／輸出對(duì)最大值范圍內(nèi)的數(shù)據(jù)有效，即網(wǎng)絡(luò)具有內(nèi)插值特性，不具有外插值性。這在結(jié)構(gòu)實(shí)現(xiàn)上，要比增加更多的隱含層簡(jiǎn)單得多 ? 定理： – 實(shí)現(xiàn)任意 N個(gè)輸入向量構(gòu)成的任何布爾函數(shù)的前向網(wǎng)絡(luò)所需權(quán)系數(shù)數(shù)目為 ? 在具體設(shè)計(jì)時(shí)，比較實(shí)際的做法是通過(guò)對(duì)不同神經(jīng)元數(shù)進(jìn)行訓(xùn)練對(duì)比，然后適當(dāng)?shù)丶由弦稽c(diǎn)余量 2020/11/23 29 初始權(quán)值的選取 ? 一般取初始權(quán)值在 (1， 1)之間的隨機(jī)數(shù) ? 威得羅等人在分析了兩層網(wǎng)絡(luò)是如何對(duì)一個(gè)函數(shù)進(jìn)行訓(xùn)練后，提
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1