人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第4講bp神經(jīng)網(wǎng)絡(luò)-文庫(kù)吧
2025-09-13 20:05 本頁(yè)面
【正文】 號(hào)，放大系數(shù)則較大 ? 采用 S型激活函數(shù)可以處理和逼近非線性輸入 /輸出關(guān)系 2020/11/23 13 學(xué)習(xí)規(guī)則 ? BP算法屬于 δ 算法，是一種監(jiān)督式的學(xué)習(xí)算法 ? 主要思想 – 對(duì)于 q個(gè)輸入學(xué)習(xí)樣本： P1,P2,… ,Pq，已知與其對(duì)應(yīng)的輸出樣本為： T1,T2,… ,Tq – 使網(wǎng)絡(luò)輸出層的誤差平方和達(dá)到最小 – 用網(wǎng)絡(luò)的實(shí)際輸出 A1,A2,… ,Aq, 與目標(biāo)矢量 T1,T2,… ,Tq之間的誤差修改其權(quán)值，使 Am與期望的 Tm,(m＝ l,… ,q)盡可能接近 2020/11/23 14 學(xué)習(xí)規(guī)則 ? BP算法是由兩部分組成 ,信息的正向傳遞與誤差的反向傳播 – 正向傳播過(guò)程中，輸入信息從輸入層經(jīng)隱含層逐層計(jì)算傳向輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài) – 如果在輸出層未得到期望的輸出，則計(jì)算輸出層的誤差變化值，然后轉(zhuǎn)向反向傳播，通過(guò)網(wǎng)絡(luò)將誤差信號(hào)沿原來(lái)的連接通路反傳回來(lái)修改各層神經(jīng)元的權(quán)值直至達(dá)到期望目標(biāo) 2020/11/23 15 學(xué)習(xí)規(guī)則 ? 假設(shè)輸入為 P，輸入神經(jīng)元有 r個(gè)，隱含層內(nèi)有 s1個(gè)神經(jīng)元，激活函數(shù)為 F1，輸出層內(nèi)有 s2個(gè)神經(jīng)元，對(duì)應(yīng)的激活函數(shù)為 F2，輸出為 A，目標(biāo)矢量為 T 2020/11/23 16 學(xué)習(xí)規(guī)則 ? 信息的正向傳遞 – 隱含層中第 i個(gè)神經(jīng)元的輸出 – 輸出層第 k個(gè)神經(jīng)元的輸出 – 定義誤差函數(shù) 2020/11/23 17 學(xué)習(xí)規(guī)則 ? 利用梯度下降法求權(quán)值變化及誤差的反向傳播 – 輸出層的權(quán)值變化 ? 其中 ? 同理可得 2020/11/23 18 學(xué)習(xí)規(guī)則 ? 利用梯度下降法求權(quán)值變化及誤差的反向傳播 – 隱含層權(quán)值變化 ? 其中 ? 同理可得 2020/11/23 19 學(xué)習(xí)規(guī)則 ? 對(duì)于 f1為對(duì)數(shù) S型激活函數(shù)， ? 對(duì)于 f2為線性激活函數(shù) 2020/11/23 20 誤差反向傳播圖形解釋 ? 誤差反向傳播過(guò)程實(shí)際上是通過(guò)計(jì)算輸出層的誤差 ek，然后將其與輸出層激活函數(shù)的一階導(dǎo)數(shù) f2’相乘來(lái)求得δ ki ? 由于隱含層中沒(méi)有直接給出目標(biāo)矢量，所以利用輸出層的 δ ki反向傳遞來(lái)求出隱含層權(quán)值的變化量 Δw2 ki。然后計(jì)算 ? 同樣通過(guò)將 ei與該層激活函數(shù)的一階導(dǎo)數(shù) f1’相乘，而求得 δ ij，以此求出前層權(quán)值的變化量 Δw1 ij ? 如果前面還有隱含層，沿用上述同樣方法依此類(lèi)推，一直將輸出誤差 ek逐層的反推算到第一層為止 2020/11/23 21 誤差反向傳播圖形解釋 2020/11/23 22 網(wǎng)絡(luò)訓(xùn)練 ? 訓(xùn)練 BP網(wǎng)絡(luò)，需要計(jì)算網(wǎng)絡(luò)加權(quán)輸入矢量以及網(wǎng)絡(luò)輸出和誤差矢量，然后求誤差平方和 ? 當(dāng)所訓(xùn)練矢量的誤差平方和小于誤差目標(biāo)，訓(xùn)練停止；否則在輸出層計(jì)算誤差變化，且采用反向傳播學(xué)習(xí)規(guī)則來(lái)調(diào)整權(quán)值，然后重復(fù)此過(guò)程 ? 網(wǎng)絡(luò)完成訓(xùn)練后，對(duì)網(wǎng)絡(luò)輸入一個(gè)不是訓(xùn)練集合中的矢量，網(wǎng)絡(luò)將以泛化方式給出輸出結(jié)果 2020/11/23 23 網(wǎng)絡(luò)訓(xùn)練 ? 為了能夠較好地掌握 BP網(wǎng)絡(luò)的訓(xùn)練過(guò)程，我們用兩層網(wǎng)絡(luò)為例來(lái)敘述 BP網(wǎng)絡(luò)的訓(xùn)練步驟 ? 初始化：用小的隨機(jī)數(shù)初始化每一層的權(quán)值 W和偏差 B，保證網(wǎng)絡(luò)不被大的加權(quán)輸入飽和 – 期望誤差最小值 error_goal – 最大循環(huán)次數(shù) max_epoch – 修正權(quán)值的學(xué)習(xí)速率 1r，
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1