人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第4講bp神經(jīng)網(wǎng)絡(luò)(參考版)
2024-10-21 20:05本頁面
【正文】 Suggestions Thanks！ 。自適應(yīng)學(xué)習(xí)速率通過在保證穩(wěn)定訓(xùn)練的前提下，達(dá)到了合理的高速率，可以減少訓(xùn)練時間 ? 80％ 90％的實(shí)際應(yīng)用都是采用反向傳播網(wǎng)絡(luò)的。 lr]]＝ trainbpx(W， B， F， P， T， TP) 2020/11/23 47 五 、內(nèi)容小結(jié) 內(nèi)容安排 一、 內(nèi)容回顧 二、 BP網(wǎng)絡(luò) 三、網(wǎng)絡(luò)設(shè)計 四、改進(jìn) BP網(wǎng)絡(luò) 2020/11/23 48 五 、內(nèi)容小結(jié) ? 反向傳播法可以用來訓(xùn)練具有可微激活函數(shù)的多層前向網(wǎng)絡(luò) ,以進(jìn)行函數(shù)逼近，模式分類等工作 ? 反向傳播網(wǎng)絡(luò)的結(jié)構(gòu)不完全受所要解決的問題所限制。 ? 使用方法 [W, B, epochs, TE]＝ trainbpa(W， B，’ F’， P， T， TP) ? 可以將動量法和自適應(yīng)學(xué)習(xí)速率結(jié)合起來以利用兩方面的優(yōu)點(diǎn)。學(xué)習(xí)速率的選取范圍在 2020/11/23 31 期望誤差值選取 ? 在設(shè)計網(wǎng)絡(luò)的訓(xùn)練過程中，期望誤差值也應(yīng)當(dāng)通過對比訓(xùn)練后確定一個合適的值 ? 這個所謂的“合適”，是相對于所需要的隱含層的節(jié)點(diǎn)數(shù)來確定，因?yàn)檩^小的期望誤差值是要靠增加隱含層的節(jié)點(diǎn)，以及訓(xùn)練時間來獲得 ? 一般情況下，作為對比，可以同時對兩個不同期望誤差值的網(wǎng)絡(luò)進(jìn)行訓(xùn)練，最后通過綜合因素的考慮來確定采用其中一個網(wǎng)絡(luò) 2020/11/23 32 應(yīng)用舉例 ?求解函數(shù)逼近問題 – 有 21組單輸入矢量和相對應(yīng)的目標(biāo)矢量，試設(shè)計神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)這對數(shù)組的函數(shù)關(guān)系 P=1::1 T=[ … … ] 測試集 P2=1::1 2020/11/23 33 應(yīng)用舉例 目標(biāo)矢量相對于輸入矢量的圖形 初始網(wǎng)絡(luò)的輸出曲線 2020/11/23 34 應(yīng)用舉例 訓(xùn)練 1000次 2020次 2020/11/23 35 應(yīng)用舉例 訓(xùn)練 3000次 5000次 2020/11/23 36 限制與不足 ? 需要較長的訓(xùn)練時間 ? 完全不能訓(xùn)練 – 選取較小的初始權(quán)值 – 采用較小的學(xué)習(xí)速率，但同時又增加了訓(xùn)練時間 ? 局部極小值 ? BP算法可以使網(wǎng)絡(luò)權(quán)值收斂到一個解，但它并不能保證所求為誤差超平面的全局最小解，很可能是一個局部極小解 2020/11/23 37 四 、 BP網(wǎng)絡(luò)的 改進(jìn) 目標(biāo) 附加動量法 誤差函數(shù)改進(jìn) 自適應(yīng)學(xué)習(xí)速率 2020/11/23 38 目標(biāo) ?加快訓(xùn)練速度 ?避免陷入局部極小值 2020/11/23 39 附加動量法 ? 利用附加動量的作用則有可能滑過局部極小值 ? 修正網(wǎng)絡(luò)權(quán)值時，不僅考慮誤差在梯度上的作用，而且考慮在誤差曲面上變化趨勢的影響，其作用如同一個低通濾波器，它允許網(wǎng)絡(luò)忽略網(wǎng)絡(luò)上微小變化特性 ? 該方法是在反向傳播法的基礎(chǔ)上在每一個權(quán)值的變化上加上一項正比于前次權(quán)值變化量的值，并根據(jù)反向傳播法來產(chǎn)生新的權(quán)值變化 2020/11/23 40 附加動量法 ? 帶有附加動量因子的權(quán)值調(diào)節(jié)公式 其中 k為訓(xùn)練次數(shù)， mc為動量因子，一般取 0． 95左右 ? 附加動量法的實(shí)質(zhì)是將最后一次權(quán)值變化的影響，通
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1