人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第4講bp神經(jīng)網(wǎng)絡(luò)-wenkub
2022-10-28 20:05:23 本頁面
【正文】 P=1::1 T=[ … … ] 測試集 P2=1::1 2020/11/23 33 應(yīng)用舉例 目標(biāo)矢量相對(duì)于輸入矢量的圖形 初始網(wǎng)絡(luò)的輸出曲線 2020/11/23 34 應(yīng)用舉例 訓(xùn)練 1000次 2020次 2020/11/23 35 應(yīng)用舉例 訓(xùn)練 3000次 5000次 2020/11/23 36 限制與不足 ? 需要較長的訓(xùn)練時(shí)間 ? 完全不能訓(xùn)練 – 選取較小的初始權(quán)值 – 采用較小的學(xué)習(xí)速率，但同時(shí)又增加了訓(xùn)練時(shí)間 ? 局部極小值 ? BP算法可以使網(wǎng)絡(luò)權(quán)值收斂到一個(gè)解，但它并不能保證所求為誤差超平面的全局最小解，很可能是一個(gè)局部極小解 2020/11/23 37 四 、 BP網(wǎng)絡(luò)的 改進(jìn) 目標(biāo) 附加動(dòng)量法 誤差函數(shù)改進(jìn) 自適應(yīng)學(xué)習(xí)速率 2020/11/23 38 目標(biāo) ?加快訓(xùn)練速度 ?避免陷入局部極小值 2020/11/23 39 附加動(dòng)量法 ? 利用附加動(dòng)量的作用則有可能滑過局部極小值 ? 修正網(wǎng)絡(luò)權(quán)值時(shí)，不僅考慮誤差在梯度上的作用，而且考慮在誤差曲面上變化趨勢的影響，其作用如同一個(gè)低通濾波器，它允許網(wǎng)絡(luò)忽略網(wǎng)絡(luò)上微小變化特性 ? 該方法是在反向傳播法的基礎(chǔ)上在每一個(gè)權(quán)值的變化上加上一項(xiàng)正比于前次權(quán)值變化量的值，并根據(jù)反向傳播法來產(chǎn)生新的權(quán)值變化 2020/11/23 40 附加動(dòng)量法 ? 帶有附加動(dòng)量因子的權(quán)值調(diào)節(jié)公式 其中 k為訓(xùn)練次數(shù)， mc為動(dòng)量因子，一般取 0． 95左右 ? 附加動(dòng)量法的實(shí)質(zhì)是將最后一次權(quán)值變化的影響，通過一個(gè)動(dòng)量因子來傳遞。 lr]]＝ trainbpx(W， B， F， P， T， TP) 2020/11/23 47 五 、內(nèi)容小結(jié) 內(nèi)容安排 一、 內(nèi)容回顧 二、 BP網(wǎng)絡(luò) 三、網(wǎng)絡(luò)設(shè)計(jì) 四、改進(jìn) BP網(wǎng)絡(luò) 2020/11/23 48 五 、內(nèi)容小結(jié) ? 反向傳播法可以用來訓(xùn)練具有可微激活函數(shù)的多層前向網(wǎng)絡(luò) ,以進(jìn)行函數(shù)逼近，模式分類等工作 ? 反向傳播網(wǎng)絡(luò)的結(jié)構(gòu)不完全受所要解決的問題所限制。 Suggestions Thanks！ 。自適應(yīng)學(xué)習(xí)速率通過在保證穩(wěn)定訓(xùn)練的前提下，達(dá)到了合理的高速率，可以減少訓(xùn)練時(shí)間 ? 80％ 90％的實(shí)際應(yīng)用都是采用反向傳播網(wǎng)絡(luò)的。 ? 使用方法 [W, B, epochs, TE]＝ trainbpa(W， B，’ F’， P， T， TP) ? 可以將動(dòng)量法和自適應(yīng)學(xué)習(xí)速率結(jié)合起來以利用兩方面的優(yōu)點(diǎn)。這在結(jié)構(gòu)實(shí)現(xiàn)上，要比增加更多的隱含層簡單得多 ? 定理： – 實(shí)現(xiàn)任意 N個(gè)輸入向量構(gòu)成的任何布爾函數(shù)的前向網(wǎng)絡(luò)所需權(quán)系數(shù)數(shù)目為 ? 在具體設(shè)計(jì)時(shí)，比較實(shí)際的做法是通過對(duì)不同神經(jīng)元數(shù)進(jìn)行訓(xùn)練對(duì)比，然后適當(dāng)?shù)丶由弦稽c(diǎn)余量 2020/11/23 29 初始權(quán)值的選取 ? 一般取初始權(quán)值在 (1， 1)之間的隨機(jī)數(shù) ? 威得羅等人在分析了兩層網(wǎng)絡(luò)是如何對(duì)一個(gè)函數(shù)進(jìn)行訓(xùn)練后，提出一種選定初始權(quán)值的策略 – 選擇權(quán)值的量級(jí)為 ? 在 MATLAB工具箱中可采用函數(shù) W1和 B1。然后計(jì)算
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1