神經(jīng)網(wǎng)絡(luò)之bp神網(wǎng)絡(luò)-文庫吧
2025-07-06 23:39 本頁面
【正文】 反向傳播？ －誤差 ? 為什么要反向傳播誤差？ －使得每一層都有誤差 ? 為什么要使得每一層都有誤差？ －根據(jù)誤差 修正 權(quán)值和閾值 14 如何反向傳遞誤差 ? 輸出節(jié)點(diǎn)的誤差通過輸出層的權(quán)值反向傳播成為隱藏節(jié)點(diǎn)的誤差 jiiijjlljljjljljljjljllllllllllxwne tvne tfjyvyvne tlzltne tfztlztlE?????????????????????其中：個(gè)節(jié)點(diǎn)的誤差為：隱藏層第為輸出層的閾值為隱藏層輸出為輸出層權(quán)值個(gè)輸出的實(shí)際值為第個(gè)輸出的期望值為第其中：個(gè)輸出節(jié)點(diǎn)的誤差為：第系統(tǒng)誤差：)()()()(139。39。39。215 如何根據(jù)誤差求梯度 ))(1()()(SEE39。39。39。xfxfxfExwEyvjjijijlljllj?????????????????函數(shù)導(dǎo)數(shù)：閾值權(quán)值對(duì)于隱藏層：閾值權(quán)值對(duì)于輸出層：—負(fù)梯度方向—向表現(xiàn)函數(shù)下降最快的方和閾值的修正要沿著指導(dǎo)思想：對(duì)網(wǎng)絡(luò)權(quán)值??????16 如何根據(jù)誤差求修正值 為隱藏層學(xué)習(xí)率閾值修正權(quán)值修正隱藏層：為輸出層學(xué)習(xí)率閾值修正權(quán)值修正輸出層：39。39。39。39。39。????????????jjijjilljlljxwyv??????????17 實(shí)際訓(xùn)練分類 ? 模式 – 遞增：每次增加一個(gè)輸入樣本重新計(jì)算 – 批處理：同時(shí)利用所有樣本（常用） ? 具體學(xué)習(xí)算法 – traingd, traingdm, traingdx, trainrp, traincgf, traincgp, traincgb, trainscg, trainbfg, trainoss, trainlm, trainbr等等 18 梯度下降法 ? traingd：最基本的 BP算法 ? 例二：梯度法進(jìn)行 BP網(wǎng)絡(luò)訓(xùn)練 – 基本 BP算法的收斂速度慢 ? Demo2：局部極值 19 改進(jìn) BP算法的思路 ? 啟發(fā)式學(xué)習(xí)算法：對(duì)于表現(xiàn)函數(shù)梯度加以分析，從而改進(jìn)算法 ? 采用更有效的優(yōu)化算法：基于數(shù)值最優(yōu)化理論的改進(jìn) 20 有動(dòng)量的梯度下降法 ? 修正權(quán)值時(shí)不但考慮當(dāng)前時(shí)刻的負(fù)梯度，還考慮到上一個(gè)時(shí)刻的負(fù)梯度 wji(k+1)=wji(k)+η[(1
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1