神經網絡之bp神網絡-文庫吧
2025-07-06 23:39 本頁面
【正文】 反向傳播？ －誤差 ? 為什么要反向傳播誤差？ －使得每一層都有誤差 ? 為什么要使得每一層都有誤差？ －根據誤差 修正 權值和閾值 14 如何反向傳遞誤差 ? 輸出節(jié)點的誤差通過輸出層的權值反向傳播成為隱藏節(jié)點的誤差 jiiijjlljljjljljljjljllllllllllxwne tvne tfjyvyvne tlzltne tfztlztlE?????????????????????其中：個節(jié)點的誤差為：隱藏層第為輸出層的閾值為隱藏層輸出為輸出層權值個輸出的實際值為第個輸出的期望值為第其中：個輸出節(jié)點的誤差為：第系統(tǒng)誤差：)()()()(139。39。39。215 如何根據誤差求梯度 ))(1()()(SEE39。39。39。xfxfxfExwEyvjjijijlljllj?????????????????函數(shù)導數(shù)：閾值權值對于隱藏層：閾值權值對于輸出層：—負梯度方向—向表現(xiàn)函數(shù)下降最快的方和閾值的修正要沿著指導思想：對網絡權值??????16 如何根據誤差求修正值 為隱藏層學習率閾值修正權值修正隱藏層：為輸出層學習率閾值修正權值修正輸出層：39。39。39。39。39。????????????jjijjilljlljxwyv??????????17 實際訓練分類 ? 模式 – 遞增：每次增加一個輸入樣本重新計算 – 批處理：同時利用所有樣本（常用） ? 具體學習算法 – traingd, traingdm, traingdx, trainrp, traincgf, traincgp, traincgb, trainscg, trainbfg, trainoss, trainlm, trainbr等等 18 梯度下降法 ? traingd：最基本的 BP算法 ? 例二：梯度法進行 BP網絡訓練 – 基本 BP算法的收斂速度慢 ? Demo2：局部極值 19 改進 BP算法的思路 ? 啟發(fā)式學習算法：對于表現(xiàn)函數(shù)梯度加以分析，從而改進算法 ? 采用更有效的優(yōu)化算法：基于數(shù)值最優(yōu)化理論的改進 20 有動量的梯度下降法 ? 修正權值時不但考慮當前時刻的負梯度，還考慮到上一個時刻的負梯度 wji(k+1)=wji(k)+η[(1
環(huán)評公示相關推薦
鄂ICP備17016276號-1