[小學教育]在matlab6x中構建bp(編輯修改稿)
2024-11-14 23:23 本頁面
【文章內容簡介】 traincgb Conjugate Gradient with Powell/Beale Restarts traincgf FletcherPowell Conjugate Gradient traincgp PolakRibi233。re Conjugate Gradient trainoss OneStep Secant traingdx Variable learning rate backpropagation ? Trainlm: ? Good: 對于函數擬合問題 , 當網絡只有幾百個可調參數的時候 , LM收斂最快 . ? Bad: 當網絡的權值增加的時候 LM的優(yōu)點逐漸消失(消耗內存急劇增加 ). 而且 LM不適合與模式識別網絡訓練 . ? Trainrp: ? Good: 用來訓練模式識別問題的網絡收斂最快 , 而且消耗內迅也不多 (訓練中只借用下降梯度的方向 ). ? Bad: 函數擬合時效果不好 . 當接近極小點的時候性能下降 . ?Trainscg(推薦算法 ): ? 在很多情況下效果都很好 , 尤其是對規(guī)模較大的網絡 . ? 在函數擬合情況下幾乎和 LM算法一樣快 (對于較大的網絡甚至更快 ) ,.在模式識別訓練中和 trainrp 一樣快 . Its performance does not degrade as quickly as trainrp performance does when the error is reduced. ? 共軛梯度法 ( conjugate gradient algorithms) 對內存要求不是很高 . ? Trainbfg: ? 性能和 trainlm相近 ,但對內存要求較 trainlm小 . 但該算法計算量隨著網絡規(guī)模的增加呈幾何增長 , since the equivalent of a matrix inverse must be puted at each iteration. ? Traingdx: ? 與其他算法比起來比較慢 , 內存要求和 trainrp相近 . 但是仍有其有用之處 , 有些場合下需要收斂慢的算法 . For example, when using early stopping you may have inconsistent results if you use an algorithm that converges too quickly. You may overshoot the point at which the error on the validation set is minimized. 三 .訓練數據前期處理 ? ? ? premnmx: 得到 [1,1]的新數據 ? tramnmx: 歸一劃新的輸入 ?
教學課件相關推薦
鄂ICP備17016276號-1