神經(jīng)網(wǎng)絡(luò)之bp神網(wǎng)絡(luò)-在線瀏覽
2024-08-31 23:39本頁面
【正文】 f函數(shù) )1,1(S)t a n h (St a n?????????icpcpcpcpiiaeeeepas i giiii函數(shù)的主要區(qū)別在于：與函數(shù)（雙曲正切函數(shù)）正切7 BP神經(jīng)元常用的 f函數(shù) ? purelin線性函數(shù) ? 僅限于最后一層（輸出層），目的是擴(kuò)大輸出的取值范圍 8 BP神經(jīng)元常用的 f函數(shù) ? BP網(wǎng)絡(luò)所采用的傳遞函數(shù)均是可微的單調(diào)遞增函數(shù)，非線性主要由 S函數(shù)體現(xiàn) ? 以上三個(gè)函數(shù)分別有對(duì)應(yīng)的導(dǎo)函數(shù)（對(duì)于學(xué)習(xí)算法十分重要） – logsig():dlogsig() – tansig():dtansig() – purelin():dpurelin() 9 BP網(wǎng)絡(luò)結(jié)構(gòu)的一般結(jié)構(gòu) 10 兩層 BP網(wǎng)絡(luò)結(jié)構(gòu) 11 BP神經(jīng)網(wǎng)絡(luò)的構(gòu)建 ? NEWFF(PR,[S1 S2...SNl],{TF1 TF2...TFNl},BTF,BLF,PF) ? PR Rx2 矩陣，確定 R維輸入的變化范圍 . ? Si 表示第 i層有幾個(gè)神經(jīng)元 . ? TFi – 第 i層的傳遞函數(shù)，默認(rèn)為 39。tansig39。trainlm39。learngdm39。mse39。39。215 如何根據(jù)誤差求梯度 ))(1()()(SEE39。39。39。39。????????????jjijjilljlljxwyv??????????17 實(shí)際訓(xùn)練分類 ? 模式 – 遞增：每次增加一個(gè)輸入樣本重新計(jì)算 – 批處理：同時(shí)利用所有樣本（常用） ? 具體學(xué)習(xí)算法 – traingd, traingdm, traingdx, trainrp, traincgf, traincgp, traincgb, trainscg, trainbfg, trainoss, trainlm, trainbr等等 18 梯度下降法 ? traingd：最基本的 BP算法 ? 例二：梯度法進(jìn)行 BP網(wǎng)絡(luò)訓(xùn)練 – 基本 BP算法的收斂速度慢 ? Demo2：局部極值 19 改進(jìn) BP算法的思路 ? 啟發(fā)式學(xué)習(xí)算法：對(duì)于表現(xiàn)函數(shù)梯度加以分析，從而改進(jìn)算法 ? 采用更有效的優(yōu)化算法：基于數(shù)值最優(yōu)化理論的改進(jìn) 20 有動(dòng)量的梯度下降法 ? 修正權(quán)值時(shí)不但考慮當(dāng)前時(shí)刻的負(fù)梯度，還考慮到上一個(gè)時(shí)刻的負(fù)梯度 wji(k+1)=wji(k)+η[(1α)D(k)+αD(k1)] α： ∈ [0,1] 動(dòng)量因子，決定影響比例 ? 增加阻尼，減少振蕩，改善收斂性 ? 例三： traingdm訓(xùn)練函數(shù)，收斂速度較慢
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1