神經(jīng)網(wǎng)絡(luò)之bp神網(wǎng)絡(luò)-預(yù)覽頁
【正文】 ） ? 具體學(xué)習(xí)算法 – traingd, traingdm, traingdx, trainrp, traincgf, traincgp, traincgb, trainscg, trainbfg, trainoss, trainlm, trainbr等等 18 梯度下降法 ? traingd：最基本的 BP算法 ? 例二：梯度法進(jìn)行 BP網(wǎng)絡(luò)訓(xùn)練 – 基本 BP算法的收斂速度慢 ? Demo2：局部極值 19 改進(jìn) BP算法的思路 ? 啟發(fā)式學(xué)習(xí)算法：對(duì)于表現(xiàn)函數(shù)梯度加以分析，從而改進(jìn)算法 ? 采用更有效的優(yōu)化算法：基于數(shù)值最優(yōu)化理論的改進(jìn) 20 有動(dòng)量的梯度下降法 ? 修正權(quán)值時(shí)不但考慮當(dāng)前時(shí)刻的負(fù)梯度，還考慮到上一個(gè)時(shí)刻的負(fù)梯度 wji(k+1)=wji(k)+η[(1α)D(k)+αD(k1)] α： ∈ [0,1] 動(dòng)量因子，決定影響比例 ? 增加阻尼，減少振蕩，改善收斂性 ? 例三： traingdm訓(xùn)練函數(shù)，收斂速度較慢 ? Demo3：動(dòng)量因子對(duì)振蕩的影響（學(xué)習(xí)率） 21 有自適應(yīng)學(xué)習(xí)率的梯度下降法 ? 根據(jù)誤差調(diào)大或調(diào)小學(xué)習(xí)率 – 學(xué)習(xí)率增長比： – 學(xué)習(xí)率下降比： ? 同時(shí)保證收斂速度和精度 ? 例四： traingda訓(xùn)練函數(shù)，速度顯著提高 ? 有動(dòng)量和自適應(yīng)學(xué)習(xí)率的梯度下降法： － traingdx ? Demo4：學(xué)習(xí)率和變化率的影響 22 彈性（能復(fù)位的）梯度下降法 ? 為了克服 S函數(shù)的壓縮效果，防止出現(xiàn)由于梯度減小，沒有達(dá)到目的訓(xùn)練停止的現(xiàn)象 ? 根據(jù)兩次訓(xùn)練間符號(hào)是否變化調(diào)整修正 – 權(quán)值增加量： – 權(quán)值減小量： ? 例五： trainrp訓(xùn)練函數(shù)，精度高 23 共軛梯度法 不同種類選取的方法不同而分為共軛梯度算法根據(jù)網(wǎng)絡(luò)訓(xùn)練用空間少，適用于復(fù)雜共軛梯度法速度快，占是這一步的共軛系數(shù)其中，方向方向確定這一步的搜索度方向和上一步的搜索每一步都根據(jù)當(dāng)前負(fù)梯是這一步的學(xué)習(xí)率其中，索方向進(jìn)行搜索每一步都沿著該步的搜作為初始搜索方向首先，采用負(fù)梯度方向步驟：索方向共軛的方向作為新的搜度方向和上次搜索方向基本思路：尋找與負(fù)梯kkkkkkkkkkpgppxxgp?????10100?????????24 FletcherReeves共軛梯度法 14t r a in c g fm a t la b11例六：訓(xùn)練步驟平均中的對(duì)應(yīng)函數(shù)：修正系數(shù)定義：???kkkkkgggg???25 PolakRibi233。 隱含： 7 tanh元 。0 1 0
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1