【文章內(nèi)容簡介】
α)D(k)+αD(k1)] α: ∈ [0,1] 動量因子,決定影響比例 ? 增加阻尼,減少振蕩,改善收斂性 ? 例三: traingdm訓(xùn)練函數(shù),收斂速度較慢 ? Demo3:動量因子對振蕩的影響(學(xué)習(xí)率) 21 有自適應(yīng)學(xué)習(xí)率的梯度下降法 ? 根據(jù)誤差調(diào)大或調(diào)小學(xué)習(xí)率 – 學(xué)習(xí)率增長比: – 學(xué)習(xí)率下降比: ? 同時保證收斂速度和精度 ? 例四: traingda訓(xùn)練函數(shù),速度顯著提高 ? 有動量和自適應(yīng)學(xué)習(xí)率的梯度下降法: - traingdx ? Demo4:學(xué)習(xí)率和變化率的影響 22 彈性(能復(fù)位的)梯度下降法 ? 為了克服 S函數(shù)的壓縮效果,防止出現(xiàn)由于梯度減小,沒有達(dá)到目的訓(xùn)練停止的現(xiàn)象 ? 根據(jù)兩次訓(xùn)練間符號是否變化調(diào)整修正 – 權(quán)值增加量: – 權(quán)值減小量: ? 例五: trainrp訓(xùn)練函數(shù),精度高 23 共軛梯度法 不同種類選取的方法不同而分為共軛梯度算法根據(jù)網(wǎng)絡(luò)訓(xùn)練用空間少,適用于復(fù)雜共軛梯度法速度快,占是這一步的共軛系數(shù)其中,方向方向確定這一步的搜索度方向和上一步的搜索每一步都根據(jù)當(dāng)前負(fù)梯是這一步的學(xué)習(xí)率其中,索方向進(jìn)行搜索每一步都沿著該步的搜作為初始搜索方向首先,采用負(fù)梯度方向步驟:索方向共軛的方向作為新的搜度方向和上次搜索方向基本思路:尋找與負(fù)梯kkkkkkkkkkpgppxxgp?????10100?????????24 FletcherReeves共軛梯度法 14t r a in c g fm a t la b11例六:訓(xùn)練步驟平均中的對應(yīng)函數(shù):修正系數(shù)定義:???kkkkkgggg???25 PolakRibi233。re共軛梯度法 16t r a in c g pm a t la b111例七:訓(xùn)練步驟平均中的對應(yīng)函數(shù):修正系數(shù)定義:-????kkkkkgggg???26 PowellBeale共軛梯度法 10t r a in c g bm a t la b21例八:訓(xùn)練步驟平均中的對應(yīng)函數(shù):負(fù)梯度方向搜索方向被重新定位為條件滿足時:修正系數(shù)固定,當(dāng)以下kkkggg ???27 量化共軛梯度法 ? 基本思想:融合置信區(qū)間法和共軛梯度法,避免一維搜索 ? ? matlab中對應(yīng)的函數(shù):trainscg ? 例九:訓(xùn)練步驟平均 10 28 擬牛頓算法 11t r a in bf gm a t la b11例十:收斂步驟平均擬牛頓)(對應(yīng)函數(shù):點,