【正文】 ??kkkkkgggg???26 PowellBeale共軛梯度法 10t r a in c g bm a t la b21例八：訓練步驟平均中的對應函數(shù)：負梯度方向搜索方向被重新定位為條件滿足時：修正系數(shù)固定，當以下kkkggg ???27 量化共軛梯度法 ? 基本思想：融合置信區(qū)間法和共軛梯度法，避免一維搜索 ? ? matlab中對應的函數(shù)：trainscg ? 例九：訓練步驟平均 10 28 擬牛頓算法 11t r a in bf gm a t la b11例十：收斂步驟平均擬牛頓）（對應函數(shù)：點，又避免了繁瑣計算保持了收斂速度快的優(yōu)用替代矩陣（？）的計算量很大，所以采求陣）（為表現(xiàn)函數(shù)的二次導數(shù)其中＝牛頓迭代法：B F G SAH e s s i anAgAxxkkkkkk???29 一步正割的 BP訓練法 ? 介于擬牛頓和共軛迭代之間，節(jié)約存儲空間，簡化計算 ? matlab中對應的函數(shù)：trainoss ? 例十一：收斂步驟平均 25，以時間換取空間 30 LM（ LevenbergMarquardt）法 4m a t la b0][11例十二：收斂步驟平均中對應的訓練函數(shù)：，如果訓練失敗就增加如果訓練成功就減小梯度法較大時則接近小步長的時即是擬牛頓法，可得：是網(wǎng)絡(luò)訓練誤差矩陣，是其中梯度：陣，替換以：不用計算式就可以采用表現(xiàn)函數(shù)是平方和的形t r ai nl meJIJJxxeJ ac obi anJeJgJJHH e s s i ankk?????????????????31 應用 BP網(wǎng)絡(luò)的幾個關(guān)鍵問題 ? 訓練算法： 視目標要求、網(wǎng)絡(luò)規(guī)模和系統(tǒng)性能等而定 ? 學習率： 訓練速度和穩(wěn)定性的矛盾 ? 避免局部最優(yōu)： 神經(jīng)元的非線性導致 ? 神經(jīng)元個數(shù)： 不適性和過適性 32 作業(yè) 1： BP訓練神經(jīng)網(wǎng)絡(luò) ? 1)訓練集： ? X = 2*pi*rand(1,300)。. ? BLF – 學習函數(shù)，默認為 39。215 如何根據(jù)誤差求梯度 ))(1()()(SEE39。0 1 0 1]。????????????jjijjilljlljxwyv??????????17 實際訓練分類 ? 模式 – 遞增：每次增加一個輸入樣本重新計算 – 批處理：同時利用所有樣本（常用） ? 具體學習算法 – traingd, traingdm, traing