神經(jīng)網(wǎng)絡(luò)之bp神網(wǎng)絡(luò)(文件)
【正文】 頓算法 11t r a in bf gm a t la b11例十：收斂步驟平均擬牛頓）（對(duì)應(yīng)函數(shù)：點(diǎn)，又避免了繁瑣計(jì)算保持了收斂速度快的優(yōu)用替代矩陣（？）的計(jì)算量很大，所以采求陣）（為表現(xiàn)函數(shù)的二次導(dǎo)數(shù)其中＝牛頓迭代法：B F G SAH e s s i anAgAxxkkkkkk???29 一步正割的 BP訓(xùn)練法 ? 介于擬牛頓和共軛迭代之間，節(jié)約存儲(chǔ)空間，簡(jiǎn)化計(jì)算 ? matlab中對(duì)應(yīng)的函數(shù)：trainoss ? 例十一：收斂步驟平均 25，以時(shí)間換取空間 30 LM（ LevenbergMarquardt）法 4m a t la b0][11例十二：收斂步驟平均中對(duì)應(yīng)的訓(xùn)練函數(shù)：，如果訓(xùn)練失敗就增加如果訓(xùn)練成功就減小梯度法較大時(shí)則接近小步長(zhǎng)的時(shí)即是擬牛頓法，可得：是網(wǎng)絡(luò)訓(xùn)練誤差矩陣，是其中梯度：陣，替換以：不用計(jì)算式就可以采用表現(xiàn)函數(shù)是平方和的形t r ai nl meJIJJxxeJ ac obi anJeJgJJHH e s s i ankk?????????????????31 應(yīng)用 BP網(wǎng)絡(luò)的幾個(gè)關(guān)鍵問(wèn)題 ? 訓(xùn)練算法： 視目標(biāo)要求、網(wǎng)絡(luò)規(guī)模和系統(tǒng)性能等而定 ? 學(xué)習(xí)率： 訓(xùn)練速度和穩(wěn)定性的矛盾 ? 避免局部最優(yōu)： 神經(jīng)元的非線性導(dǎo)致 ? 神經(jīng)元個(gè)數(shù)： 不適性和過(guò)適性 32 作業(yè) 1： BP訓(xùn)練神經(jīng)網(wǎng)絡(luò) ? 1)訓(xùn)練集： ? X = 2*pi*rand(1,300)。39。39。 12 創(chuàng)建 BP神經(jīng)網(wǎng)絡(luò)實(shí)例 ? 例一：創(chuàng)建一個(gè)兩層的 BP網(wǎng)絡(luò) – 設(shè)置訓(xùn)練樣本，非線性 – 對(duì)比訓(xùn)練前后網(wǎng)絡(luò)輸出的變化 – 每次訓(xùn)練的結(jié)果并不相同 – 對(duì)比不同的神經(jīng)元數(shù)對(duì)解決非線性問(wèn)題的影響（ 1個(gè)、 5個(gè)、 10個(gè)） ? Demo1：要解決的問(wèn)題越復(fù)雜，需要的隱藏層神經(jīng)元個(gè)數(shù)越多（匹配與過(guò)調(diào)） 13 基本 BP學(xué)習(xí)算法 ? 什么是 BP？ －反向傳播 ? 什么東西被反向傳播？ －誤差 ? 為什么要反向傳播誤差？ －使得每一層都有誤差 ? 為什么要使得每一層都有誤差？ －根據(jù)誤差 修正 權(quán)值和閾值 14 如何反向傳遞誤差 ? 輸出節(jié)點(diǎn)的誤差通過(guò)輸出層的權(quán)值反向傳播成為隱藏節(jié)點(diǎn)的誤差 jiiijjlljljjljljljjljllllllllllxwne tvne tfjyvyvne tlzltne tfztlztlE??????????
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1