神經(jīng)網(wǎng)絡(luò)（論文資料）-文庫吧
2024-12-20 15:18 本頁面
【正文】 經(jīng)網(wǎng)絡(luò) ?BP網(wǎng) ? 除輸入，輸出層外，還有一個或多個隱層。各層之間的神經(jīng)元全互連，各層內(nèi)的神經(jīng)元無連接，網(wǎng)絡(luò)無反饋。 X 1X 2X nY 1Y 2Y n? 節(jié)點的特性要求是可微的，通常選 S型函數(shù)。 Sigmoid函數(shù)的特點： ?連續(xù)可微 ?單調(diào) ?取值在 [0,1] xexf ??? 11)(?BP算法 ?學(xué)習(xí)的目的 ：對網(wǎng)絡(luò)的連接權(quán)值進行調(diào)整，使得對任一輸入都能得到所期望的輸出。 ?學(xué)習(xí)的方法 ：用一組訓(xùn)練樣本對網(wǎng)絡(luò)進行訓(xùn)練，其中每一個樣例都包括輸入及期望的輸出兩部分。 ?應(yīng)用 ：對待識別的樣本進行模式識別。 ?BP算法的具體步驟： ?從訓(xùn)練樣例集中取一樣例，把輸入信息輸入到網(wǎng)絡(luò)中。 ?由網(wǎng)絡(luò)分別計算各層節(jié)點的輸出。 ?計算網(wǎng)絡(luò)的實際輸出與期望輸出的誤差。 ?從輸出層反向計算到第 — 個隱層，按一定原則向 減小誤差方向 調(diào)整網(wǎng)絡(luò)的各個連接權(quán)值－ 反向傳播 。 ?對訓(xùn)練樣例集中的每一個樣例重復(fù)以上步驟，直到對整個訓(xùn)練樣例集的誤差達到要求時為止。 在訓(xùn)練時，需要反向傳播，而一旦訓(xùn)練結(jié)束，求解實際問題時，則只需正向傳播。 具體算法： 1) Oi：節(jié)點 i的輸出； j：節(jié)點 j的輸入； wij：從節(jié)點 i到節(jié)點 j的連接權(quán)值。 2) 誤差函數(shù) 分別表示輸出層上節(jié)點 k的期望輸出與實際輸出 yy,???iiijj Own e t2kkk )yy?(21e ?? ?3) 連接權(quán)值的修正 wjk(t+1)和 wjk(t)分別表示 t+1和 t時刻上從節(jié)點 j到節(jié)點 k的連接權(quán)值， ?wjk為修正量 。 jkjkjk w)t(w)1t(w ???? 為了使連接權(quán)值沿著 e的梯度變化方向得以改善，網(wǎng)絡(luò)逐漸收斂，取 其中， 為增益因子 jkjk wew????? ??jkjkjkkOwewne te?????????????????k令jjjjkjkjkkjjjkk OOn e tOwn e t ???????? ???jkkkjk wn e tn e tewe????????)()?()(y)?(y)?(21yyyk39。39。2kkkkkkkkkkkkkkkkkkne tfyyne tfne tyyeyyene tene teO??????????????????????????????又時是輸出層上的節(jié)點，此節(jié)點分兩種情況計算?????????????????????mkmmkkkkkmkmmkkkkkkwne tfne tfne tOwOene tOOene te????)()(k39。39。又不是輸出層上的節(jié)點節(jié)點 故先計算最高層（輸出層）上各節(jié)點δ 值，再反傳到較低層上，計算各隱層節(jié)點的 δ 值。 )](1)[()1(11)1(1)1(1)1(1)1(1)1()1()(11)(22239。xfxfeeeeeeeexfexfxxxxxxxxx???????????????????????????????????則設(shè))1()()y1(y)](1)[()(39。39。kkkkkkkkOOn e tfn e tfn e tfn e tf???????對于非輸出層節(jié)點，對于輸出層節(jié)點，開 始初 始 化 ： 給 出 訓(xùn) 練樣 本 集 ， 對 閾 值 及各 連 接 權(quán) 值 賦 初 值輸 入 一 個訓(xùn) 練 樣 本 p前 向 傳 播 ， 計 算 各層 節(jié) 點 的 輸 出 ：)(jjiiijjfOow?? ?計 算 樣 本 p的 誤 差 e p? ??kkkpyye2)?(21e 滿 足 要 求 ？計 算 輸 出 層 各 節(jié) 點 的 δ k ， 并 調(diào) 節(jié)相 應(yīng) 的 連 接 權(quán) 值jkjkjkjkjkkkkkkkkwtwtwOwn e tfyyYYn e tf??????????????)()1()(39。)?()1()(39。???輸 入 一 個 下 一 個 訓(xùn) 練 樣 本 p反 向 傳 播 ， 計 算 隱 層 各 節(jié) 點 的δ k ， 并 調(diào) 節(jié) 相 應(yīng) 的 連 接 權(quán) 值jkjkjkjkjkmkmmkkkkkwtwtwOwwn etfOOn etf??????????????)()1()(39。)1()(39。????N所 有 e 滿 足 要 求 ？YNY結(jié) 束 以上學(xué)習(xí)過程是按照樣本 p的誤差 ep減小最快的方式改變連接權(quán)值，直到獲得滿意的連接權(quán)值的。也可以基于 E來完成在權(quán)值空間的梯度搜索。 ? ?? ???p kpkpkpp yyeE2)?(P21P21其中 P為訓(xùn)練樣本的個數(shù) 此時，按反向傳播計算樣本 p在各層的連接權(quán)值變化量 ?pwjk，但并不對各層神經(jīng)元的連接權(quán)值進行修改，而是不斷重復(fù)這一過程，直至完成對訓(xùn)練樣本集中所有樣本的計算，并產(chǎn)生這一輪訓(xùn)練的各層連接權(quán)值的改變量 ?wjk 此時才對網(wǎng)絡(luò)中各神經(jīng)元的連接權(quán)值進行調(diào)整，若正向傳播后重新計算的 E仍不滿足要求，則開始下一輪權(quán)值修正。 2022/2/1 46 ),2,1。,2,1( 1)( ??? qqqij njniw ??感知器模型中神經(jīng)元的變換函數(shù)采用的是符號函數(shù)，因此輸出的是二值量。它主要用于模式分類。 多層前饋網(wǎng)具有相同的結(jié)構(gòu)，只是神經(jīng)元的變換函數(shù)采用 S型函數(shù)，因此輸出量是 0到 1之間的連續(xù)量，它可實現(xiàn)從輸入到輸出的任意的非線性映射。 由于連接權(quán)的調(diào)整采用的是反向傳播 (Back Propagation)的學(xué)習(xí)算法，因此該網(wǎng)絡(luò)也稱為 BP網(wǎng)絡(luò)。 在多層前饋網(wǎng)絡(luò)中，第 0層為輸入層，第 Q層為輸出層，有 nQ個輸出，中間層為隱層。設(shè)第 q層 (q=0,2,? ， Q)的神經(jīng)元個數(shù)為 nq，輸入到第 q層的第 i個神經(jīng)元的連接權(quán)系統(tǒng)為 ： 2022/2/1 47 網(wǎng)絡(luò)的輸入輸出變化關(guān)系為： Qqnjnissfxwxxwsqqqiqiqiqiqiqnjqjqijqiq??? ,2,1,2,1,2,1)e x p(11)()1,(1)()()()(0)()1(00)1()()(1???????????????????2022/2/1 48 標準 BP算法 設(shè)給定 P組輸入輸出樣本： ? ?),2,1(,11)0(,)0(2)0(1
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1