前向網(wǎng)絡(luò)ppt課件-文庫吧資料
2025-05-12 12:04本頁面
【正文】 誤差最小 ? 先驗(yàn)的 (Prior)學(xué)習(xí)法則或啟發(fā)式的 (heuristic)知識 ? 泛化 (Generalization) BP算法的逼近學(xué)習(xí)算例 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的架構(gòu) BP算法的逼近學(xué)習(xí)算例 ?下面先討論 ?BP網(wǎng)絡(luò)設(shè)計(jì)問題 ?然后討論 BP算法在函數(shù)逼近的 2算例 . ?例 1 函數(shù)逼近 ?例 2 分類問題 BP算法的逼近學(xué)習(xí)算例 A. BP網(wǎng)絡(luò)設(shè)計(jì)問題 ?解決實(shí)際學(xué)習(xí)與逼近問題的 BP網(wǎng)絡(luò)設(shè)計(jì)主要分為如下步驟： ?訓(xùn)練樣本集的準(zhǔn)備 ?輸入輸出數(shù)據(jù)的歸一化 ?網(wǎng)絡(luò)訓(xùn)練與測試 BP算法的逼近學(xué)習(xí)算例 一、訓(xùn)練樣本集的準(zhǔn)備 ?訓(xùn)練樣本集的準(zhǔn)備包括 ： ?輸入輸出量的選擇 ?輸入量的提取與表示 ?輸出量的表示 BP算法的逼近學(xué)習(xí)算例 (1) 輸入輸出量的選擇 ?輸出量代表系統(tǒng)要實(shí)現(xiàn)的功能目標(biāo) ,例如系統(tǒng)的性能指標(biāo) ,分類問題的類別歸屬 ,或非線性函數(shù)的函數(shù)值等等。mk1)(swαxdη( s )w1)(swk1kkjr,( s )wwn1ikj1krkjr,kjr,kjr,kjr,??????????????步 6. 當(dāng)求出了各層各個權(quán)系數(shù)之后 ,可按給定品質(zhì)指標(biāo)判別是否滿足要求 . ? 如果未滿足要求 ,則返回步 3執(zhí)行 。mkxdη( s )w1)(swk1k( s )wwn1ikj1krkjr,kjr,kjr,kjr,????????????? BP算法的執(zhí)行步驟 或 1n1,2,...,j。mk)x(1x)s(wdd)x(1o) x(xdkkrkr1krs,1kskrm1m1m1m11????????????????kns1n1,2,...,j。2 , 3 , . . . ,k,( s ) xwu ),f ( ux k1n1r1kr1krj,kjkjkj1k???? ?????步 3. 計(jì)算各層的輸出 ? 對于第 k層第 j個神經(jīng)元的輸出 xjk,有 : BP算法的執(zhí)行步驟 步 4. 求各層的學(xué)習(xí)誤差 djk 步 5. 修正權(quán)系數(shù) 和閾值 ?ik kjr,w。 BP算法的執(zhí)行步驟 ? 上述過程是針對同時(shí)學(xué)習(xí)多個樣本的情況 ,若每次學(xué)習(xí)時(shí) ,只學(xué)習(xí)當(dāng)前樣本 ,則 BP算法的 學(xué)習(xí)過程 步驟 為 : 步 1. 對權(quán)系數(shù) 置初值 . kjr,w? 對各層的權(quán)系數(shù) 置一個較小的非零隨機(jī)數(shù) . kjr,w步 2. 輸入第 i個輸入樣本 以及對應(yīng)期望輸出o. }1,x,...,x,{x1n12111。 訓(xùn)練時(shí)計(jì)算出所有樣本的整體誤差后，加權(quán)系數(shù)才調(diào)整。mk1)(swα( i )( i ) xdη( s )w1)(swk1kkjr,( s )wwn1ikj1krkjr,kjr,kjr,kjr,??????????????步 6. 當(dāng)求出了各層各個權(quán)系數(shù)之后 ,可按給定品質(zhì)指標(biāo)判別是否滿足要求 . ? 如果滿足要求 ,則算法結(jié)束 。mk( i )( i ) xdη( s )w1)(swk1k( s )wwn1ikj1krkjr,kjr,kjr,kjr,????????????? BP算法的執(zhí)行步驟 或 1n1,2,...,j。mk( i ) ]x( i ) [ 1x( i ) wd( i )d)x(1)xo(x( i )dkkrkr1krs,1kskrmimiimim11?????????????????kns1n1,2,...,j。 r 1, 2, ...,n? ?????? ? ??步 3. 計(jì)算各層的輸出 ? 對于第 k層第 j個神經(jīng)元的輸出 xjk(i),有 : BP算法的執(zhí)行步驟 步 4. 求各層的學(xué)習(xí)誤差 djk(i) 步 5. 修正權(quán)系數(shù) 和閾值 ?ik kjr,wn1,2,...,i。i=1,2,…,n k. ki,jw? 類似于前面的討論 ,對神經(jīng)元 xik的閾值 ?ik,可用增加一個狀態(tài)恒為 1(即 =1)的隱神經(jīng)元及相應(yīng)的權(quán)重 k 1nkx ?kik 1ni, θw1k ???的方法來處理 . ? 綜合上述 BP算法的思想和計(jì)算公式 ,有如下計(jì)算步驟 . BP算法的執(zhí)行步驟 算法的執(zhí)行的步驟如下 : 步 1. 對權(quán)系數(shù) 置初值 . kjr,w? 對各層的權(quán)系數(shù) 置一個較小的非零隨機(jī)數(shù) ,但其中 ki,jwkik 1ni, θw1k ???步 2. 輸入第 i個輸入樣本 以及對應(yīng)期望輸出 oi. }1,( i)x( i) , . . . ,x( i) ,{x1n12111k1n1k k k k 1 k 1j j j r ,j rr1k k 1x ( i) f [ u ( i) ] , u ( i) w ( s) x ( i) ,k 2, 3, ...,m 。 BP算法的數(shù)學(xué)表達(dá) ? 從上述過程可知 : ? 正向計(jì)算過程 . 多層網(wǎng)絡(luò)的訓(xùn)練方法是把一個樣本加到輸入層 ,并根據(jù)向前傳播的規(guī)則不斷一層一層向輸出層傳遞 ,最終在輸出層可以得到輸出 xim. ?
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1