人工神經(jīng)網(wǎng)絡(luò)課程ppt課件(已修改)
2025-01-20 04:10 本頁面
【正文】 2022/2/2 馬盡文 1 第 2章 前饋型人工神經(jīng)網(wǎng)絡(luò) ?MP模型 ?感知機(jī)模型與學(xué)習(xí)算法 ?多層感知機(jī)網(wǎng)絡(luò) ?自適應(yīng)線性單元與網(wǎng)絡(luò) ?非線性連續(xù)變換單元組成的前饋網(wǎng)絡(luò) ?BP算法 2022/2/2 馬盡文 2 非線性連續(xù)變換單元組成的網(wǎng)絡(luò) 由非線性連續(xù)變換單元組成的前饋網(wǎng)絡(luò)，簡稱為 BP(Back Propagation) 網(wǎng)絡(luò)。 1. 網(wǎng)絡(luò)的結(jié)構(gòu)與數(shù)學(xué)描述 (i). 非線性連續(xù)變換單元 對(duì)于非線性連續(xù)變換單元，其輸入、輸出變換函數(shù)是非線性、單調(diào)上升、連續(xù)的即可。但在 BP網(wǎng)絡(luò)中，我們采用 S型函數(shù)： )(111111)(ijnjiji xwuiiijnjijiieeufyxwsu???????????????? ?2022/2/2 馬盡文 3 非線性連續(xù)變換單元組成的網(wǎng)絡(luò) 函數(shù) 是可微的，并且 這種函數(shù)用來區(qū)分類別 時(shí)，其結(jié)果可能是一種模 糊的概念。當(dāng) 時(shí)，其 輸出不是 1， 而是大于 ，而當(dāng) 時(shí)，輸出是一個(gè)小于 。若用這樣一個(gè)單元進(jìn)行分類，當(dāng)輸出是 ，我們可認(rèn)為屬于 A類的隸屬度（或概率）為 ，而屬于 B類的隸屬度（或概率）為 。 )(uf)(ufu))(1)(()39。1 1()(39。 ufufeuf u ???? ?0?u0?u2022/2/2 馬盡文 4 非線性連續(xù)變換單元組成的網(wǎng)絡(luò) (ii). 網(wǎng)絡(luò)結(jié)構(gòu)與參數(shù) 下面以四層網(wǎng)絡(luò)為例 來介紹 BP網(wǎng)絡(luò)的結(jié)構(gòu)和 參數(shù)，一般情況類似。 ????1x 2x nx1y 2y my139。x 239。x139。nx139。39。x 239。39。x 239。39。nxlkilkkjjimTmnTnnTnnTnRyyyyRxxxxRxxxxRxxxx39。39。,39。,39。39。,39。,),()39。39。,39。39。,39。39。(39。39。)39。,39。,39。(39。),(212121212211???閾值：連接權(quán)：網(wǎng)絡(luò)輸出：第二隱層輸出：第一隱層輸出：網(wǎng)絡(luò)輸入：????????????jiwkjw39。lkw39。39。2022/2/2 馬盡文 5 非線性連續(xù)變換單元組成的網(wǎng)絡(luò) 網(wǎng)絡(luò)的輸入輸出關(guān)系為： 顯然可以將閾值歸入為特別的權(quán)，從而網(wǎng)絡(luò)的參數(shù)可用 表示（ 為一個(gè)集合）。上述網(wǎng)絡(luò)實(shí)現(xiàn)了一個(gè)多元連續(xù)影射： ??????????????????????????2111211,2,1),39。39。39。39。39。39。(,2,1),39。39。39。(39。39。,2,1),(39。njlklklnjkjkjknijijijmlxwfynkxwfxnjxwfx??????mn RRWxFy ?? :),(W W2022/2/2 馬盡文 6 非線性連續(xù)變換單元組成的網(wǎng)絡(luò) (iii).網(wǎng)絡(luò)的學(xué)習(xí)問題 學(xué)習(xí)的目標(biāo)：通過網(wǎng)絡(luò) (或 )來逼近一個(gè)連續(xù)系統(tǒng)，即連續(xù)變換函數(shù) 。 學(xué)習(xí)的條件：一組樣本（對(duì)） 對(duì)于樣本對(duì) ，存在 使得 對(duì)于所有樣本的解空間為： ),( WxF)(xG)},(,),(),{( 2211 NN yxyxyxS ??iWmmnnnnnnnpRWWxFy piii ???????????? 222111,),( WiNi WW 1?? ?) , ( i i y x 2022/2/2 馬盡文 7 非線性連續(xù)變換單元組成的網(wǎng)絡(luò) (iv). Kolmogorov定理 Kolmogorov定理 (映射神經(jīng)網(wǎng)絡(luò)存在定理， 1950s) 給定任何連續(xù)函數(shù) ，則 能夠被一個(gè)三層前饋神經(jīng)網(wǎng)絡(luò)所實(shí)現(xiàn)，其中網(wǎng)絡(luò)的隱單元數(shù)為 。 注意：定理未解決構(gòu)造問題。 )(,]1,0[: xfyRf mn ?? f12 ?n??1x 2x nx?1z 2z 12?nz1y 2y my為正有理數(shù)。為常數(shù)，為連續(xù)函數(shù)，為連續(xù)單調(diào)遞增函數(shù)，其中??????jjnjkkinijjgmkzgynjjjxz,2,1),(12,2,1,)(1211??????????????2022/2/2 馬盡文 8 非線性連續(xù)變換單元組成的網(wǎng)絡(luò) 2. BP學(xué)習(xí)算法 (i).基本思想 BP算法屬于 學(xué)習(xí)律，是一種有監(jiān)督學(xué)習(xí)： 對(duì)于輔助變量并將閾值歸入權(quán)參數(shù)： 則有： （誤差）網(wǎng)絡(luò)實(shí)際輸出：理想輸出或?qū)熤担瑯颖据斎耄篍 r r o ryyytttxxxNNN???,(,,212121???llkkjj wxwxwx 39。39。39。39。,139。39。,39。39。,139。,1 000000 ??? ?????????)39。39。39。39。(),39。39。(39。39。),(39。2100 0knklkninjljkjkijij xwfyxwfxxwfx ?? ??? ?????2022/2/2 馬盡文 9 非線性連續(xù)變換單元組成的網(wǎng)絡(luò) 考慮第 個(gè)樣本的誤差： 進(jìn)一步得總誤差： 引入權(quán)參數(shù)矩陣： 和總權(quán)參數(shù)向量： ?212 )(21||||21 ????? lmll ytytE ???? ??? ???? ???????? N lmllNN ytytEE121121)(21||||21????????)1()1()1( 2121 )39。39。(39。39。,)39。(39。,)( ?????? ??? nmlknnkjnnji WWW1 0 1 1[][ 39。] ( , , , , , )[ 39。39。]Ts g cdvecW v e c w w w wvec????????????WWW2022/2/2 馬盡文 10 非線性連續(xù)變換單元組成的網(wǎng)絡(luò) 根據(jù)總誤差得到一般性的梯度算法： 終止規(guī)則： 這里用梯度法可以使總的誤差向減小的方向變化，直到 或梯度為零結(jié)束。這種學(xué)習(xí)方式使權(quán)向量 達(dá)到一個(gè)穩(wěn)定解，但無法保證 達(dá)到全局最優(yōu)，一般收斂到一個(gè)局部極小解。 ??
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1