【正文】 w2(3)=w2(2)+η(d(2) y(2))x2(2)=+*(01)*1= 實(shí)際上，由上一章關(guān)于與運(yùn)算的閾值條件可知，此時(shí)的閾值和連接權(quán)值以滿足結(jié)束條件，算法可以結(jié)束。 對(duì)此，可檢驗(yàn)如下： 對(duì)輸入：“ 0 0”有 y=f(*0+*01)=f(1)=0 對(duì)輸入：“ 0 1”有 y=f(*0+*)=f()=0 對(duì)輸入：“ 1 0”有 y=f(*1+*01)=f()=0 對(duì)輸入：“ 1 1”有 y=f(*1+*11)=f()=0 感知器學(xué)習(xí) 2. 單層感知器學(xué)的例子 (4/4) 50 BP網(wǎng)絡(luò)學(xué)習(xí)過程是一個(gè)對(duì)給定訓(xùn)練模式，利用傳播公式，沿著減小誤差的方向不斷調(diào)整網(wǎng)絡(luò)連接權(quán)值和閾值的過程。需要用到以下幾個(gè)符號(hào)： Oi：節(jié)點(diǎn) i的輸出； Ij：接點(diǎn) j的輸入； wij：從節(jié)點(diǎn) i到節(jié)點(diǎn) j的連接權(quán)值； θj：節(jié)點(diǎn) j的閾值； yk：輸出層上節(jié)點(diǎn) k的實(shí)際輸出； dk：輸出層上節(jié)點(diǎn) k的期望輸出。 顯然，對(duì)隱含節(jié)點(diǎn) j有： 在 BP算法學(xué)習(xí)過程中，可以采用如下公式計(jì)算各輸出節(jié)點(diǎn)的誤差： )( jjjiiijjIfOOwI???? ? BP網(wǎng)絡(luò)學(xué)習(xí) 1. BP算法的傳播公式 (1/5) 2)(21kk k yde ?? ?51 連接權(quán)值的修改由下式計(jì)算： 其中， wjk(t)和 wjk(t+1)分別是時(shí)刻 t和 t+1時(shí)，從節(jié)點(diǎn) j到節(jié)點(diǎn) k的連接權(quán)值；Δwjk是連接權(quán)值的變化量。 為了使連接權(quán)值能沿著 E的梯度變化方向逐漸改善，網(wǎng)絡(luò)逐漸收斂， BP算法按如下公式計(jì)算 Δwjk ： 其中， η為增益因子， 由下式計(jì)算： jkjkjk wtwtw ???? )()1(jkwe??wjkIIewe kkjk ??????jkjk wew????? ? BP網(wǎng)絡(luò)學(xué)習(xí) 1. BP算法的傳播公式 (2/5) 52 由于 故有 令局部梯度 故有 ?? j jjkk OwI jjjjkjkjkk OOwwwI ?????? ?kk Ie????jkjkjk Owe ??? ??????? BP網(wǎng)絡(luò)學(xué)習(xí) 1. BP算法的傳播公式 (3/5) 53 計(jì)算時(shí)，需要區(qū)分節(jié)點(diǎn) k是輸出層上的節(jié)點(diǎn)，還是隱含層上的節(jié)點(diǎn)。如果節(jié)點(diǎn) k是輸出層上的節(jié)點(diǎn)，則有 Ok=yk，因此 由于 所以 kkkkk IyyeIe????????? )(kkkydye ????? )(39。 kkk IfIy ???jkkkjkkkkkOIfydwIfyd)()()()(39。39。???????? BP網(wǎng)絡(luò)學(xué)習(xí) 1. BP算法的傳播公式 (4/5) 54 如果節(jié)點(diǎn) k不是輸出層上的節(jié)點(diǎn)，則它是隱含層上的節(jié)點(diǎn)的，此時(shí)： 其中， 是一個(gè)隱函數(shù)求導(dǎo)問題，略去推導(dǎo)過程，其結(jié)果為： 所以 這說明，低層節(jié)點(diǎn)的 δ值是通過上一層節(jié)點(diǎn)的 δ值來計(jì)算的。這樣，我們就可以先計(jì)算出輸出層上的 δ值，然后把它返回到較低層上，并計(jì)算出各較低層上節(jié)點(diǎn)的 δ值。 )(39。 kkkkkkk IfOeIOOeIe????????????kOe??kmmmkwOe ???? ? ??mkmmkk wIf ?? )(39。 BP網(wǎng)絡(luò)學(xué)習(xí) 1. BP算法的傳播公式 (5/5) 55 (1) 初始化網(wǎng)絡(luò)及學(xué)習(xí)參數(shù)，將各節(jié)點(diǎn)的連接權(quán)值、閾值賦予 [1， 1]區(qū)間的一個(gè)隨機(jī)數(shù)； (2) 提供訓(xùn)練模式，即從訓(xùn)練模式集合中選出一個(gè)訓(xùn)練模式送入網(wǎng)絡(luò)； (3) 正向傳播過程，即對(duì)給定輸入模式，計(jì)算輸出模式，并將其與期望模式比較，若有誤差則執(zhí)行 (4)，否則返回 (2)，提供下一個(gè)訓(xùn)練模式； (4) 反向傳播過程，即從輸出層反向計(jì)算到第一隱含層，按以下方式逐層修正各單元的連接權(quán)值： ① 計(jì)算同一層單元的誤差 ② 按下式修正連接權(quán)值和閾值 對(duì)連接權(quán)值，修正公式為： 對(duì)閾值，可按照連接權(quán)值的學(xué)習(xí)方式進(jìn)行，只是要把閾值設(shè)想為神經(jīng)元的連接權(quán)值，并假定其輸入信號(hào)總為單位值 1即可。 反復(fù)執(zhí)行上述修正過程，直到滿足期望的輸出模式為止。 (5) 返回第 (2)步，對(duì)訓(xùn)練模式集中的每一個(gè)訓(xùn)練模式重復(fù)第 (2)到第 (3)步，直到訓(xùn)練模式集中的每一個(gè)訓(xùn)練模式都滿足期望輸出為止。 jkjkjk Otwtw ????? )()1( BP網(wǎng)絡(luò)學(xué)習(xí) 1. BP網(wǎng)絡(luò)學(xué)習(xí)算法 56 Hopfield網(wǎng)絡(luò)學(xué)習(xí) Hopfield網(wǎng)絡(luò)學(xué)習(xí)的過程實(shí)際上是一個(gè)從網(wǎng)絡(luò)初始狀態(tài)向其穩(wěn)定狀態(tài)過渡的過程。而網(wǎng)絡(luò)的穩(wěn)定性又是通過能量函數(shù)來描述的。這里主要針對(duì)離散 Hopfield網(wǎng)絡(luò)討論其能量函數(shù)和學(xué)習(xí)算法。 57 離散 Hopfield網(wǎng)絡(luò)的能量函數(shù)可定義為： 式中， n是網(wǎng)絡(luò)中的神經(jīng)元個(gè)數(shù)， wij是第 i個(gè)神經(jīng)元和第 j個(gè)神經(jīng)元之間的連接權(quán)值，且有 wij=wji； vi和 vj分別是第 i個(gè)神經(jīng)元和第 j個(gè)神經(jīng)元的輸出； θi是第 i個(gè)神經(jīng)元的閾值。 可以證明，當(dāng)一神經(jīng)元 k的狀態(tài)由“ 0”變?yōu)椤?1”時(shí)，網(wǎng)絡(luò)能量的變化為： 此時(shí)，由于神經(jīng)元 k的狀態(tài)由“ 0”變?yōu)椤?1”，因此有 即 ΔE0。 ? ? ???? ????ninijjniiijiij vvvwE1 1 121 ?)(1???????nkjjkjkj vwE ? Hopfield網(wǎng)絡(luò)學(xué)習(xí) 1. Hopfield網(wǎng)絡(luò)的能量函數(shù) (1/3) 01?????nkjjkjkj vw ?58 同理可證，若神經(jīng)元 k的狀態(tài)由“ 1”變?yōu)椤?0”時(shí)，網(wǎng)絡(luò)能量函數(shù)的變化為： 此時(shí)，由于神經(jīng)元 k的狀態(tài)由“ 1”變?yōu)椤?0”，因此有 即 ΔE0。 可見，無論神經(jīng)元的狀態(tài)由“ 0”變?yōu)椤?1”，還是由“ 1”變?yōu)椤?0”，都總有 ΔE0。它說明離散 Hopfield網(wǎng)絡(luò)在運(yùn)行中，其能量函數(shù)總是在不斷降低的，最終將趨于穩(wěn)定狀態(tài)。 ??????nkjjkjkj vwE1?01?????nkjjkjkj vw ? Hopfield網(wǎng)絡(luò)學(xué)習(xí) 1. Hopfield網(wǎng)絡(luò)的能量函數(shù) (2/3) 59 Hopfield網(wǎng)絡(luò)學(xué)習(xí) 1. Hopfield網(wǎng)絡(luò)的能量函數(shù) (3/3) 例 如圖所示的三個(gè)節(jié)點(diǎn)的 Hopfield網(wǎng)絡(luò)，若給定的初始狀態(tài)為： V0={1,0,1} 各節(jié)點(diǎn)之間的聯(lián)結(jié)權(quán)值為： w12=w21=1， w13=w31=2， w23=w32=3 各節(jié)點(diǎn)的閾值為 θ1=1， θ2=2， θ3=1 請(qǐng)計(jì)算在此狀態(tài)下的網(wǎng)絡(luò)能量。 解： E=(1/2)(w12v1v2+w13v1v3+w21v2v1+w23v2v3+w31v3v1+w32v3v2) + θ1v1+ θ2v2+ θ3v3 = (w12v1v2+w13v1v3+w23v2v3)+ θ1v1+ θ2v2+ θ3v3 =(110+(2)11+301)+(1) 1+20+11 =2 Q1 Q2 Q3 v1 v2 v3 w12 w13 w23 60 (1) 設(shè)置互連權(quán)值 其中， xis 為 S型樣例（即記憶模式）的第 i個(gè)分量，它可以為 1或 0（或 1），樣例類別數(shù)為 m，節(jié)點(diǎn)數(shù)為 n。 (2) 對(duì)未知類別的樣例初始化 其中， yi(t)為節(jié)點(diǎn) i時(shí)刻 t的輸出， yi(0)是節(jié)點(diǎn)的初值； xi為輸入樣本的第 i個(gè)分量。 (3) 迭代運(yùn)算 其中，函數(shù) f為閾值型。重復(fù)這一步驟，直到新的迭代不能再改變節(jié)點(diǎn)的輸出為止，即收斂為止。這時(shí)，各節(jié)點(diǎn)的輸出與輸入樣例達(dá)到最佳匹配。否則 (4) 轉(zhuǎn)第 (2)步繼續(xù)。 ?????????? ??njijijixxwmssjsiij,1,0,1nixiy ii ??? 1,)( njtywftyniiiji ???? ??1),)(()1(1 Hopfield網(wǎng)絡(luò)學(xué)習(xí) 1. Hopfield網(wǎng)絡(luò)學(xué)習(xí)算法 61 作 業(yè) 題 假設(shè) w1(0)=, w2(0)=, θ(0)=, η=，請(qǐng)用單層感知器完成邏輯或運(yùn)算的學(xué)習(xí)過程。 62 演講完畢，謝謝觀看！