【正文】 ?????????? ??njijijixxwmssjsiij,1,0,1nixiy ii ??? 1,)( njtywftyniiiji ???? ??1),)(()1(1 Hopfield網(wǎng)絡(luò)學(xué)習(xí) 1. Hopfield網(wǎng)絡(luò)學(xué)習(xí)算法 61 作 業(yè) 題 假設(shè) w1(0)=, w2(0)=, θ(0)=, η=，請(qǐng)用單層感知器完成邏輯或運(yùn)算的學(xué)習(xí)過(guò)程。這時(shí)，各節(jié)點(diǎn)的輸出與輸入樣例達(dá)到最佳匹配。 (3) 迭代運(yùn)算 其中，函數(shù) f為閾值型。 解： E=(1/2)(w12v1v2+w13v1v3+w21v2v1+w23v2v3+w31v3v1+w32v3v2) + θ1v1+ θ2v2+ θ3v3 = (w12v1v2+w13v1v3+w23v2v3)+ θ1v1+ θ2v2+ θ3v3 =(110+(2)11+301)+(1) 1+20+11 =2 Q1 Q2 Q3 v1 v2 v3 w12 w13 w23 60 (1) 設(shè)置互連權(quán)值 其中， xis 為 S型樣例（即記憶模式）的第 i個(gè)分量，它可以為 1或 0（或 1），樣例類(lèi)別數(shù)為 m，節(jié)點(diǎn)數(shù)為 n。它說(shuō)明離散 Hopfield網(wǎng)絡(luò)在運(yùn)行中，其能量函數(shù)總是在不斷降低的，最終將趨于穩(wěn)定狀態(tài)。 ? ? ???? ????ninijjniiijiij vvvwE1 1 121 ?)(1???????nkjjkjkj vwE ? Hopfield網(wǎng)絡(luò)學(xué)習(xí) 1. Hopfield網(wǎng)絡(luò)的能量函數(shù) (1/3) 01?????nkjjkjkj vw ?58 同理可證，若神經(jīng)元 k的狀態(tài)由“ 1”變?yōu)椤?0”時(shí)，網(wǎng)絡(luò)能量函數(shù)的變化為： 此時(shí)，由于神經(jīng)元 k的狀態(tài)由“ 1”變?yōu)椤?0”，因此有 即 ΔE0。 57 離散 Hopfield網(wǎng)絡(luò)的能量函數(shù)可定義為： 式中， n是網(wǎng)絡(luò)中的神經(jīng)元個(gè)數(shù)， wij是第 i個(gè)神經(jīng)元和第 j個(gè)神經(jīng)元之間的連接權(quán)值，且有 wij=wji； vi和 vj分別是第 i個(gè)神經(jīng)元和第 j個(gè)神經(jīng)元的輸出； θi是第 i個(gè)神經(jīng)元的閾值。而網(wǎng)絡(luò)的穩(wěn)定性又是通過(guò)能量函數(shù)來(lái)描述的。 (5) 返回第 (2)步，對(duì)訓(xùn)練模式集中的每一個(gè)訓(xùn)練模式重復(fù)第 (2)到第 (3)步，直到訓(xùn)練模式集中的每一個(gè)訓(xùn)練模式都滿足期望輸出為止。 BP網(wǎng)絡(luò)學(xué)習(xí) 1. BP算法的傳播公式 (5/5) 55 (1) 初始化網(wǎng)絡(luò)及學(xué)習(xí)參數(shù)，將各節(jié)點(diǎn)的連接權(quán)值、閾值賦予 [1， 1]區(qū)間的一個(gè)隨機(jī)數(shù)； (2) 提供訓(xùn)練模式，即從訓(xùn)練模式集合中選出一個(gè)訓(xùn)練模式送入網(wǎng)絡(luò)； (3) 正向傳播過(guò)程，即對(duì)給定輸入模式，計(jì)算輸出模式，并將其與期望模式比較，若有誤差則執(zhí)行 (4)，否則返回 (2)，提供下一個(gè)訓(xùn)練模式； (4) 反向傳播過(guò)程，即從輸出層反向計(jì)算到第一隱含層，按以下方式逐層修正各單元的連接權(quán)值： ① 計(jì)算同一層單元的誤差 ② 按下式修正連接權(quán)值和閾值 對(duì)連接權(quán)值，修正公式為： 對(duì)閾值，可按照連接權(quán)值的學(xué)習(xí)方式進(jìn)行，只是要把閾值設(shè)想為神經(jīng)元的連接權(quán)值，并假定其輸入信號(hào)總為單位值 1即可。 )(39。???????? BP網(wǎng)絡(luò)學(xué)習(xí) 1. BP算法的傳播公式 (4/5) 54 如果節(jié)點(diǎn) k不是輸出層上的節(jié)點(diǎn)，則它是隱含層上的節(jié)點(diǎn)的，此時(shí)： 其中， 是一個(gè)隱函數(shù)求導(dǎo)問(wèn)題，略去推導(dǎo)過(guò)程，其結(jié)果為： 所以 這說(shuō)明，低層節(jié)點(diǎn)的 δ值是通過(guò)上一層節(jié)點(diǎn)的 δ值來(lái)計(jì)算的。 kkk IfIy ???jkkkjkkkkkOIfydwIfyd)()()()(39。 為了使連接權(quán)值能沿著 E的梯度變化方向逐漸改善，網(wǎng)絡(luò)逐漸收斂， BP算法按如下公式計(jì)算 Δwjk ： 其中， η為增益因子， 由下式計(jì)算： jkjkjk wtwtw ???? )()1(jkwe??wjkIIewe kkjk ??????jkjk wew????? ? BP網(wǎng)絡(luò)學(xué)習(xí) 1. BP算法的傳播公式 (2/5) 52 由于 故有 令局部梯度 故有 ?? j jjkk OwI jjjjkjkjkk OOwwwI ?????? ?kk Ie????jkjkjk Owe ??? ??????? BP網(wǎng)絡(luò)學(xué)習(xí) 1. BP算法的傳播公式 (3/5) 53 計(jì)算時(shí)，需要區(qū)分節(jié)點(diǎn) k是輸出層上的節(jié)點(diǎn)，還是隱含層上的節(jié)點(diǎn)。需要用到以下幾個(gè)符號(hào)： Oi：節(jié)點(diǎn) i的輸出； Ij：接點(diǎn) j的輸入； wij：從節(jié)點(diǎn) i到節(jié)點(diǎn) j的連接權(quán)值； θj：節(jié)點(diǎn) j的閾值； yk：輸出層上節(jié)點(diǎn) k的實(shí)際輸出； dk：輸出層上節(jié)點(diǎn) k的期望輸出。 感知器學(xué)習(xí) 2. 單層感知器學(xué)的例子 (2/4) 48 再取下一組輸入： x1(1)=1和 x2(1)=1，其期望輸出為 d(1)=1，實(shí)際輸出為： y(1)=f(w1(1) x1(1)+ w2(1) x2(1)θ(1)) =f(*1+*11)=f()=0 實(shí)際輸出與期望輸出不同，需要調(diào)節(jié)權(quán)值，其調(diào)整如下： θ(2)=θ(1)+η(d(1) y(1))*(1)=1+*(10)*(1)= w1(2)=w1(1)+η(d(1) y(1))x1(1)=+*(10)*1= w2(2)=w2(1)+η(d(1) y(1))x2(1)=+*(10)*1= 取下一組輸入： x1(2)=0和 x2(2)=0，其期望輸出為 d(2)=0，實(shí)際輸出為： y(2)=f(*0+*)=f()=0 實(shí)際輸出與期望輸出相同，不需要調(diào)節(jié)權(quán)值 . 感知器學(xué)習(xí) 2. 單層感知器學(xué)的例子 (3/4) 49 再取下一組輸入： x1(2)=0和 x2(2)=1，期望輸出為 d(2)=0，實(shí)際輸出為： y(2)=f(*0+*)=f()=1 實(shí)際輸出與期望輸出不同，需要調(diào)節(jié)權(quán)值，其調(diào)整如下： θ(3)=θ(2)+η(d(2) y(2))*(1)=+*(01)*(1)=1 w1(3)=w1(2)+η(d(2) y(2))x1(2)=+*(01)*0= w2(3)=w2(2)+η(d(2) y(2))x2(2)=+*(01)*1= 實(shí)際上，由上一章關(guān)于與運(yùn)算的閾值條件可知，此時(shí)的閾值和連接權(quán)值以滿足結(jié)束條件，算法可以結(jié)束。 算法的學(xué)習(xí)過(guò)程如下： 設(shè)兩個(gè)輸入為 x1(0)=0和 x2(0)=0，其期望輸出為 d(0)=0，實(shí)際輸出為： y(0)=f(w1(0)x1(0)+ w2(0)x2(0)θ(0)) =f(*0+*)=f()=0 實(shí)際輸出與期望輸出相同，不需要調(diào)節(jié)權(quán)值。 nittxtwfty ni ii,...,2,1))()()(()(1??? ??? nitxtytdtwtwiii ,...,2,1)()]()([)()1( ????? ? 感知器學(xué)習(xí) 1. 單層感知器學(xué)算法習(xí) (2/2) 46 例 用單層感知器實(shí)現(xiàn)邏輯“與”運(yùn)算。 如果輸入的兩類(lèi)樣本是線性可分的，則該算法就一定會(huì)收斂。 (6) 判斷是否滿足結(jié)束條件，若滿足，算法結(jié)束；否則，將 t值加 1，轉(zhuǎn) (2)重新執(zhí)行。其中， wi(0)是第 0次迭代時(shí)輸入向量中第 i個(gè)輸入的連接權(quán)值； θ(0)是第 0次迭代時(shí)輸出節(jié)點(diǎn)的閾值； (2) 提供新的樣本輸入 xi(t)(i=1, 2, … , n) 和期望輸出 d(t)； (3) 計(jì)算網(wǎng)絡(luò)的實(shí)際輸出： (4) 若 y(t)=1，不需要調(diào)整連接權(quán)值，轉(zhuǎn) (6)。 感知器學(xué)習(xí) 1. 單層感知器學(xué)算法習(xí) (1/2) 45 單層感知器學(xué)習(xí)算法描述： (1) 設(shè) t=0，初始化連接權(quán)和閾值。 其功能函數(shù)的定義為：對(duì)屬于 A類(lèi)輸入樣本 ， 其功能函數(shù)的輸出為 +1， 否則其輸出為 1。 單層感知器學(xué)習(xí)是一種有導(dǎo)師學(xué)習(xí) ， 它需要給出輸入樣本的期望輸出 。 假設(shè) X(k)和 W(k)分別表示學(xué)習(xí)算法在第 k次迭代時(shí)輸入向量和權(quán)值向量 ，為方便 ， 把閾值 θ作為權(quán)值向量 W(k)中的第一個(gè)分量 ， 對(duì)應(yīng)地把 “ 1” 固定地作為輸入向量 X(k)中的第一個(gè)分量 。他不僅可以接受能量函數(shù)減少（性能得到改善）的變化，而且還可以以某種概率分布接受使能量函數(shù)增大（性能變差）的變化。dj(t)為神經(jīng)元 j的希望輸出； dj(t)yj(t)表示神經(jīng)元 j的輸出誤差； xi(t)為第 i個(gè)神