【正文】 神經(jīng)元的輸入 )()]()([)()1( txtytdtwtw ijjijij ???? ? 神經(jīng)學習的概念 2. 神經(jīng)學習規(guī)則 (2/3) 43 神經(jīng)學習的概念 2. 神經(jīng)學習規(guī)則 (3/3) (3) 競爭學習 基本思想：網(wǎng)絡中某一組神經(jīng)元相互競爭對外界刺激模式響應的權力，在競爭中獲勝的神經(jīng)元，其連接權會向著對這一刺激模式競爭更為有利的方向發(fā)展。 假設 X(k)和 W(k)分別表示學習算法在第 k次迭代時輸入向量和權值向量 ，為方便 ， 把閾值 θ作為權值向量 W(k)中的第一個分量 ， 對應地把 “ 1” 固定地作為輸入向量 X(k)中的第一個分量 。 其功能函數(shù)的定義為：對屬于 A類輸入樣本 ， 其功能函數(shù)的輸出為 +1， 否則其輸出為 1。其中， wi(0)是第 0次迭代時輸入向量中第 i個輸入的連接權值； θ(0)是第 0次迭代時輸出節(jié)點的閾值； (2) 提供新的樣本輸入 xi(t)(i=1, 2, … , n) 和期望輸出 d(t)； (3) 計算網(wǎng)絡的實際輸出： (4) 若 y(t)=1，不需要調(diào)整連接權值，轉(zhuǎn) (6)。 如果輸入的兩類樣本是線性可分的，則該算法就一定會收斂。 算法的學習過程如下： 設兩個輸入為 x1(0)=0和 x2(0)=0，其期望輸出為 d(0)=0，實際輸出為： y(0)=f(w1(0)x1(0)+ w2(0)x2(0)θ(0)) =f(*0+*)=f()=0 實際輸出與期望輸出相同，不需要調(diào)節(jié)權值。需要用到以下幾個符號： Oi：節(jié)點 i的輸出； Ij：接點 j的輸入； wij：從節(jié)點 i到節(jié)點 j的連接權值； θj：節(jié)點 j的閾值； yk：輸出層上節(jié)點 k的實際輸出； dk：輸出層上節(jié)點 k的期望輸出。 kkk IfIy ???jkkkjkkkkkOIfydwIfyd)()()()(39。 )(39。 (5) 返回第 (2)步，對訓練模式集中的每一個訓練模式重復第 (2)到第 (3)步，直到訓練模式集中的每一個訓練模式都滿足期望輸出為止。 57 離散 Hopfield網(wǎng)絡的能量函數(shù)可定義為： 式中， n是網(wǎng)絡中的神經(jīng)元個數(shù)， wij是第 i個神經(jīng)元和第 j個神經(jīng)元之間的連接權值，且有 wij=wji； vi和 vj分別是第 i個神經(jīng)元和第 j個神經(jīng)元的輸出； θi是第 i個神經(jīng)元的閾值。它說明離散 Hopfield網(wǎng)絡在運行中，其能量函數(shù)總是在不斷降低的，最終將趨于穩(wěn)定狀態(tài)。 (3) 迭代運算 其中，函數(shù) f為閾值型。 ?????????? ??njijijixxwmssjsiij,1,0,1nixiy ii ??? 1,)( njtywftyniiiji ???? ??1),)(()1(1 Hopfield網(wǎng)絡學習 1. Hopfield網(wǎng)絡學習算法 61 作 業(yè) 題 假設 w1(0)=, w2(0)=, θ(0)=, η=，請用單層感知器完成邏輯或運算的學習過程。這時，各節(jié)點的輸出與輸入樣例達到最佳匹配。 解： E=(1/2)(w12v1v2+w13v1v3+w21v2v1+w23v2v3+w31v3v1+w32v3v2) + θ1v1+ θ2v2+ θ3v3 = (w12v1v2+w13v1v3+w23v2v3)+ θ1v1+ θ2v2+ θ3v3 =(110+(2)11+301)+(1) 1+20+11 =2 Q1 Q2 Q3 v1 v2 v3 w12 w13 w23 60 (1) 設置互連權值 其中， xis 為 S型樣例（即記憶模式）的第 i個分量，它可以為 1或 0（或 1），樣例類別數(shù)為 m，節(jié)點數(shù)為 n。 ? ? ???? ????ninijjniiijiij vvvwE1 1 121 ?)(1???????nkjjkjkj vwE ? Hopfield網(wǎng)絡學習 1. Hopfield網(wǎng)絡的能量函數(shù) (1/3) 01?????nkjjkjkj vw ?58 同理可證，若神經(jīng)元 k的狀態(tài)由“ 1”變?yōu)椤?0”時，網(wǎng)絡能量函數(shù)的變化為： 此時，由于神經(jīng)元 k的狀態(tài)由“ 1”變?yōu)椤?0”，因此有 即 ΔE0。而網(wǎng)絡的穩(wěn)定性又是通過能量函數(shù)來描述的。 BP網(wǎng)絡學習 1. BP算法的傳播公式 (5/5) 55 (1) 初始化網(wǎng)絡及學習參數(shù)，將各節(jié)點的連接權值、閾值賦予 [1， 1]區(qū)間的一個隨機數(shù)； (2) 提供訓練模式，即從訓練模式集合中選出一個訓練模式送入網(wǎng)絡； (3) 正向傳播過程，即對給定輸入模式，計算輸出模式，并將其與期望模式比較，若有誤差則執(zhí)行 (4)，否則返回 (2)，提供下一個訓練模式； (4) 反向傳播過程，即從輸出層反向計算到第一隱含層，按以下方式逐層修正各單元的連接權值： ① 計算同一層單元的誤差 ② 按下式修正連接權值和閾值 對連接權值，修正公式為： 對閾值，可按照連接權值的學習方式進行，只是要把閾值設想為神經(jīng)元的連接權值，并假定其輸入信號總為單位值 1即可。???????? BP網(wǎng)絡學習 1. BP算法的傳播公式 (4/5) 54 如果節(jié)點 k不是輸出層上的節(jié)點，則它是隱含層上的節(jié)點的，此時： 其中， 是一個隱函數(shù)求導問題，略去推導過程，其結(jié)果為： 所以 這說明，低層節(jié)點的 δ值是通過上一層節(jié)點的 δ值來計算的。 為了使連接權值能沿著 E的梯度變化方向逐漸改善，網(wǎng)絡逐漸收斂， BP算法按如下公式計算 Δwjk ： 其中， η為增益因子， 由下式計算： jkjkjk wtwtw ???? )()1(jkwe??wjkIIewe kkjk ??????jkjk wew????? ? BP網(wǎng)絡學習 1. BP算法的傳播公式 (2/5) 52 由于 故有 令局部梯度 故有 ?? j jjkk OwI jjjjkjkjkk OOwwwI ?????? ?kk Ie????jkjkjk Owe ??? ??????? BP網(wǎng)絡學習 1. BP算法的傳播公式 (3/5) 53 計算時，需要區(qū)分節(jié)點 k是輸出層上的節(jié)點，還是隱含層上的節(jié)點。 感知器學習 2. 單層感知器學的例子 (2/4) 48 再取下一組輸入： x1(1)=1和 x2(1)=1，其期望輸出為 d(1)=1，實際輸出為： y(1)=f(w1(1) x1(1)+ w2(1) x2(1)θ(1)) =f(*1+*11)=f()=0 實際輸出與期望輸出不同，需要調(diào)節(jié)權值，其調(diào)整如下： θ(2)=θ(1)+η(d(1) y(1))*(1)=1+*(10)*(1)= w1(2)=w1(1)+η(d(1) y(1))x1(1)=+*(10)*1= w2(2)=w2(1)+η(d(1) y(1))x2(1)=+*(10)*1= 取下一組輸入： x1(2)=0和 x2(2)=0，其期望輸出為 d(2)=0，實際輸出為： y(2)=f(*0+*)=f()=0 實際輸出與期望輸出相同，不需要調(diào)節(jié)權值 . 感知器學習 2. 單層感知器學的例子 (3/4) 49 再取下一組輸入： x1(2)=0和 x2(2)=1，期望輸出為 d(2)=0，實際輸出為： y(2)=f(*0+*)=f()=1 實際輸出與期望輸出不同，需要調(diào)節(jié)權值，其調(diào)整如下： θ(3)=θ(2)+η(d(2) y(2))*(1)=+*(01)*(1)=1 w1(3)=w1(2)+η(d(2) y(2))x1(2)=+*(01)*0= w2(3)=w2(2)+η(d(2) y(2))x2(2)=+*(01)*1= 實際上，由上一章關于與運算的閾值條件可知，此時的閾值和連接權值以滿足結(jié)束條件，算法可以結(jié)束。 nittxtwfty ni ii,...,2,1))()()(()(1??? ??? nitxtytdtwtwiii ,...,2,1)()]()([)()1( ????? ? 感知器學習 1. 單層感知器學算法習 (2/2) 46 例 用單層感知器實現(xiàn)邏輯“與”運算。 (6) 判斷是否滿足結(jié)束條件，若滿足，算法結(jié)束；否則，將 t值加 1，轉(zhuǎn) (2)重新執(zhí)行。 感知器學習 1. 單層感知器學算法習 (1/2) 45