【正文】 ()()1(如果如果取 C=1（不失一般性，可分入樣本中） xk中 k為 N個(gè)訓(xùn)練樣本在多次反復(fù)迭代中的累積編號(hào)。 yeexf xx???? ??反向傳播算法 ?? i ijij Own e t? 設(shè)權(quán)值的隨機(jī)初始值 (較小的隨機(jī)數(shù) ) ? 反復(fù)執(zhí)行如下操作 (依次輸入如下樣本 )，直到收斂 ? 從前向后逐層計(jì)算每個(gè)單元的 Oj， ??? i ijijj Owfne tfO )()(? 計(jì)算每個(gè)輸出單元的局部梯度 σj )1()()(39。 ? 由輸入層和競(jìng)爭層構(gòu)成的兩層網(wǎng)絡(luò) 。使各權(quán)向量滿足： 當(dāng)樣本為歸一化樣本，學(xué)習(xí)可按如下算法進(jìn)行： ijjij xn e tyw )( ??? ?討論： ? 網(wǎng)絡(luò)不可能收斂到修正量趨向于零的狀態(tài)，采用強(qiáng)制收斂方法，在學(xué)習(xí)過程中將步長參數(shù) η緩慢減小至零。分兩個(gè)階段： ? 正向過程：從輸入層經(jīng)隱層逐層正向計(jì)算各單元的輸出 ? 反向過程：由輸出層誤差逐層反向計(jì)算隱層各單元的誤差，并用此誤差修正前層的權(quán)值 ? 用已知類別的特征向量為訓(xùn)練集，當(dāng)輸入屬于第 j類的特征向量時(shí)，應(yīng)使輸出 yj=1，其他輸出為 1；設(shè)期望的輸出為： Y=[y1,y2,…, yn]T，實(shí)際輸出為： TnyyyY ],.. .,[ 21 ???? ?某一層第 j個(gè)計(jì)算單元： ? i：前一層的第 i個(gè)計(jì)算單元 ? k：后一層的第 k個(gè)計(jì)算單元 ? Oj：本層的第 j個(gè)計(jì)算單元的輸出 ? wij：前一層第 i個(gè)單元到本層第 j個(gè)單元的權(quán)值 正向過程： 輸入某樣本時(shí)，從前到后對(duì)每個(gè)神經(jīng)元計(jì)算： ??iijij Own e t2)(11 ? ????jjj yyNE對(duì)輸出層， 是實(shí)際輸出值， yj是期望輸出值，誤差為： 定義局部梯度： jj ne tE????計(jì)算權(quán)值對(duì)誤差的影響： ijijjjijOwne tne tEwE ?????? ???? ?jj Oy ??利用梯度下降原理 為使誤差盡快減小，令修正量為： Δwij=ησjOi wij(t+1)=wij(t)+ Δwij(t) t為迭代次數(shù) j jOy??若單元 j為輸出單元： )(39。 ?輸入訓(xùn)練模式 xk，計(jì)算判別函數(shù)值 wT(k)xk ?調(diào)整增廣權(quán)矢量，規(guī)則是： 如果 wT(k)xk≤0, 則 w(k+1)=w(k)+ Cxk 如果 wT(k)xk0, 則 w(k+1)=w(k) ?如果 kN，令 k=k+1，返至第二步。 ?動(dòng)態(tài)極化原則：在每一個(gè)神經(jīng)元中，信息以預(yù)知的確定方向流動(dòng)，即從神經(jīng)元的接收信息部分傳到軸突的電脈沖起始部分，再傳到軸突終端的突觸，以與其它神經(jīng)元通信。 ? 1949年，提出神經(jīng)元的學(xué)習(xí)準(zhǔn)則，為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法奠定了基礎(chǔ)。 感知器是一個(gè)具有單層計(jì)算單元的人工神經(jīng)網(wǎng)絡(luò)。 感知器算法在多類問題中的應(yīng)用 多類問題分類途徑 只考慮第三種情況： 如果 di(x) dj(x) 任意 j≠ i ， 則判 x∈ ωi (1)賦初值，分別給 c個(gè)權(quán)矢量 wi(1)（ i=1,2,… c） 賦任意的初值，選擇正常數(shù) ρ ， 置步數(shù) k=1. (2)輸入符號(hào)未規(guī)范化的增廣訓(xùn)練模式 xk, xk∈{ x1, x2… xN} ,計(jì)算 c個(gè)判別函數(shù)： di(xk) =wi’(k) xk(i=1,2,… c) (3)調(diào)整增廣權(quán)矢量，規(guī)則是： ? 如果 xk∈ ωi和 di(xk) dj(xk) (任意 j ≠ i)，則： wi(k+1)=wi(k) (i=1,2,… c) 算法步驟： ?如果 xk∈ ωi和 dl(xk) ≥ di(xk) (l≠ i)則： wi(k+1)=wi(k)+ρxk wl(k+1)=wl(k)ρxk wj(k+1)=wi(k)(任意 j ≠ l, i) (4)如果 kN,令 k=k+1,返至 (2)。)( jjjjj