【正文】 X= Y= T= E= X= Y= T= E= X= Y= T= E= X= Y= T= E= X= Y= T= E= 140 77 167。所有的輸入函數(shù)值循環(huán)進行計算，直至所有權(quán)值穩(wěn)定，網(wǎng)絡誤差達到預定精度算法結(jié)束。Y i + b BI(Back Impedance)算法 1． BI算法 ① 給權(quán)值賦予一個小的隨機數(shù) 。 2． Delta—Bar—Delta技術(shù) Delta—Bar—Delta方法通過觀察指數(shù)平均梯度的符號變化來控制學習速率 。 基于局部學習速率自適應調(diào)整的BP算法 1． 基于符號變換的學習速率自適應 工作步驟如下： ① 對每個權(quán)值 ， 選擇某個小初值 ?ij(0)； ②修改學習速率 ?ij(t)= ?ij(t1)? u 如果 否則 ? ? ? ? 01 ??????? tEtEijij ??? ? ? ? ? ? ????????????????? 1tEttijijijij ?????? ? ? ? ? ?1?????????? tEtt ijijijij ?????140 68 ③ 更新連接 只要保持 u?1/d，選擇合適的參數(shù)和是很容易的。 ②按下式調(diào)節(jié)兩個網(wǎng)絡的權(quán)。 )()1( twwEtw ???????? ??wEw?????????1140 64 2． 學習速率的經(jīng)驗公式法 對于批處理更新的學習速率，是基于相類似訓練模式產(chǎn)生類似梯度的假設。 BI(Back Impedance)算法 140 63 167。 140 62 167。 2． 學習算法的收斂速度很慢 ， 通常需要幾千步迭代或更多 。存在正整數(shù) N和常數(shù) Ci、θi(i=1,2,…,N)和 Wij(i=1,2,…,N?！?W(t1) 當 t時刻計算的修正量為 △ W(t)和 Memond項 △ W(t1)符號相異時能使本次的修正量 △ W(t)值變小，即能抑制振蕩，因而能加快學習過程。例如隱層 j和輸入層節(jié)點 i的連接權(quán)值 Wij和節(jié)點 j的閾值的修正為： ⑨如果全部學習樣本未取完，則返②，否則， ⑩ 計算誤差函數(shù) E， 并判斷 E是否小于規(guī)定的誤差上限 ，如果 E小于誤差上限 ， 則算法結(jié)束；否則 ， 如果學習次數(shù)到算法結(jié)束；否則更新學習次數(shù) t = t+1， 返回 ② 。0xfxfuxf ????????NKKK YTE12)(21140 50 Yi1為輸入層節(jié)點 i的輸出； Yj2為中間層節(jié)點 j的輸出； Yk3為輸出層節(jié)點 k的輸出； Tk為輸出層節(jié)點 k對應的教 師信號； Wij為節(jié)點 i和節(jié)點 j間的連 接權(quán)值； Wjk為節(jié)點 j和節(jié)點 k間的連 接權(quán)值； θj 為中間層節(jié)點 j的閾值； θk 為輸出層節(jié)點 k的閾值； 圖 一個三層的前向神經(jīng)網(wǎng)絡 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 11Y1nY21Y2nY131Y3mYθj θk 140 51 二、初始化 ①設定學習次數(shù) t=0；對網(wǎng)絡權(quán)值和閾值賦于小的隨機數(shù)， Wij(t)∈ [1,1]、 Wjk(t)∈ [1,1],θj(t)∈ [1,1], θk(t)∈ [1,1]。 BP算法收斂性定理 140 49 167。)(2 jKjKjKjKjKjKKjK n e tfYTn e tYYE ???????????????mjjmmK W1?140 47 因而對權(quán)值的修正為： iKjKNKijijKNKijij OtWWEtWtW ????????? ???????11)()()1(? ???mmjmKjKjK Wn e tf ?? )(39。 ? 梯度下降算法 ：如果移動是在誤差曲面最陡的方向進行，或梯度下降的方向，這樣下山的速度快，稱做最速梯度下降法。 ? 網(wǎng)絡學習 ：是指按照某種學習規(guī)則選取新的 W’，使得 E(W’)≤E(W)，對于誤差曲面上的點 E(W)總是向山下移動，最終移到最深的谷底（全局最?。?誤差曲面可用 (m訓練的目的希望得到的權(quán)值能產(chǎn)生最小的誤差和最好的精度。1xhxfxhxfxhxfxhxfxhxfxhxf????????????????????????????????????????????????5)(t a n h3)(t a n h2)t a n h (815)()c os h ()(t a n h2))( s i n h (t a n3)c os h ()t a n h (532)()(3t a n h1)t a n h (23)())( s i n h (t a n)c os h ()t a n h (2)()t a n h ()())( s i n h (t a n2)(5363152413211xxxxfxxxxxxfxxxfxxxxfxxfxxf???140 40 167。5439。 二、工作過程 ????????????????????????)()()(1111212312jniiijjknjjjkklnkkkllXWfYYWfYYWfY???140 35 圖 前饋型神經(jīng)網(wǎng)絡結(jié)構(gòu) ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 31Y 3mYklWjkWijW21Y2nY211Y1nY1l k j i x1 x2 xn 140 36 三、非線性單元常采用的轉(zhuǎn)移函數(shù) 1 1 x y 1 x y 0 0 圖 常用的轉(zhuǎn)移函數(shù) (a) Sigmoid函數(shù) (b) 雙曲正切函數(shù) 140 37 (0 f(x) 1) 通常增加參數(shù) α和 θ來調(diào)整函數(shù)的斜率和使其左右平移， Sigmoid函數(shù)為一單調(diào)遞增連續(xù)函數(shù)，且處處可導，其導數(shù)為： x)(ef ( x ) x ????? ? e x p1111))(e x p (11)(?? ???? xxf))(1)(()(39。 網(wǎng)絡結(jié)構(gòu)及工作過程 167。 圖 感知器結(jié)構(gòu) Y ? w1 w2 x1 x2 140 28 其中， u = W1X1+W2X2，在此特選定輸出單元為非線性函數(shù)，其輸出為： 輸入模式為： (, )、 (, )→ A 類 (,)、 (,) → B 類 教師信號為： ????BAT分類分類。 十分明顯，隱節(jié)點到輸出節(jié)點之間為“與”關(guān)系。 多層感知器網(wǎng)絡 一 、 多層感知器網(wǎng)絡 兩個隱層感知器的輸入層有 n個節(jié)點，第一隱層有n1個節(jié)點，第二隱層有 n2個節(jié)點，各層節(jié)點的輸出為： (j=1,2,…,n1) (k=1,2,…,n2) ?????nijiijj XWfY11 )( ??????1112 )(njkjjkk YWfY ??? ??????????? 21230101)()( nkkk n e tn e tn e tfYWfY　　　　　?140 19 (A) 兩個隱層的感知器 圖 多層感知器網(wǎng)絡 ? ? ?? ? ? Y3 2kY( j = 1, 2, . . . . . , n1) ( k = 1, 2, . . . , n2) ? ? ?? ? ? ? ? ?? ? ? 1jY x1 x2 ? ? ? xn 140 20 二 、 多層感知器的分類決策能力 定理 假定隱層的節(jié)點可以根據(jù)需要自由設置 ，那么用三層的閾值網(wǎng)絡可以實現(xiàn)任意的二值邏輯函數(shù) 。W(t)≧ tδ ‖W(t+1)‖2=‖W(t)‖2+2W(t)[W(t)+X(t)]=W* ① 置 t=1， 選初值 W(t)為不等于 0的值； ② 任選 k∈ {1,N}， 置 X(t)=Xk； ③ 若 W(t) (1)令 ‖Xk‖=1(即學習樣本都是單位向量 )； (2)若 Yk0， 則用 Xk代替 Xk， 因而對所有的 k， 都有Yk0(因 f是線性可分的 )； 這樣 ， 要證明上述定理只要證明以下的結(jié)論即可 。 對于上面的異或邏輯可用一個平面將其輸出類別分開 。X 即 W1=W2=1,θ= ： Y=(1) 用單層感知器可實現(xiàn)部分邏輯函數(shù) ， 如： X1∧ X2： Y=1 這里 Wi(t)為 t時刻第 i個輸入的權(quán)值 （ 1≤i≤n） ,Wn+1(t)為 t時刻的閾值 。 單層感知器 一、單層感知器網(wǎng)絡 單層感知器神經(jīng)網(wǎng)絡，輸入向量為 X=（ X1,X2,…,X m），輸出向量為 Y=(Y1,Y2,…,Y n)。 單層感知器 167。 基于算法的前饋型神經(jīng)網(wǎng)絡在識別問題中的應用 167。 誤差逆?zhèn)鞑ニ惴ǎ?BP算法） 167。140 2 167。 多層前饋型神經(jīng)網(wǎng)絡 167。 前饋型神經(jīng)網(wǎng)絡結(jié)構(gòu)設計方法 140 3 167。 感知器（ Perception） 167。 感知器用于分類問題的算例 140 5 167。 140 6 w21 wmj w22 wmn w12 w11 xm x1 x2 y1 y2 yn θ1 θ2 θn w1n w2m wmj wij w2j w1j yj θ xi x1 x2 xm 圖 單層感知器網(wǎng)絡