【正文】 規(guī)則表明 ， 當(dāng) dj是 xi的期望輸出時(shí) ， 相應(yīng)的權(quán)值增量Δwij與兩者的乘積 djxi成正比 。 () jrd?() jjd???WX() ij j iw d x??? 0 , 1 ,in? … ， 如果 Hebbian學(xué)習(xí)規(guī)則中的轉(zhuǎn)移函數(shù)為二進(jìn)制函數(shù) ， 且有oj=dj， 則相關(guān)學(xué)習(xí)規(guī)則可看做 Hebbian規(guī)則的一種特殊情況 。應(yīng)當(dāng)注意的是 ， Hebbian學(xué)習(xí)規(guī)則是無導(dǎo)師學(xué)習(xí) ， 而相關(guān)學(xué)習(xí)規(guī)則是有導(dǎo)師學(xué)習(xí) 。 這種學(xué)習(xí)規(guī)則要求將權(quán)值初始化為零 。 WinnerTakeAll(勝者為王 )學(xué)習(xí)規(guī)則 WinnerTakeAll學(xué)習(xí)規(guī)則是一種競爭學(xué)習(xí)規(guī)則，用于無導(dǎo)師學(xué)習(xí)。一般將網(wǎng)絡(luò)的某一層確定為競爭層，對于一個(gè)特定的輸入 X，競爭層的所有 p個(gè)神經(jīng)元均有輸出響應(yīng)，其中響應(yīng)值最大的神經(jīng)元為在競爭中獲勝的神經(jīng)元，即 只有獲勝神經(jīng)元才有權(quán)調(diào)整其權(quán)向量 Wm， 調(diào)整量為 式中， α∈ (0, 1]，是學(xué)習(xí)常數(shù)，一般其值隨著學(xué)習(xí)的進(jìn)展而減小。由于兩個(gè)向量的點(diǎn)積越大，表明兩者越近似，所以調(diào)整獲勝神經(jīng)元權(quán)值的結(jié)果是使 Wm進(jìn)一步接近當(dāng)前輸入 X。顯然，當(dāng)下次出現(xiàn)與 X相像的輸入模式時(shí)，上次獲勝的神經(jīng)元更容易獲勝。在反復(fù)的競爭學(xué)習(xí)過程中，競爭層的各神經(jīng)元所對應(yīng)的權(quán)向量被逐漸調(diào)整為輸入樣本空間的聚類中心。 在有些應(yīng)用中，以獲勝神經(jīng)元為中心定義一個(gè)獲勝鄰域．除獲勝神經(jīng)元調(diào)整權(quán)值外，鄰城內(nèi)的其他神經(jīng)元也程度不同地調(diào)整權(quán)值。權(quán)值一般被初始化為任意值并進(jìn)行歸一化處理。 () 1 , 2 ,m a x ( )TTmiip??W X W X… ,() ()mm?? ? ?W X Wj* Outstar(外星 )學(xué)習(xí)規(guī)則 神經(jīng)網(wǎng)絡(luò)中有兩類常見節(jié)點(diǎn)，分別稱為內(nèi)星節(jié)點(diǎn)和外星節(jié)點(diǎn)，其特點(diǎn)見圖 。 圖 (a)中的內(nèi)星節(jié)點(diǎn)總是接受來自四面八方的輸入加權(quán)信號，因此是信號的匯聚點(diǎn)，對應(yīng)的權(quán)值向量稱為內(nèi)星權(quán)向量，圖 (b)中的外星節(jié)點(diǎn)總是向四面八方發(fā)出輸出加權(quán)信號，因此是信號的發(fā)散點(diǎn)，對應(yīng)的權(quán)值向量稱為外星權(quán)向量。 Outstar(外星 )學(xué)習(xí)規(guī)則 下面介紹外星學(xué)習(xí)規(guī)則。 外星學(xué)習(xí)規(guī)則屬于有導(dǎo)師學(xué)習(xí) ， 其目的是為了生成一個(gè)期望的維輸出向量 ， 設(shè)對應(yīng)的外星權(quán)向量用表示 ， 學(xué)習(xí)規(guī)則如下 式中，的規(guī)定與作用與式（ ）的相向。 正像式（ ）給出的內(nèi)星學(xué)習(xí)規(guī)則使節(jié)點(diǎn)對應(yīng)的內(nèi)星權(quán)向量向輸入向量靠近一樣，式（ ）給出的外星學(xué)習(xí)規(guī)則使節(jié)點(diǎn)對應(yīng)的外星權(quán)向量向期望輸出向量靠近。 () ()jjd?? ? ?WW() ()mm?? ? ?W X W以上集中介紹了神經(jīng)網(wǎng)絡(luò)中幾種常用的學(xué)習(xí)規(guī)則，有些規(guī)則之間有著內(nèi)在聯(lián)系，讀者可通過比較體會其異同。對上述各種學(xué)習(xí)規(guī)則的對比總結(jié)列于表 。 本章小結(jié) 本章重點(diǎn)介紹了生物神經(jīng)元的結(jié)構(gòu)及其信息處理機(jī)制、人工神經(jīng)元數(shù)理模型、常見的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)以及學(xué)習(xí)規(guī)則。其中， 神經(jīng)元的數(shù)學(xué)模型、神經(jīng)網(wǎng)絡(luò)的連接方式以及神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式是決定神經(jīng)網(wǎng)絡(luò)信息處理性能的三大要素 ，因而是本章學(xué)習(xí)的重點(diǎn)。 (1)生物神經(jīng)元的信息處理 (2)神經(jīng)元模型 (3)神經(jīng)網(wǎng)絡(luò)模型 (4)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí) 作業(yè) 人工神經(jīng)元模型是如何體現(xiàn)生物神經(jīng)元的結(jié)構(gòu)和信息處理機(jī)制的 ? 若權(quán)值只能按 1或 1變化，對神經(jīng)元的學(xué)習(xí)有何影響？試舉例說明。 補(bǔ)充題： 請給出典型的人工神經(jīng)元模型結(jié)構(gòu)并加以說明。 舉例說明什么是有導(dǎo)師學(xué)習(xí)和無導(dǎo)師學(xué)習(xí)？ 雙輸入單輸出神經(jīng)網(wǎng)絡(luò)，初始權(quán)向量 W(0)=[1， 1]T，學(xué)習(xí)率 η=1， 4個(gè)輸入向量為 X1=[1， 2]T， X2=[0， 1]T， X3=[2， 3]T，X4=[1， 1]T，若采用 Hebb學(xué)習(xí)規(guī)則，對以下兩種情況求第四步訓(xùn)練后的權(quán)向量 W(4)=[?， ?]T： (1)神經(jīng)元采用離散型轉(zhuǎn)移函數(shù) f()=sgn()； (2)神經(jīng)元采用雙極性連續(xù)型轉(zhuǎn)移函數(shù) f()=(1e)/(1+e)。 作業(yè) 某神經(jīng)網(wǎng)絡(luò)的轉(zhuǎn)移函數(shù)為符號函數(shù) f()=sgn()，學(xué)習(xí)率 η=1，初始權(quán)向量 W(0)=[0, 1, 0]T， 兩對輸入樣本為 X1=[2, 1, 1]T， d1=1； X2=[0, 1, 1]T， d2=1。 試用感知器學(xué)習(xí)規(guī)則對以上樣本進(jìn)行反復(fù)訓(xùn)練，直到網(wǎng)絡(luò)輸出誤差為零，寫出每一訓(xùn)練步的凈輸入 (t)。 某神經(jīng)網(wǎng)絡(luò)采用雙極性 Sigmoid函數(shù)，學(xué)習(xí)率 η=，初始權(quán)向量 W(0)=[1, 0, 1]T，兩對輸入樣本為 X1=[2, 0, 1]T， d1=1； X2=[1, 2, 1]T， d2=1。 試用 δ學(xué)習(xí)規(guī)則進(jìn)行訓(xùn)練，并寫出前兩步訓(xùn)練結(jié)果。 提示：雙極性 Sigmoid函數(shù)的導(dǎo)數(shù)為 f’()=1/2*(1o2) f’()=1/2*[1f()2] f’(x)=1/2*[1f(x)2] f()=(1e)/(1+e) 作業(yè) 雙輸入單輸出神經(jīng)網(wǎng)絡(luò)，初始權(quán)向量 W(0)=[1， 1]T，學(xué)習(xí)率 η=1， 4個(gè)輸入向量為 X1=[1， 2]T， X2=[0， 1]T， X3=[2， 3]T， X4=[1， 1]T，若采用Hebb學(xué)習(xí)規(guī)則，對以下兩種情況求第四步訓(xùn)練后的權(quán)向量 W(4)=[?， ?]T： (1)神經(jīng)元采用離散型轉(zhuǎn)移函數(shù) f()=sgn()； (2)神經(jīng)元采用雙極性連續(xù)型轉(zhuǎn)移函數(shù) f()=(1e)/(1+e)。 解：設(shè)傳遞函數(shù)為 離散型轉(zhuǎn)移函數(shù) f()=sgn()， (1)輸入第一個(gè)樣本 X1 ，計(jì)算凈輸入 1，并調(diào)整權(quán)向量 W(1)， 1 = W(0)TX1 = [1, 1][1, 2]T = 3； W(1) = W(0)+ηsgn(1)X1 = [1, 1]T+[1, 2]T = [2, 3]T (2)輸入第二個(gè)樣本 X2，計(jì)算凈輸入 2，并調(diào)整權(quán)向量 W(2)， 2 = W(1)TX2 = [2, 3][0, 1]T = 3； W(2) = W(1)+ηsgn(2)X2 = [2, 3]T[0, 1]T = [2, 4]T (3)輸入第三個(gè)樣本 X3，計(jì)算凈輸入 3，并調(diào)整權(quán)向量 W(3)， 3 = W(2)TX3 = [2, 4][2, 3]T = 8； W(3) = W(2)+ηsgn(3)X3 = [2, 4]T[2, 3]T = [0, 7]T (4)輸入第四個(gè)樣本 X4，計(jì)算凈輸入 4，并調(diào)整權(quán)向量 W(4)， 4 = W(3)TX4 = [0, 7][1, 1]T = 7； W(4) = W(3)+ηsgn(4)X4 = [0, 7]T[1, 1]T = [1, 8]T 作業(yè) 雙輸入單輸出神經(jīng)網(wǎng)絡(luò)，初始權(quán)向量 W(0)=[1， 1]T，學(xué)習(xí)率 η=1， 4個(gè)輸入向量為 X1=[1， 2]T， X2=[0， 1]T， X3=[2， 3]T， X4=[1， 1]T，若采用Hebb學(xué)習(xí)規(guī)則，對以下兩種情況求第四步訓(xùn)練后的權(quán)向量 W(4)=[?， ?]T： (1)神經(jīng)元采用離散型轉(zhuǎn)移函數(shù) f()=sgn()； (2)神經(jīng)元采用雙極性連續(xù)型轉(zhuǎn)移函數(shù) f()=(1e)/(1+e)。 解：設(shè)傳遞函數(shù)為雙極性連續(xù)函數(shù) f() = (1e)/(1+e)， (1)輸入第一個(gè)樣本 X1 ，計(jì)算凈輸入 1，并調(diào)整權(quán)向量 W(1)， 1 = W(0)TX1 = [1, 1][1, 2]T = 3； ………………… 小組討論“ Delta學(xué)習(xí)規(guī)則” 某神經(jīng)網(wǎng)絡(luò)采用雙極性 Sigmoid函數(shù)，學(xué)習(xí)率 η=，初始權(quán)向量W(0)=[1, 0, 1]T，兩對輸入樣本為 X1=[2, 0, 1]T， d1=1； X2=[1, 2, 1]T， d2=1。 試用 δ學(xué)習(xí)規(guī)則進(jìn)行訓(xùn)練，并寫出前兩步訓(xùn)練結(jié)果。 提示：雙極性 Sigmoid函數(shù)的導(dǎo)數(shù)為 f’()=1/2*(1o2) f’()=1/2*[1f()2] f’(x)=1/2*[1f(x)2] f()=(1e)/(1+e) 小組討論“ Delta學(xué)習(xí)規(guī)則” 某神經(jīng)網(wǎng)絡(luò)采用雙極性 Sigmoid函數(shù)，學(xué)習(xí)率 η=，初始權(quán)向量W(0)=[1, 0, 1]T，兩對輸入樣本為 X1=[2, 0, 1]T， d1=1； X2=[1, 2, 1]T， d2=1。 試用 δ學(xué)習(xí)規(guī)則進(jìn)行訓(xùn)練，并寫出前兩步訓(xùn)練結(jié)果。 提示：雙極性 Sigmoid函數(shù)的導(dǎo)數(shù)為 f’()=1/2*(1o2) 解 :（ 1）輸入樣本 X1，計(jì)算凈輸入 1及輸出 o1，利用 δ學(xué)習(xí)規(guī)則計(jì)算出權(quán)值調(diào)整量及權(quán)向量 W(1)。 ? ? 1102101XW ( 0 )n e t 1T1 ?????????????? e1e1)f (n e to11n e tn e t11 ??????? 9])(o[121)(n e tf 21139。 ?????????????????????????????????????????0102**)(*1011139。11 )X( n e t)fo(dW ( 0 )W ( 1 ) ?小組討論“ Delta學(xué)習(xí)規(guī)則” 某神經(jīng)網(wǎng)絡(luò)采用雙極性 Sigmoid函數(shù)，學(xué)習(xí)率 η=，初始權(quán)向量W(0)=[1, 0, 1]T，兩對輸入樣本為 X1=[2, 0, 1]T， d1=1； X2=[1, 2, 1]T， d2=1。 試用 δ學(xué)習(xí)規(guī)則進(jìn)行訓(xùn)練，并寫出前兩步訓(xùn)練結(jié)果。 提示：雙極性 Sigmoid函數(shù)的導(dǎo)數(shù)為 f’()=1/2*(1o2) 解 (續(xù) ): （ 2）輸入樣本 X2，計(jì)算凈輸入 2及輸出 o2，利用 δ學(xué)習(xí)規(guī)則計(jì)算出權(quán)值調(diào)整量及權(quán)向量 W(2)。 ? ? 0 .4 31211 .1 400 .7 1XW ( 1 )n e t 2T2 ??????????????? 1e1e1)f (n e to22n e tn e t22 ???????])(o[121)(n e tf 22239。 ???????????????????????????????????????????121**))(1(*02239。22 )X( n e t)fo(dW ( 1 )W ( 2 ) ?? ? )( (t )(t )dX (t ),(t ),Wηr(t )W jjj ??( t )ΔW( t )W1)(tW jjj ???