【正文】 ???????????????????????????????????????????121**))(1(*02239。 提示：雙極性 Sigmoid函數(shù)的導(dǎo)數(shù)為 f’()=1/2*(1o2) 解 (續(xù) ): （ 2）輸入樣本 X2，計(jì)算凈輸入 2及輸出 o2，利用 δ學(xué)習(xí)規(guī)則計(jì)算出權(quán)值調(diào)整量及權(quán)向量 W(2)。11 )X( n e t)fo(dW ( 0 )W ( 1 ) ?小組討論“ Delta學(xué)習(xí)規(guī)則” 某神經(jīng)網(wǎng)絡(luò)采用雙極性 Sigmoid函數(shù)，學(xué)習(xí)率 η=，初始權(quán)向量W(0)=[1, 0, 1]T，兩對(duì)輸入樣本為 X1=[2, 0, 1]T， d1=1； X2=[1, 2, 1]T， d2=1。 ? ? 1102101XW ( 0 )n e t 1T1 ?????????????? e1e1)f (n e to11n e tn e t11 ??????? 9])(o[121)(n e tf 21139。 試用 δ學(xué)習(xí)規(guī)則進(jìn)行訓(xùn)練，并寫出前兩步訓(xùn)練結(jié)果。 試用 δ學(xué)習(xí)規(guī)則進(jìn)行訓(xùn)練，并寫出前兩步訓(xùn)練結(jié)果。 解：設(shè)傳遞函數(shù)為 離散型轉(zhuǎn)移函數(shù) f()=sgn()， (1)輸入第一個(gè)樣本 X1 ，計(jì)算凈輸入 1，并調(diào)整權(quán)向量 W(1)， 1 = W(0)TX1 = [1, 1][1, 2]T = 3； W(1) = W(0)+ηsgn(1)X1 = [1, 1]T+[1, 2]T = [2, 3]T (2)輸入第二個(gè)樣本 X2，計(jì)算凈輸入 2，并調(diào)整權(quán)向量 W(2)， 2 = W(1)TX2 = [2, 3][0, 1]T = 3； W(2) = W(1)+ηsgn(2)X2 = [2, 3]T[0, 1]T = [2, 4]T (3)輸入第三個(gè)樣本 X3，計(jì)算凈輸入 3，并調(diào)整權(quán)向量 W(3)， 3 = W(2)TX3 = [2, 4][2, 3]T = 8； W(3) = W(2)+ηsgn(3)X3 = [2, 4]T[2, 3]T = [0, 7]T (4)輸入第四個(gè)樣本 X4，計(jì)算凈輸入 4，并調(diào)整權(quán)向量 W(4)， 4 = W(3)TX4 = [0, 7][1, 1]T = 7； W(4) = W(3)+ηsgn(4)X4 = [0, 7]T[1, 1]T = [1, 8]T 作業(yè) 雙輸入單輸出神經(jīng)網(wǎng)絡(luò)，初始權(quán)向量 W(0)=[1， 1]T，學(xué)習(xí)率 η=1， 4個(gè)輸入向量為 X1=[1， 2]T， X2=[0， 1]T， X3=[2， 3]T， X4=[1， 1]T，若采用Hebb學(xué)習(xí)規(guī)則，對(duì)以下兩種情況求第四步訓(xùn)練后的權(quán)向量 W(4)=[?， ?]T： (1)神經(jīng)元采用離散型轉(zhuǎn)移函數(shù) f()=sgn()； (2)神經(jīng)元采用雙極性連續(xù)型轉(zhuǎn)移函數(shù) f()=(1e)/(1+e)。 試用 δ學(xué)習(xí)規(guī)則進(jìn)行訓(xùn)練，并寫出前兩步訓(xùn)練結(jié)果。 試用感知器學(xué)習(xí)規(guī)則對(duì)以上樣本進(jìn)行反復(fù)訓(xùn)練，直到網(wǎng)絡(luò)輸出誤差為零，寫出每一訓(xùn)練步的凈輸入 (t)。 舉例說明什么是有導(dǎo)師學(xué)習(xí)和無導(dǎo)師學(xué)習(xí)？ 雙輸入單輸出神經(jīng)網(wǎng)絡(luò)，初始權(quán)向量 W(0)=[1， 1]T，學(xué)習(xí)率 η=1， 4個(gè)輸入向量為 X1=[1， 2]T， X2=[0， 1]T， X3=[2， 3]T，X4=[1， 1]T，若采用 Hebb學(xué)習(xí)規(guī)則，對(duì)以下兩種情況求第四步訓(xùn)練后的權(quán)向量 W(4)=[?， ?]T： (1)神經(jīng)元采用離散型轉(zhuǎn)移函數(shù) f()=sgn()； (2)神經(jīng)元采用雙極性連續(xù)型轉(zhuǎn)移函數(shù) f()=(1e)/(1+e)。 (1)生物神經(jīng)元的信息處理 (2)神經(jīng)元模型 (3)神經(jīng)網(wǎng)絡(luò)模型 (4)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí) 作業(yè) 人工神經(jīng)元模型是如何體現(xiàn)生物神經(jīng)元的結(jié)構(gòu)和信息處理機(jī)制的 ? 若權(quán)值只能按 1或 1變化，對(duì)神經(jīng)元的學(xué)習(xí)有何影響？試舉例說明。 本章小結(jié) 本章重點(diǎn)介紹了生物神經(jīng)元的結(jié)構(gòu)及其信息處理機(jī)制、人工神經(jīng)元數(shù)理模型、常見的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)以及學(xué)習(xí)規(guī)則。 () ()jjd?? ? ?WW() ()mm?? ? ?W X W以上集中介紹了神經(jīng)網(wǎng)絡(luò)中幾種常用的學(xué)習(xí)規(guī)則，有些規(guī)則之間有著內(nèi)在聯(lián)系，讀者可通過比較體會(huì)其異同。 外星學(xué)習(xí)規(guī)則屬于有導(dǎo)師學(xué)習(xí) ， 其目的是為了生成一個(gè)期望的維輸出向量 ， 設(shè)對(duì)應(yīng)的外星權(quán)向量用表示 ， 學(xué)習(xí)規(guī)則如下 式中，的規(guī)定與作用與式（ ）的相向。 圖 (a)中的內(nèi)星節(jié)點(diǎn)總是接受來自四面八方的輸入加權(quán)信號(hào)，因此是信號(hào)的匯聚點(diǎn)，對(duì)應(yīng)的權(quán)值向量稱為內(nèi)星權(quán)向量，圖 (b)中的外星節(jié)點(diǎn)總是向四面八方發(fā)出輸出加權(quán)信號(hào)，因此是信號(hào)的發(fā)散點(diǎn)，對(duì)應(yīng)的權(quán)值向量稱為外星權(quán)向量。權(quán)值一般被初始化為任意值并進(jìn)行歸一化處理。在反復(fù)的競(jìng)爭(zhēng)學(xué)習(xí)過程中，競(jìng)爭(zhēng)層的各神經(jīng)元所對(duì)應(yīng)的權(quán)向量被逐漸調(diào)整為輸入樣本空間的聚類中心。由于兩個(gè)向量的點(diǎn)積越大，表明兩者越近似，所以調(diào)整獲勝神經(jīng)元權(quán)值的結(jié)果是使 Wm進(jìn)一步接近當(dāng)前輸入 X。 WinnerTakeAll(勝者為王 )學(xué)習(xí)規(guī)則 WinnerTakeAll學(xué)習(xí)規(guī)則是一種競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則，用于無導(dǎo)師學(xué)習(xí)。應(yīng)當(dāng)注意的是 ， Hebbian學(xué)習(xí)規(guī)則是無導(dǎo)師學(xué)習(xí) ， 而相關(guān)學(xué)習(xí)規(guī)則是有導(dǎo)師學(xué)習(xí) 。 Tjrd?? WX() () Tjjd?? ? ?W W X X () () Tij j iw d x?? ? ? WX 0 , 1 ,in? … ， () Correlation(相關(guān) )學(xué)習(xí)規(guī)則 相關(guān)學(xué)習(xí)規(guī)則規(guī)定學(xué)習(xí)信號(hào)為 易得出 ΔW及 Δwij分別為 該規(guī)則表明 ， 當(dāng) dj是 xi的期望輸出時(shí) ， 相應(yīng)的權(quán)值增量Δwij與兩者的乘積 djxi成正比 。 該學(xué)習(xí)規(guī)則與神經(jīng)元采用的轉(zhuǎn)移函數(shù)無關(guān)，因而不需要對(duì)轉(zhuǎn)移函數(shù)求導(dǎo)數(shù)，不僅學(xué)習(xí)速度較快，而且具有較高的精度。 WidrowHoff學(xué)習(xí)規(guī)則的學(xué)習(xí)信號(hào)為 權(quán)向量調(diào)整量為 ΔW的各分量為 實(shí)際上，如果在 δ學(xué)習(xí)規(guī)則中設(shè)定神經(jīng)元轉(zhuǎn)移函數(shù)為f()=，則有 f’()=1，此時(shí)式 ()與式 ()相同。 例 設(shè)有 3輸入單輸出神經(jīng)元網(wǎng)絡(luò)，將閾值含于權(quán)向量?jī)?nèi)，故有 w0 = T，x0=1，學(xué)習(xí)率 η=， 3個(gè)輸入向量和初始權(quán)向量分別為 X1=(1, 1, 2, 0)T，X2=(1, 0, , )T， X3=(1, 1, , 1)T ， d1=1， d2=1， d3=1， W(0) = (, 1, 1, 0)T。 例 設(shè)有 3輸入單輸出神經(jīng)元網(wǎng)絡(luò)，將閾值含于權(quán)向量?jī)?nèi)，故有 w0 = T，x0=1，學(xué)習(xí)率 η=， 3個(gè)輸入向量和初始權(quán)向量分別為 X1=(1, 1, 2, 0)T，X2=(1, 0, , )T， X3=(1, 1, , 1)T ， d1=1， d2=1， d3=1， W(0) = (, 1, 1, 0)T。 例 設(shè)有 3輸入單輸出神經(jīng)元網(wǎng)絡(luò)，將閾值含于權(quán)向量?jī)?nèi)，故有 w0 = T，x0=1，學(xué)習(xí)率 η=， 3個(gè)輸入向量和初始權(quán)向量分別為 X1=(1, 1, 2, 0)T，X2=(1, 0, , )T， X3=(1, 1, , 1)T ， d1=1， d2=1， d3=1， W(0) = (, 1, 1, 0)T。f)od(x)(39。式 ()，誤差梯度是如何計(jì)算的？ δ(Delta)學(xué)習(xí)規(guī)則 ????????????????????????????????njijj1wEwEwEE??? ?ij2Tjjij2jjij w))(fd21(w))od(21(wE?????????? XW可以看出，上式中 η與 X之間的部分正是式 ()中定義的學(xué)習(xí)信號(hào) δ，ΔWj中每個(gè)分量的調(diào)整由下式 ()計(jì)算，權(quán)值可初始化為任意值。定義神經(jīng)元輸出與期望輸出之間的平方誤差為 [ ( ) ] ( ) ( ) ( )TTj j j j j jr d f f d o f ne t??? ? ? ?W X W X() () 2211( ) [ ( ) ]22 Tj j j jE d o d f? ? ? ? WX式中，誤差 E是權(quán)向量 Wj的函數(shù)。顯然，規(guī)則要求轉(zhuǎn)移函數(shù)可導(dǎo)，因此只適用于有導(dǎo)師學(xué)習(xí)中定義的連續(xù)轉(zhuǎn)移函數(shù)．如 sigmoid函數(shù)。 δ規(guī)則的學(xué)習(xí)信號(hào)規(guī)定為 上式定義的學(xué)習(xí)信號(hào)稱為 δ。感知器采用了與閾值轉(zhuǎn)移函數(shù)類似的符號(hào)轉(zhuǎn)移函數(shù)，其表達(dá)為 因此，權(quán)值調(diào)整公式應(yīng)為 感知器學(xué)習(xí)規(guī)則只適用于二進(jìn)制神經(jīng)元，初始權(quán)值可取任意值。 11( 0) 3Tne t ??WX11 1( ) 0 . 9 0 51 n e tn e teo f n e te???? ? ??11( 1 ) ( 0) ( ) ( 05 , 1 , 57, ) Tf ne t?? ? ? ?W W X22( 1 ) 54Tne t ? ? ?WX 22 1( ) 0 . 0 7 71n e tn e teo f n e te???? ? ? ??22( 2 ) ( 1 ) ( ) ( 1 .8 2 8 , 2 .7 7 2 , 1 .5 1 2 , 0 .6 1 6 ) Tf n e t?? ? ? ?W W X(1) 33( 2) 6Tne t ? ? ?WX33 1( ) 0 . 9 3 21 n e tn e teo f n e te???? ? ? ??33( 3 ) ( 2 ) ( ) ( 1 .8 2 8 , 3 .7 0 , 2 .4 4 , 0 .7 8 5 ) Tf n e t?? ? ? ? ?W W X Perceptron(感知器 )學(xué)習(xí)規(guī)則 1958年，美國(guó)學(xué)者 Frank Rosenblatt首次定義了一個(gè)具有單層計(jì)算單元的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，稱為感知器 (Perceptron)。 解 (續(xù) )：下面設(shè)傳遞函數(shù)為雙極性連續(xù)函數(shù) f()=(1e)/(1+e)，權(quán)值調(diào)整步驟同上。 解：首先設(shè)轉(zhuǎn)移函數(shù)為雙極性離散函數(shù) f()=sgn()，權(quán)值調(diào)整步驟為： (1)輸入第一個(gè)樣本 X1 ，計(jì)算凈輸入 1，并調(diào)整權(quán)向量 W(1) 11 ( 0) ( 1 , 1 , 0 , ) ( 1 , 2 , , 0) 3TTne t ? ? ? ? ?WX11( 1 ) ( 0 ) sg n ( ) ( 1 , 1 , 0 , 0 .5 ) ( 1 , 2 , 1 .5 , 0 ) ( 2 , 3 , 1 . 5 , 0 .5 )T T Tn e t?? ? ? ? ? ? ? ?W W X(2)輸入第二個(gè)樣本 X2，計(jì)算凈輸入 2，并調(diào)整權(quán)向量 W(2) 22 ( 1 ) ( 2 , 3 , 1 .5 , 0 .5 ) ( 1 , 0 .5 , 2 , 1 .5 ) 0 .2 5TTn e t ? ? ? ? ? ? ? ?WX22( 2 ) ( 1 ) sg n ( ) ( 2 , 3 , 1 .5 , 0 .5 ) ( 1 , 0 .5 , 2 , 1 .5 ) ( 1 , 2 .5 , 3 .5 , 2 )T T Tn e t?? ? ? ? ? ? ? ? ? ?W W X(3)輸入第二個(gè)樣本 X3，計(jì)算凈輸入 3，并調(diào)整權(quán)向量 W(3) 33 ( 2 ) ( 1 , 2 .5 , 3 .5 , 2 ) ( 0 .1 . 1 .1 .5 ) 3TTn e t ? ? ? ? ? ?WX33( 3 ) ( 2 ) sg n ( ) ( 1 , 2 .5 , 3 .5 , 2 ) ( 0 , 1 , 1 , 1