【正文】 ,。如果第m個(gè)神經(jīng)元獲勝，則Winner－Take－All學(xué)習(xí)規(guī)則如圖所示。 chū)關(guān)于神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)機(jī)理的“突觸修正” 假設(shè)。2．5．1 Hebbian學(xué)習(xí)現(xiàn)則。ng)總結(jié),2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)知識(shí)。,內(nèi)容(n232。權(quán)值一般被初始化為任意值并進(jìn)行歸一化處理。,在有些應(yīng)用中，以獲勝神經(jīng)元為中心定義一個(gè)獲勝鄰域，除獲勝神經(jīng)元調(diào)整權(quán)值外，鄰域內(nèi)的其他(q237。顯然，當(dāng)下次出現(xiàn)與 X相像的輸入模式時(shí)，上次獲勝的神經(jīng)元更容易獲勝。,由于兩個(gè)(liǎnɡ ɡ232。ngsh249。,即:,只有(zhǐyǒu)獲勝神經(jīng)元才有權(quán)調(diào)整其權(quán)向量Wm，調(diào)整量為,Δ =η( ),或,Δ η,第六十一頁(yè)，共六十三頁(yè)。)X，競(jìng)爭(zhēng)層的所有p個(gè)神經(jīng)元均有輸出響應(yīng)，其中響應(yīng)值最大的神經(jīng)元為在競(jìng)爭(zhēng)中獲勝的神經(jīng)元。Winner－Take－All學(xué)習(xí)規(guī)則是一種競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則，用于無(wú)導(dǎo)師學(xué)習(xí)。,第六十頁(yè)，共六十三頁(yè)。ng)下實(shí)現(xiàn)的而相關(guān)學(xué)習(xí)是有導(dǎo)師的。 但是Hebb學(xué)習(xí)規(guī)則是在無(wú)導(dǎo)師環(huán)境(hu225。這個(gè)規(guī)則典型地被應(yīng)用于具有二進(jìn)制響應(yīng)神經(jīng)元的記憶網(wǎng)絡(luò)中進(jìn)行數(shù)據(jù)記錄。,2 ． 5 ．5 相關(guān)（Correlation）學(xué)習(xí)規(guī)則(guīz233。zhě) Δwij=η(djWjTX)xi i=1，2，…n 這種學(xué)習(xí)規(guī)則中，權(quán)可以在任何值上被初始化。guān)，因而不需要對(duì)轉(zhuǎn)移函數(shù)求導(dǎo)，學(xué)習(xí)速度快，且具有較高的學(xué)習(xí)精度。4 Widrow—Hoff學(xué)習(xí)規(guī)則 1962年Widrow－Hoff提出了一種能應(yīng)用于神經(jīng)元網(wǎng)絡(luò)的有導(dǎo)師訓(xùn)練的學(xué)習(xí)規(guī)則。,2。,[0.531 0.974 0.956 0.002]T,第三步,因?yàn)?yīn w232。n)凈輸入net1及權(quán)向量W(1) net1=W(0)TX1 =2.5,[0.526 0.974 0.948 0]T,第二步 計(jì)算輸入(shūr249。)函數(shù)為雙極性連續(xù)函數(shù) 則 或,第一步 輸入樣本X1,計(jì)算(j236。)學(xué)習(xí).,第五十六頁(yè)，共六十三頁(yè)。,例 設(shè)有3輸入(shūr249。n)規(guī)則。這個(gè)規(guī)則并行于離散感知器學(xué)習(xí)規(guī)則，它亦可稱作為連續(xù)感知器訓(xùn)練(x249。nli224。 對(duì)于這種訓(xùn)練方法，權(quán)可以在任何值上得到初始化。)) （ ）,式中，比例系數(shù)η是一個(gè)正常數(shù)，▽ 為誤差梯度.,▽ =,代入式得權(quán)值調(diào)整計(jì)算式,Δ =η,第五十五頁(yè)，共六十三頁(yè)。欲使誤差E最小，Wj應(yīng)與誤差的負(fù)梯度成正比，即,Δ =η▽ (Wj沿E的負(fù)梯度方向變化(bi224。 定義神經(jīng)元實(shí)際輸出與期望輸出間的平方誤差為,式中，誤差(w249。,該學(xué)習(xí)規(guī)則可由實(shí)際輸出值yj和期望輸出值dj之間最小平方(p237。,則,權(quán)值調(diào)整(ti225。學(xué)習(xí)信號(hào)定義如下：,式中 是對(duì)于 計(jì)算得激活(jī hu243。其方法是：調(diào)整聯(lián)系強(qiáng)度，使這個(gè)差減小。)值與所得的激活(jī hu243。,2.5.3 δ(Delta)學(xué)習(xí)規(guī)則 δ學(xué)習(xí)規(guī)則又稱最小均方規(guī)則（LMS）。)神經(jīng)網(wǎng)絡(luò)的有導(dǎo)師學(xué)習(xí)有極為重要的意義。 感知器理論是研究其他神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)，感知器學(xué)習(xí)規(guī)則對(duì)于(du236。在這種規(guī)則下，當(dāng)且僅當(dāng)yj是不正確情況，權(quán)重得到調(diào)節(jié)。,請(qǐng)注意，這個(gè)(zh232。dj為所期望的輸出響應(yīng)。因而，學(xué)習(xí)信號(hào)等于(děngy他指出，感知器可以學(xué)會(huì)它能表示的任何事情，這個(gè)結(jié)論曾使不少人企圖用感知器模仿人的視網(wǎng)膜來(lái)識(shí)別圖像的某些特征。2感知器學(xué)習(xí)規(guī)則 感知器（Perceptron）是美國(guó)學(xué)者Rosenblatt 于1958年提出來(lái)的，實(shí)際上它是一個(gè)(yī ɡ232。,2。o)兩種權(quán)值調(diào)整結(jié)果看出，在兩種轉(zhuǎn)移函數(shù)下的權(quán)值調(diào)整方向是一致的，但是，采用連續(xù)轉(zhuǎn)移函數(shù)時(shí)，權(quán)值的調(diào)整力度相對(duì)減弱。,下面看一下轉(zhuǎn)移(zhuǎny237。)規(guī)則的權(quán)值調(diào)整將簡(jiǎn)化為權(quán)向量加或減輸入向量。)net3，調(diào)整權(quán)向量W(3) net3=W(2)TX3 =[1 2.5 3.5 2][0 1 1 1.5]T =3 W(3)=W(2)+ηsgn(net3)X3 =W(2)X3 =[1 2.5 3.5 2]T[0 1 1 1.5]T =[1 3.5 4.5 0.5]T,可見(jiàn)，當(dāng)轉(zhuǎn)移函數(shù)為符號(hào)函數(shù)且η=1時(shí)，H學(xué)習(xí)(xu233。)net2，調(diào)整權(quán)向量為W（2） net2=W(1)TX2=[2 3 1.5 0.5][1 0.5 2 1.5]T=0.25 W(2)=W(1)+ηsgn(net2)X2 =W(1)X2 =[2 3 1.5 0.5]T[1 0.5 2 1.5]T =[1 2.5 3.5 2]T,(3) 輸入(shūr249。,(2)輸入(shūr249。nsh249。)訓(xùn)練。 下面用一個(gè)簡(jiǎn)單的例子來(lái)說(shuō)明具有簡(jiǎn)單網(wǎng)絡(luò)的二進(jìn)制和連續(xù)激活函數(shù)的Hebb學(xué)習(xí)情況。 Hebbian學(xué)習(xí)規(guī)則代表一種純前饋、無(wú)導(dǎo)師(dǎoshī)學(xué)習(xí)。,第四十八頁(yè)，共六十三頁(yè)。)，突觸傳導(dǎo)增強(qiáng)，當(dāng)前膜電位與后膜電位正負(fù)相反時(shí)，突觸傳導(dǎo)減弱，也就是說(shuō)，當(dāng)神經(jīng)元i與神經(jīng)元j同時(shí)處于興奮狀態(tài)時(shí)，兩者之間的連接強(qiáng)度應(yīng)增強(qiáng)。該假設(shè)指出，當(dāng)神經(jīng)元的突觸前膜電位與后膜電位同時(shí)為正時(shí)(zh232。顯然，經(jīng)常出現(xiàn)的輸入模式將對(duì)權(quán)向量有最大的影響。,第四十七頁(yè)，共六十三頁(yè)。nɡ y242。 基于離散時(shí)間調(diào)整時(shí)，下一時(shí)刻的權(quán)向量應(yīng)為 ΔWj(t十1)=Wj（t）＋ηr[Wj（t）,X(t),dj(t)]X（t）,不同的學(xué)習(xí)規(guī)則對(duì)r(Wj，X，dj)有不同的定義，從而形成各種各樣的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)規(guī)則。,ΔWj（t）=ηr[Wj（t）,X(t),dj(t)]X（t）,式中，η為正數(shù)，稱為(chēnɡ w233。通用學(xué)習(xí)規(guī)則可表達(dá)為：權(quán)向量Wj在t時(shí)刻的調(diào)整量ΔWj（t）與 t時(shí)刻的輸入向量X（t）和學(xué)習(xí)信號(hào) r的乘積成正比。應(yīng)當(dāng)注意的是，該神經(jīng)元的閾值，對(duì)應(yīng)的輸入分量x0恒為1。,第i個(gè)輸入與神經(jīng)元j的連接(li225。tā)神經(jīng)元的輸出。日本著名神經(jīng)網(wǎng)絡(luò)學(xué)者Amari于1990年提出一種神經(jīng)網(wǎng)絡(luò)權(quán)值調(diào)整的通用學(xué)習(xí)規(guī)則，該規(guī)則的圖解表示見(jiàn)下圖。y236。,現(xiàn)在將要分別介紹常用的、基本的學(xué)習(xí)規(guī)則。常用于自聯(lián)想網(wǎng)絡(luò)，執(zhí)行特殊記憶狀態(tài)的死記式學(xué)習(xí)。,（3）死記式學(xué)習(xí)(相關(guān)規(guī)則) 僅根據(jù)連接(li225。該規(guī)則的關(guān)鍵在于調(diào)整參數(shù)(cānsh249。此外，這種規(guī)則對(duì)樣本的表示次序變化比較敏感。從方法上看，基于或等效于梯度下降方法，通過(guò)在局部最大改善的方向上，按照小步逐次進(jìn)行修正，力圖達(dá)到表示函數(shù)功能(gōngn233。 現(xiàn)有的學(xué)習(xí)規(guī)則大體上可分為以下幾類：,第四十三頁(yè)，共六十三頁(yè)。在ANN中，學(xué)習(xí)規(guī)則是修正權(quán)的一個(gè)算法，以獲得滿意的系統(tǒng)(x236。zhōng)有意義的信息就分布地存儲(chǔ)在調(diào)整后的權(quán)值矩陣W中。對(duì)單個(gè)處理單元，無(wú)論采用哪種學(xué)習(xí)規(guī)則進(jìn)行