【正文】 樣本聚為一類(lèi)。解決這類(lèi)問(wèn)題的思路是盡量使權(quán)值的初始位置與輸入樣本的大概分布區(qū)域充分重合。 52 2. 權(quán)值初始化問(wèn)題 一種簡(jiǎn)單易行的方法是從訓(xùn)練集中隨機(jī)抽取 m個(gè)輸入樣本作為初始權(quán)值，即 ( 0 ) , 1 , 2 , ,ra mkjW X j m== K其中 是輸入樣本的順序隨機(jī)數(shù)， 。因?yàn)槿魏我欢ㄊ禽斎肟臻g某個(gè)模式類(lèi)的成員，各個(gè)權(quán)向量按上式初始化后從訓(xùn)練一開(kāi)始就分別接近了輸入空間的各模式類(lèi)，占據(jù)了十分有利的“地形”。另一種可行的辦法是先計(jì)算出全體樣本的中心向量 ramk { 1, 2 , , }r a mkP206。 K11 P ppXXP== 229。在該中心向量基礎(chǔ)上迭加小隨機(jī)數(shù)作為權(quán)向量初始值，也可將權(quán)向量的初始位置確定在樣本群中。 53 3. 優(yōu)勝鄰域的設(shè)計(jì) 優(yōu)勝領(lǐng)域設(shè)計(jì)原則是使領(lǐng)域不斷縮小，這樣輸出平面上相鄰神經(jīng)元對(duì)應(yīng)的權(quán)向量之間既有區(qū)別又有相當(dāng)?shù)南嗨菩裕瑥亩ＷC當(dāng)獲勝節(jié)點(diǎn)對(duì)某一類(lèi)模式產(chǎn)生最大響應(yīng)時(shí)，其領(lǐng)域節(jié)點(diǎn)也能產(chǎn)生較大響應(yīng)。領(lǐng)域的形狀可以是正方形、六邊形或者菱形。優(yōu)勢(shì)領(lǐng)域的大小用領(lǐng)域的半徑表示， r(t)的設(shè)計(jì)目前沒(méi)有一般化的數(shù)學(xué)方法，通常憑借經(jīng)驗(yàn)來(lái)選擇 11/1( ) ( 1 )() mmB t ttr t Ctr t C e == 為于輸出層節(jié)點(diǎn)數(shù) m有關(guān)的正常數(shù)， 為大于 1的常數(shù)，為預(yù)先選定的最大訓(xùn)練次數(shù)。 1C 1B mt54 4. 學(xué)習(xí)率的設(shè)計(jì) 在訓(xùn)練開(kāi)始時(shí)，學(xué)習(xí)率可以選取較大的值，之后以較快的速度下降，這樣有利于很快捕捉到輸入向量的大致結(jié)構(gòu)，然后學(xué)習(xí)率在較小的值上緩降至 0值，這樣可以精細(xì)地調(diào)整權(quán)值使之符合輸入空間的樣本分布結(jié)構(gòu)。 22/2( ) ( 1 )() mmB t tttCtt C ehh==55 d1 ? dk ? dl o1 ? ok ? ol W1○ Wk○ Wl ○ 輸出層 y1○ y2○ ? ○ yj ? ○ ym 競(jìng)爭(zhēng)層 V1 Vm ○ ○ ○ ○ ○ 輸入層 x1 x2 ? xi ? xn 1 xn 167。 對(duì)偶傳播神經(jīng)網(wǎng)絡(luò) 對(duì)偶傳播網(wǎng)絡(luò) 56 X＝ (x1,x2 ,… ,xn)T Y＝ (y1,y2 ,… ,ym)T， yi∈ {0,1}， i=1,2,… ,m O＝ (o1,o2 ,… ,ol)T d＝ (d1,d2 ,… ,dl)T V=(V1,V2 ,…,Vj,…,Vm) W=(W1,W2 ,…,Wk ,…,Wl) 網(wǎng)絡(luò)各層的數(shù)學(xué)描述如下： 57 o1 ? ok ? ol o1 ? ok ? ol W1○ Wk○ Wl ○ W1○ Wk○ Wl ○ y1○ y2○ ? yj* ? ○ ym y1○ y2○ ? y j* ? ○ ym V1 Vm V1 Vm ○ ○ ○ ○ ○ ○ x1 ? xi ? xn x1 ? xi ? xn (a) 競(jìng)爭(zhēng)產(chǎn)生獲勝節(jié)點(diǎn) (b) 獲勝節(jié)點(diǎn)外星向量決定輸出 CPN網(wǎng)運(yùn)行過(guò)程 58 CPN的學(xué)習(xí)算法 第一階段用競(jìng)爭(zhēng)學(xué)習(xí)算法對(duì)輸入層至隱層的內(nèi)星權(quán)向量進(jìn)行訓(xùn)練，步驟如下： (1)將所有內(nèi)星權(quán)隨機(jī)地賦以 0～ 1之間的初始值 ， 并歸一化為單位長(zhǎng)度 ， 訓(xùn)練集內(nèi)的所有輸入模式也要進(jìn)行歸一化 。 (2)輸入一個(gè)模式 Xp， 計(jì)算凈輸入 j= ， j=1,2,… ,m。 (3)確定競(jìng)爭(zhēng)獲勝神經(jīng)元 。 (4)CPN網(wǎng)絡(luò)的競(jìng)爭(zhēng)算法不設(shè)優(yōu)勝鄰域 ， 因此只調(diào)整獲勝神經(jīng)元的內(nèi)星權(quán)向量 ， 調(diào)整規(guī)則為 (5)重復(fù)步驟 (2)至步驟 (4)直到下降至 0。 需要注意的是 ，權(quán)向量經(jīng)過(guò)調(diào)整后必須重新作歸一化處理 。 )](??)[()(?)1( *** tttt jjj WXWW ???? ?XV ??Tj59 第二階段采用外星學(xué)習(xí)算法對(duì)隱層至輸出層的外星權(quán)向量進(jìn)行訓(xùn)練 ， 步驟如下： (1)輸入一個(gè)模式對(duì) Xp,dp， 計(jì)算凈輸入 j= ，j=1,2,… ,m， (2)確定競(jìng)爭(zhēng)獲勝神經(jīng)元 ， 使 (3)調(diào)整隱層到輸出層的外星權(quán)向量 ， 調(diào)整規(guī)則為 ok由下式計(jì)算 XV ??Tj??????**10jjjjyjlk,...,m,jtodttWtWkkjkjk ,...,2,121)]()[()()1(?????? ????lkjjkk ywto1)( kjjkjk wywto ***)( ??CPN的學(xué)習(xí)算法 60 lk,...,m,jtodttWtWkkjkjk ,...,2,121)]()[()()1(?????? ?kjjkjk wywto ***)( ??權(quán)向量調(diào)整規(guī)則 : ???????????**)]()[()()()1(jjtwdttWjjtWtWjkkjkjkjk ?(4)重復(fù)步驟 (1)至步驟 (3)直到下降至 0。 CPN的學(xué)習(xí)算法 61 雙獲勝節(jié)點(diǎn) CPN網(wǎng) 輸入模式 期望輸出 （ 1 0 0 1 0 0 1 0 0 ） 輸入模式 期望輸出 → → … → → （ 1 0 0 1 0 0 1 0 0 ） → → a) 訓(xùn)練集 (b) 訓(xùn)練時(shí)單節(jié)點(diǎn)獲勝 (c) 運(yùn)行時(shí)對(duì)復(fù)合模式 雙節(jié)點(diǎn)獲勝 167。 對(duì)偶傳播神經(jīng)網(wǎng)絡(luò) 62 X ? Y ○ ○ ? ○ ○ ○ ? ○ ○ ○ ? ○ ○ ○ ? ○ ○ ○ ? ○ X Y ?Y = f(X ) X ’ = f(Y ’ ) 當(dāng)向網(wǎng)絡(luò)輸入 (X,0 )時(shí)，網(wǎng)絡(luò)輸出為 (Y,0 )；當(dāng)向網(wǎng)絡(luò)輸入 (0,Y ’ )時(shí)，網(wǎng)絡(luò)輸出為 (0,X ’ )，當(dāng)向網(wǎng)絡(luò)輸入(X,Y ’ )時(shí)，網(wǎng)絡(luò)輸出為 (Y,X ’ )。 雙向 CPN網(wǎng) 63 CPN網(wǎng)絡(luò)的應(yīng)用 H C 1 C 2 C 3 C 4 … L S H S L (a) 煙葉顏色樣本 ( b)CPN 網(wǎng)絡(luò) 64 167。 本章介紹了無(wú)教師學(xué)習(xí)方式的自組織神經(jīng)網(wǎng)絡(luò)，包括以下主要內(nèi)容 ?競(jìng)爭(zhēng)學(xué)習(xí)的原理 ?自組織特征映射神經(jīng)網(wǎng)絡(luò) ?對(duì)偶傳播神經(jīng)網(wǎng)絡(luò) 返回