【正文】 樣本聚為一類。解決這類問題的思路是盡量使權(quán)值的初始位置與輸入樣本的大概分布區(qū)域充分重合。 52 2. 權(quán)值初始化問題 一種簡單易行的方法是從訓練集中隨機抽取 m個輸入樣本作為初始權(quán)值，即 ( 0 ) , 1 , 2 , ,ra mkjW X j m== K其中 是輸入樣本的順序隨機數(shù)， 。因為任何一定是輸入空間某個模式類的成員，各個權(quán)向量按上式初始化后從訓練一開始就分別接近了輸入空間的各模式類，占據(jù)了十分有利的“地形”。另一種可行的辦法是先計算出全體樣本的中心向量 ramk { 1, 2 , , }r a mkP206。 K11 P ppXXP== 229。在該中心向量基礎(chǔ)上迭加小隨機數(shù)作為權(quán)向量初始值，也可將權(quán)向量的初始位置確定在樣本群中。 53 3. 優(yōu)勝鄰域的設(shè)計 優(yōu)勝領(lǐng)域設(shè)計原則是使領(lǐng)域不斷縮小，這樣輸出平面上相鄰神經(jīng)元對應(yīng)的權(quán)向量之間既有區(qū)別又有相當?shù)南嗨菩?，從而保證當獲勝節(jié)點對某一類模式產(chǎn)生最大響應(yīng)時，其領(lǐng)域節(jié)點也能產(chǎn)生較大響應(yīng)。領(lǐng)域的形狀可以是正方形、六邊形或者菱形。優(yōu)勢領(lǐng)域的大小用領(lǐng)域的半徑表示， r(t)的設(shè)計目前沒有一般化的數(shù)學方法，通常憑借經(jīng)驗來選擇 11/1( ) ( 1 )() mmB t ttr t Ctr t C e == 為于輸出層節(jié)點數(shù) m有關(guān)的正常數(shù)， 為大于 1的常數(shù)，為預先選定的最大訓練次數(shù)。 1C 1B mt54 4. 學習率的設(shè)計 在訓練開始時，學習率可以選取較大的值，之后以較快的速度下降，這樣有利于很快捕捉到輸入向量的大致結(jié)構(gòu)，然后學習率在較小的值上緩降至 0值，這樣可以精細地調(diào)整權(quán)值使之符合輸入空間的樣本分布結(jié)構(gòu)。 22/2( ) ( 1 )() mmB t tttCtt C ehh==55 d1 ? dk ? dl o1 ? ok ? ol W1○ Wk○ Wl ○ 輸出層 y1○ y2○ ? ○ yj ? ○ ym 競爭層 V1 Vm ○ ○ ○ ○ ○ 輸入層 x1 x2 ? xi ? xn 1 xn 167。 對偶傳播神經(jīng)網(wǎng)絡(luò) 對偶傳播網(wǎng)絡(luò) 56 X＝ (x1,x2 ,… ,xn)T Y＝ (y1,y2 ,… ,ym)T， yi∈ {0,1}， i=1,2,… ,m O＝ (o1,o2 ,… ,ol)T d＝ (d1,d2 ,… ,dl)T V=(V1,V2 ,…,Vj,…,Vm) W=(W1,W2 ,…,Wk ,…,Wl) 網(wǎng)絡(luò)各層的數(shù)學描述如下： 57 o1 ? ok ? ol o1 ? ok ? ol W1○ Wk○ Wl ○ W1○ Wk○ Wl ○ y1○ y2○ ? yj* ? ○ ym y1○ y2○ ? y j* ? ○ ym V1 Vm V1 Vm ○ ○ ○ ○ ○ ○ x1 ? xi ? xn x1 ? xi ? xn (a) 競爭產(chǎn)生獲勝節(jié)點 (b) 獲勝節(jié)點外星向量決定輸出 CPN網(wǎng)運行過程 58 CPN的學習算法 第一階段用競爭學習算法對輸入層至隱層的內(nèi)星權(quán)向量進行訓練，步驟如下： (1)將所有內(nèi)星權(quán)隨機地賦以 0～ 1之間的初始值 ， 并歸一化為單位長度 ， 訓練集內(nèi)的所有輸入模式也要進行歸一化 。 (2)輸入一個模式 Xp， 計算凈輸入 j= ， j=1,2,… ,m。 (3)確定競爭獲勝神經(jīng)元 。 (4)CPN網(wǎng)絡(luò)的競爭算法不設(shè)優(yōu)勝鄰域 ， 因此只調(diào)整獲勝神經(jīng)元的內(nèi)星權(quán)向量 ， 調(diào)整規(guī)則為 (5)重復步驟 (2)至步驟 (4)直到下降至 0。 需要注意的是 ，權(quán)向量經(jīng)過調(diào)整后必須重新作歸一化處理 。 )](??)[()(?)1( *** tttt jjj WXWW ???? ?XV ??Tj59 第二階段采用外星學習算法對隱層至輸出層的外星權(quán)向量進行訓練 ， 步驟如下： (1)輸入一個模式對 Xp,dp， 計算凈輸入 j= ，j=1,2,… ,m， (2)確定競爭獲勝神經(jīng)元 ， 使 (3)調(diào)整隱層到輸出層的外星權(quán)向量 ， 調(diào)整規(guī)則為 ok由下式計算 XV ??Tj??????**10jjjjyjlk,...,m,jtodttWtWkkjkjk ,...,2,121)]()[()()1(?????? ????lkjjkk ywto1)( kjjkjk wywto ***)( ??CPN的學習算法 60 lk,...,m,jtodttWtWkkjkjk ,...,2,121)]()[()()1(?????? ?kjjkjk wywto ***)( ??權(quán)向量調(diào)整規(guī)則 : ???????????**)]()[()()()1(jjtwdttWjjtWtWjkkjkjkjk ?(4)重復步驟 (1)至步驟 (3)直到下降至 0。 CPN的學習算法 61 雙獲勝節(jié)點 CPN網(wǎng) 輸入模式 期望輸出 （ 1 0 0 1 0 0 1 0 0 ） 輸入模式 期望輸出 → → … → → （ 1 0 0 1 0 0 1 0 0 ） → → a) 訓練集 (b) 訓練時單節(jié)點獲勝 (c) 運行時對復合模式 雙節(jié)點獲勝 167。 對偶傳播神經(jīng)網(wǎng)絡(luò) 62 X ? Y ○ ○ ? ○ ○ ○ ? ○ ○ ○ ? ○ ○ ○ ? ○ ○ ○ ? ○ X Y ?Y = f(X ) X ’ = f(Y ’ ) 當向網(wǎng)絡(luò)輸入 (X,0 )時，網(wǎng)絡(luò)輸出為 (Y,0 )；當向網(wǎng)絡(luò)輸入 (0,Y ’ )時，網(wǎng)絡(luò)輸出為 (0,X ’ )，當向網(wǎng)絡(luò)輸入(X,Y ’ )時，網(wǎng)絡(luò)輸出為 (Y,X ’ )。 雙向 CPN網(wǎng) 63 CPN網(wǎng)絡(luò)的應(yīng)用 H C 1 C 2 C 3 C 4 … L S H S L (a) 煙葉顏色樣本 ( b)CPN 網(wǎng)絡(luò) 64 167。 本章介紹了無教師學習方式的自組織神經(jīng)網(wǎng)絡(luò)，包括以下主要內(nèi)容 ?競爭學習的原理 ?自組織特征映射神經(jīng)網(wǎng)絡(luò) ?對偶傳播神經(jīng)網(wǎng)絡(luò) 返回