bp神經(jīng)網(wǎng)絡(luò)rbf神經(jīng)網(wǎng)絡(luò)自組織競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)-wenkub
2023-02-27 21:14:00 本頁(yè)面
【正文】 j=0~(N1) (56)? 此式中的各個(gè)由頂向下的權(quán)重系數(shù) 是在時(shí)序 k以前的各次學(xué)習(xí)中 “ 記憶 ” 下來(lái)的。? 為了解決這個(gè)矛盾，可以在競(jìng)爭(zhēng)學(xué)習(xí)算法中再加上一個(gè)由頂向下的自穩(wěn)機(jī)制，如 圖51中的虛線所示。? 可以看到，如果輸入觀察矢量所表示的客體類(lèi)別數(shù)小于輸出矢量 Y的維數(shù) M，而且每個(gè)類(lèi)別的觀察矢量所占據(jù)的空間足夠 “緊湊 ”（這就是說(shuō)，同一類(lèi)別矢量所占空間內(nèi)的觀察矢量十分接近，而不同類(lèi)別矢量所占空間的觀察矢量相距較遠(yuǎn)），那么學(xué)習(xí)可以趨于穩(wěn)定并收到很好的分類(lèi)效果。 由于 ，所以 調(diào) 整的 結(jié) 果也是使 趨 向于 1。 ? 下面討論此系統(tǒng)用于分類(lèi)時(shí)的學(xué)習(xí)策略 在學(xué)習(xí)開(kāi)始以前，首先需要對(duì) LTM層中的各個(gè)權(quán)值系數(shù)置以隨機(jī)初值 wij（ 0），然后依次送入觀察矢量 X（ k），隨時(shí)按照下列公式將各個(gè)權(quán)重系數(shù)調(diào)整成一組新的數(shù)值： j=0~(N1),i=0~(M1) （ 54） ? 其中 α 是步幅值，取一個(gè)小正數(shù)值。這就是說(shuō)， F1層的作用是使任何輸入觀察矢量規(guī)格化，即使之成為具有同樣模值的矢量。系統(tǒng)的輸出是一個(gè) M維二進(jìn)矢量 Y， Y=[y0y1…yM1]，它的各個(gè)分量也只能取值為 0或 1。? 這正是自適應(yīng)諧振理論（ ART）的研究出發(fā)點(diǎn)。? （ 4）在完成分類(lèi)功能時(shí)如果被區(qū)分的客體類(lèi)別數(shù)超出了神經(jīng)網(wǎng)絡(luò)可區(qū)分的最大極限，而學(xué)習(xí)方式仍按照原來(lái)方式進(jìn)行，那么根本不可能給出正確的學(xué)習(xí)結(jié)果。因此，我們?cè)谘芯?、設(shè)計(jì)和開(kāi)發(fā)人工神經(jīng)網(wǎng)絡(luò)時(shí)，應(yīng)該充分借鑒人腦的 學(xué)習(xí)方法： ? （ 1） BP神經(jīng)網(wǎng)絡(luò)只適用于平穩(wěn)的環(huán)境，這就是說(shuō)，輸入模式的各項(xiàng)統(tǒng)計(jì)特征不能隨時(shí)間而變化（各種客體、客體間的關(guān)系以及相應(yīng)的觀察矢量具有統(tǒng)計(jì)平衡性）。第五章 自組織競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)? ? ? （ ART）? BP網(wǎng)絡(luò)雖已得到廣泛應(yīng)用，然而，它在構(gòu)成網(wǎng)絡(luò)時(shí)未能充分借鑒人腦工作的特點(diǎn)，因而其功能有許多 不足之處：? 對(duì)比之下，人腦的優(yōu)越性就極其明顯了。但是，真實(shí)的世界不是或不完全是這樣。? （ 5）有可能陷入均方誤差的局部最小點(diǎn)，從而造成錯(cuò)誤的分類(lèi)結(jié)果。 ? 競(jìng)爭(zhēng)學(xué)習(xí)的原理可借助于 圖 加以描述。此系統(tǒng)分成三層， F2和 F1分別稱(chēng)為上、下短期記憶層，并記之為 STM（ STM是 “short time memory”的縮寫(xiě)，F(xiàn)2和 F1之間是一個(gè)長(zhǎng)期記憶層，記之為 LTM（“l(fā)ong time memory”的縮寫(xiě)）。? F1和 F2之間的中層（ LTM） 在此層由矢量 S計(jì)算出一個(gè) M維矢量，T=[t0t1…tM1]?？梢钥吹?，由于在 y0(k)~yM1(k)之中只有一項(xiàng)等于 1而其它各項(xiàng)皆為 0，因而只有與該非零項(xiàng)相應(yīng)的權(quán)值系數(shù)才做調(diào)整，也就是說(shuō)， 只改變與競(jìng)爭(zhēng)得勝者有關(guān)的各個(gè)權(quán)重系數(shù)，而其它所有權(quán)重值系數(shù)皆維持不變。 ? 由于這種算法中只有競(jìng)爭(zhēng)得勝者的有關(guān)系數(shù)才有機(jī)會(huì)進(jìn)行學(xué)習(xí)，所以稱(chēng)之競(jìng)爭(zhēng)學(xué)習(xí)算法。但是，也可以舉出一些反例，如果在相隔較遠(yuǎn)的兩個(gè)時(shí)間點(diǎn)上兩次輸入同一觀察矢量，而在其間插入若干其它觀察矢量，那么第二次分類(lèi)的結(jié)果會(huì)出現(xiàn)與第一次分類(lèi)結(jié)果不一致的現(xiàn)象。其工作原理介紹如下：? （ 1）競(jìng)爭(zhēng)選擇的原理不改變，即每輸入一觀察矢量 X（ k），輸出矢量的各個(gè)分量是 Y0（ k）， Y1（ k）， …， YM1（ k），其中只有一項(xiàng)為 1，其它各項(xiàng)均為零。后面將指出，記憶的算法是使得當(dāng)某個(gè) yI為獲勝輸出端時(shí)，各個(gè) 與當(dāng)時(shí)的規(guī)格化輸入矢量 S的各分量 Sj趨于一致。 η的計(jì)算公式是 (57) ? η 越接近于 1則兩個(gè)矢量的相似度越高。? 根據(jù) S（ k）和 Z（ k）的相似度衡量值 η的不同，神經(jīng)網(wǎng)絡(luò)可以采取不同的運(yùn)行策略，下面分步驟給出這些策略。需要強(qiáng)調(diào)，在新一輪的競(jìng)爭(zhēng)中前優(yōu)勝者 I已被排除在外。 如果 K個(gè)端都搜遍了，仍找不到足夠相似者，則新開(kāi)辟一個(gè)輸出端作為新的一類(lèi)。? （ 3）如果在已被占用的輸出端中找到一個(gè)優(yōu)勝者，它的由頂向下矢量 Z（ k）與 S（ k）的相似度足夠高，或者開(kāi)辟了一個(gè)未被占用的新輸出端，則對(duì)于該端相應(yīng)的由底向上和由頂向下權(quán)重系數(shù)進(jìn)行調(diào)整。這造成一種自適應(yīng)諧振（ adaptive resonance）狀態(tài)，這就是 ART這個(gè)名稱(chēng)的來(lái)源。另一方面，如果輸入的是一個(gè)完全新奇的矢量，這也會(huì)造成深刻的印象并被植入長(zhǎng)期記憶庫(kù)之中。? （ 2）學(xué)習(xí)是自治和自組織的，學(xué)習(xí)過(guò)程無(wú)需教師指導(dǎo)，因此是一種無(wú)監(jiān)督（ unsupervised）學(xué)習(xí)。? (Adaptive Resonance Theory—— ART)，使尋找一個(gè)能完全模擬人腦記憶可塑性與穩(wěn)定性的人工神經(jīng)網(wǎng)絡(luò)的努力獲得了成功。下面對(duì) ART網(wǎng)絡(luò)的結(jié)構(gòu)、工作原理、學(xué)習(xí)方法及網(wǎng)絡(luò)的性能進(jìn)行分析。? ART1網(wǎng)絡(luò)的結(jié)構(gòu)如 圖 。 ? ART1網(wǎng)絡(luò)的學(xué)習(xí)及工作，是通過(guò)反復(fù)地將輸入學(xué)習(xí)模式由輸入層向輸出層自下而上地識(shí)別比較來(lái)實(shí)現(xiàn)的。? （ 1）初始化階段。為了使初始比較不丟失信息，故將 { }的初值全部設(shè)置為 1，即 { } =1 （ i=1,2,… ,n。j=,… ,m） (510) ? （ 2）識(shí)別階段。這里假設(shè)輸出層不存在神經(jīng)元之間的相互抑制，在這一階段，首先將輸入學(xué)習(xí)模式 提供給輸入層，然后用競(jìng)爭(zhēng)學(xué)習(xí)算法尋找輸出層獲勝神經(jīng)元。此時(shí)獲勝神經(jīng)元 j=g能否代表輸入模式 Uk的正確分類(lèi)，還有待于下階段進(jìn)一步
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1