bp神經(jīng)網(wǎng)絡(luò)rbf神經(jīng)網(wǎng)絡(luò)自組織競爭型神經(jīng)網(wǎng)絡(luò)-wenkub
2023-02-27 21:14:00 本頁面
【正文】 j=0~(N1) (56)? 此式中的各個由頂向下的權(quán)重系數(shù) 是在時序 k以前的各次學(xué)習(xí)中 “ 記憶 ” 下來的。? 為了解決這個矛盾，可以在競爭學(xué)習(xí)算法中再加上一個由頂向下的自穩(wěn)機制，如 圖51中的虛線所示。? 可以看到，如果輸入觀察矢量所表示的客體類別數(shù)小于輸出矢量 Y的維數(shù) M，而且每個類別的觀察矢量所占據(jù)的空間足夠 “緊湊 ”（這就是說，同一類別矢量所占空間內(nèi)的觀察矢量十分接近，而不同類別矢量所占空間的觀察矢量相距較遠），那么學(xué)習(xí)可以趨于穩(wěn)定并收到很好的分類效果。 由于 ，所以 調(diào) 整的 結(jié) 果也是使 趨 向于 1。 ? 下面討論此系統(tǒng)用于分類時的學(xué)習(xí)策略 在學(xué)習(xí)開始以前，首先需要對 LTM層中的各個權(quán)值系數(shù)置以隨機初值 wij（ 0），然后依次送入觀察矢量 X（ k），隨時按照下列公式將各個權(quán)重系數(shù)調(diào)整成一組新的數(shù)值： j=0~(N1),i=0~(M1) （ 54） ? 其中 α 是步幅值，取一個小正數(shù)值。這就是說， F1層的作用是使任何輸入觀察矢量規(guī)格化，即使之成為具有同樣模值的矢量。系統(tǒng)的輸出是一個 M維二進矢量 Y， Y=[y0y1…yM1]，它的各個分量也只能取值為 0或 1。? 這正是自適應(yīng)諧振理論（ ART）的研究出發(fā)點。? （ 4）在完成分類功能時如果被區(qū)分的客體類別數(shù)超出了神經(jīng)網(wǎng)絡(luò)可區(qū)分的最大極限，而學(xué)習(xí)方式仍按照原來方式進行，那么根本不可能給出正確的學(xué)習(xí)結(jié)果。因此，我們在研究、設(shè)計和開發(fā)人工神經(jīng)網(wǎng)絡(luò)時，應(yīng)該充分借鑒人腦的 學(xué)習(xí)方法： ? （ 1） BP神經(jīng)網(wǎng)絡(luò)只適用于平穩(wěn)的環(huán)境，這就是說，輸入模式的各項統(tǒng)計特征不能隨時間而變化（各種客體、客體間的關(guān)系以及相應(yīng)的觀察矢量具有統(tǒng)計平衡性）。第五章 自組織競爭型神經(jīng)網(wǎng)絡(luò)? ? ? （ ART）? BP網(wǎng)絡(luò)雖已得到廣泛應(yīng)用，然而，它在構(gòu)成網(wǎng)絡(luò)時未能充分借鑒人腦工作的特點，因而其功能有許多 不足之處：? 對比之下，人腦的優(yōu)越性就極其明顯了。但是，真實的世界不是或不完全是這樣。? （ 5）有可能陷入均方誤差的局部最小點，從而造成錯誤的分類結(jié)果。 ? 競爭學(xué)習(xí)的原理可借助于 圖 加以描述。此系統(tǒng)分成三層， F2和 F1分別稱為上、下短期記憶層，并記之為 STM（ STM是 “short time memory”的縮寫，F(xiàn)2和 F1之間是一個長期記憶層，記之為 LTM（“l(fā)ong time memory”的縮寫）。? F1和 F2之間的中層（ LTM） 在此層由矢量 S計算出一個 M維矢量，T=[t0t1…tM1]。可以看到，由于在 y0(k)~yM1(k)之中只有一項等于 1而其它各項皆為 0，因而只有與該非零項相應(yīng)的權(quán)值系數(shù)才做調(diào)整，也就是說， 只改變與競爭得勝者有關(guān)的各個權(quán)重系數(shù)，而其它所有權(quán)重值系數(shù)皆維持不變。 ? 由于這種算法中只有競爭得勝者的有關(guān)系數(shù)才有機會進行學(xué)習(xí)，所以稱之競爭學(xué)習(xí)算法。但是，也可以舉出一些反例，如果在相隔較遠的兩個時間點上兩次輸入同一觀察矢量，而在其間插入若干其它觀察矢量，那么第二次分類的結(jié)果會出現(xiàn)與第一次分類結(jié)果不一致的現(xiàn)象。其工作原理介紹如下：? （ 1）競爭選擇的原理不改變，即每輸入一觀察矢量 X（ k），輸出矢量的各個分量是 Y0（ k）， Y1（ k）， …， YM1（ k），其中只有一項為 1，其它各項均為零。后面將指出，記憶的算法是使得當某個 yI為獲勝輸出端時，各個 與當時的規(guī)格化輸入矢量 S的各分量 Sj趨于一致。 η的計算公式是 (57) ? η 越接近于 1則兩個矢量的相似度越高。? 根據(jù) S（ k）和 Z（ k）的相似度衡量值 η的不同，神經(jīng)網(wǎng)絡(luò)可以采取不同的運行策略，下面分步驟給出這些策略。需要強調(diào)，在新一輪的競爭中前優(yōu)勝者 I已被排除在外。 如果 K個端都搜遍了，仍找不到足夠相似者，則新開辟一個輸出端作為新的一類。? （ 3）如果在已被占用的輸出端中找到一個優(yōu)勝者，它的由頂向下矢量 Z（ k）與 S（ k）的相似度足夠高，或者開辟了一個未被占用的新輸出端，則對于該端相應(yīng)的由底向上和由頂向下權(quán)重系數(shù)進行調(diào)整。這造成一種自適應(yīng)諧振（ adaptive resonance）狀態(tài)，這就是 ART這個名稱的來源。另一方面，如果輸入的是一個完全新奇的矢量，這也會造成深刻的印象并被植入長期記憶庫之中。? （ 2）學(xué)習(xí)是自治和自組織的，學(xué)習(xí)過程無需教師指導(dǎo)，因此是一種無監(jiān)督（ unsupervised）學(xué)習(xí)。? (Adaptive Resonance Theory—— ART)，使尋找一個能完全模擬人腦記憶可塑性與穩(wěn)定性的人工神經(jīng)網(wǎng)絡(luò)的努力獲得了成功。下面對 ART網(wǎng)絡(luò)的結(jié)構(gòu)、工作原理、學(xué)習(xí)方法及網(wǎng)絡(luò)的性能進行分析。? ART1網(wǎng)絡(luò)的結(jié)構(gòu)如 圖 。 ? ART1網(wǎng)絡(luò)的學(xué)習(xí)及工作，是通過反復(fù)地將輸入學(xué)習(xí)模式由輸入層向輸出層自下而上地識別比較來實現(xiàn)的。? （ 1）初始化階段。為了使初始比較不丟失信息，故將 { }的初值全部設(shè)置為 1，即 { } =1 （ i=1,2,… ,n。j=,… ,m） (510) ? （ 2）識別階段。這里假設(shè)輸出層不存在神經(jīng)元之間的相互抑制，在這一階段，首先將輸入學(xué)習(xí)模式 提供給輸入層，然后用競爭學(xué)習(xí)算法尋找輸出層獲勝神經(jīng)元。此時獲勝神經(jīng)元 j=g能否代表輸入模式 Uk的正確分類，還有待于下階段進一步
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1