bp神經(jīng)網(wǎng)絡(luò)rbf神經(jīng)網(wǎng)絡(luò)自組織競爭型神經(jīng)網(wǎng)絡(luò)-文庫吧
2025-01-29 21:14 本頁面
【正文】 “緊湊 ”（這就是說，同一類別矢量所占空間內(nèi)的觀察矢量十分接近，而不同類別矢量所占空間的觀察矢量相距較遠），那么學(xué)習(xí)可以趨于穩(wěn)定并收到很好的分類效果。但是，也可以舉出一些反例，如果在相隔較遠的兩個時間點上兩次輸入同一觀察矢量，而在其間插入若干其它觀察矢量，那么第二次分類的結(jié)果會出現(xiàn)與第一次分類結(jié)果不一致的現(xiàn)象。這說明第一次分類后新學(xué)習(xí)得到的記憶內(nèi)容有可能沖掉原有的學(xué)習(xí)記憶內(nèi)容，從而導(dǎo)致了第二次分類的錯誤。這也說明簡單的競爭學(xué)習(xí)機制不能保證記憶具有足夠的牢固性。? 為了解決這個矛盾，可以在競爭學(xué)習(xí)算法中再加上一個由頂向下的自穩(wěn)機制，如 圖51中的虛線所示。其工作原理介紹如下：? （ 1）競爭選擇的原理不改變，即每輸入一觀察矢量 X（ k），輸出矢量的各個分量是 Y0（ k）， Y1（ k）， …， YM1（ k），其中只有一項為 1，其它各項均為零。設(shè)競爭勝利者（即非零項）為 YI（ k）。? （ 2）對學(xué)習(xí)算法進行下述修正。首先，由輸出矢量 Y（ k）產(chǎn)生一個由頂向下矢量 Z（ k）， Z（ k） =[z0（ k） z1(k)…zN1(k)]，其中各分量 zi（ k）按下列公式計算： j=0~(N1) (55) 其中 是由頂向下的權(quán)重系數(shù)，由于諸yi(k)中只有 yI(k)為 1，其它均為 0，所以式（ 55）可以表示為 j=0~(N1) (56)? 此式中的各個由頂向下的權(quán)重系數(shù) 是在時序 k以前的各次學(xué)習(xí)中 “ 記憶 ” 下來的。后面將指出，記憶的算法是使得當(dāng)某個 yI為獲勝輸出端時，各個 與當(dāng)時的規(guī)格化輸入矢量 S的各分量 Sj趨于一致。設(shè)由頂向下的第 I號權(quán)重矢量為 , ，由式（ 56）可知， Z（ k） = 。? 為了判斷本次（即第 k次）輸入的規(guī)格化矢量 S（ k）與以前 I輸出端獲勝時的規(guī)格化矢量 S是否相似，我們只要比較 S（ k）與 Z（ k）之間的相似度。兩個空間矢量的相似度可以用它們之間的夾角大小來衡量，而此夾角又與 S（ k）和 Z（ k）的規(guī)格化點積 η有單調(diào)依存關(guān)系。 η的計算公式是 (57) ? η 越接近于 1則兩個矢量的相似度越高。需要說明，當(dāng)兩個矢量的模對于衡量 它們的相似度無關(guān)緊要時，利用 η是適宜的。如果模本身對于衡量相似度也是重要的，則應(yīng)采用兩個矢量的歐氏距離|S(k)Z(k)|來衡量其相似度。但是， 當(dāng)這兩個矢量的模都已規(guī)格化為 1時，用歐氏距離或規(guī)格化點積 η 來衡量相似度是等價的。? 根據(jù) S（ k）和 Z（ k）的相似度衡量值 η的不同，神經(jīng)網(wǎng)絡(luò)可以采取不同的運行策略，下面分步驟給出這些策略。? （ a）如果兩個矢量的相似度很高，即 η 值很接近于 1，那么神經(jīng)網(wǎng)絡(luò)立即轉(zhuǎn)入后面第（ 3）項規(guī)定的運算。? （ b）如果兩個矢量相似度不夠高，從而使 η 低于某個閾值，這時就立即摒棄第一次選擇的優(yōu)勝輸出 yI，再由所余的各個 yi中選出一個優(yōu)勝者。這就要回到前面第（1）項重新開始競爭選擇。需要強調(diào)，在新一輪的競爭中前優(yōu)勝者 I已被排除在外。假設(shè)在過去的學(xué)習(xí)中 F2 層的 M個輸出端中只有 K個被占用且 KM，那么搜索優(yōu)勝者的競爭顯然只能在這 K個被占用輸出端之間進行。? 一旦在這 K個輸出端中找到一個勝利者，它的由頂向下矢量 Z（ k）與 S（ k）足夠相似，則立即轉(zhuǎn)入（ 3）。否則，就一個一個找下去。 如果 K個端都搜遍了，仍找不到足夠相似者，則新開辟一個輸出端作為新的一類。類別數(shù)從 K增至（ K+1），然后轉(zhuǎn)入第（ 3）項。? （ c）如果開辟一個新端后仍保持（ K+1） M，則允許在下一次學(xué)習(xí)時繼續(xù)開辟新類別。如果（ K+1） =M，這表明所有網(wǎng)絡(luò)的容量都已占滿，這時不再允許開辟新類別，以免破壞網(wǎng)絡(luò)中已存儲的記憶內(nèi)容。? （ 3）如果在已被占用的輸出端中找到一個優(yōu)勝者，它的由頂向下矢量 Z（ k）與 S（ k）的相似度足夠高，或者開辟了一個未被占用的新輸出端，則對于該端相應(yīng)的由底向上和由頂向下權(quán)重系數(shù)進行調(diào)整。設(shè)此端的編號為 L，那么被調(diào)整的系數(shù)是 和 。下面給出系數(shù)調(diào)整的計算公式： ? (58) 其中 α 是步幅，其值取為一個小正實數(shù)。 ? 可以看到，按照上面給出的算法，只有當(dāng)新的輸入矢量與已存入記憶中的某個矢量足夠相似時，兩者才能互相融合，即對有關(guān)的權(quán)重系數(shù)進行調(diào)整，從而使長期記憶得以改變。這造成一種自適應(yīng)諧振（ adaptive resonance）狀態(tài)，這就是 ART這個名稱的來源。需要指出，上面給出的 （ 1） 和 （ 2） 兩項運算，其運算速度相對而言是快的，在運算時只有 F1和 F2這兩個 STM層的輸出發(fā)生變化，而 LTM層中的系數(shù)不產(chǎn)生改變。當(dāng)進入自適應(yīng)諧振狀態(tài)時（即進入第 （ 3） 項運算時）LTM層中的有關(guān)系數(shù)才發(fā)生變化。這類似于人的記憶過程，當(dāng)輸入一個觀察矢量時，大腦必須在已有的記憶內(nèi)容中搜索與之相似的矢量，如果得到了印證，那么對其記憶就會加強。另一方面，如果輸入的是一個完全新奇的矢量，這也會造成深刻的印象并被植入長期記憶庫之中。? 概括而言，按照 ART（也就是以競爭學(xué)習(xí)和自穩(wěn)機制為原則所建立的理論）構(gòu)成的 ANN有如下特
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1