bp神經(jīng)網(wǎng)絡(luò)rbf神經(jīng)網(wǎng)絡(luò)自組織競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)-文庫(kù)吧
2025-01-29 21:14 本頁(yè)面
【正文】 “緊湊 ”（這就是說(shuō)，同一類(lèi)別矢量所占空間內(nèi)的觀(guān)察矢量十分接近，而不同類(lèi)別矢量所占空間的觀(guān)察矢量相距較遠(yuǎn)），那么學(xué)習(xí)可以趨于穩(wěn)定并收到很好的分類(lèi)效果。但是，也可以舉出一些反例，如果在相隔較遠(yuǎn)的兩個(gè)時(shí)間點(diǎn)上兩次輸入同一觀(guān)察矢量，而在其間插入若干其它觀(guān)察矢量，那么第二次分類(lèi)的結(jié)果會(huì)出現(xiàn)與第一次分類(lèi)結(jié)果不一致的現(xiàn)象。這說(shuō)明第一次分類(lèi)后新學(xué)習(xí)得到的記憶內(nèi)容有可能沖掉原有的學(xué)習(xí)記憶內(nèi)容，從而導(dǎo)致了第二次分類(lèi)的錯(cuò)誤。這也說(shuō)明簡(jiǎn)單的競(jìng)爭(zhēng)學(xué)習(xí)機(jī)制不能保證記憶具有足夠的牢固性。? 為了解決這個(gè)矛盾，可以在競(jìng)爭(zhēng)學(xué)習(xí)算法中再加上一個(gè)由頂向下的自穩(wěn)機(jī)制，如 圖51中的虛線(xiàn)所示。其工作原理介紹如下：? （ 1）競(jìng)爭(zhēng)選擇的原理不改變，即每輸入一觀(guān)察矢量 X（ k），輸出矢量的各個(gè)分量是 Y0（ k）， Y1（ k）， …， YM1（ k），其中只有一項(xiàng)為 1，其它各項(xiàng)均為零。設(shè)競(jìng)爭(zhēng)勝利者（即非零項(xiàng)）為 YI（ k）。? （ 2）對(duì)學(xué)習(xí)算法進(jìn)行下述修正。首先，由輸出矢量 Y（ k）產(chǎn)生一個(gè)由頂向下矢量 Z（ k）， Z（ k） =[z0（ k） z1(k)…zN1(k)]，其中各分量 zi（ k）按下列公式計(jì)算： j=0~(N1) (55) 其中 是由頂向下的權(quán)重系數(shù)，由于諸yi(k)中只有 yI(k)為 1，其它均為 0，所以式（ 55）可以表示為 j=0~(N1) (56)? 此式中的各個(gè)由頂向下的權(quán)重系數(shù) 是在時(shí)序 k以前的各次學(xué)習(xí)中 “ 記憶 ” 下來(lái)的。后面將指出，記憶的算法是使得當(dāng)某個(gè) yI為獲勝輸出端時(shí)，各個(gè) 與當(dāng)時(shí)的規(guī)格化輸入矢量 S的各分量 Sj趨于一致。設(shè)由頂向下的第 I號(hào)權(quán)重矢量為 , ，由式（ 56）可知， Z（ k） = 。? 為了判斷本次（即第 k次）輸入的規(guī)格化矢量 S（ k）與以前 I輸出端獲勝時(shí)的規(guī)格化矢量 S是否相似，我們只要比較 S（ k）與 Z（ k）之間的相似度。兩個(gè)空間矢量的相似度可以用它們之間的夾角大小來(lái)衡量，而此夾角又與 S（ k）和 Z（ k）的規(guī)格化點(diǎn)積 η有單調(diào)依存關(guān)系。 η的計(jì)算公式是 (57) ? η 越接近于 1則兩個(gè)矢量的相似度越高。需要說(shuō)明，當(dāng)兩個(gè)矢量的模對(duì)于衡量 它們的相似度無(wú)關(guān)緊要時(shí)，利用 η是適宜的。如果模本身對(duì)于衡量相似度也是重要的，則應(yīng)采用兩個(gè)矢量的歐氏距離|S(k)Z(k)|來(lái)衡量其相似度。但是， 當(dāng)這兩個(gè)矢量的模都已規(guī)格化為 1時(shí)，用歐氏距離或規(guī)格化點(diǎn)積 η 來(lái)衡量相似度是等價(jià)的。? 根據(jù) S（ k）和 Z（ k）的相似度衡量值 η的不同，神經(jīng)網(wǎng)絡(luò)可以采取不同的運(yùn)行策略，下面分步驟給出這些策略。? （ a）如果兩個(gè)矢量的相似度很高，即 η 值很接近于 1，那么神經(jīng)網(wǎng)絡(luò)立即轉(zhuǎn)入后面第（ 3）項(xiàng)規(guī)定的運(yùn)算。? （ b）如果兩個(gè)矢量相似度不夠高，從而使 η 低于某個(gè)閾值，這時(shí)就立即摒棄第一次選擇的優(yōu)勝輸出 yI，再由所余的各個(gè) yi中選出一個(gè)優(yōu)勝者。這就要回到前面第（1）項(xiàng)重新開(kāi)始競(jìng)爭(zhēng)選擇。需要強(qiáng)調(diào)，在新一輪的競(jìng)爭(zhēng)中前優(yōu)勝者 I已被排除在外。假設(shè)在過(guò)去的學(xué)習(xí)中 F2 層的 M個(gè)輸出端中只有 K個(gè)被占用且 KM，那么搜索優(yōu)勝者的競(jìng)爭(zhēng)顯然只能在這 K個(gè)被占用輸出端之間進(jìn)行。? 一旦在這 K個(gè)輸出端中找到一個(gè)勝利者，它的由頂向下矢量 Z（ k）與 S（ k）足夠相似，則立即轉(zhuǎn)入（ 3）。否則，就一個(gè)一個(gè)找下去。 如果 K個(gè)端都搜遍了，仍找不到足夠相似者，則新開(kāi)辟一個(gè)輸出端作為新的一類(lèi)。類(lèi)別數(shù)從 K增至（ K+1），然后轉(zhuǎn)入第（ 3）項(xiàng)。? （ c）如果開(kāi)辟一個(gè)新端后仍保持（ K+1） M，則允許在下一次學(xué)習(xí)時(shí)繼續(xù)開(kāi)辟新類(lèi)別。如果（ K+1） =M，這表明所有網(wǎng)絡(luò)的容量都已占滿(mǎn)，這時(shí)不再允許開(kāi)辟新類(lèi)別，以免破壞網(wǎng)絡(luò)中已存儲(chǔ)的記憶內(nèi)容。? （ 3）如果在已被占用的輸出端中找到一個(gè)優(yōu)勝者，它的由頂向下矢量 Z（ k）與 S（ k）的相似度足夠高，或者開(kāi)辟了一個(gè)未被占用的新輸出端，則對(duì)于該端相應(yīng)的由底向上和由頂向下權(quán)重系數(shù)進(jìn)行調(diào)整。設(shè)此端的編號(hào)為 L，那么被調(diào)整的系數(shù)是 和 。下面給出系數(shù)調(diào)整的計(jì)算公式： ? (58) 其中 α 是步幅，其值取為一個(gè)小正實(shí)數(shù)。 ? 可以看到，按照上面給出的算法，只有當(dāng)新的輸入矢量與已存入記憶中的某個(gè)矢量足夠相似時(shí)，兩者才能互相融合，即對(duì)有關(guān)的權(quán)重系數(shù)進(jìn)行調(diào)整，從而使長(zhǎng)期記憶得以改變。這造成一種自適應(yīng)諧振（ adaptive resonance）狀態(tài)，這就是 ART這個(gè)名稱(chēng)的來(lái)源。需要指出，上面給出的 （ 1） 和 （ 2） 兩項(xiàng)運(yùn)算，其運(yùn)算速度相對(duì)而言是快的，在運(yùn)算時(shí)只有 F1和 F2這兩個(gè) STM層的輸出發(fā)生變化，而 LTM層中的系數(shù)不產(chǎn)生改變。當(dāng)進(jìn)入自適應(yīng)諧振狀態(tài)時(shí)（即進(jìn)入第 （ 3） 項(xiàng)運(yùn)算時(shí)）LTM層中的有關(guān)系數(shù)才發(fā)生變化。這類(lèi)似于人的記憶過(guò)程，當(dāng)輸入一個(gè)觀(guān)察矢量時(shí)，大腦必須在已有的記憶內(nèi)容中搜索與之相似的矢量，如果得到了印證，那么對(duì)其記憶就會(huì)加強(qiáng)。另一方面，如果輸入的是一個(gè)完全新奇的矢量，這也會(huì)造成深刻的印象并被植入長(zhǎng)期記憶庫(kù)之中。? 概括而言，按照 ART（也就是以競(jìng)爭(zhēng)學(xué)習(xí)和自穩(wěn)機(jī)制為原則所建立的理論）構(gòu)成的 ANN有如下特
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1