第四章突觸動(dòng)力學(xué)非監(jiān)督學(xué)習(xí)-資料下載頁
2025-08-01 13:33本頁面
【正文】 釋為統(tǒng)計(jì)方差或協(xié)方差。n 協(xié)方差學(xué)習(xí)規(guī)則的形式如下： 加入遺忘項(xiàng)一方面保持突觸有限，另一方面建立遺忘的模型。Date 49伴隨變化作為統(tǒng)計(jì)協(xié)方差n 上式描述突觸隨機(jī)過程的時(shí)間進(jìn)化。進(jìn)一步將上式寫為： 可以用實(shí)際觀察值來代替未知平均值。如何在每個(gè)時(shí)刻估計(jì)未知的均值？可以用稍微滯后的隨機(jī)近似估計(jì)， martingale假設(shè)用現(xiàn)在估計(jì)將來，或者用過去估計(jì)現(xiàn)在。Date 50伴隨變化作為統(tǒng)計(jì)協(xié)方差 上述分形接線假設(shè)的精度隨著 s靠近 t而提高。該式表示了一種合理的期望，前提是信號(hào)過程具有良好的行為。該假設(shè)的離散形式如下 : Date 51伴隨變化作為統(tǒng)計(jì)協(xié)方差 這樣方差項(xiàng)就可以簡(jiǎn)化為時(shí)間上的伴隨變化項(xiàng)。學(xué)習(xí)規(guī)則也就成了典型的 Heb差分學(xué)習(xí)： 從 開始遞歸上式可得到： Date 52脈沖編碼的微分 Heb學(xué)習(xí)n 脈沖編碼信號(hào)函數(shù)： （ 239） （ 240） 其中 和 都是脈沖函數(shù)，在 t時(shí)刻 為 1，其余地方為 0。 速度微分特性（脈沖編碼信號(hào)）：Date 53脈沖編碼的微分 Heb學(xué)習(xí)n 利用速度微分特性，可得到脈沖編碼微分 Heb學(xué)習(xí)規(guī)則： 當(dāng)沒有脈沖出現(xiàn)，即 時(shí)，簡(jiǎn)化為隨機(jī)信號(hào)學(xué)習(xí)規(guī)則。Date 54脈沖編碼的微分 Heb學(xué)習(xí)n 用雙極信號(hào)代替二值信號(hào)，接著假定脈沖及其期望頻率分別相互獨(dú)立，將上式的平均行為簡(jiǎn)化為： 即隨機(jī)信號(hào) Heb學(xué)習(xí)規(guī)則的總體平均等價(jià)于典型的確知信號(hào) Heb學(xué)習(xí)規(guī)則。Date 55四 微分競(jìng)爭(zhēng)學(xué)習(xí)n 微分競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則為： 用速度微分特性代替上式中的 ，那么 當(dāng)?shù)?j個(gè) 的神經(jīng)元初次競(jìng)爭(zhēng)獲勝時(shí)，上式就退化為隨機(jī)競(jìng)爭(zhēng)學(xué)習(xí)：Date 56四 微分競(jìng)爭(zhēng)學(xué)習(xí) 此時(shí) 。如果第 j個(gè)神經(jīng)元連續(xù)獲勝， 很快接近于 1，學(xué)習(xí)就會(huì)停止。這樣就阻止了第 j個(gè)神經(jīng)元獲勝太頻繁，否則會(huì)過早編碼一個(gè)新的 。編碼不穩(wěn)定，可用自組織共振模型來解決這一問題。在非微分競(jìng)爭(zhēng)學(xué)習(xí)中，獲勝的神經(jīng)元趨向于一直獲勝，給第 j個(gè)神經(jīng)元的激勵(lì)超過其他競(jìng)爭(zhēng)對(duì)手。 ?Date 57四 微分競(jìng)爭(zhēng)學(xué)習(xí) 微分競(jìng)爭(zhēng)學(xué)習(xí)中。一旦第 j個(gè)神經(jīng)元保證競(jìng)爭(zhēng)獲勝，獲勝的信號(hào) 會(huì)迅速停止改變。 競(jìng)爭(zhēng)信號(hào)變化率 近似于監(jiān)督增強(qiáng)函數(shù) ，他們都是獎(jiǎng)勵(lì)正信號(hào)懲罰負(fù)信號(hào)，都迅速估計(jì)出未知模式類中心。但是增強(qiáng)函數(shù) 需要實(shí)時(shí)神經(jīng)元 “知道 ”并使用模式樣本的轉(zhuǎn)換類隸屬度。 Date 58四 微分競(jìng)爭(zhēng)學(xué)習(xí)n 非監(jiān)督信號(hào)變化 不依賴于未知隸屬度關(guān)系。實(shí)際上它同時(shí)估計(jì)這些信息與獲勝率信息。而增強(qiáng)函數(shù)忽略獲勝信息。所以盡管微分競(jìng)爭(zhēng)學(xué)習(xí)用很少的信息，但它與監(jiān)督競(jìng)爭(zhēng)學(xué)習(xí)具有相比擬的作用。Date 59微分競(jìng)爭(zhēng)學(xué)習(xí)作為 調(diào)制n 離散（脈沖編碼）差分競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則： （ 261） 表示了神經(jīng)元的自適應(yīng) 調(diào)制。通信理論中， 調(diào)制系統(tǒng)傳輸?shù)氖窍噜彶蓸拥姆炔罘侄皇遣蓸臃缺旧?。一個(gè) 調(diào)制系統(tǒng)可以傳輸 信號(hào)，表明基本采樣波形局部增加或減少。Date 60微分競(jìng)爭(zhēng)學(xué)習(xí)作為 調(diào)制n 可以將信號(hào)差分近似為激勵(lì)的差分： 這里的 定義如下：Date 61微分競(jìng)爭(zhēng)學(xué)習(xí)作為 調(diào)制 符號(hào)算子固定了 調(diào)制的步長(zhǎng)。像 （ 261）所示的變量步長(zhǎng)就導(dǎo)致了自適應(yīng) 調(diào)制。信號(hào)飽和長(zhǎng)時(shí)間后，激勵(lì)差分仍保持對(duì)激勵(lì)變量的敏感。Date 62 今天就到這里謝謝大家* 63
黨政相關(guān)相關(guān)推薦
鄂ICP備17016276號(hào)-1