第四章突觸動力學非監(jiān)督學習-在線瀏覽
2024-09-11 13:33本頁面
【正文】 （ 143）Date 13Heb相關(guān)解碼 可用 Heb突觸矩陣 M對 和 神經(jīng)元信號進行雙向處理。這里僅考察前向的情況。有若干 ， 越接近 ，解碼精度越高。 為校正系數(shù)，使每個 盡可能從符號上接近于 。 用神經(jīng)元網(wǎng)絡(luò)從有代表性的訓練樣本中估計連續(xù)函數(shù) f時，有一個連續(xù)的假設(shè)。 相同的比特數(shù) 不同的比特數(shù) （ 154）Date 17Heb相關(guān)解碼? 若兩個二值矢量 和 靠近 ，相同的比特數(shù)大于不同的比特數(shù)，那么 。? 時， ，校正系數(shù)將度量上含糊不清的矢量丟棄掉，不參與求和。極端情況下 ，則 。Date 22二 競爭學習n 確定性競爭學習定律： （ 165） 也可寫為 這里用的是非線性遺忘項 ，而 Heb學習定律用的是線性遺忘項。Date 23二 競爭學習n 兩種情況下都有當?shù)?j個競爭神經(jīng)元獲勝時 ，突觸 以指數(shù)率迅速編碼信號 。因此 （ 165） 就簡化為不改變的形式 。Date 24二 競爭學習n Heb學習是分布式的，對每個樣本模式進行編碼，因此學習新模式后，會遺忘每個所學模式的部分。 ?Date 25二 競爭學習n 競爭作為指示器n 競爭作為相關(guān)檢測器n 漸進質(zhì)心估計n 競爭協(xié)方差估計Date 26競爭作為指示器n 質(zhì)心估計需要競爭信號 近似于局部樣本模式 的指示函數(shù) （ 168） 這樣如果樣本 x來自于區(qū)域 ，則第 j個競爭元獲勝，其它神經(jīng)元失敗。 與 是隨機行矢量， 是 競爭神經(jīng)元向第 j個神經(jīng)元發(fā)出的阻性反饋。式 （ 170） 中 為二值閾值化函數(shù)，因此該式可簡化為：當?shù)?j個神經(jīng)元獲勝時 ，如果第 k個神經(jīng)元獲勝，則 ? 競爭神經(jīng)元激勵自己（或鄰近區(qū)域），同時禁止其它（或較遠的區(qū)域）。這里要用到等范數(shù)的特性。 余弦定律： 度量競爭學習的幾何解釋：第 j個神經(jīng)元當且僅當輸入模式更平行于突觸矢量時才獲勝。具體的細節(jié)將在第六章討論。應(yīng)用此特性可以把訓練樣本只通過一次或少數(shù)的幾次即可。先將競爭學習規(guī)律擴展到漸進估計條件協(xié)方差矩陣 。每個確定類 都有一個質(zhì)心。Date 35競爭協(xié)方差估計 每一步迭代中估計未知的質(zhì)心 作為當前突觸矢量 。對于獲勝突觸矢量有下列隨機微分方程算法 （ 191192）Date 36競爭協(xié)方差估計 如果第 i個 神經(jīng)元在 度量競爭中失敗，則 （ 193） （ 194） Date 37三 微分 Heb學習n 確定的微分 Heb學習定律：
黨政相關(guān)相關(guān)推薦
鄂ICP備17016276號-1