【正文】
分樣本進(jìn)行學(xué)習(xí),而可能的樣本數(shù)量使無窮的。更一般的,量子化矢量可以 估計(jì)樣本模式的未知的概率分布 ,即可從原型矢量的分布可以統(tǒng)計(jì)的代表樣本模式的未知分布。 ? ?pxnR? ?1 2 j i, , . . . , , i jKD D D X D X D? ? ?而 并 且2020/11/29 10 在神經(jīng)網(wǎng)絡(luò)中的區(qū)別 有監(jiān)督學(xué)習(xí)利用在所有可能的突觸值的聯(lián)系空間中估計(jì)出的梯度下降,來估計(jì)依賴于的未知均方性能的測度梯度。 局部的無監(jiān)督突觸把信號(hào)和信號(hào)聯(lián)系起來,形成由局部化限定的共軛或相關(guān)學(xué)習(xí)定律。 ? ?? ?? ? ? ?? ?? ?? ? ? ?? ?1 , m in ,0 , m in ,jkkjjjkkd S X m d S X mSyd S X m d S X m? ??? ????? ?jjSy2020/11/29 18 確定性的競爭學(xué)習(xí) ( Grossberg, 1969) 實(shí)際中, 是線線性的,即, 輸入模式矢量 就代表了神經(jīng)元場 中的輸出。 : Borel sigmaalgebra 概率測度把有限的非負(fù)數(shù)賦予 集合。 ijijij nMyxfm ?? ),(?22ij ijEm ??? ???jmjEm????ijf2020/11/29 34 隨機(jī)平衡 當(dāng)突觸 停止運(yùn)動(dòng),確定的 Hebbian學(xué)習(xí)就出現(xiàn)了隨機(jī)平衡 jm0?jm?2020/11/29 35 隨機(jī)競爭學(xué)習(xí)定律 隨機(jī)競爭學(xué)習(xí)定律 用隨機(jī)競爭信號(hào) 調(diào)制隨機(jī)矢量差 ,并加上獨(dú)立高斯白噪聲矢量 來模型化那些未模型化的效應(yīng) 線性競爭學(xué)習(xí)定律 線性競爭學(xué)習(xí)定律以 X代替線性信號(hào)矢量 ? ?jjSy? ? jS X m?jn? ? ? ?j j j j jm S y S X m n??? ? ???? ?SX? ?j j j j jm S y X m n??? ? ???2020/11/29 36 離散隨機(jī)差分方程系統(tǒng) 常用競爭學(xué)習(xí)算法作為離散隨機(jī)差分方程系統(tǒng) ? ? ? ? ? ?? ? ? ? ? ?? ? ? ?111j j k k j k jj j k k j k jjjm k m k c X m k X Dm k m k c X m k X Dm k m k i j??? ? ? ? ?????? ? ? ? ???? ? ?2020/11/29 37 自組織映射系統(tǒng) Kohonen把下面簡化的非監(jiān)督隨機(jī)系統(tǒng)稱為自組織映射系統(tǒng) ? ? ? ? ? ?? ? ? ?11j j k k jjjm k m k C X m km k m k i j??? ? ? ???? ? ?。 一個(gè)連續(xù)或不連續(xù)的序號(hào)集定義了一個(gè) 隨機(jī)過程。 ? ? ? ?ij j j i i i jm s y s x m? ???? ??? ? 11 jjj cysye ???( 0)c? ? 1jjsy ? YFjjYF? ? 0jjsy ?2020/11/29 17 確定性的競爭學(xué)習(xí) ( G