神經(jīng)網(wǎng)絡(luò)基礎(chǔ)ppt課件-資料下載頁(yè)
2025-01-05 15:31本頁(yè)面
【正文】 ???42 ? 概率式學(xué)習(xí)的典型代表是 Boltzmann機(jī)學(xué)習(xí)規(guī)則。它是基于模擬退火的統(tǒng)計(jì)優(yōu)化方法，因此又稱模擬退火算法 ? Boltzmann機(jī)模型是一個(gè)包括輸入、輸出和隱層的多層網(wǎng)絡(luò)，但隱層間存在互聯(lián)結(jié)構(gòu)且網(wǎng)絡(luò)層次不明顯 ? 由于模擬退火過(guò)程要求高溫使系統(tǒng)達(dá)到平衡狀態(tài)，而冷卻（即退火）過(guò)程又必須緩慢地進(jìn)行，否則容易造成局部最小，所以這種學(xué)習(xí)規(guī)律的算法收斂速度較慢。 (3)概率式學(xué)習(xí)規(guī)則 43 39。()ij ij ijW p p?? ? ? Boltzmann機(jī)的訓(xùn)練過(guò)程 ， 就是根據(jù)規(guī)則： 對(duì)神經(jīng)元 i， j 間的連接權(quán)值進(jìn)行調(diào)整的過(guò)程 。 式中 ， 為學(xué)習(xí)速率 pij 表示網(wǎng)絡(luò)受到學(xué)習(xí)樣本的約束且系統(tǒng)達(dá)到 平衡狀態(tài)時(shí)第 i個(gè)和第 j個(gè)神經(jīng)元同時(shí)為 1的 概率 表示系統(tǒng)為自由運(yùn)轉(zhuǎn)狀態(tài)且達(dá)到平衡狀態(tài) 時(shí)第 i個(gè)和第 j個(gè)神經(jīng)元同時(shí)為 1的概率 ?39。ijp44 調(diào)整權(quán)值的原則是：當(dāng) 時(shí)，則權(quán)值增加，否則減少權(quán)值。這種權(quán)值調(diào)整公式稱為 Boltzmann機(jī)學(xué)習(xí)規(guī)則，即 39。ij ijpp?39。( 1 ) ( ) ( ) , 0ij ij ij ijw k w k p p??? ? ? ? ? 當(dāng) 小于一定值時(shí)，學(xué)習(xí)結(jié)束。 39。ij ijpp?45 ? 競(jìng)爭(zhēng)學(xué)習(xí)屬于無(wú)教師學(xué)習(xí)方式。這種學(xué)習(xí)方式利用不同層間的神經(jīng)元發(fā)生興奮性聯(lián)接，以及同一層內(nèi)距離很近的神經(jīng)元間發(fā)生同樣的興奮性聯(lián)接，而距離較遠(yuǎn)的神經(jīng)元產(chǎn)生抑制性聯(lián)接。 ? 在這種聯(lián)接機(jī)制中引入競(jìng)爭(zhēng)機(jī)制的學(xué)習(xí)方式稱為競(jìng)爭(zhēng)式學(xué)習(xí)。它的本質(zhì)在于神經(jīng)網(wǎng)絡(luò)中高層次的神經(jīng)元對(duì)低層次神經(jīng)元的輸入模式進(jìn)行競(jìng)爭(zhēng)識(shí)別。 (4) 競(jìng)爭(zhēng)式學(xué)習(xí)規(guī)則 46 ? 競(jìng)爭(zhēng)式學(xué)習(xí)的思想來(lái)源于人腦的自組織能力。大腦能夠及時(shí)地調(diào)整自身結(jié)構(gòu)，自動(dòng)地向環(huán)境學(xué)習(xí)，完成所需執(zhí)行的功能而并不需要教師訓(xùn)練。競(jìng)爭(zhēng)式神經(jīng)網(wǎng)絡(luò)亦是如此，所以又把這一類(lèi)神經(jīng)網(wǎng)絡(luò)稱為自組織神經(jīng)網(wǎng)絡(luò)。 (4) 競(jìng)爭(zhēng)式學(xué)習(xí)規(guī)則 47 120()Nj i i jid u w????? 自組織神經(jīng)網(wǎng)絡(luò)要求識(shí)別與輸入最匹配的節(jié)點(diǎn) ， 定 義距離為接近距離測(cè)度 ， 即 其中， u為 N維輸入向量，具有最短距離的節(jié)點(diǎn)選作勝者，它的權(quán)向量經(jīng)修正使該節(jié)點(diǎn)對(duì)輸入 u更敏感。 48 ( ) ,0,i i j cijcu w i NwiN? ????? ???定義 Nc， 其半徑逐漸減少至接近于零 ， 權(quán)值學(xué)習(xí)規(guī) 則為 在這類(lèi)學(xué)習(xí)規(guī)則中 ， 關(guān)鍵不在于實(shí)節(jié)點(diǎn)的輸出怎樣 與外部的期望輸出相一致 ， 而在于調(diào)整權(quán)向量以反 映觀察事件的分布 ， 提供基于檢測(cè)特性空間的活動(dòng) 規(guī)律的性能描寫(xiě) 。 49 (5) 梯度下降規(guī)則 ? Delta規(guī)則是梯度下降規(guī)則的一個(gè)例子 ? 學(xué)習(xí)過(guò)程中保持誤差曲線梯度下降 ? 可能出現(xiàn)局部最小，應(yīng)盡量避免 E r r o r最 小 誤 差局 部 最 小50 (6) 其他學(xué)習(xí)算法 ? Kohonen(克豪南學(xué)習(xí)規(guī)則 ) ?各單元之間競(jìng)爭(zhēng)，只有勝者有輸出，并調(diào)整勝者與其相鄰的單元的權(quán)重 ?屬于無(wú)教師學(xué)習(xí) ? 逆誤差傳播規(guī)則 常用 BP算法采用的學(xué)習(xí)方法 51 學(xué)習(xí)規(guī)則小結(jié) 從上述幾種學(xué)習(xí)規(guī)則不難看出，要使人工神經(jīng)網(wǎng)絡(luò)具有學(xué)習(xí)能力，就是使神經(jīng)網(wǎng)絡(luò)的知識(shí)結(jié)構(gòu)變化，也就是說(shuō)，使神經(jīng)元間的結(jié)合模式變化，這同把連接權(quán)向量用什么方法變化是等價(jià)的。因此，所謂神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)，目前主要是指通過(guò)一定的學(xué)習(xí)算法實(shí)現(xiàn)對(duì)突觸結(jié)合強(qiáng)度（權(quán)值）的調(diào)整，使其達(dá)到具有記憶、識(shí)別、分類(lèi)、信息處理和問(wèn)題優(yōu)化求解等功能，這是一個(gè)正在發(fā)展中的研究課題。 返回 52 167。 小結(jié) ? 生物神經(jīng)元的信息處理 ? 人工神經(jīng)元模型 ? 人工神經(jīng)網(wǎng)絡(luò)模型 ? 人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí) 返回
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1