[工學(xué)]pr 第五章 非線性分類-文庫吧
2025-09-19 23:42 本頁面
【正文】 為代表 ?反饋網(wǎng)絡(luò) 以 Hopfield網(wǎng)為代表 ?自組織網(wǎng)絡(luò)（競爭學(xué)習(xí)網(wǎng)絡(luò)） 以 SOM為代表 ? 基本的神經(jīng)元模型 McCullochPitts Model (1943) )s g n ( 01wxwyniii ?? ??? 感知器，感知準(zhǔn)則函數(shù) yyg T??)()()(m i n jTyP yJ kj?? ?? ?? Yjyk ykkkj?????Y??? )()1(? 當(dāng)兩類線性可分時(shí)，此算法收斂 ? Minsky等發(fā)現(xiàn)并證明(1969)，感知器只能解決一階謂詞邏輯問題，不能解決高階問題，如不能解決 XOR問題。 ? 出路：多個(gè)感知器結(jié)點(diǎn)結(jié)合，引入隱節(jié)點(diǎn)，如右圖的結(jié)構(gòu)可實(shí)現(xiàn)XOR。 ? 如何求多層感知器的權(quán)值？ 采用反向傳播算法的多層感知器 ? MLP結(jié)構(gòu) ? 結(jié)點(diǎn)采用 Sigmoid函數(shù) )1/(1)( ?? ??? ef)(11)(??? ???? ef? MLP特性：可以實(shí)現(xiàn)任意復(fù)雜的非線性映射關(guān)系 ? 用于分類： ?兩層網(wǎng)（一個(gè)隱層）可實(shí)現(xiàn)空間內(nèi)任意的凸形成區(qū)域的劃分。 ?三層網(wǎng)（兩個(gè)隱層）可實(shí)現(xiàn)任意形狀（連續(xù)或不連續(xù)）區(qū)域劃分。 ? 問題：如何找到這樣的網(wǎng)絡(luò)結(jié)構(gòu)？權(quán)值如何確定？ ? 反向傳播算法 BP算法（ Back Propagation Algorithm） ? BP算法： LeCun, 1986。 Rumelhart, Hinton amp。 Williams, 1986。 Parker, 1985 ? (1) 權(quán)值初始化， t=0（用小隨機(jī)數(shù)） ? (2) 給出一個(gè)訓(xùn)練樣本 和期望輸出 ? (3) 計(jì)算在 x輸入下的實(shí)際輸出 ? (4) 從輸出層開始，調(diào)整權(quán)值，對第 l層，有 其中 為學(xué)習(xí)步長 , 計(jì)算如下： 對輸出層： 對中間層： ? ? nTn Rxxx ?? ,1 ?? ? mTm RddD ?? ,1 ?? ?TmyyY ,1 ??1 1( 1 ) ( ) 1 , , 1 , ,l l l li j i j j i l lw t w t x j n i n? ?? ? ? ? ? ? ?? lj?( 1 ) ( ) 1 , ,lj j j j jy y d y j m? ? ? ? ?1 111( 1 ) ( ) 1 , ,lnl l l l lj j j k j k lkx x w
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1