[工學]pr 第五章 非線性分類-文庫吧
2025-09-19 23:42 本頁面
【正文】 為代表 ?反饋網(wǎng)絡 以 Hopfield網(wǎng)為代表 ?自組織網(wǎng)絡（競爭學習網(wǎng)絡） 以 SOM為代表 ? 基本的神經(jīng)元模型 McCullochPitts Model (1943) )s g n ( 01wxwyniii ?? ??? 感知器，感知準則函數(shù) yyg T??)()()(m i n jTyP yJ kj?? ?? ?? Yjyk ykkkj?????Y??? )()1(? 當兩類線性可分時，此算法收斂 ? Minsky等發(fā)現(xiàn)并證明(1969)，感知器只能解決一階謂詞邏輯問題，不能解決高階問題，如不能解決 XOR問題。 ? 出路：多個感知器結(jié)點結(jié)合，引入隱節(jié)點，如右圖的結(jié)構(gòu)可實現(xiàn)XOR。 ? 如何求多層感知器的權(quán)值？ 采用反向傳播算法的多層感知器 ? MLP結(jié)構(gòu) ? 結(jié)點采用 Sigmoid函數(shù) )1/(1)( ?? ??? ef)(11)(??? ???? ef? MLP特性：可以實現(xiàn)任意復雜的非線性映射關系 ? 用于分類： ?兩層網(wǎng)（一個隱層）可實現(xiàn)空間內(nèi)任意的凸形成區(qū)域的劃分。 ?三層網(wǎng)（兩個隱層）可實現(xiàn)任意形狀（連續(xù)或不連續(xù)）區(qū)域劃分。 ? 問題：如何找到這樣的網(wǎng)絡結(jié)構(gòu)？權(quán)值如何確定？ ? 反向傳播算法 BP算法（ Back Propagation Algorithm） ? BP算法： LeCun, 1986。 Rumelhart, Hinton amp。 Williams, 1986。 Parker, 1985 ? (1) 權(quán)值初始化， t=0（用小隨機數(shù)） ? (2) 給出一個訓練樣本 和期望輸出 ? (3) 計算在 x輸入下的實際輸出 ? (4) 從輸出層開始，調(diào)整權(quán)值，對第 l層，有 其中 為學習步長 , 計算如下： 對輸出層： 對中間層： ? ? nTn Rxxx ?? ,1 ?? ? mTm RddD ?? ,1 ?? ?TmyyY ,1 ??1 1( 1 ) ( ) 1 , , 1 , ,l l l li j i j j i l lw t w t x j n i n? ?? ? ? ? ? ? ?? lj?( 1 ) ( ) 1 , ,lj j j j jy y d y j m? ? ? ? ?1 111( 1 ) ( ) 1 , ,lnl l l l lj j j k j k lkx x w
教學課件相關推薦
鄂ICP備17016276號-1