典型人工神經(jīng)網(wǎng)絡(luò)b(參考版)
2025-01-08 22:11本頁(yè)面
【正文】 sim 輸入測(cè)試數(shù)據(jù)； 查看仿真結(jié)果； simuff。 newff 設(shè)置相關(guān)參數(shù)；見(jiàn) P189P190； P191 訓(xùn)練網(wǎng)絡(luò)； trainbpx。 1 ] T=[1 1 0 1 1 0 1 0] [w,b]=initp(X,T) [w,b,epochs,erros]=trainp(w,b,X,T) Y=simup(X,w,b) testX=[ 。 一般情況下，作為對(duì)比，可以同時(shí)對(duì)兩個(gè)不同期望誤差值的網(wǎng)絡(luò)進(jìn)行訓(xùn)練，最后通過(guò)綜合因素的考慮來(lái)確定采用其中一個(gè)網(wǎng)絡(luò)。 BP網(wǎng)絡(luò)學(xué)習(xí)速率的選取 版權(quán)所有 復(fù)制必究 2022 38 在設(shè)計(jì)網(wǎng)絡(luò)的訓(xùn)練過(guò)程中，期望誤差值也應(yīng)當(dāng)通過(guò)對(duì)比訓(xùn)練后確定一個(gè)合適的值。 所以在一般情況下，傾向于選取較小的學(xué)習(xí)速率以保證系統(tǒng)的穩(wěn)定性。 大的學(xué)習(xí)速率可能導(dǎo)致系統(tǒng)的不穩(wěn)定。 BP網(wǎng)絡(luò)隱含層的神經(jīng)元數(shù) 初始權(quán)值的選取 一般取初始權(quán)值在 (1， 1)之間的隨機(jī)數(shù)。這在結(jié)構(gòu)實(shí)現(xiàn)上，要比增加更多的隱含層要簡(jiǎn)單得多。 能不能僅用具有非線性激活函數(shù)的單層網(wǎng)絡(luò)來(lái)解決問(wèn)題呢？結(jié)論是 ：沒(méi)有必要或效果不好。 增加層數(shù)主要可以更進(jìn)一步的降低誤差，提高精度，但同時(shí)也使網(wǎng)絡(luò)復(fù)雜化，從而增加了網(wǎng)絡(luò)權(quán)值的訓(xùn)練時(shí)間。 該方法是在反向傳播法的基礎(chǔ)上，在每一個(gè)權(quán)值的變化上加上一項(xiàng)正比于前次權(quán)值變化量的值，并根據(jù)反向傳播法來(lái)產(chǎn)生新的權(quán)值變化。 調(diào)整公式： ???????????其它)()()1()()()1()()1(kkJkJkkJkJkk????自適應(yīng)變學(xué)習(xí)率方法 版權(quán)所有 復(fù)制必究 2022 33 在修正其權(quán)值時(shí)，不僅考慮誤差在梯度上的作用，而且考慮在誤差曲面上變化趨勢(shì)的影響。 加快收斂速度 采用不同的激勵(lì)函數(shù)； 變學(xué)習(xí)率方法 ；利用激勵(lì)函數(shù)的二階導(dǎo)數(shù)；最速下降法；組合學(xué)習(xí)方法；權(quán)值修正引入動(dòng)量因子；遺傳算法；等等。 影響 BP學(xué)習(xí)算法的因素 版權(quán)所有 復(fù)制必究 2022 30 非線性優(yōu)化的局部極小，或振蕩不收斂； 收斂速度很慢； 新樣本的加入會(huì)影響已學(xué)習(xí)過(guò)的老樣本。可通過(guò)調(diào)節(jié) Sigmoid函數(shù)的斜率或采用其它激勵(lì)函數(shù)來(lái)改善網(wǎng)絡(luò)的學(xué)習(xí)性能。 學(xué)習(xí)方式 : 增量型 學(xué)習(xí)方法效果好； 累積型 學(xué)習(xí)方法速度快。Ne t Y Ne t Z Ne t O D O?正向過(guò)程計(jì)算 。, 321 WWW 一般給一組較小的隨機(jī)數(shù)。,2,1 pinj ?? ??第一隱層輸出： ? ????????? ???? ??1111injjijii xwfNe tfy ?學(xué)習(xí)算法（續(xù)） ? ? ???????? ???? ??2122kpiikikk ywfNe tfz ?第二隱層輸出： 1 , 2 , ,kq?1 , 2 , ,lm?? ? ???????? ???? ??3133lqkklkll zwfNe tfo ?輸出層輸出： 版權(quán)所有 復(fù)制必究 2022 23 ? ? 2112mlllJ d o????第一步：計(jì)算梯度 :,33 JJW ???klkllllklllllklllkzzN e tfodwN e tN e tooJwN e tN e tJwJ3339。 WJW????? ?? ?? ??? ?????NpnipidiNppoyyEJ1 11?正定的、可微的凸函數(shù) N個(gè)樣本 性能指標(biāo) 版權(quán)所有 復(fù)制必究 2022 20 … … … x1 x2 xn o1 o2 om 3lkwp q1ijw3l?1i?n m2k?2kiwiy kzj i k l… … 學(xué)習(xí)算法 版權(quán)所有 復(fù)制必究 2022 21 學(xué)習(xí)算法（續(xù)） ? ?nT xxxX , 21 ??? ?mT oooO , 21 ??神經(jīng)網(wǎng)絡(luò)輸入 神經(jīng)網(wǎng)絡(luò)輸出 ? ?pT yyyY , 21 ?? ? ?qT zzzZ , 21 ??隱層輸出 ? ? ? ? ? ? qmlkpqkinpij ??? 321 ,加權(quán)矩陣 ? ? ? ? ? ? 131211 , ??? mlqkpi ???閾值向量 ? ? kk zN e tf ?2? ? ii yN e tf ?1? ? ll oN e tf ?3非線性作用函數(shù)（激活函數(shù)） 期望輸出
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1