典型人工神經(jīng)網(wǎng)絡(luò)b(已改無(wú)錯(cuò)字)
2023-02-05 22:11:05 本頁(yè)面
【正文】 ???????? ??? ??kllkzwJ 33 ????? 33 llJ ?? ????輸出層與第二隱層連接權(quán)值及閾值更新： )()( 333 lllll Ne tfodNe tJ ?????????.3,2,1, ?? ???? rW JW rrr ? ? ? ? ? rrrr W JtWtW ? ???? ?1學(xué)習(xí)算法描述（續(xù)） 版權(quán)所有 復(fù)制必究 2022 28 初始化 加輸入和期望輸出 計(jì)算隱層和輸出層的輸出 迭代次數(shù)加 1 調(diào)節(jié)輸出層和隱層的連接權(quán)值 wJtwtw ????? ?)()1( 改變訓(xùn)練樣本 訓(xùn)練樣本終止？ 迭代終止？ No No y y 算法基本流程 版權(quán)所有 復(fù)制必究 2022 29 權(quán)系數(shù)的初值： 隨機(jī)選較小的值，盡量均勻覆蓋權(quán)值空間，避免出現(xiàn)初始權(quán)值相同的情況。 學(xué)習(xí)方式 : 增量型 學(xué)習(xí)方法效果好； 累積型 學(xué)習(xí)方法速度快。 激勵(lì)函數(shù)： 非減可微函數(shù)?？赏ㄟ^(guò)調(diào)節(jié) Sigmoid函數(shù)的斜率或采用其它激勵(lì)函數(shù)來(lái)改善網(wǎng)絡(luò)的學(xué)習(xí)性能。 學(xué)習(xí)速率： 學(xué)習(xí)速率小，訓(xùn)練速度慢；學(xué)習(xí)速率大，訓(xùn)練速度快，可能出現(xiàn)振蕩現(xiàn)象。 影響 BP學(xué)習(xí)算法的因素 版權(quán)所有 復(fù)制必究 2022 30 非線性優(yōu)化的局部極小，或振蕩不收斂； 收斂速度很慢； 新樣本的加入會(huì)影響已學(xué)習(xí)過(guò)的老樣本。 BP學(xué)習(xí)算法的局限性 版權(quán)所有 復(fù)制必究 2022 31 選用不同的作用函數(shù)、性能指標(biāo)； 解決局部極小問(wèn)題 選用不同的初值迭代；激勵(lì)函數(shù)加入斜率因子；模擬退火方法；分解子網(wǎng)。 加快收斂速度 采用不同的激勵(lì)函數(shù)； 變學(xué)習(xí)率方法 ；利用激勵(lì)函數(shù)的二階導(dǎo)數(shù)；最速下降法；組合學(xué)習(xí)方法；權(quán)值修正引入動(dòng)量因子；遺傳算法；等等。 BP學(xué)習(xí)算法的改進(jìn) 版權(quán)所有 復(fù)制必究 2022 32 準(zhǔn)則： 檢查權(quán)值的修正值是否真正降低了誤差函數(shù)，如果確實(shí)如此，則說(shuō)明所選取的學(xué)習(xí)速率值小了，可以對(duì)其增加一個(gè)量； 若不是這樣，而產(chǎn)生了過(guò)調(diào)，那么就應(yīng)該減小學(xué)習(xí)速率的值。 調(diào)整公式： ???????????其它)()()1()()()1()()1(kkJkJkkJkJkk????自適應(yīng)變學(xué)習(xí)率方法 版權(quán)所有 復(fù)制必究 2022 33 在修正其權(quán)值時(shí)，不僅考慮誤差在梯度上的作用，而且考慮在誤差曲面上變化趨勢(shì)的影響。利用附加動(dòng)量的作用則有可能滑過(guò)局部極小值。 該方法是在反向傳播法的基礎(chǔ)上，在每一個(gè)權(quán)值的變化上加上一項(xiàng)正比于前次權(quán)值變化量的值，并根據(jù)反向傳播法來(lái)產(chǎn)生新的權(quán)值變化。 )1()( ???????? kwwJkw ijijij ??權(quán)值調(diào)節(jié)公式： 動(dòng)量因子，一般取 附加動(dòng)量法 版權(quán)所有 復(fù)制必究 2022 34 網(wǎng)絡(luò)的層數(shù) 隱含層的神經(jīng)元數(shù) 初始權(quán)值的選取 學(xué)習(xí)速率的選取 期望誤差的選取 BP網(wǎng)絡(luò)的設(shè)計(jì) 版權(quán)所有 復(fù)制必究 2022 35 理論上已經(jīng)證明 ：至少一個(gè) S型隱含層加上一個(gè)線性輸出層的網(wǎng)絡(luò)，能夠逼近任何有理函數(shù)。 增加層數(shù)主要可以更進(jìn)一步的降低誤差，提高精度，但同時(shí)也使網(wǎng)絡(luò)復(fù)雜化，從而增加了網(wǎng)絡(luò)權(quán)值的訓(xùn)練時(shí)間。 一般情況下，應(yīng)優(yōu)先考慮增加隱含層中的神經(jīng)元數(shù)。 能不能僅用具有非線性激活函數(shù)的單層網(wǎng)絡(luò)來(lái)解決問(wèn)題呢？結(jié)論是 ：沒(méi)有必要或效果不好。 BP網(wǎng)絡(luò)的層數(shù) 版權(quán)所有 復(fù)制必究 2022 36 網(wǎng)絡(luò)訓(xùn)練精度的提高，可以通過(guò)采用一個(gè)隱含層，而增加其神經(jīng)元數(shù)的方法來(lái)獲得。這在結(jié)構(gòu)實(shí)現(xiàn)上，要比增加更多的隱含層要簡(jiǎn)單得多。 在具體設(shè)計(jì)時(shí)，比較實(shí)際的做法是通過(guò)對(duì)不同神經(jīng)元數(shù)進(jìn)行訓(xùn)練對(duì)比，然后適當(dāng)?shù)丶由弦稽c(diǎn)余量。 BP網(wǎng)絡(luò)隱含層的神經(jīng)元數(shù) 初始權(quán)值的選取 一般取初始權(quán)值在 (1， 1)之間的隨機(jī)數(shù)。 版權(quán)所有 復(fù)制必究 2022 37 學(xué)習(xí)速率決定每一次循環(huán)訓(xùn)練中所產(chǎn)生的權(quán)值變化量。 大的學(xué)習(xí)速率可能導(dǎo)致系統(tǒng)的不穩(wěn)定。 小的學(xué)習(xí)速率導(dǎo)致較長(zhǎng)的訓(xùn)練時(shí)間，可能收斂很慢，不過(guò)能保證網(wǎng)絡(luò)的誤差值不跳出誤差表面的低谷而最終趨于最小誤差值。 所以在一般情況下，傾向于選取較小的學(xué)習(xí)速率以保證系統(tǒng)的穩(wěn)定性。學(xué)習(xí)速率的選取范圍在 。 BP網(wǎng)絡(luò)學(xué)習(xí)速率的選取 版權(quán)所有 復(fù)制必究 2022 38 在設(shè)計(jì)網(wǎng)絡(luò)的訓(xùn)練過(guò)程中，期望誤差值也應(yīng)當(dāng)通過(guò)對(duì)比訓(xùn)練后確定一個(gè)合適的值。 這個(gè)所謂的“合適”，是相對(duì)于所需要的隱含層的節(jié)點(diǎn)數(shù)來(lái)確定，因?yàn)檩^小的期望誤差值是要靠增加隱含層的節(jié)點(diǎn)，以及訓(xùn)練時(shí)間來(lái)獲得的。 一般情況下，作為對(duì)比，可以同時(shí)對(duì)兩個(gè)不同期望誤
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1