《人工神經(jīng)網(wǎng)絡(luò)課程》ppt課件-文庫(kù)吧
2024-12-24 04:10 本頁(yè)面
【正文】 ???????????????????????gs sgsggs sgNsgsgsgNwEwwEEwxtWEwEwxtWEE,2,11)(),(),(???????????E?)0(?0,0 ????? ?EEEW E2022/2/2 馬盡文 11 非線性連續(xù)變換單元組成的網(wǎng)絡(luò) (ii). BP算法的推導(dǎo) 令 為迭代次數(shù)，則得一般性梯度下降法： 其中 為學(xué)習(xí)率，是一個(gè)大于零的較小的實(shí)數(shù)。 先考慮對(duì)于 的偏導(dǎo)數(shù)： 0n??????????????????????????jijijikjkjkjlklklkwEnwnwwEnwnwwEnwnw???)()1(39。)(39。)1(39。39。39。)(39。39。)1(39。39。000000?lkw39。39。)39。39。39。39。39。39。(39。39。)39。39。(39。)(39。39。39。39。39。39。39。39。2011?????????????knklklkNllllklllNllkxwuxufytwuuyyEwE???????????????????2022/2/2 馬盡文 12 非線性連續(xù)變換單元組成的網(wǎng)絡(luò) 在上式中， 為第 個(gè)樣本輸入網(wǎng)絡(luò)時(shí)， 的對(duì)應(yīng)值。另外 令 則： 為了方便，引入記號(hào)： ?kx39。39。 ? kx39。39。)1())39。39。(1)(39。39。()39。39。(39。 ????? lllll yyufufuf ????)1()( ?????? lllll yyyt ?????????kNllklklklk xnwwEnwnw 39。39。)(39。39。39。39。)(39。39。)1(39。39。 1000 ? ???????????????????????????????niijijjjnjjkjkkknkklklllxwuufxxwuufxxwuufy000),(39。39。39。39。),39。(39。39。39。39。39。39。39。39。),39。39。(122022/2/2 馬盡文 13 非線性連續(xù)變換單元組成的網(wǎng)絡(luò) 對(duì)于 的偏導(dǎo)數(shù)，我們有： 39。kjwlkmllkkkklkmllkjNkjkklkN mlljkklklllN mlljklkllN mllkjkkkklllN ml lkjwxxxxwxxxxwxxxwyyytxufwufytwuuxxuuyyEwE39。39。)39。39。1(39。39。)39。39。1(39。39。39。39。39。39。)39。39。1(39。39。39。39。39。)39。39。1(39。39。39。39。)1()(39。)39。(39。39。39。)39。39。(39。)(39。39。39。39。39。39。39。39。39。39。39。39。1111 11 11 11 1???? ?? ?? ?? ????? ?? ?? ?? ???????????????????????????????????????????????????????????????????????????其中2022/2/2 馬盡文 14 非線性連續(xù)變換單元組成的網(wǎng)絡(luò) 這樣我們有： 類(lèi)似的推導(dǎo)可得： (iii). BP算法 Step 1. 賦予初值： Step 2. 在 時(shí)刻，計(jì)算 及其廣義誤差 ?????jNkkjkj xnwnw 39。)(39。)1(39。100 ????? ????????????????knkkjjjjjknkkjjiNjjijiwxxxxwxnwnw???????????????????111110039。)39。1(39。)39。1(39。39。)()1(其中)39。39。,39。,(,0),)(()0( lkkjjisgsg wR a n d o mw ????? ????? lkj yxx ,39。39。,39。12 ,2,1,。,2,1,。,2,1, njnkml jkl ?????? ?????? ???0n2022/2/2 馬盡文 15 非線性連續(xù)變換單元組成的網(wǎng)絡(luò) Step 3. 修正權(quán)值： Step 4. 計(jì)算修正后的誤差： 若 ，算法結(jié)束，否則返回到 Step 2。 ???????????????iNjjijijNkkjkjkNllklkxnwnwxnwnwxnwnw???????????????100100100)()1(39。)(39。)1(39。39。39。)(39。39。)1(39。39。???),),1(()1( 010??? ?xtnEnE N ??? ??W??? ?????? ||,0()1( 0sgwEnE 或預(yù)先給定）2022/2/2 馬盡文 16 非線性連續(xù)變換單元組成的網(wǎng)絡(luò) BP算法的討論 ： a). 這里的梯度是對(duì)于全部樣本求的，因此是一種批處理算法，即 Batchway，它符合梯度算法，穩(wěn)定地收斂到總誤差的一個(gè)極小點(diǎn)而結(jié)束。 (注意：按總誤差小于 可能導(dǎo)致算法不收斂 .) b). 實(shí)際中更常用的是對(duì)每個(gè)樣本修改，即自適應(yīng)算法，當(dāng)每次樣本是隨機(jī)選取時(shí)，可通過(guò)隨機(jī)逼近理論證明該算法也是收斂的。特點(diǎn)是收斂速度快。 C). 為了使得算法既穩(wěn)定，又具有快的收斂速度，可以使用批處理與自適應(yīng)相補(bǔ)充的算法，即選取一組樣本（遠(yuǎn)小于全部樣本）進(jìn)行計(jì)算
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1