bp神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)介紹-全文預(yù)覽
【正文】 ????????? ????2022/6/22 70 ijH1kjkkij o)n et(fwwh???????? ? ?????ijH1kjkkijij o)n e t(fh???????? ? ?????收斂速度問題 局部極小點(diǎn)問題 逃離 /避開局部極小點(diǎn) ： 修改 W、 V的初值并不是總有效 。[1988年， Wasserman] 2022/6/22 73 。 2022/6/22 71 網(wǎng)絡(luò)癱瘓問題 在訓(xùn)練中，權(quán)可能變得很大，這會(huì)使神經(jīng)元的網(wǎng)絡(luò)輸入變得很大，從而又使得其激活函數(shù)的導(dǎo)函數(shù)在此點(diǎn)上的取值很小。 E=E/ 2022/6/22 51 較好地解決了因樣本的順序引起的精度問題和訓(xùn)練的抖動(dòng)問題 收斂速度：比較慢 偏移量：給每一個(gè)神經(jīng)元增加一個(gè)偏移量來加快收斂速度 沖量 ： 聯(lián)接權(quán)的本次修改要考慮上次修改的影響，以減少抖動(dòng)問題 2022/6/22 52 主要數(shù)據(jù)結(jié)構(gòu) W[H， m] 輸出層的權(quán)矩陣； V[n， H] 輸入 （ 隱藏 ） 層的權(quán)矩陣； [m]輸出層各聯(lián)接權(quán)的修改量組成的向量； [H]隱藏層各聯(lián)接權(quán)的修改量組成的向量； O1隱藏層的輸出向量； O2輸出層的輸出向量； (X， Y)一個(gè)樣本。 樣本順序影響結(jié)果的原因： 分別依次 用 (X1,Y1)， （ X2,Y2） ， ， （ Xs,Ys） 的 總效果 修改W(1) ， W(2) ， ， W(L)。形成將輸出端表現(xiàn)出的誤差沿著與輸入信號(hào)相反的方向逐級(jí)向輸入端傳遞的過程 2022/6/22 46 1 for k=1 to L do 初始化 W(k)； 2 初始化精度控制參數(shù) ε； 3 E=ε+1。 （ 3） 網(wǎng)絡(luò)關(guān)于第 p個(gè)樣本的誤差測(cè)度： 2022/6/22 37 ? ?????mjpjpjp oyE1221（ 4） 網(wǎng)絡(luò)關(guān)于整個(gè)樣本集的誤差測(cè)度： ??ppEE2022/6/22 38 輸出層權(quán)的調(diào)整 wpq= wpq+?wpq ?wpq=αδqop =αfn′ (q)(yqoq)op =αoq(1oq) (yqoq)op wpq ANp ANq 第 L1層 第 L層 wpq 2022/6/22 39 ANp ANq ANh vhp δpk1 δ1k wp1 wpq δqk wpm δmk 第 k2層 第 k層 第 k1層 … … 2022/6/22 40 δpk1的值和 δ1k， δ2k， ， δmk 有關(guān) 不妨認(rèn)為 δpk1 通過權(quán) wp1對(duì) δ1k做出貢獻(xiàn) ， 通過權(quán) wp2對(duì) δ2k做出貢獻(xiàn) ， 通過權(quán) wpm對(duì) δmk做出貢獻(xiàn) 。 2022/6/22 30 1 網(wǎng)絡(luò)的構(gòu)成 神經(jīng)元的網(wǎng)絡(luò)輸入： i=x1w1i+x2w2i+… +xnwni 神經(jīng)元的輸出： 2022/6/22 31 n e ten etfo ???? 11)()1()()1(1)( 22 ooooeen e tf n e tn e t ????????? ??應(yīng)該將 的值盡量控制在收斂比較快的范圍內(nèi) 可以用其它的函數(shù)作為激活函數(shù) ， 只要該函數(shù)是處處可導(dǎo)的 2022/6/22 32 f ′() o 0 1 1 （ 0,） （ 0,0） o n eteo ??? 112022/6/22 33 x1 o1 輸出層 隱藏層 輸入層 x2 o2 om xn … … … … … … … W(1) W(2) W(3) W(L) 1. BP網(wǎng)的結(jié)構(gòu) 2. 輸入向量 、 輸出向量的維數(shù) 、 網(wǎng)絡(luò)隱藏層的層數(shù)和各個(gè)隱藏層神經(jīng)元的個(gè)數(shù)的決定 3. 實(shí)驗(yàn)：增加隱藏層的層數(shù)和隱藏層神經(jīng)元個(gè)數(shù)不一定總能夠提高網(wǎng)絡(luò)精度和表達(dá)能力 。 2022/6/22 29 BP網(wǎng)絡(luò)主要用于 1）函數(shù)逼近：用輸入向量和相應(yīng)的輸出向量訓(xùn)練一個(gè)網(wǎng)絡(luò)逼近一個(gè)函數(shù)。 輸入向量與其對(duì)應(yīng)的輸出向量構(gòu)成一訓(xùn)練 。 1962年 ， Rosenblatt給出了人工神經(jīng)網(wǎng)絡(luò)著名的學(xué)習(xí)定理：人工神經(jīng)網(wǎng)絡(luò)可以學(xué)會(huì)它可以表達(dá)的任何東西 。我們希望這種變化逐漸減小，并且最后能消失。 2022/6/22 19 輸出層 隱藏層 輸入層 o1 o2 om … x1 x2 xn … … … … … … W(1) W(2) W(3) W(h) 2022/6/22 20 輸出層 隱藏層 輸入層 o1 o2 om … x1 x2 xn … … … … … … W(1) W(2) W(3) W
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1