bp神經網絡理論基礎介紹-全文預覽
【正文】 ????????? ????2022/6/22 70 ijH1kjkkij o)n et(fwwh???????? ? ?????ijH1kjkkijij o)n e t(fh???????? ? ?????收斂速度問題 局部極小點問題 逃離 /避開局部極小點 ： 修改 W、 V的初值并不是總有效 。[1988年， Wasserman] 2022/6/22 73 。 2022/6/22 71 網絡癱瘓問題 在訓練中，權可能變得很大，這會使神經元的網絡輸入變得很大，從而又使得其激活函數的導函數在此點上的取值很小。 E=E/ 2022/6/22 51 較好地解決了因樣本的順序引起的精度問題和訓練的抖動問題 收斂速度：比較慢 偏移量：給每一個神經元增加一個偏移量來加快收斂速度 沖量 ： 聯接權的本次修改要考慮上次修改的影響，以減少抖動問題 2022/6/22 52 主要數據結構 W[H， m] 輸出層的權矩陣； V[n， H] 輸入 （ 隱藏 ） 層的權矩陣； [m]輸出層各聯接權的修改量組成的向量； [H]隱藏層各聯接權的修改量組成的向量； O1隱藏層的輸出向量； O2輸出層的輸出向量； (X， Y)一個樣本。 樣本順序影響結果的原因： 分別依次 用 (X1,Y1)， （ X2,Y2） ， ， （ Xs,Ys） 的 總效果 修改W(1) ， W(2) ， ， W(L)。形成將輸出端表現出的誤差沿著與輸入信號相反的方向逐級向輸入端傳遞的過程 2022/6/22 46 1 for k=1 to L do 初始化 W(k)； 2 初始化精度控制參數 ε； 3 E=ε+1。 （ 3） 網絡關于第 p個樣本的誤差測度： 2022/6/22 37 ? ?????mjpjpjp oyE1221（ 4） 網絡關于整個樣本集的誤差測度： ??ppEE2022/6/22 38 輸出層權的調整 wpq= wpq+?wpq ?wpq=αδqop =αfn′ (q)(yqoq)op =αoq(1oq) (yqoq)op wpq ANp ANq 第 L1層 第 L層 wpq 2022/6/22 39 ANp ANq ANh vhp δpk1 δ1k wp1 wpq δqk wpm δmk 第 k2層 第 k層 第 k1層 … … 2022/6/22 40 δpk1的值和 δ1k， δ2k， ， δmk 有關 不妨認為 δpk1 通過權 wp1對 δ1k做出貢獻 ， 通過權 wp2對 δ2k做出貢獻 ， 通過權 wpm對 δmk做出貢獻 。 2022/6/22 30 1 網絡的構成 神經元的網絡輸入： i=x1w1i+x2w2i+… +xnwni 神經元的輸出： 2022/6/22 31 n e ten etfo ???? 11)()1()()1(1)( 22 ooooeen e tf n e tn e t ????????? ??應該將 的值盡量控制在收斂比較快的范圍內 可以用其它的函數作為激活函數 ， 只要該函數是處處可導的 2022/6/22 32 f ′() o 0 1 1 （ 0,） （ 0,0） o n eteo ??? 112022/6/22 33 x1 o1 輸出層 隱藏層 輸入層 x2 o2 om xn … … … … … … … W(1) W(2) W(3) W(L) 1. BP網的結構 2. 輸入向量 、 輸出向量的維數 、 網絡隱藏層的層數和各個隱藏層神經元的個數的決定 3. 實驗：增加隱藏層的層數和隱藏層神經元個數不一定總能夠提高網絡精度和表達能力 。 2022/6/22 29 BP網絡主要用于 1）函數逼近：用輸入向量和相應的輸出向量訓練一個網絡逼近一個函數。 輸入向量與其對應的輸出向量構成一訓練 。 1962年 ， Rosenblatt給出了人工神經網絡著名的學習定理：人工神經網絡可以學會它可以表達的任何東西 。我們希望這種變化逐漸減小，并且最后能消失。 2022/6/22 19 輸出層 隱藏層 輸入層 o1 o2 om … x1 x2 xn … … … … … … W(1) W(2) W(3) W(h) 2022/6/22 20 輸出層 隱藏層 輸入層 o1 o2 om … x1 x2 xn … … … … … … W(1) W(2) W(3) W
環(huán)評公示相關推薦
鄂ICP備17016276號-1