bp神經(jīng)網(wǎng)絡(luò)ppt課件(2)(編輯修改稿)
2025-02-04 03:59 本頁面
【文章內(nèi)容簡介】 1 x2 xn … … … … … … 2022/2/2 45 層次劃分 信號只被允許從較低層流向較高層 。 層號確定層的高低：層號較小者 ， 層次較低 ， 層號較大者 ， 層次較高 。 輸入層 ：被記作第 0層 。 該層負責接收來自網(wǎng)絡(luò)外部的信息 輸出層 隱藏層 輸入層 o1 o2 om … x1 x2 xn … … … … … … 2022/2/2 46 第 j層 ：第 j1層的直接后繼層 （ j0） ， 它直接接受第 j1層的輸出 。 輸出層 ：它是網(wǎng)絡(luò)的最后一層 ， 具有該網(wǎng)絡(luò)的最大層號 ， 負責輸出網(wǎng)絡(luò)的計算結(jié)果 。 隱藏層 ：除輸入層和輸出層以外的其它各層叫隱藏層。隱藏層不直接接受外界的信號，也不直接向外界發(fā)送信號 輸出層 隱藏層 輸入層 o1 o2 om … x1 x2 xn … … … … … … 2022/2/2 47 約定 : 輸出層的層號為該網(wǎng)絡(luò)的層數(shù)： n層網(wǎng)絡(luò) ， 或 n級網(wǎng)絡(luò) 。 第 j1層到第 j層的聯(lián)接矩陣為第 j層聯(lián)接矩陣 ， 輸出層對應(yīng)的矩陣叫輸出層聯(lián)接矩陣 。 今后 ， 在需要的時候 ， 一般我們用 W（ j） 表示第 j層矩陣 。 輸出層 隱藏層 輸入層 o1 o2 om … x1 x2 xn … … … … … … W(1) W(2) W(3) W(h) 2022/2/2 48 多級網(wǎng) 層網(wǎng)絡(luò) 輸出層 隱藏層 輸入層 o1 o2 om … x1 x2 xn … … … … … … W(1) W(2) W(3) W(h) 2022/2/2 49 多級網(wǎng) 非線性激活函數(shù) F(X)=kX+C F3(F2(F1(XW(1))W(2))W(3)) 2022/2/2 50 循環(huán)網(wǎng) x1 o1 輸出層 隱藏層 輸入層 x2 o2 om xn … … … … … … … 2022/2/2 51 循環(huán)網(wǎng) 如果將輸出信號反饋到輸入端 ,就可構(gòu)成一個多層的循環(huán)網(wǎng)絡(luò) 。 輸入的原始信號被逐步地加強 、 被修復(fù) 。 大腦的 短期記憶特征 :看到的東西不是一下子就從腦海里消失的 。 穩(wěn)定 ：反饋信號會引起網(wǎng)絡(luò)輸出的不斷變化。我們希望這種變化逐漸減小，并且最后能消失。當變化最后消失時，網(wǎng)絡(luò)達到了平衡狀態(tài)。如果這種變化不能消失，則稱該網(wǎng)絡(luò)是不穩(wěn)定的。 2022/2/2 52 人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練 人工神經(jīng)網(wǎng)絡(luò)最具有吸引力的特點是它的學習能力 。 1962年 ， Rosenblatt給出了人工神經(jīng)網(wǎng)絡(luò)著名的學習定理：人工神經(jīng)網(wǎng)絡(luò)可以學會它可以表達的任何東西 。 人工神經(jīng)網(wǎng)絡(luò)的表達能力大大地限制了它的學習能力 。 人工神經(jīng)網(wǎng)絡(luò)的學習過程就是對它的訓(xùn)練過程 2022/2/2 53 無導(dǎo)師學習 無導(dǎo)師學習 (Unsupervised Learning)與無導(dǎo)師訓(xùn)練 (Unsupervised Training)相對應(yīng) 抽取樣本集合中蘊含的統(tǒng)計特性 ， 并以神經(jīng)元之間的聯(lián)接權(quán)的形式存于網(wǎng)絡(luò)中 。 2022/2/2 54 有導(dǎo)師學習 有導(dǎo)師學習 (Supervised Learning)與有導(dǎo)師訓(xùn)練(Supervised Training)相對應(yīng) 。 輸入向量與其對應(yīng)的輸出向量構(gòu)成一訓(xùn)練 。 有導(dǎo)師學習的訓(xùn)練算法的主要步驟包括： 1） 從樣本集合中取一個樣本 （ Ai， Bi） ； 2） 計算出網(wǎng)絡(luò)的實際輸出 O； 3） 求 D=BiO； 4） 根據(jù) D調(diào)整權(quán)矩陣 W； 5） 對每個樣本重復(fù)上述過程 ， 直到對整個樣本集來說 ， 誤差不超過規(guī)定范圍 。 2022/2/2 55 Delta規(guī)則 Widrow和 Hoff的寫法 ： Wij(t+1)=Wij(t)+α(yj aj(t))oi(t) 也可以寫成： Wij(t+1)=Wij(t)+Wij(t) Wij(t)=αδjoi(t) δj=yj aj(t) Grossberg的寫法為： Wij(t)=α ai(t)(oj(t)Wij(t)) 更一般的 Delta規(guī)則為： Wij(t)=g(ai(t)， yj， oj(t)， Wij(t)) 2022/2/2 56 BP網(wǎng)絡(luò) 1 概述 2 基本 BP算法 3 算法的改進 4 算法的實現(xiàn) 5 算法的理論基礎(chǔ) 6 幾個問題的討論 2022/2/2 57 一 概述 BP算法的出現(xiàn) 非循環(huán)多級網(wǎng)絡(luò)的訓(xùn)練算法 UCSD PDP小組的 Rumelhart、 Hinton和 Williams1986年獨立地給出了 BP算法清楚而簡單的描述 1982年 ， Paker就完成了相似的工作 1974年 ， Werbos已提出了該方法 弱點 ：訓(xùn)練速度非常慢 、 局部極小點的逃離問題 、算法不一定收斂 。 優(yōu)點： 廣泛的適應(yīng)性和有效性 。 2022/2/2 58 概述 BP網(wǎng)絡(luò)主要用于 1）函數(shù)逼近：用輸入向量和相應(yīng)的輸出向量訓(xùn)練一個網(wǎng)絡(luò)逼近一個函數(shù)。 2）模式識別：用一個特定的輸出向量將它與輸入向量聯(lián)系起來。 3）分類：把輸入向量 以所定義的合適方式進行分類。 4）數(shù)據(jù)壓縮：減少輸出向量維數(shù)以便于傳輸或存儲。 2022/2/2 59 二 基本 BP算法 1 網(wǎng)絡(luò)的構(gòu)成 神經(jīng)元的網(wǎng)絡(luò)輸入： i=x1w1i+x2w2i+… +xnwni 神經(jīng)元的輸出： ne tene tfo ???? 11)()1()()1(1)( 22 ooooeene tf ne tne t ????????? ??2022/2/2 60 輸出函數(shù)分析 f ′() o 0 1 1 （ 0,） （ 0,0） o ne teo ??? 11應(yīng)該將 的值盡量控制在收斂比較快的范圍內(nèi) 可以用其它的函數(shù)作為激活函數(shù) ， 只要該函數(shù)是處處可導(dǎo)的 2022/2/2 61 網(wǎng)絡(luò)的拓撲結(jié)構(gòu) x1 o1 輸出層 隱藏層 輸入層 x2 o2 om xn … … … … … … … W(1) W(2) W(3) W(L) 2022/2/2 62 網(wǎng)絡(luò)的拓撲結(jié)構(gòu) 1. BP網(wǎng)的結(jié)構(gòu) 2. 輸入向量 、 輸出向量的維數(shù) 、 網(wǎng)絡(luò)隱藏層的層數(shù)和各個隱藏層神經(jīng)元的個數(shù)的決定 3. 實驗：增加隱藏層的層數(shù)和隱藏層神經(jīng)元個數(shù)不一定總能夠提高網(wǎng)絡(luò)精度和表達能力 。 4. BP網(wǎng)一般都選用二級網(wǎng)絡(luò) 。 2022/2/2 63 網(wǎng)絡(luò)的拓撲結(jié)構(gòu) x1 o1 輸出層 隱藏層 輸入層 x2 o2 om xn … … … … W V 2022/2/2 64 2 訓(xùn)練過程概述 樣本： (輸入向量，理想輸出向量 ) 權(quán)初始化： 小隨機數(shù)與飽和狀態(tài)；不同保證網(wǎng)絡(luò)可以學。 向前傳播階段： （ 1） 從樣本集中取一個樣本 (Xp， Yp)， 將 Xp輸入網(wǎng)絡(luò)； （ 2） 計算相應(yīng)的實際輸出 Op： Op=Fl(… (F2(F1(XpW(1))W(2))… )W(L)) 2022/2/2 65 2 訓(xùn)練過程概
教學課件相關(guān)推薦
鄂ICP備17016276號-1