【正文】 E=E/ 2022/2/2 173 算法 42 分析 ? 較好地解決了因樣本的順序引起的精度問(wèn)題和訓(xùn)練的抖動(dòng)問(wèn)題 。 4 while Eε do E=0。 樣本順序影響結(jié)果的原因： “ 分別 ” 、 “ 依次 ” 用 (X1,Y1)， （ X2,Y2） ， … ， （ Xs,Ys） 的“ 總效果 ” 修改 W(1) ， W(2) ， … ， W(L)。 2022/2/2 169 算法 41 基本 BP算法 對(duì) S中的每一個(gè)樣本 （ Xp,Yp） ： 計(jì)算出 Xp對(duì)應(yīng)的實(shí)際輸出 Op； 計(jì)算出 Ep； E=E+Ep； 根據(jù)相應(yīng)式子調(diào)整 W(L)； k=L1； while k≠0 do 根據(jù)相應(yīng)式子調(diào)整 W(k)； k=k1 E=E/ 2022/2/2 170 算法的改進(jìn) BP網(wǎng)絡(luò)接受樣本的順序?qū)τ?xùn)練結(jié)果有較大影響 。形成將輸出端表現(xiàn)出的誤差沿著與輸入信號(hào)相反的方向逐級(jí)向輸入端傳遞的過(guò)程 2022/2/2 168 算法 41 基本 BP算法 1 for k=1 to L do 初始化 W(k)； 2 初始化精度控制參數(shù) ε； 3 E=ε+1。 ? 用輸出層的誤差調(diào)整輸出層權(quán)矩陣，并用此誤差估計(jì)輸出層的直接前導(dǎo)層的誤差，再用輸出層前導(dǎo)層誤差估計(jì)更前一層的誤差。 （ 3） 網(wǎng)絡(luò)關(guān)于第 p個(gè)樣本的誤差測(cè)度： ? ?????mjpjpjp oyE1221（ 4） 網(wǎng)絡(luò)關(guān)于整個(gè)樣本集的誤差測(cè)度： ??ppEE2022/2/2 159 誤差傳播分析 輸出層權(quán)的調(diào)整 wpq= wpq+?wpq ?wpq=αδqop =αfn′ (q)(yqoq)op =αoq(1oq) (yqoq)op wpq ANp ANq 第 L1層 第 L層 ?wpq 2022/2/2 160 隱藏層權(quán)的調(diào)整 ANp ANq ANh vhp δpk1 δ1k wp1 wpq δqk wpm δmk 第 k2層 第 k層 第 k1層 … … 2022/2/2 161 隱藏層權(quán)的調(diào)整 δpk1的值和 δ1k， δ2k， … ， δmk 有關(guān) 不妨認(rèn)為 δpk1 通過(guò)權(quán) wp1對(duì) δ1k做出貢獻(xiàn) ， 通過(guò)權(quán) wp2對(duì) δ2k做出貢獻(xiàn) ， …… 通過(guò)權(quán) wpm對(duì) δmk做出貢獻(xiàn) 。 2022/2/2 156 網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu) x1 o1 輸出層 隱藏層 輸入層 x2 o2 om xn … … … … W V 2022/2/2 157 訓(xùn)練過(guò)程概述 樣本： (輸入向量，理想輸出向量 ) 權(quán)初始化： “ 小隨機(jī)數(shù) ” 與飽和狀態(tài)； “ 不同 ” 保證網(wǎng)絡(luò)可以學(xué)。 2022/2/2 152 基本 BP算法 ? 網(wǎng)絡(luò)的構(gòu)成 神經(jīng)元的網(wǎng)絡(luò)輸入： i=x1w1i+x2w2i+… +xnwni 神經(jīng)元的輸出： ne tene tfo ???? 11)()1()()1(1)( 22 ooooeene tf ne tne t ????????? ??2022/2/2 153 輸出函數(shù)分析 f ′() o 0 1 1 （ 0,） （ 0,0） o ne teo ??? 11? 應(yīng)該將 的值盡量控制在收斂比較快的范圍內(nèi) ? 可以用其它的函數(shù)作為激活函數(shù) ， 只要該函數(shù)是處處可導(dǎo)的 2022/2/2 154 網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu) x1 o1 輸出層 隱藏層 輸入層 x2 o2 om xn … … … … … … … W(1) W(2) W(3) W(L) 2022/2/2 155 網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu) 1. BP網(wǎng)的結(jié)構(gòu) 2. 輸入向量 、 輸出向量的維數(shù) 、 網(wǎng)絡(luò)隱藏層的層數(shù)和各個(gè)隱藏層神經(jīng)元的個(gè)數(shù)的決定 3. 實(shí)驗(yàn)：增加隱藏層的層數(shù)和隱藏層神經(jīng)元個(gè)數(shù)不一定總能夠提高網(wǎng)絡(luò)精度和表達(dá)能力 。W=WX ? W=W+(YO)X ? 離散多輸出感知器訓(xùn)練算法 ? Wj=Wj+(yjoj)X ? 連續(xù)多輸出感知器訓(xùn)練算法 ? wij=wij+α(yjoj)xi 2022/2/2 148 上次課內(nèi)容回顧 :線性不可分問(wèn)題 ax+by=θ 1 y x 1 (0,0) (1,1) ? 線性不可分問(wèn)題的克服 ?兩級(jí)網(wǎng)絡(luò)可以劃分出封閉或開放的凸域 ? 多級(jí)網(wǎng)將可以識(shí)別出非凸域 ?隱藏層的聯(lián)接權(quán)的調(diào)整問(wèn)題是非常關(guān)鍵 2022/2/2 149 第 4章 BP網(wǎng)絡(luò) ? 主要內(nèi)容 ： ? BP網(wǎng)絡(luò)的構(gòu)成 ? 隱藏層權(quán)的調(diào)整分析 ? Delta規(guī)則理論推導(dǎo) ? 算法的收斂速度及其改進(jìn)討論 ? BP網(wǎng)絡(luò)中的幾個(gè)重要問(wèn)題 ? 重點(diǎn)： BP算法 ? 難點(diǎn)： Delta規(guī)則的理論推導(dǎo) 2022/2/2 150 第 4章 BP網(wǎng)絡(luò) 概述 基本 BP算法 算法的改進(jìn) 算法的實(shí)現(xiàn) 算法的理論基礎(chǔ) 幾個(gè)問(wèn)題的討論 2022/2/2 151 概述 BP算法的出現(xiàn) 非循環(huán)多級(jí)網(wǎng)絡(luò)的訓(xùn)練算法 UCSD PDP小組的 Rumelhart、 Hinton和 Williams1986年獨(dú)立地給出了 BP算法清楚而簡(jiǎn)單的描述 1982年 ， Paker就完成了相似的工作 1974年 ， Werbos已提出了該方法 弱點(diǎn) ：訓(xùn)練速度非常慢 、 局部極小點(diǎn)的逃離問(wèn)題 、算法不一定收斂 。 要點(diǎn)：如何處理精度與樣本集兩層循環(huán) 4. 證明：一個(gè)激活函數(shù)為線性函數(shù)的 3級(jí)非循環(huán)網(wǎng)等價(jià)于一個(gè)單級(jí)網(wǎng) 。 4. 證明：一個(gè)激活函數(shù)為線性函數(shù)的 3級(jí)非循環(huán)網(wǎng)等價(jià)于一個(gè)單級(jí)網(wǎng) 。按照這一思路，三級(jí)網(wǎng)將會(huì)更一般一些，我們可以用它去識(shí)別出一些非凸域來(lái)。 樣本集二維數(shù)組 系統(tǒng)的調(diào)試 Minsky在 1969年證明 ， 有許多基本問(wèn)題是感知器無(wú)法解決 問(wèn)題線性可分性可能與時(shí)間有關(guān) 很難從樣本數(shù)據(jù)集直接看出問(wèn)題是否線性可分 未能證明 ， 一個(gè)感知器究竟需要經(jīng)過(guò)多少步才能完成訓(xùn)練 。根據(jù)實(shí)際問(wèn)題選定；初始測(cè)試階段，精度要求低，測(cè)試完成后，再給出實(shí)際的精度要求。 2022/2/2 131 算法 32離散多輸出感知器訓(xùn)練算法 ? 第 2步 ， 循環(huán)控制 。 ? 權(quán)向量： W=(w1， w2， … ， wn) ? 輸入向量： X=(x1， x2， … ， xn) ? 訓(xùn)練樣本集： ? {(X， Y)|Y為輸入向量 X對(duì)應(yīng)的輸出 } 2022/2/2 127 算法 31離散單輸出感知器訓(xùn)練算法 1. 初始化權(quán)向量 W； 2. 重復(fù)下列過(guò)程 ， 直到訓(xùn)練完成： 對(duì)每個(gè)樣本 （ X， Y） ， 重復(fù)如下過(guò)程： 輸入 X； 計(jì)算 o=F（ XW） ； 如果輸出不正確 ， 則 當(dāng) o=0時(shí) ， 取 W=W+X， 當(dāng) o=1時(shí) ， 取 W=WX 2022/2/2 128 ? 樣本集： {(X,Y)|Y為輸入向量 X對(duì)應(yīng)的輸出 } ? 輸入向量： X=(x1,x2,… ,xn) ? 理想輸出向量： Y=(y1,y2,… ,ym) ? 激活函數(shù)： F ? 權(quán)矩陣 W=(wij) ? 實(shí)際輸出向量： O=(o1,o2,… ,om) o1 多輸出感知器 x1 x2 o2 om xn … … … … 輸入層 輸出層 2022/2/2 129 算法 32離散多輸出感知器訓(xùn)練算法 W； ， 直到訓(xùn)練完成： 對(duì)每個(gè)樣本 （ X， Y） ， 重復(fù)如下過(guò)程： 輸入 X； 計(jì)算 O=F（ XW） ； for j=1 to m do 執(zhí)行如下操作： if oj ≠ yj then if oi = 0 then for i = 1 to n wij=wij+xi else for i= 1 to n do wij=wijxi 2022/2/2 130 算法 32離散多輸出感知器訓(xùn)練算法 ? 算法思想 ：將單輸出感知器的處理逐個(gè)地用于多輸出感知器輸出層的每一個(gè)神經(jīng)元的處理 。 1949年 ， 提出 Hebb學(xué)習(xí)律 。 ? 重點(diǎn)： 感知器的結(jié)構(gòu) 、 表達(dá)能力 、 學(xué)習(xí)算法 ? 難點(diǎn)： 感知器的表達(dá)能力 2022/2/2 122 第 3章 感知器 感知器與人工神經(jīng)網(wǎng)絡(luò)的早期發(fā)展 感知器的學(xué)習(xí)算法 離散單輸出感知器訓(xùn)練 算法 離散多輸出感知器訓(xùn)練 算法 連續(xù)多輸出感知器訓(xùn)練 算法 線性不可分問(wèn)題 異或 (Exclusive –OR)問(wèn)題 線性不可分問(wèn)題的克服 實(shí)現(xiàn)！ 問(wèn)題的發(fā)現(xiàn)與解決！ 2022/2/2 123 感知器與 ANN的早期發(fā)展 McCulloch 和 Pitts 1943年 ， 發(fā)表第一個(gè)系統(tǒng)的ANN研究 ——閾值加權(quán)和 (MP)數(shù)學(xué)模型 。O (t) =F(NET) 2022/2/2 118 上次課內(nèi)容回顧 :網(wǎng)絡(luò)的分層結(jié)構(gòu) ? 非循環(huán)多級(jí)網(wǎng) ? 層次劃分 ? 非線性激活函數(shù)： F3(F2(F1(XW1)W2)W3) ? 循環(huán)網(wǎng) ? 短期記憶特征及其對(duì)輸入信號(hào)的修復(fù)作用 ? 時(shí)間參數(shù)與主時(shí)鐘 ? 穩(wěn)定性 2022/2/2 119 上次課內(nèi)容回顧： 存儲(chǔ)與映射 ? 模式 ? 空間模式 ? 時(shí)空模式 ? 模式三種 存儲(chǔ)類型 ? RAM 、 CAM、 AM ? 模式的存儲(chǔ)與運(yùn)行 ? CAM——LTM——訓(xùn)練 ? AM——STM——運(yùn)行 ? 相聯(lián)：自相聯(lián)映射 、 異相聯(lián)映射 2022/2/2 120 上次課內(nèi)容回顧： 訓(xùn)練 ? Rosenblatt的 學(xué)習(xí)定理 ? 無(wú)導(dǎo)師學(xué)習(xí) ? 抽取樣本集合中蘊(yùn)含的統(tǒng)計(jì)特性 ? 樣本集： {A1， A2， … ， An} ? Hebb算法： Wij(t+1)=Wij(t)+αoi(t)oj(t) ? 有導(dǎo)師學(xué)習(xí) ? 抽取樣本蘊(yùn)含的映射關(guān)系 ? 樣本集： {(A1,B1)， (A2,B2)， … ， (An,Bn)} ? 訓(xùn)練算法 ? Delta規(guī)則 2022/2/2 121 第 3章 感知器 ? 主要內(nèi)容 ： ? 感知器與人工神經(jīng)網(wǎng)絡(luò)的早期發(fā)展； ? 線性可分問(wèn)題與線性不可分問(wèn)題； ? Hebb學(xué)習(xí)律； ? Delta規(guī)則 。 2022/2/2 114 Delta規(guī)則 Widrow和 Hoff的寫法 ： Wij(t+1)=Wij(t)+α(yj aj(t))oi(t) 也可以寫成： Wij(t+1)=Wij(t)+? Wij(t) ? Wij(t)=αδjoi(t) δj=yj aj(t) Grossberg的寫法為： ? Wij(t)=α ai(t)(oj(t)Wij(t)) 更一般的 Delta規(guī)則為： ? Wij(t)=g(ai(t)， yj， oj(t)， Wij(t)) 2022/2/2 115 其它 ? 再例學(xué)習(xí) ? 外部環(huán)境對(duì)系統(tǒng)的輸出結(jié)果給出評(píng)價(jià)，學(xué)習(xí)系統(tǒng)通過(guò)強(qiáng)化受獎(jiǎng)的動(dòng)作來(lái)改善自身性能。 ? 輸入向量與其對(duì)應(yīng)的輸出向量構(gòu)成一個(gè) “ 訓(xùn)練對(duì) ” 。 ? Hebb算法 [D. O. Hebb在 1961年 ]的核心： ? 當(dāng)兩個(gè)神經(jīng)元同時(shí)處于激發(fā)狀態(tài)時(shí)被加強(qiáng) ， 否則被減弱 。 ? 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程就是對(duì)它的訓(xùn)練過(guò)程 2022/2/2 111 ? 無(wú)導(dǎo)師學(xué)習(xí) (Unsupervised Learning)與無(wú)導(dǎo)師訓(xùn)練 (Unsupervised Training)相對(duì)應(yīng) ? 抽取樣本集合中蘊(yùn)含的統(tǒng)計(jì)特性 ， 并以神經(jīng)元之間的聯(lián)接權(quán)的形式存于網(wǎng)絡(luò)中 。 ? 1962年 ， Rosenblatt給出了人工神經(jīng)網(wǎng)絡(luò)著名的學(xué)習(xí)定理：人工神經(jīng)網(wǎng)絡(luò)可以學(xué)會(huì)它可以表達(dá)的任何東西 。 ? 當(dāng)輸入向量 A不是樣本的第一的分量時(shí) ， 樣本中不存在這樣的元素 （ Ak， Bk） ， 使得 Ai≤A k≤A 或者 A≤A k≤A j ? 且此時(shí)有 Ai≤A≤A j ? 則向量 B是 Bi與 Bj的插值。 2022/2/2 108 存儲(chǔ)與映射 ? 自相聯(lián) （ Autoassoci