freepeople性欧美熟妇, 色戒完整版无删减158分钟hd, 无码精品国产vα在线观看DVD, 丰满少妇伦精品无码专区在线观看,艾栗栗与纹身男宾馆3p50分钟,国产AV片在线观看,黑人与美女高潮,18岁女RAPPERDISSSUBS,国产手机在机看影片

正文內(nèi)容

人工神經(jīng)網(wǎng)絡(luò)ppt課件-資料下載頁

2025-01-09 21:13本頁面
  

【正文】 1 0 0 0 0 1 1 1 1 1 0 0 0 1 1 0 0 1 1 0 0 1 1 0 0 1 1 1 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1 2022/2/2 140 線性不可分函數(shù) ? R. O. Windner 1960年 自變量個(gè)數(shù) 函數(shù)的個(gè)數(shù) 線性可分函數(shù)的個(gè)數(shù) 1 4 4 2 16 14 3 256 104 4 65,536 1882 5 *109 94,572 6 *1019 5,028,134 2022/2/2 141 線性不可分問題的克服 ? 用多個(gè)單級(jí)網(wǎng)組合在一起,并用其中的一個(gè)去綜合其它單級(jí)網(wǎng)的結(jié)果,我們就可以構(gòu)成一個(gè)兩級(jí)網(wǎng)絡(luò),該網(wǎng)絡(luò)可以被用來在平面上劃分出一個(gè)封閉或者開放的凸域來 ? 一個(gè)非凸域可以拆分成多個(gè)凸域。按照這一思路,三級(jí)網(wǎng)將會(huì)更一般一些,我們可以用它去識(shí)別出一些非凸域來。 ? 解決好隱藏層的聯(lián)接權(quán)的調(diào)整問題是非常關(guān)鍵的 2022/2/2 142 兩級(jí)單輸出網(wǎng)在 n維空間中劃分出 m邊凸域 … x1 ANm AN1 ANo xn … o 2022/2/2 143 第 1次課堂測(cè)試( 5分 *4) 1. Newell和 Simon的物理符號(hào)系統(tǒng)所基于的假說是什么 ? 它在什么層面上如何實(shí)現(xiàn)對(duì)人類智能的模擬 ? 2. 聯(lián)接主義觀點(diǎn)所基于的假說是什么 ? 它在什么層面上如何實(shí)現(xiàn)對(duì)人類智能的模擬 ? 3. 畫出有導(dǎo)師算法的流程圖 。 4. 證明:一個(gè)激活函數(shù)為線性函數(shù)的 3級(jí)非循環(huán)網(wǎng)等價(jià)于一個(gè)單級(jí)網(wǎng) 。 2022/2/2 144 習(xí)題 ? P38 6 2022/2/2 145 第 1次課堂測(cè)試解答要點(diǎn) 1. Newell和 Simon的物理符號(hào)系統(tǒng)所基于的假說是什么 ? 它在什么層面上如何實(shí)現(xiàn)對(duì)人類智能的模擬 ? 要點(diǎn):物理符號(hào)系統(tǒng);心理;符號(hào)對(duì)事務(wù)及變換的描述 2. 聯(lián)接主義觀點(diǎn)所基于的假說是什么 ? 它在什么層面上如何實(shí)現(xiàn)對(duì)人類智能的模擬 ? 要點(diǎn):聯(lián)接機(jī)制;生理;模式 、 聯(lián)接權(quán)的調(diào)整與對(duì)變換的表示 2022/2/2 146 第 1次課堂測(cè)試解答要點(diǎn) 3. 畫出有導(dǎo)師學(xué)習(xí)算法的流程圖 。 要點(diǎn):如何處理精度與樣本集兩層循環(huán) 4. 證明:一個(gè)激活函數(shù)為線性函數(shù)的 3級(jí)非循環(huán)網(wǎng)等價(jià)于一個(gè)單級(jí)網(wǎng) 。 要點(diǎn):一級(jí)網(wǎng)與多級(jí)網(wǎng)的的數(shù)學(xué)模型 2022/2/2 147 上次課內(nèi)容回顧 :學(xué)習(xí)算法 ? 離散單輸出感知器訓(xùn)練算法 ? W=W+X。W=WX ? W=W+(YO)X ? 離散多輸出感知器訓(xùn)練算法 ? Wj=Wj+(yjoj)X ? 連續(xù)多輸出感知器訓(xùn)練算法 ? wij=wij+α(yjoj)xi 2022/2/2 148 上次課內(nèi)容回顧 :線性不可分問題 ax+by=θ 1 y x 1 (0,0) (1,1) ? 線性不可分問題的克服 ?兩級(jí)網(wǎng)絡(luò)可以劃分出封閉或開放的凸域 ? 多級(jí)網(wǎng)將可以識(shí)別出非凸域 ?隱藏層的聯(lián)接權(quán)的調(diào)整問題是非常關(guān)鍵 2022/2/2 149 第 4章 BP網(wǎng)絡(luò) ? 主要內(nèi)容 : ? BP網(wǎng)絡(luò)的構(gòu)成 ? 隱藏層權(quán)的調(diào)整分析 ? Delta規(guī)則理論推導(dǎo) ? 算法的收斂速度及其改進(jìn)討論 ? BP網(wǎng)絡(luò)中的幾個(gè)重要問題 ? 重點(diǎn): BP算法 ? 難點(diǎn): Delta規(guī)則的理論推導(dǎo) 2022/2/2 150 第 4章 BP網(wǎng)絡(luò) 概述 基本 BP算法 算法的改進(jìn) 算法的實(shí)現(xiàn) 算法的理論基礎(chǔ) 幾個(gè)問題的討論 2022/2/2 151 概述 BP算法的出現(xiàn) 非循環(huán)多級(jí)網(wǎng)絡(luò)的訓(xùn)練算法 UCSD PDP小組的 Rumelhart、 Hinton和 Williams1986年獨(dú)立地給出了 BP算法清楚而簡(jiǎn)單的描述 1982年 , Paker就完成了相似的工作 1974年 , Werbos已提出了該方法 弱點(diǎn) :訓(xùn)練速度非常慢 、 局部極小點(diǎn)的逃離問題 、算法不一定收斂 。 優(yōu)點(diǎn): 廣泛的適應(yīng)性和有效性 。 2022/2/2 152 基本 BP算法 ? 網(wǎng)絡(luò)的構(gòu)成 神經(jīng)元的網(wǎng)絡(luò)輸入: i=x1w1i+x2w2i+… +xnwni 神經(jīng)元的輸出: ne tene tfo ???? 11)()1()()1(1)( 22 ooooeene tf ne tne t ????????? ??2022/2/2 153 輸出函數(shù)分析 f ′() o 0 1 1 ( 0,) ( 0,0) o ne teo ??? 11? 應(yīng)該將 的值盡量控制在收斂比較快的范圍內(nèi) ? 可以用其它的函數(shù)作為激活函數(shù) , 只要該函數(shù)是處處可導(dǎo)的 2022/2/2 154 網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu) x1 o1 輸出層 隱藏層 輸入層 x2 o2 om xn … … … … … … … W(1) W(2) W(3) W(L) 2022/2/2 155 網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu) 1. BP網(wǎng)的結(jié)構(gòu) 2. 輸入向量 、 輸出向量的維數(shù) 、 網(wǎng)絡(luò)隱藏層的層數(shù)和各個(gè)隱藏層神經(jīng)元的個(gè)數(shù)的決定 3. 實(shí)驗(yàn):增加隱藏層的層數(shù)和隱藏層神經(jīng)元個(gè)數(shù)不一定總能夠提高網(wǎng)絡(luò)精度和表達(dá)能力 。 4. BP網(wǎng)一般都選用二級(jí)網(wǎng)絡(luò) 。 2022/2/2 156 網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu) x1 o1 輸出層 隱藏層 輸入層 x2 o2 om xn … … … … W V 2022/2/2 157 訓(xùn)練過程概述 樣本: (輸入向量,理想輸出向量 ) 權(quán)初始化: “ 小隨機(jī)數(shù) ” 與飽和狀態(tài); “ 不同 ” 保證網(wǎng)絡(luò)可以學(xué)。 向前傳播階段: ( 1) 從樣本集中取一個(gè)樣本 (Xp, Yp), 將 Xp輸入網(wǎng)絡(luò); ( 2) 計(jì)算相應(yīng)的實(shí)際輸出 Op: Op=Fl(… (F2(F1(XpW(1))W(2))… )W(L)) 2022/2/2 158 訓(xùn)練過程概述 向后傳播階段 ——誤差傳播階段: ( 1) 計(jì)算實(shí)際輸出 Op與相應(yīng)的理想輸出 Yp的差; ( 2) 按極小化誤差的方式調(diào)整權(quán)矩陣 。 ( 3) 網(wǎng)絡(luò)關(guān)于第 p個(gè)樣本的誤差測(cè)度: ? ?????mjpjpjp oyE1221( 4) 網(wǎng)絡(luò)關(guān)于整個(gè)樣本集的誤差測(cè)度: ??ppEE2022/2/2 159 誤差傳播分析 輸出層權(quán)的調(diào)整 wpq= wpq+?wpq ?wpq=αδqop =αfn′ (q)(yqoq)op =αoq(1oq) (yqoq)op wpq ANp ANq 第 L1層 第 L層 ?wpq 2022/2/2 160 隱藏層權(quán)的調(diào)整 ANp ANq ANh vhp δpk1 δ1k wp1 wpq δqk wpm δmk 第 k2層 第 k層 第 k1層 … … 2022/2/2 161 隱藏層權(quán)的調(diào)整 δpk1的值和 δ1k, δ2k, … , δmk 有關(guān) 不妨認(rèn)為 δpk1 通過權(quán) wp1對(duì) δ1k做出貢獻(xiàn) , 通過權(quán) wp2對(duì) δ2k做出貢獻(xiàn) , …… 通過權(quán) wpm對(duì) δmk做出貢獻(xiàn) 。 δpk1= fk1′(p) (wp1δ1k+ wp2δ2k+… + wpmδm k) 2022/2/2 162 隱藏層權(quán)的調(diào)整 vhp=vhp+?vhp ?vhp=αδpk1ohk2 =αfk1 ′(p)( wp1δ1k+ wp2δ2k+… + wpmδmk)ohk2 =αopk1(1opk1)( wp1δ1k+ wp2δ2k+… + wpmδmk)ohk2 ANp ANq ANh vhp δpk1 δ1k wp1 wpm δqk wpq δmk 第 k2層 第 k層 第 k1層 … … 2022/2/2 163 上次課內(nèi)容回顧 ? 基本 BP算法 ? i=x1w1i+x2w2i+…+x nwni ne tene tfo ???? 11)()1()()1(1)( 22 ooooeene tf ne tne t ????????? ??2022/2/2 164 上次課內(nèi)容回顧 x1 o1 輸出層 隱藏層 輸入層 x2 o2 om xn … … … … W V 2022/2/2 165 上次課內(nèi)容回顧 ? 樣本 ? 權(quán)初始化 ? 向前傳播階段 ? Op=Fn(…(F 2(F1(XpW(1))W(2))…)W (n)) ? 誤差測(cè)度 ? ?????mjpjpjp oyE12212022/2/2 166 上次課內(nèi)容回顧 ? 向后傳播階段 ——誤差傳播階段 ? 輸出層權(quán)的調(diào)整 ? ?wpq= αδqop =αfn′ (q)(yqoq)op =αoq(1oq) (yqoq)op ? 隱藏層權(quán)的調(diào)整 ANp ANq ANh vhp δpk1 δ1k wp1 wpq δqk wpm δmk … … ?vhp =αopk1(1opk1)( wp1δ1k+ wp2δ2k+…+ w pmδmk)ohk2 2022/2/2 167 基本的 BP算法 ? 樣本集: S={(X1,Y1),(X2,Y2),… ,(Xs,Ys)} ? 基本思想 : ? 逐一地根據(jù)樣本集中的樣本 (Xk,Yk)計(jì)算出實(shí)際輸出 Ok和誤差測(cè)度 E1,對(duì) W(1) , W(2) , … , W(L)各做一次調(diào)整,重復(fù)這個(gè)循環(huán),直到 ∑Epε。 ? 用輸出層的誤差調(diào)整輸出層權(quán)矩陣,并用此誤差估計(jì)輸出層的直接前導(dǎo)層的誤差,再用輸出層前導(dǎo)層誤差估計(jì)更前一層的誤差。如此獲得所有其它各層的誤差估計(jì),并用這些估計(jì)實(shí)現(xiàn)對(duì)權(quán)矩陣的修改。形成將輸出端表現(xiàn)出的誤差沿著與輸入信號(hào)相反的方向逐級(jí)向輸入端傳遞的過程 2022/2/2 168 算法 41 基本 BP算法 1 for k=1 to L do 初始化 W(k); 2 初始化精度控制參數(shù) ε; 3 E=ε+1。 4 while Eε do E=0。 2022/2/2 169 算法 41 基本 BP算法 對(duì) S中的每一個(gè)樣本 ( Xp,Yp) : 計(jì)算出 Xp對(duì)應(yīng)的實(shí)際輸出 Op; 計(jì)算出 Ep; E=E+Ep; 根據(jù)相應(yīng)式子調(diào)整 W(L); k=L1; while k≠0 do 根據(jù)相應(yīng)式子調(diào)整 W(k); k=k1 E=E/ 2022/2/2 170 算法的改進(jìn) BP網(wǎng)絡(luò)接受樣本的順序?qū)τ?xùn)練結(jié)果有較大影響 。 它更 “ 偏愛 ” 較后出現(xiàn)的樣本 給集中的樣本安排一個(gè)適當(dāng)?shù)捻樞?, 是非常困難的 。 樣本順序影響結(jié)果的原因: “ 分別 ” 、 “ 依次 ” 用 (X1,Y1), ( X2,Y2) , … , ( Xs,Ys) 的“ 總效果 ” 修改 W(1) , W(2) , … , W(L)。 ?w(k)ij=∑?p w(k)ij 2022/2/2 171 算法 42 消除樣本順序影響的 BP算法 1 for k=1 to L do 初始化 W(k); 2 初始化精度控制參數(shù) ε; 3 E=ε+1。 4 while Eε do E=0。 對(duì)所有的 i, j, k: ? w (k)ij=0; 2022/2/2 172 對(duì) S中的每一個(gè)樣本 ( Xp,Yp) : 計(jì)算出 Xp對(duì)應(yīng)的實(shí)際輸出 Op; 計(jì)算出 Ep; E=E+Ep; 對(duì)所有 i, j根據(jù)相應(yīng)式子計(jì)算 ?p w (L)ij; 對(duì)所有 i, j: ? w (L)ij=? w (L)ij+?p w (L)ij; k=L1; while k≠0 do 對(duì)所有 i,j根據(jù)相應(yīng)式子計(jì)算 ?p w (k)ij; 對(duì)所有 i,j: ? w (k)ij=? w (k)ij+?p w (k)ij; k=k1 對(duì)所有 i, j, k: w (k)ij= w (k)ij+ ?w (k)ij。 E=E/ 2022/2/2 173 算法 42 分析 ? 較好地解決了因樣本的順序引起的精度問題和訓(xùn)練的抖動(dòng)問題
點(diǎn)擊復(fù)制文檔內(nèi)容
教學(xué)課件相關(guān)推薦
文庫吧 www.dybbs8.com
備案圖鄂ICP備17016276號(hào)-1