深度學(xué)習(xí)及其優(yōu)化方法(ppt54頁)-展示頁
2025-01-17 05:35本頁面
【正文】 ?限制波爾茲曼機（ Restricted Boltzmann Machine） ?深信度網(wǎng)絡(luò)（ Deep Belief Networks） ?卷積神經(jīng)網(wǎng)絡(luò)（ Convolutional Neural Networks） DL訓(xùn)練過程 自動編碼器 7/25 ?自動編碼器（ AutoEncoder ） 通過調(diào)整 encoder和 decoder的參數(shù)，使得重構(gòu)誤差最小，就得到了輸入 input信號的第一個表示了，也就是編碼code了。每次僅調(diào)整一層，逐層調(diào)整。 ?用自下而上的無監(jiān)督學(xué)習(xí) 1）逐層構(gòu)建單層神經(jīng)元。 ?含多隱層的多層感知器就是一種深度學(xué)習(xí)結(jié)構(gòu) 。 深度學(xué)習(xí) (Deep Learning)及其優(yōu)化方法 1/25 報告人：胡海根 Email: 浙江工業(yè)大學(xué)計算機學(xué)院 Outline 深度學(xué)習(xí)基本介紹 Loss Function一般形式及數(shù)學(xué)概念 深度學(xué)習(xí)梯度優(yōu)化方法 深度學(xué)習(xí)優(yōu)化方法 2/25 深度學(xué)習(xí)的概念 3/25 ?什么是 deep learning? 深度學(xué)習(xí) ：一種基于無監(jiān)督特征學(xué)習(xí)和特征層次結(jié)構(gòu)的學(xué)習(xí)方法 。 本質(zhì) ：通過構(gòu)建多隱層的模型和海量訓(xùn)練數(shù)據(jù) ，來學(xué)習(xí)更有用的特征 ， 從而最終提升分類或預(yù)測的準(zhǔn)確性 。 DL訓(xùn)練過程 4/25 ?深度學(xué)習(xí)的基本思想： 對于 Deep Learning， 需要自動地學(xué)習(xí)特征 ， 假設(shè)有一堆輸入 I， 輸出是 O， 設(shè)計一個系統(tǒng) S（ 有 n層 ） ， 形象地表示為： I =S1=S2=.....=Sn = O， 通過調(diào)整系統(tǒng)中參數(shù) ， 使得它的輸出仍然是輸入 I， 那么就可以自動地獲取得到輸入 I的一系列層次特征 ， 即 S1， ..., Sn。 2）每層采用 wakesleep算法進行調(diào)優(yōu)。 5/25 ?第二步：自頂向下的監(jiān)督學(xué)習(xí) 這一步是在第一步學(xué)習(xí)獲得各層參數(shù)進的基礎(chǔ)上，在最頂?shù)木幋a層添加一個分類器（如， SVM等），而后通過帶標(biāo)簽數(shù)據(jù)的監(jiān)督學(xué)習(xí)，利用梯度下降法去微調(diào)整個網(wǎng)絡(luò)參數(shù)。 ?因為是無標(biāo)簽數(shù)據(jù)，所以誤差的來源就是直接重構(gòu)后與原輸入相比得到。因為稀疏的表達往往比其他的表達要有效。 RBM 9/25 ?限制波爾茲曼機（ RBM） 定義：假設(shè)有一個二部圖 ， 同層節(jié)點之間沒有鏈接 ， 一層是可視層 ， 即輸入數(shù)據(jù)層 （ v)， 一層是隱藏層 (h)， 如果假設(shè)所有的節(jié)點都是隨機二值 （ 0， 1） 變量節(jié)點 ， 同時假設(shè)全概率分布 p(v,h)滿足 Boltzmann分布 ， 稱這個模型是 RBM。 最大似然估計： 對最大對數(shù)似然函數(shù)求導(dǎo)，就可以得到 L最大時對應(yīng)的參數(shù)W了。 CNN 12/25 ?卷積神經(jīng)網(wǎng)絡(luò)（ Convolutional Neural Networks） 卷積神經(jīng)網(wǎng)絡(luò)是一個多層的神經(jīng)網(wǎng)絡(luò)，每層由多個二維平面組成，而每個平面由多個獨立神經(jīng)元組成。 核心思想：局部感受野、權(quán)值共享以及時間或空間子采樣這三種結(jié)構(gòu)思想結(jié)合起來獲得某種程度的位移、尺度、形變不變性。 數(shù)學(xué)概念 15/25 梯度（一階導(dǎo)數(shù)） ?某一點的梯度方向是在該點坡度最陡的方向，而梯度的大小告訴我們坡度到底有多陡； ?對于一個含有 n 個變量的標(biāo)量函數(shù)，即函數(shù)輸入一個 n 維 的向量，輸出一個數(shù)值，梯度可以定義為： 數(shù)學(xué)概念 16/25 Hesse 矩陣（二階導(dǎo)數(shù)） ?Hesse 矩陣常被應(yīng)用于牛頓法解決的大規(guī)模優(yōu)化問題，主要形式如下： ?當(dāng) f(x) 是下列形式： 其中 x為列向量， A 是 n 階對稱矩陣， b 是 n 維列向量， c 是常數(shù)。 數(shù)學(xué)概念 17/25 Jacobian 矩陣 ?Jacobian 矩陣實際上是向量值
黨政相關(guān)相關(guān)推薦
鄂ICP備17016276號-1