深度學習及其優(yōu)化方法(ppt54頁)(已修改)
2025-01-19 05:35 本頁面
【正文】 深度學習 (Deep Learning)及其優(yōu)化方法 1/25 報告人：胡海根 Email: 浙江工業(yè)大學計算機學院 Outline 深度學習基本介紹 Loss Function一般形式及數(shù)學概念 深度學習梯度優(yōu)化方法 深度學習優(yōu)化方法 2/25 深度學習的概念 3/25 ?什么是 deep learning? 深度學習 ：一種基于無監(jiān)督特征學習和特征層次結構的學習方法 。 本質 ：通過構建多隱層的模型和海量訓練數(shù)據(jù) ，來學習更有用的特征 ， 從而最終提升分類或預測的準確性 。 ?含多隱層的多層感知器就是一種深度學習結構 。 DL訓練過程 4/25 ?深度學習的基本思想： 對于 Deep Learning， 需要自動地學習特征 ， 假設有一堆輸入 I， 輸出是 O， 設計一個系統(tǒng) S（ 有 n層 ） ， 形象地表示為： I =S1=S2=.....=Sn = O， 通過調整系統(tǒng)中參數(shù) ， 使得它的輸出仍然是輸入 I， 那么就可以自動地獲取得到輸入 I的一系列層次特征 ， 即 S1， ..., Sn。 ?用自下而上的無監(jiān)督學習 1）逐層構建單層神經(jīng)元。 2）每層采用 wakesleep算法進行調優(yōu)。每次僅調整一層，逐層調整。 5/25 ?第二步：自頂向下的監(jiān)督學習 這一步是在第一步學習獲得各層參數(shù)進的基礎上，在最頂?shù)木幋a層添加一個分類器（如， SVM等），而后通過帶標簽數(shù)據(jù)的監(jiān)督學習，利用梯度下降法去微調整個網(wǎng)絡參數(shù)。 DL訓練過程 6/25 ?深度學習的具體模型及方法： ?自動編碼器（ AutoEncoder ） ?稀疏自動編碼器 (Sparse AutoEncoder) ?限制波爾茲曼機（ Restricted Boltzmann Machine） ?深信度網(wǎng)絡（ Deep Belief Networks） ?卷積神經(jīng)網(wǎng)絡（ Convolutional Neural Networks） DL訓練過程 自動編碼器 7/25 ?自動編碼器（ AutoEncoder ） 通過調整 encoder和 decoder的參數(shù)，使得重構誤差最小，就得到了輸入 input信號的第一個表示了，也就是編碼code了。 ?因為是無標簽數(shù)據(jù)，所以誤差的來源就是直接重構后與原輸入相比得到。 稀疏自動編碼器 8/25 ?如上圖，其實就是限制每次得到的表達 code盡量稀疏。因為稀疏的表達往往比其他的表達要有效。 ?稀疏自動編碼器 (Sparse AutoEncoder) AutoEncoder的基礎上加上 L1的 Regularity限制（ L1主要是約束每一層中的節(jié)點中大部分都要為 0，只有少數(shù)不為 0），就可以得到 Sparse AutoEncoder法。 RBM 9/25 ?限制波爾茲曼機（ RBM） 定義：假設有一個二部圖 ， 同層節(jié)點之間沒有鏈接 ， 一層是可視層 ， 即輸入數(shù)據(jù)層 （ v)， 一層是隱藏層 (h)， 如果假設所有的節(jié)點都是隨機二值 （ 0， 1） 變量節(jié)點 ， 同時假設全概率分布 p(v,h)滿足 Boltzmann分布 ， 稱這個模型是 RBM。 RBM 10/25 ?給定隱層 h的基礎上，可視層的概率確定： （ 可視層節(jié)點之間是條件獨立的 ） ?給定可視層 v的基礎上，隱層的概率確定： ?給定一個滿足獨立同分布的樣本集： D={v(1), v(2),…, v(N)}，我們需要學習參數(shù) θ={W,a,b}。 最大似然估計： 對最大對數(shù)似然函數(shù)求導，就可以得到 L最大時對應的參數(shù)W了。 DBN 11/25 ?DBNs由多個限制玻爾茲曼機（ RBM）層組成，
黨政相關相關推薦
鄂ICP備17016276號-1