深度學習及其優(yōu)化方法(ppt54頁)-wenkub
2023-01-30 05:35:18 本頁面
【正文】 輸出仍然是輸入 I， 那么就可以自動地獲取得到輸入 I的一系列層次特征 ， 即 S1， ..., Sn。 深度學習 (Deep Learning)及其優(yōu)化方法 1/25 報告人：胡海根 Email: 浙江工業(yè)大學計算機學院 Outline 深度學習基本介紹 Loss Function一般形式及數(shù)學概念 深度學習梯度優(yōu)化方法 深度學習優(yōu)化方法 2/25 深度學習的概念 3/25 ?什么是 deep learning? 深度學習 ：一種基于無監(jiān)督特征學習和特征層次結構的學習方法 。 ?用自下而上的無監(jiān)督學習 1）逐層構建單層神經元。 DL訓練過程 6/25 ?深度學習的具體模型及方法： ?自動編碼器（ AutoEncoder ） ?稀疏自動編碼器 (Sparse AutoEncoder) ?限制波爾茲曼機（ Restricted Boltzmann Machine） ?深信度網(wǎng)絡（ Deep Belief Networks） ?卷積神經網(wǎng)絡（ Convolutional Neural Networks） DL訓練過程 自動編碼器 7/25 ?自動編碼器（ AutoEncoder ） 通過調整 encoder和 decoder的參數(shù)，使得重構誤差最小，就得到了輸入 input信號的第一個表示了，也就是編碼code了。 ?稀疏自動編碼器 (Sparse AutoEncoder) AutoEncoder的基礎上加上 L1的 Regularity限制（ L1主要是約束每一層中的節(jié)點中大部分都要為 0，只有少數(shù)不為 0），就可以得到 Sparse AutoEncoder法。 DBN 11/25 ?DBNs由多個限制玻爾茲曼機（ RBM）層組成，一個典型的神經網(wǎng)絡類型如下圖所示。 Loss Function一般形式 13/25 Loss Function一般形式 14/25 ?回歸函數(shù)及目標函數(shù) ?以均方誤差作為目標函數(shù)（損失函數(shù)），目的是使其值最小化，用于優(yōu)化上式。這個函數(shù)由 m個實函數(shù)組成 : ?這些函數(shù)的偏導數(shù) (如果存在 )可以組成一個 m行 n列的矩陣 (m by n)，這就是所謂的雅可比矩陣： 優(yōu)化方法 18/25 Gradient Descent ?Gradient descent(steepest descent)，也叫批量梯度下降法 Batch Gradient Descent， BSD，利用一階的梯度信息找到函數(shù)局部最優(yōu)解的一種方法，主要迭代公式如下 : 其中， 是第 k 次迭代我們選擇移動的方向， 是第 k 次迭代用 line search 方法選擇移動的距離，每次移動的距離系數(shù)可以相同，也可以不同，有時候我們也叫學習率（learning rate）。 優(yōu)化方法 23/25 Newton’s method ?在牛頓法的迭代中，需要計算海賽矩陣的逆矩陣 H1這一計算比較復雜，考慮用一個 n階矩陣來近似代替 H1，這就是擬牛頓法的基本思路。對于二維二次函數(shù)，若在兩個共軛方向上進行一維搜索，經過兩次迭代必然達到最小點。 ? tg優(yōu)化方法 31/25 Minibatch Gradient Descent ?面臨的挑戰(zhàn)： ?learning rate選取比較困難 ?對于稀疏數(shù)據(jù)或者特征，有時我們可能想更新快一些； ?對于常出現(xiàn)的特征更新慢一些，這時候 SGD就不太能滿足要求了； ?SGD容易收斂到局部最優(yōu)，并且在某些情況下可能被困在鞍點 優(yōu)化方法 Momentum 32/25 ?momentum是模擬物理里動量的概念，積累之前的動量來替代真正的梯度： 其中， 是動量因子。
黨政相關相關推薦
鄂ICP備17016276號-1