深度神經網絡全面概述(編輯修改稿)
2025-07-24 05:29 本頁面
【文章內容簡介】 。最終一組運行就是網絡的輸出，比如，這張圖片包括某個特定物體的概率是多少，某段音頻出現某個單詞的概率是多少，或者下一步行動的建議等。在這類深度神經網絡中，網絡并無記憶，輸出也總是與之前網絡輸入順序無關。相反，循環(huán)網絡(LSTM 是一個很受歡迎的變種)是有內在記憶的，允許長期依存關系影響輸出。在這些網絡中，一些中間運行生成的值會被存儲于網絡中，也被用作與處理后一輸入有關的其他運算的輸入。在這篇文章中，我們關注的是前饋網絡，因為到目前為止，少有人關注硬件加速，特別是循環(huán)網絡的。深度神經網絡也可以是全連接的(FC，也指多層感知器)，如圖 2(d)最左部分所示。在一個全連接層中，所有輸出與所有輸入都是相連接的。這需要相當數量的存儲和計算空間。謝天謝地，在許多應用中，我們可以移除激活(activations)之間的一些連接，方法就是將權重設置為零而不影響準確性。結果會產生一個稀疏連接層。圖 2(d)最右端的層就是一個稀疏連接層。通過限制對結果有影響的權重數量，我們也可以實現更高效的計算。如果每個輸出僅僅是一個固定大小輸入窗口的函數，就會出現這類結構化稀疏性。如果這套權重被用于每一個輸入計算，就會進一步提高效率。這一權重共享能顯著降低權重的存儲要求。通過將計算構建為卷積，一種非常流行的窗口式的權重共享的網絡誕生了，如圖 6(a) 所示，其僅使用少量臨近的激活來計算加權和的輸出(即，該過濾器有一個有限的接受域，與輸入的距離超過特定值的所有權重都將被設置為 0)，而且這一套權重能被每個輸入共享來計算(即，濾波器是空間不變的)。這種結構稀疏性的形式正交于源自網絡(修改情況如本文部分 VIIB2 所述)的稀疏性。所以，卷積神經網絡就是一種受歡迎的深度神經網絡形式。1. 卷積神經網絡(CNN)圖 6：卷積的維度。(a) 傳統圖像處理中的二維卷積，(b) CNN 中的高維卷積圖 7：卷積神經網絡表 1：CONV/FC 層的形狀參數給定表 I 中的形狀參數(shape parameters)，卷積層的計算可以定義為：2. 非線性(NonLinearity)圖 8：多種形式的非線性激活函數(來自 Caffe Tutorial [43])3. 池化(Pooling)圖 9：多種形式的池化(來自 Caffe Tutorial [43])4. 歸一化(Normalization)控制輸入在層級中的分布能顯著地加快訓練速度并提升準確度。因此，輸入激活在層級上的分布(σ, 181。)需要歸一化處理，使其變換為均值為 0、標準差為 1 的分布。在批量歸一化(batch normalization)中，歸一化值如方程(2)所示將進一步縮放和平移，參數(γ, β)是從訓練 [44] 中學到的兩個小常數，它們能避免數值問題。(1) 流行的 DNN 模型在過去的二十多年里出現了很多種 DNN 模型。每一種都稱其擁有不同的「網絡架構」，因為他們依據不同層級數量、濾波器形狀(如過濾尺寸，濾波器和通道的數量)、層級類型以及連接方式而劃分。正確地理解這些不同的方法和它們發(fā)展的趨勢對于提高 DNN 引擎的效率至關重要。其中包括： LeNet [9] 于 1989 年提出，是最早的 CNN 方式之一。其中最為人熟知的是第八版的 LeNet5，其中包含兩個卷積層和兩個全連接層 [45]。 AlexNet[3] 是第一次贏得 ImageNet 挑戰(zhàn)賽的 CNN 網絡(2012 年)。它由五個卷積層和三個全連接層組成。 Overfeat [46] 與 AlexNet 具有非常相似的架構：五個卷積層和三個全連接層。 VGG16 [47] 更進一步，使用了 16 層的深度神經網絡，其中包含 13 個卷積層，3 個全連接層。 GoogLeNet[48] 更深，有 22 個層，它首次引入了起始模塊(見下圖)。 ResNet [11]，即殘差網絡(Residual Net)，使用殘差連接可以讓層級更加深入(34 層以上)。該網絡第一次讓 DNN 在 ImageNet 挑戰(zhàn)賽中的表現超過了人類，top5 錯誤率在 5% 以下。圖 11：GoogleNet[48] 的起始模塊(Inception module)通道長度實例，其中每個 CONV 層在 ReLU 層之后(圖中未顯示)。圖 12：ResNet[11]
環(huán)評公示相關推薦
鄂ICP備17016276號-1