【文章內(nèi)容簡介】 第 5 章：結(jié)論與展望，總結(jié)了本文的主要工作，指出了系統(tǒng)設(shè)計部分存在的不足和有待改進的地方，并對下一步工作進行了展望，提出了有待解決的問題。 浙江工業(yè)大學碩士學位論文 9 第 2章 卷積神經(jīng)網(wǎng)絡(luò)介紹 卷積神經(jīng) 網(wǎng)絡(luò) (Convolutional Neural Networks, CNN)是一種深層神經(jīng)網(wǎng)絡(luò)模型。卷積網(wǎng)絡(luò)最初是受視覺神經(jīng)機制的啟發(fā)而設(shè)計的，是為識別二維形狀而設(shè)計的一個多層感知器。這種網(wǎng)絡(luò)結(jié)構(gòu)對平移、比例縮放、傾斜或者其他形式的變形具有高度不變性。 1962 年 Hubel 和 Wiesel[41]通過對貓視覺皮層細胞的研究，提出了感受野的概念； 1984 年 Fukushima[42]基于感受野概念提出的神經(jīng)認知機模型，可以看作是卷積神經(jīng)網(wǎng)絡(luò)的第一個實現(xiàn)網(wǎng)絡(luò)，也是感受野概念在人工神經(jīng)網(wǎng)絡(luò)領(lǐng)域的首次應(yīng)用。神經(jīng)認知機將一 個視覺模式分解成許多子模式，然后進入分層式相連的特征平面進行處理，它試圖將視覺系統(tǒng)模型化，使其能夠在即使物體有位移或輕微變形的時候，也能完成識別。神經(jīng)認知機能夠利用位移恒定能力從激勵模式中學習，并且可識別這些模式的變化。在其后的應(yīng)用研究中， Fukushima將神經(jīng)認知機主要用于手寫數(shù)字的識別。隨后，國內(nèi)外的研究人員提出了多種卷積神經(jīng)網(wǎng)絡(luò)形式，在郵政編碼識別、車牌識別和人臉識別等方面得到了廣泛的應(yīng)用 [4749]。 卷積神經(jīng)網(wǎng)絡(luò)作為深度學習框架是基于最小化預處理數(shù)據(jù)而產(chǎn)生的，它通過共享局部權(quán)值有效降低了網(wǎng)絡(luò)結(jié) 構(gòu)的復雜度，具有局部連接和權(quán)值共享特性 。 卷積神經(jīng)網(wǎng)絡(luò) （ CNN）已經(jīng)是現(xiàn)代智能識別語音和圖像等信息的研究熱點 。 它的局部連接和權(quán)值共享的網(wǎng)絡(luò)結(jié)構(gòu)使之更類似于生物神經(jīng)網(wǎng)絡(luò)，降低了網(wǎng)絡(luò)模型的復雜度（對于很難學習的深層結(jié)構(gòu)來說，這是非常重要的），減少了權(quán)值的數(shù)量 。尤其在多維圖像和大圖像中該優(yōu)點表現(xiàn)最為突出 ， 可以直接將圖像輸入到網(wǎng)絡(luò)中，不需要做更多的麻煩的傳統(tǒng)特征提取和數(shù)據(jù)重建 。 卷積神經(jīng)網(wǎng)絡(luò) CNN CNN 是第一個真正成功訓練多層網(wǎng)絡(luò)結(jié)構(gòu)的學習算法。 它利用權(quán)值共享來達到減少學習參數(shù)以用來提高 Back Propagation (BP)算法的訓練性能 。 CNN 是一個最小化預處理要求下的深度學習框架 。在 CNN 中，圖像的一部分（局部感受區(qū)域）作為層級結(jié)構(gòu)的最 底 層的輸入，信息再依次傳輸?shù)讲煌膶?，每層通過一浙江工業(yè)大學碩士學位論文 10 個數(shù)字濾波器去獲得觀測數(shù)據(jù)的最顯著的特征。這個方法能夠獲取對平移、縮放和旋轉(zhuǎn)不變的觀測數(shù)據(jù)的顯著特征，因為圖像的局部感受區(qū)域允許神經(jīng)元或者處理單元可以訪問到最基礎(chǔ)的特征，例如定向邊緣或者角點。 卷積神經(jīng)網(wǎng)絡(luò)是一個多層的神經(jīng)網(wǎng)絡(luò)，每層由多個二維平面組成，而每個平面由多個獨立神經(jīng)元組成。 圖 21 卷積神經(jīng)網(wǎng)絡(luò)的概念示范 Fig 21 Convolutional Neural Networks (CNN) 圖 21 展示了卷積神經(jīng)網(wǎng)絡(luò)概念示范： 輸入圖像通過和三個可訓練的濾波器和可加偏置進行卷積，卷積后在 C1 層產(chǎn)生三個特征映射圖，然后特征映射圖中每組的四個像素再進行求和 、 加權(quán)值 、 加偏置，通過一個 Sigmoid 函數(shù)得到三個S2 層的特征映射圖。這些映射圖再進過濾波得到 C3 層。這個層級結(jié)構(gòu)再和 S2一樣產(chǎn)生 S4。最終，這些像素值被光柵化，并連接成一個向量輸入到傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)，得到輸出。 卷積層 神經(jīng)網(wǎng)絡(luò)中的 每個層有多個 特征映射 ，每個 特征映射 通過一種卷積濾波器提取輸入的一種特征，然后每個 特征映射 有多個神經(jīng)元。卷積運算一個重要的特點就是，通過卷積運算，可以使原信號特征增強，并且降低噪音 。 假設(shè)第 l 層為卷積層，則第 l 層第 j 個 特征映射 的計算公式如 （ ）所示 。 11( * )jl l l lj i ij jiMx f x k b?????? （ ） 浙江工業(yè)大學碩士學位論文 11 上面的 *號實質(zhì)是讓卷積核 k 在第 1l? 層所有關(guān)聯(lián)的 特征映射 上做卷積運算，然后求和，再加上一個偏置參數(shù)，取 Sigmoid 得到最終激勵值的過程 。 子采樣層 對于子采樣層來說， 有 N 個輸入 特征映射 ，就有 N 個輸出 特征映射 ，只是每個輸出 特征映射 都變小了。 采樣公式如（ ）所示。 1( ( ) )l l l lj j j jx f d o w n x b? ??? （ ） down(.)表示一個下采樣函數(shù)。典型的操作一般是 在輸入特征矩陣中不同nn? 的塊中取均值或最大值 。這樣輸出圖像在兩個維度上都縮小 了 n 倍。每個輸出 map 都對應(yīng)一個屬于自己的乘性偏置 ? 和一個加性偏置 b 。 稀疏連接 卷積網(wǎng)絡(luò)通過在相鄰兩層之間強制使用局部連接模式來利用圖像的空間局部特性，在第 m 層的隱層單元只與第 1m? 層的輸入單元的局部區(qū)域有連接，第1m? 層的這些局部區(qū)域被稱為空間連續(xù)的接受域?？蓪⑦@種結(jié)構(gòu)描述如下： 設(shè)第 1m? 層為視網(wǎng)膜輸入層，第 m 層的接受域的寬度為 3，也就是說該層的每個單元僅與輸入層的 3 個相鄰的神經(jīng)元相連，第 m 層與第 1m? 層具有類似的鏈接規(guī)則，如圖 22 所示。 圖 22 稀疏連接示意圖 可以看到 1m? 層的神經(jīng)元相對于第 m 層的接受域的寬度也為 3，但相對于輸入層的接受域為 5，這種結(jié)構(gòu)將學習到的過濾器限制在局部空間模式。從圖 22也可以看出，多個這樣的層堆疊起來后，會使得過濾器逐漸成為全局的。例如上圖中第 1m? 層的神經(jīng)元可以對寬度為 5 的輸入進行一個非線性的特征編碼。 浙江工業(yè)大學碩士學位論文 12 權(quán)值共享 在卷積網(wǎng)絡(luò)中，每個稀疏過濾器通過共享權(quán)值都會覆蓋整個可視域，這些共享權(quán)值的單元構(gòu)成一個特征映射， 如圖 23 所示。 圖 23 特征映射 Fig 23 Feature map 在圖 23 中，有 3 個隱層單元，他們屬于同一個特征映射。同種顏色的鏈接的權(quán)值是相同的，可以使用梯度下降的方法來學習這些權(quán)值，只需要對原始算法做一些小的改動，這里共享權(quán)值的梯度是所有共享參數(shù)的梯度的總和。一方面，重復單元能夠?qū)μ卣鬟M行識別，而不考慮它在可視域中的位置。另一方面，權(quán)值共享能更有效的進行特征抽取，因為它極大的減少了需要學習的自由變量的個數(shù)。通過控制模型的規(guī)模，卷積網(wǎng)絡(luò)對視覺問題可以具有很好的泛化能力。 Softmax 回歸 Softmax 回歸其實就相當于多類別情況下的邏輯回歸，對比如下。 （ 1）邏輯回歸的假設(shè)函數(shù)（ hypothesis） 1() 1 e x p ( )Thx x? ?? ?? （ ） 公式（ ）給出了邏輯回歸的假設(shè)函數(shù)。整個邏輯回歸模型的參數(shù)就是 ? ，??*h 是 Sigmoid 函數(shù)，輸出在 0～ 1 之間，一般作為二分類算法。對于具體的問題，找出最合適的 ? 便是最重要的步驟，這是最優(yōu)化問題。一般通過定義代價函數(shù)，然后最小化代價函數(shù)來求解，邏輯回歸的代價函數(shù)如公式（ ）所示。 ( ) ( ) ( ) ( )11( ) [ l o g ( ) ( 1 ) l o g ( 1 ( ) ) ]m i i i iiJ y h x y h xm ??? ?? ? ? ? ?? （ ） 最小化 ??J? ，一般采用梯度下降算法，迭代計算梯度并更新 ? 。 （ 2） Softmax 的假設(shè)函數(shù) 浙江工業(yè)大學碩士學位論文 13 ()1()2()()( ) ( )( ) ( )()1( ) ( )( 1 | 。 )( 2 | 。 ) 1()( | 。 )TiTiTijTikxiiii xik xjii xep y xp y x ehxep y k x e??? ???????????????? ???? ???? ?????????? （ ） 公式（ ）給出了 Softmax 的假設(shè)函數(shù)。邏輯回歸里將 *x?? 作為 sigmoid函數(shù)的輸入，得到的是 0 或者 1，兩個類別。而 Softmax 有 k 個類別，并且將 *x??作為指數(shù)的系數(shù)，所以就有 1*xe?? 至 *k xe?? 共 k 項，然后除以它們的累加和，這樣做就實現(xiàn)了歸一化， 使得輸出的 k 個數(shù)的和為 1，而每一個數(shù)就代表那個類別出現(xiàn)的概率。因此， Softmax 的假設(shè)函數(shù)輸出的是一個 k 維列向量，每一個維度的數(shù)就代表那個類別出現(xiàn)的概率。 Softmax 的代價函數(shù)如公式（ ）所示： ()()()11 11( ) 1 { } l og TijTilxmkik xij leJ y jm e??? ???????? ? ????? ? （ ） 本質(zhì)上跟邏輯回歸是一樣的，采用代價函數(shù) NLL，如果加上權(quán)重衰減項（正則化項），則為： ()()( ) 21 1 1 111( ) 1 { } l og2TijTilxm k k niijk xi j i jleJ y jm e?????? ? ? ??????? ? ? ???? ? ? ??（ ） 最小化代價函數(shù)，同樣可以采用簡單而有效的梯度下降，需要提到的是，在程序?qū)崿F(xiàn)中，一般采用批量隨機梯度下降，即 minibatch Stochastic Gradient Descent （ MSGD），簡單來說，就是每遍歷完一個 batch 的樣本才計算梯度和更新參數(shù)，一個 batch 一般有幾十到幾百的單個樣本。 Caffe 架構(gòu) Caffe[51]是一個清晰而高效的深度學習框架，在處理圖像方面有著獨具一格的優(yōu)勢，其作者是博士畢業(yè)于 UC Berkeley的 賈揚清 ，目前在 Google工作。 Caffe[40]是純粹的 C++/CUDA 架構(gòu)，支持命令行、 Python 和 MATLAB 接口；可以在 CPU和 GPU 直接無縫切換 。 浙江工業(yè)大學碩士學位論文 14 Caffe 具有如下幾個優(yōu)勢： (1)上手快： 模型與相應(yīng)優(yōu)化都是以文本形式而非代碼形式給出。 Caffe[40]給出了模型的定義、最優(yōu)化設(shè)置以及預訓練的權(quán)重，方便立即上手。 (2)速度快： 能夠運行最棒的模型與海量的數(shù)據(jù) 。 Caffe 與 cuDNN 結(jié)合使用，測試 AlexNet 模型，在 K40 上處理每張圖片只需要 。 (3)模塊化： 方便擴展到新的任務(wù)和設(shè)置上?？梢允褂?Caffe 提供的各層類型來定義自己的模型 。 (4)開放性： 公開的代碼和參考模型用于再現(xiàn)。 (5)社會好： 可以通過 BSD2 參與開發(fā)與討論。 Caffe[40]主要分為四個大類： Blob， Layer， Net， Solver。 這四個類復雜性從低到高，貫穿了整個 Caffe[40]。 (1)Blob：是基礎(chǔ)的數(shù)據(jù)結(jié)構(gòu)，是用來保存學習到的參數(shù)以及網(wǎng)絡(luò)傳輸過程中產(chǎn)生數(shù)據(jù)的類。 (2)Layer：是網(wǎng)絡(luò)的基本單元，由此派生出了各種層類。修改這部分的人主要是研究特征表達 方向的。 (3)Net：是網(wǎng)絡(luò)的搭建，將 Layer 所派生出層類組合成網(wǎng)絡(luò)。 (4)Solver：是 Net 的求解，修改這部分人主要會是研究 DL 求解方向的。 浙江工業(yè)大學碩士學位論文 15 圖 24 Caffe[40]工作流程 Fig 24 Flowchart of Caffe 圖 24 展示了 Caffe[40]工作的流程?；旧?， Caffe[40]遵循了神經(jīng)網(wǎng)絡(luò)的一個簡單假設(shè) —— 所有的計算都是以層的形式表示的，每層做的事情就是獲取一些數(shù)據(jù)，然后輸出一些計算以后的結(jié)果。比如說卷積，就是輸入一個圖像，然后和這一層的參數(shù)過濾器做卷積，然后輸出卷積的結(jié)果。每一層需要做兩個計算：前向反饋是從輸入計算輸出，然后反向反饋是從上面給的梯度來計算相對于輸入的梯度。只要這兩個函數(shù)實現(xiàn)了以后，就可以把很多層連接成一個網(wǎng)絡(luò)，這個網(wǎng)絡(luò)做的事情就是輸入數(shù)據(jù)（圖像或者語音或者其它的），然后來計算需要的輸出（比如說識別的標簽）。在訓練的時 候，可以根據(jù)已有的標簽來計算損失和梯度，然后用梯度值來更新網(wǎng)絡(luò)的參數(shù)。這個就是 Caffe[40]的一個基本流程。 本章小結(jié) 卷積神經(jīng)網(wǎng)絡(luò)是一種深層神經(jīng)網(wǎng)絡(luò)模型，已經(jīng)是現(xiàn)代智能識別語音和圖像等信息的研究熱點。本章首先簡要介紹了卷積神經(jīng)網(wǎng)絡(luò) CNN 相關(guān)理論，然后介紹了本文所采用的深度學習工具 Caffe[40]的基本框架。浙江工業(yè)大學碩士學