【正文】 卷積神經(jīng)網(wǎng)絡(luò)（CNN）一、簡(jiǎn)介卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，簡(jiǎn)稱CNN）是近年發(fā)展起來，并引起廣泛重視的一種高效的識(shí)別方法。1962年，Hubel和Wiesel在研究貓腦皮層中用于局部敏感和方向選擇的神經(jīng)元時(shí)發(fā)現(xiàn)其獨(dú)特的局部互連網(wǎng)絡(luò)結(jié)構(gòu)可以有效地降低反饋神經(jīng)網(wǎng)絡(luò)的復(fù)雜性，繼而提出了卷積神經(jīng)網(wǎng)絡(luò)[1]（Convolutional Neural Networks簡(jiǎn)稱CNN）7863?，F(xiàn)在，CNN已經(jīng)成為眾多科學(xué)領(lǐng)域的研究熱點(diǎn)之一，特別是在模式分類領(lǐng)域，由于該網(wǎng)絡(luò)避免了對(duì)圖像的復(fù)雜前期預(yù)處理，可以直接輸入原始圖像，因而得到了更為廣泛的應(yīng)用。Fukushima在1980年基于神經(jīng)元間的局部連通性和圖像的層次組織轉(zhuǎn)換，為解決模式識(shí)別問題，提出的新識(shí)別機(jī)（Neocognitron）是卷積神經(jīng)網(wǎng)絡(luò)的第一個(gè)實(shí)現(xiàn)網(wǎng)絡(luò)[2]。他指出，當(dāng)在不同位置應(yīng)用具有相同參數(shù)的神經(jīng)元作為前一層的patches時(shí)，能夠?qū)崿F(xiàn)平移不變性1296。隨著1986年BP算法以及TC問題[3]（即權(quán)值共享和池化）9508的提出， LeCun和其合作者遵循這一想法，使用誤差梯度（the error gradient）設(shè)計(jì)和訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)，在一些模式識(shí)別任務(wù)中獲得了最先進(jìn)的性能[4][5]。在1998年，他們建立了一個(gè)多層人工神經(jīng)網(wǎng)絡(luò)，被稱為L(zhǎng)eNet5[5]，用于手寫數(shù)字分類, 這是第一個(gè)正式的卷積神經(jīng)網(wǎng)絡(luò)模型3579。類似于一般的神經(jīng)網(wǎng)絡(luò)，LeNet5有多層，利用BP算法來訓(xùn)練參數(shù)。它可以獲得原始圖像的有效表示，使得直接從原始像素（幾乎不經(jīng)過預(yù)處理）中識(shí)別視覺模式成為可能。然而，由于當(dāng)時(shí)大型訓(xùn)練數(shù)據(jù)和計(jì)算能力的缺乏，使得LeNet5在面對(duì)更復(fù)雜的問題時(shí)，如大規(guī)模圖像和視頻分類，不能表現(xiàn)出良好的性能。因此，在接下來近十年的時(shí)間里，卷積神經(jīng)網(wǎng)絡(luò)的相關(guān)研究趨于停滯，原因有兩個(gè)：一是研究人員意識(shí)到多層神經(jīng)網(wǎng)絡(luò)在進(jìn)行BP訓(xùn)練時(shí)的計(jì)算量極其之大，當(dāng)時(shí)的硬件計(jì)算能力完全不可能實(shí)現(xiàn)；二是包括SVM在內(nèi)的淺層機(jī)器學(xué)習(xí)算法也漸漸開始暫露頭腳。直到2006年，Hinton終于一鳴驚人，在《科學(xué)》上發(fā)表文章，使得CNN再度覺醒，并取得長(zhǎng)足發(fā)展。隨后，更多的科研工作者對(duì)該網(wǎng)絡(luò)進(jìn)行了改進(jìn)。其中，值得注意的是Krizhevsky等人提出的一個(gè)經(jīng)典的CNN架構(gòu)，相對(duì)于圖像分類任務(wù)之前的方法，在性能方面表現(xiàn)出了顯著的改善2674。他們方法的整體架構(gòu)，即AlexNet[9]（也叫ImageNet），與LeNet5相似，但具有更深的結(jié)構(gòu)。它包括8個(gè)學(xué)習(xí)層（5個(gè)卷積與池化層和3個(gè)全連接層），前邊的幾層劃分到2個(gè)GPU上，（和ImageNet是同一個(gè)）并且它在卷積層使用ReLU作為非線性激活函數(shù)，在全連接層使用Dropout減少過擬合。該深度網(wǎng)絡(luò)在ImageNet大賽上奪冠，進(jìn)一步掀起了CNN學(xué)習(xí)熱潮。一般地，CNN包括兩種基本的計(jì)算，其一為特征提取，每個(gè)神經(jīng)元的輸入與前一層的局部接受域相連，并提取該局部的特征。一旦該局部特征被提取后，它與其它特征間的位置關(guān)系也隨之確定下來；其二是特征映射，網(wǎng)絡(luò)的每個(gè)計(jì)算層由多個(gè)特征映射組成，每個(gè)特征映射是一個(gè)平面，平面上所有神經(jīng)元的權(quán)值相等。特征映射結(jié)構(gòu)采用影響函數(shù)核小的sigmoid函數(shù)作為卷積網(wǎng)絡(luò)的激活函數(shù)，使得特征映射具有位移不變性。此外，由于一個(gè)映射面上的神經(jīng)元共享權(quán)值，因而減少了網(wǎng)絡(luò)自由參數(shù)的個(gè)數(shù)。這兩種操作形成了CNN的卷積層。此外，卷積神經(jīng)網(wǎng)絡(luò)中的每一個(gè)卷積層都緊跟著一個(gè)用來求局部平均與二次提取的計(jì)算層，即池化層，這種特有的兩次特征提取結(jié)構(gòu)減小了特征分辨率。CNN主要用來識(shí)別位移、縮放及其他形式扭曲不變性的二維圖形。由于CNN的特征檢測(cè)層通過訓(xùn)練數(shù)據(jù)進(jìn)行學(xué)習(xí)，所以在使用CNN時(shí)，避免了顯式地特征抽取，而隱式地從訓(xùn)練數(shù)據(jù)中進(jìn)行學(xué)習(xí)；再者由于同一特征映射面上的神經(jīng)元權(quán)值相同，所以網(wǎng)絡(luò)可以并行學(xué)習(xí)，這也是卷積網(wǎng)絡(luò)相對(duì)于神經(jīng)元彼此相連網(wǎng)絡(luò)的一大優(yōu)勢(shì)。卷積神經(jīng)網(wǎng)絡(luò)以其局部權(quán)值共享的特殊結(jié)構(gòu)在語(yǔ)音識(shí)別和圖像處理方面有著獨(dú)特的優(yōu)越性，其布局更接近于實(shí)際的生物神經(jīng)網(wǎng)絡(luò)，權(quán)值共享降低了網(wǎng)絡(luò)的復(fù)雜性，特別是多維輸入向量的圖像可以直接輸入網(wǎng)絡(luò)這一特點(diǎn)避免了特征提取和分類過程中數(shù)據(jù)重建的復(fù)雜度。注：紅色數(shù)字表示相應(yīng)文獻(xiàn)的引用量。二、卷積神經(jīng)網(wǎng)絡(luò) vs 神經(jīng)網(wǎng)絡(luò)首先簡(jiǎn)要介紹下神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)的每個(gè)單元如下：其對(duì)應(yīng)的公式如下：hW,bx=fWTx=f(i=13Wixi+b)其中，該單元也可以被稱作是Logistic回歸模型。當(dāng)將多個(gè)單元組合起來并具有分層結(jié)構(gòu)時(shí)，就形成了神經(jīng)網(wǎng)絡(luò)模型。下圖展示了一個(gè)具有一個(gè)隱含層的神經(jīng)網(wǎng)絡(luò)。其對(duì)應(yīng)的公式如下：比較類似的，可以拓展到有2,3,4,5,…個(gè)隱含層。神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法也同Logistic類似，不過由于其多層性，還需要利用鏈?zhǔn)角髮?dǎo)法則對(duì)隱含層的節(jié)點(diǎn)進(jìn)行求導(dǎo)，即梯度下降+鏈?zhǔn)角髮?dǎo)法則，專業(yè)名稱為反向傳播。神經(jīng)網(wǎng)絡(luò)的權(quán)值調(diào)整過程如下（BP算法）：①計(jì)算誤差函數(shù) J=x∈DJxω=12k=1Dtkzk2；②誤差函數(shù)對(duì)權(quán)系數(shù)偏微分的計(jì)算1對(duì)輸出層權(quán)系數(shù)的微分：?J?ωkj=?J?netk?netk?ωkj（求導(dǎo)鏈?zhǔn)椒▌t）輸出層第k個(gè)神經(jīng)元的總輸入：netk=j=1nHωkjyj+ωk0 zk=f(netk)?J?netk=?J?zk?zk?netk=(tkzk)f39。(netk) ?netk?ωkj=yj 令?J?netk=δk，可得?J?ωkj=δkyj2對(duì)隱層權(quán)系數(shù)的微分：?J?ωji=?J?netj?netj?ωji隱含層第j個(gè)神經(jīng)元的總輸入：netj=i=1dωjixi+ωj0 yj=f(netj)?J?netj=?J?yj?yj?netj=(k=1c?J?netk?netk?yj)?yj?netj=(k=1cδkωkj)f39。(netj) 令?J?netj=δj，可得?J?ωji=δjxi3權(quán)系數(shù)的更新ωkj←ωkjη?J?ωkj ωji←ωjiη?J?ωji根據(jù)計(jì)算誤差修正權(quán)值，最終使得誤差值J最小，此時(shí)就建立好了神經(jīng)網(wǎng)絡(luò)模型。卷積神經(jīng)網(wǎng)絡(luò)的權(quán)值調(diào)整過程也多采用BP算法。目前有許多CNN架構(gòu)的變體，但它們的基本結(jié)構(gòu)非常相似。CNN的基本體系結(jié)構(gòu)通常由三種層構(gòu)成，分別是卷積層、池化層和全連接層。 卷積層旨在學(xué)習(xí)輸入的特征表示。如圖，卷積層由幾個(gè)特征圖（feature maps）組成。一個(gè)特征圖的每個(gè)神經(jīng)元與它前一層的臨近神經(jīng)元相連，這樣的一個(gè)鄰近區(qū)域叫做該神經(jīng)元在前一層的局部感知野。為了計(jì)算一個(gè)新的特征圖，輸入特征圖首先與一個(gè)學(xué)習(xí)好的卷積核（也被稱為濾波器、特征檢測(cè)器）做卷積，然后將結(jié)果傳遞給一個(gè)非線性激活函數(shù)。通過應(yīng)用不同的卷積核得到新的特征圖。注意到，生成一個(gè)特征圖的核是相同的。（也就是權(quán)值共享）這樣的一個(gè)權(quán)值共享模式有幾個(gè)優(yōu)點(diǎn)，如可以減少模型的復(fù)雜度，使網(wǎng)絡(luò)更易訓(xùn)練等。激活函數(shù)描述CNN的非線性度，對(duì)多層網(wǎng)絡(luò)檢測(cè)非線性特征十分理想。典型的激活函數(shù)有sigmoid、tanh和ReLU。 池化層旨在通過降低特征圖的分辨率實(shí)現(xiàn)空間不變性。它通常位于兩個(gè)卷積層之間。每個(gè)池化層的特征圖和它相應(yīng)的前一卷積層的特征圖相連，因此它們的特征圖數(shù)量相同。典型的池化操作是平均池化和最大池化。通過疊加幾個(gè)卷積和池化層，我們可以提取更抽象的特征表示。 幾個(gè)卷積和池化層之后，通常有一個(gè)或多個(gè)全連接層。它們將前一層所有的神經(jīng)元與當(dāng)前層的每個(gè)神經(jīng)元相連接，在全連接層不保存空間信息。下面對(duì)各層進(jìn)行詳細(xì)的分析與介紹：在圖像處理中，往往把圖像表示為像素的向量，比如一個(gè)10001000的圖像，可以表示為一個(gè)1000000的向量。在上一節(jié)中提到的神經(jīng)網(wǎng)絡(luò)中，如果隱含層數(shù)目與輸入層一樣，即也是1000000時(shí)，那么輸入層到隱含層的參數(shù)數(shù)據(jù)為10000001000000=1012，這樣就太多了，基本沒法訓(xùn)練，所以必需先減少參數(shù)加快速度。 卷積層（The convolutional layer）局部感知卷積神經(jīng)網(wǎng)絡(luò)有兩種神器可以降低參數(shù)數(shù)目，第一種神器叫做局部感知野。一般認(rèn)為人對(duì)外界的認(rèn)知是從局部到全局的，而圖像的空間聯(lián)系也是局部的像素聯(lián)系較為緊密，而距離較遠(yuǎn)的像素相關(guān)性則較弱。因而，每個(gè)神經(jīng)元其實(shí)沒有必要對(duì)全局圖像進(jìn)行感知，只需要對(duì)局部進(jìn)行感知，然后在更高層將局部的信息綜合起來就得到了全局的信息。網(wǎng)絡(luò)部分連通的思想，也是受啟發(fā)于生物學(xué)里面的視覺系統(tǒng)結(jié)構(gòu)。視覺皮層的神經(jīng)元就是局部接受信息的（即這些神經(jīng)元只響應(yīng)某些特定區(qū) 域的刺激）。如下圖所示：左圖為全連接，右圖為局部連接。在上右圖中，假如每個(gè)神經(jīng)元只和它前一層鄰近的1010個(gè)像素值相連，那么權(quán)值數(shù)據(jù)為1000000100個(gè)參數(shù)，減少為原來的萬(wàn)分之一。而那1010個(gè)像素值對(duì)應(yīng)的1010個(gè)參數(shù)，其實(shí)就相當(dāng)于卷積操作。權(quán)值共享但其實(shí)這樣的話參數(shù)仍然過多，那么就啟動(dòng)第二級(jí)神器，即權(quán)值共享。在上面的局部連接中，每個(gè)神經(jīng)元都對(duì)應(yīng)100個(gè)參數(shù)，一共1000000個(gè)神經(jīng)元，如果這1000000個(gè)神經(jīng)元的100個(gè)參數(shù)都是相等的，那么參數(shù)數(shù)目就變?yōu)?00了。怎么理解權(quán)值共享呢？我們可以這100個(gè)參數(shù)（也就是卷積操作）看成是提取特征的方式，該方式與位置無(wú)關(guān)。這其中隱含的原理則是：圖像的一部分的統(tǒng)計(jì)特性與其他部分是一樣的。這也意味著我們?cè)谶@一部分學(xué)習(xí)的特征也能用在另一部分上，所以對(duì)于這個(gè)圖像上的所有位置，我們都能使用同樣的學(xué)習(xí)特征。更直觀一些，當(dāng)從一個(gè)大尺寸圖像中隨機(jī)選取一小塊，比如說 88 作為樣本，并且從這個(gè)小塊樣本中學(xué)習(xí)到了一些特征，這時(shí)我們可以把從這個(gè) 88 樣本中學(xué)習(xí)到的特征作為探測(cè)器，應(yīng)用到這個(gè)圖像的任意地方中去。特別是，我們可以用從 88 樣本中所學(xué)習(xí)到的特征跟原本的大尺寸圖像作卷積，從而對(duì)這個(gè)大尺寸圖像上的任一位置獲得一個(gè)不同特征的激活值。如下圖所示，展示了一個(gè)33的卷積核在55的圖像上做卷積的過程。每個(gè)卷積都是一種特征提取方式，就像一個(gè)篩子，將圖像中符合條件的部分篩選出來。（圖片為gif格式）多卷積核上面所述只有100個(gè)參數(shù)時(shí)，表明只有1個(gè)1010的卷積核，顯然，特征提取是不充分的，我們可以添加多個(gè)卷積核，比如32個(gè)卷積核，可以學(xué)習(xí)32種特征。在有多個(gè)卷積核時(shí)，如下圖所示：