【正文】 Guide to) Convolutional Neural Networks for Sentence Classification[J]. Computer Science, 2015.[13] Sun Y, Wang X, Tang X. Deep Learning Face Representation from Predicting 10,000 Classes[C]// Computer Vision and Pattern Recognition. IEEE, 2014:18911898.[14] Sun Y, Wang X, Tang X. Deep Learning Face Representation by Joint IdentificationVerification[J]. Advances in Neural Information Processing Systems, 2014, 27:19881996.[15] Lin M, Chen Q, Yan S. Network In Network[J]. Computer Science, 2013.[16] Szegedy C, Liu W, Jia Y, et al. Going deeper with convolutions[C]// IEEE Conference on Computer Vision and Pattern Recognition. IEEE, 2015:19.[17] Bruna J, Szlam A, Lecun Y. Signal Recovery from Pooling Representations[J]. Statistics, 2014:307315.[18] Hinton G E, Srivastava N, Krizhevsky A, et al. Improving neural networks by preventing coadaptation of feature detectors[J]. Computer Science, 2012, 3(4):p225。全局池化后的特征被送入兩層2048維、激活函數(shù)為ReLU的全連接層中。c) 使用3s的音頻片段的mel頻譜圖作為網(wǎng)絡(luò)的輸入（具有599幀和128個頻點），它是通過計算音頻信號每個短時重疊窗口的傅里葉變換得到的，每個傅里葉變換組成一幀，這些連續(xù)的幀連接為一個矩陣，形成頻譜圖。3。這就是協(xié)同過濾方法（collaborative filtering approach）。函數(shù)被定義為： yi(j)=zi(j)zi(j)≥0ai(j)zi(j)zi(j)0（如圖c所示），其中zi(j)表示第j個樣本第i個通道的輸入，ai(j)表示對應(yīng)的樣本參數(shù)，yi(j)表示對應(yīng)的輸出。ReLU激活函數(shù)被定義為：yi=max?(0,zi)，其中zi是第i個通道的輸入，因此ReLU是一個分段線性函數(shù)，如下圖a所示。此外，在訓(xùn)練過程中也掩蓋了誤差。在[18]中，他們將Dropout應(yīng)用在全連接層，Dropout的輸出是r=m*a(Wv)，其中v=v1,v2,…,vnT是特征提取器的輸出，W（大小是dn）是一個全鏈接的權(quán)重矩陣，a(?)是一個非線性激活函數(shù)，m是一個大小為d的binary mask，元素服從伯努利分布（也叫二項分布），即mi~Bernoulli(p)。然后從基于p的多項分布中采樣來選擇區(qū)域內(nèi)的一個位置l。① Lp池化：是一個受生物學(xué)啟發(fā)在復(fù)雜細(xì)胞上建立的池化過程。 而mlpconv層的特征圖計算公式是：fi,j,k11=max?(wk11xi,j+bk1,0)fi,j,knn=max?(wknnfi,jn1+bkn,0) (每一層特征圖之間有連接，類似于循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)RNN) 其中，n是mlpconv層的層數(shù)。 [6]中采用的是如圖c所示的一維特征圖進(jìn)行卷積操作。那么用尺寸大于5行的濾波器完全合情合理了。實際上CNNs對NLP問題的效果非常理想。在很多種語言里，短語之間會被許多其它詞所隔離。以句子分類[12]/文本分類2為例：這里對濾波器設(shè)置了三種尺寸：3和4行，每種尺寸各有兩種濾波器。也就是說每一行是表示一個單詞的向量。④ 場景標(biāo)記場景標(biāo)記（也被稱為場景解析、場景語義分割）建立了對深度場景理解的橋梁，其目標(biāo)是將語義類（路、水、海洋等）與每個像素關(guān)聯(lián)。在實驗中，作者設(shè)計了一個具有移位變體結(jié)構(gòu)的CNN追蹤器。第二層卷積：33卷積核40個得到40個1216大小的卷積特征。結(jié)果表明深度是提高性能至關(guān)重要的因素。在這里，更進(jìn)一步，并行結(jié)構(gòu)分為數(shù)據(jù)并行與模型并行。下圖來自斯坦福的cs231課程網(wǎng)頁4，分別是步長為1和2的情況：三、卷積神經(jīng)網(wǎng)絡(luò)在各個領(lǐng)域的應(yīng)用在過去的十幾年間，卷積神經(jīng)網(wǎng)絡(luò)被廣泛的應(yīng)用在了各個領(lǐng)域，包括計算機視覺、語音識別、自然語言處理等[8]。這樣就可以對輸入矩陣的每一個元素做濾波了，輸出一個同樣大小或是更大的矩陣。[U,S,V] = svd(sigma)。為此，我們計算每個圖像塊的均值，并從每個圖像塊中減去它的均值；avg = mean(x, 1)。i∈1,…,N,yi∈0,…,K1，其中xi是第i個輸入圖像塊，yi是它的類標(biāo)簽，第i個輸入屬于第j類的預(yù)測值aji可以用如下的softmax函數(shù)轉(zhuǎn)換：pji=eajil=0K1eali，softmax將預(yù)測轉(zhuǎn)換為非負(fù)值，并進(jìn)行正則化處理。形式上，在獲取到我們前面討論過的卷積特征后，我們要確定池化區(qū)域的大小(假定為mn)，來池化我們的卷積特征。 池化層（The pooling layer）在通過卷積獲得了特征 (features) 之后，下一步我們希望利用這些特征去做分類。每個卷積都是一種特征提取方式，就像一個篩子，將圖像中符合條件的部分篩選出來。權(quán)值共享但其實這樣的話參數(shù)仍然過多，那么就啟動第二級神器，即權(quán)值共享。 卷積層（The convolutional layer）局部感知卷積神經(jīng)網(wǎng)絡(luò)有兩種神器可以降低參數(shù)數(shù)目，第一種神器叫做局部感知野。它通常位于兩個卷積層之間。一個特征圖的每個神經(jīng)元與它前一層的臨近神經(jīng)元相連，這樣的一個鄰近區(qū)域叫做該神經(jīng)元在前一層的局部感知野。神經(jīng)網(wǎng)絡(luò)的權(quán)值調(diào)整過程如下（BP算法）：①計算誤差函數(shù) J=x∈DJxω=12k=1Dtkzk2；②誤差函數(shù)對權(quán)系數(shù)偏微分的計算1對輸出層權(quán)系數(shù)的微分：?J?ωkj=?J?netk?netk?ωkj（求導(dǎo)鏈?zhǔn)椒▌t）輸出層第k個神經(jīng)元的總輸入：netk=j=1nHωkjyj+ωk0 zk=f(netk)?J?netk=?J?zk?zk?netk=(tkzk)f39。卷積神經(jīng)網(wǎng)絡(luò)以其局部權(quán)值共享的特殊結(jié)構(gòu)在語音識別和圖像處理方面有著獨特的優(yōu)越性，其布局更接近于實際的生物神經(jīng)網(wǎng)絡(luò)，權(quán)值共享降低了網(wǎng)絡(luò)的復(fù)雜性，特別是多維輸入向量的圖像可以直接輸入網(wǎng)絡(luò)這一特點避免了特征提取和分類過程中數(shù)據(jù)重建的復(fù)雜度。一般地，CNN包括兩種基本的計算，其一為特征提取，每個神經(jīng)元的輸入與前一層的局部接受域相連，并提取該局部的特征。然而，由于當(dāng)時大型訓(xùn)練數(shù)據(jù)和計算能力的缺乏，使得LeNet5在面對更復(fù)雜的問題時，如大規(guī)模圖像和視頻分類，不能表現(xiàn)出良好的性能。1962年，Hubel和Wiesel在研究貓腦皮層中用于局部敏感和方向選擇的神經(jīng)元時發(fā)現(xiàn)其獨特的局部互連網(wǎng)絡(luò)結(jié)構(gòu)可以有效地降低反饋神經(jīng)網(wǎng)絡(luò)的復(fù)雜性，繼而提出了卷積神經(jīng)網(wǎng)絡(luò)[1]（Convolutional Neural Networks簡稱CNN）7863。在1998年，他們建立了一個多層人工神經(jīng)網(wǎng)絡(luò)，被稱為LeNet5[5]，用于手寫數(shù)字分類, 這是第一個正式的卷積神經(jīng)網(wǎng)絡(luò)模型3579。他們方法的整體架構(gòu)，即AlexNet[9]（也叫ImageNet），與LeNet5相似，但具有更深的結(jié)構(gòu)。此外，卷積神經(jīng)網(wǎng)絡(luò)中的每一個卷積層都緊跟著一個用來求局部平均與二次提取的計算層，即池化層，這種特有的兩次特征提取結(jié)構(gòu)減小了特征分辨率。下圖展示了一個具有一個隱含層的神經(jīng)網(wǎng)絡(luò)。CNN的基本體系結(jié)構(gòu)通常由三種層構(gòu)成，分別是卷積層、池化層和全連接層。激活函數(shù)描述CNN的非線性度，對多層網(wǎng)絡(luò)檢測非線性特征十分理想。它們將前一層所有的神經(jīng)元與當(dāng)前層的每個神經(jīng)元相連接，在全連接層不保存空間信息。如下圖所示：左圖為全連接，右圖為局部連接。更直觀一些，當(dāng)從一個大尺寸圖像中隨機選取一小塊，比如說 88 作為樣本，并且從這個小塊樣本中學(xué)習(xí)到了一些特征，這時我們可以把從這個 88 樣本中學(xué)習(xí)到的特征作為探測器，應(yīng)用到這個圖像的任意地方中去。 下圖展示了在四個通道上的卷積操作，有兩個卷積核，生成兩個通道。因此，為了描述大的圖像，一個很自然的想法就是對不同位置的特征進(jìn)行聚合統(tǒng)計，例如，人們可以計算圖像一個區(qū)域上的某個特定特征的平均值 (或最大值)。 最后的全連接層的輸出傳遞到輸出層。 利用PCA或ZCA白化矩陣后，卷積層輸出的特征激活值等于f(WTxx+b)，其中T是白化矩陣，x是前一層圖像塊的均值，此時，相當(dāng)于對圖像塊做WT卷積而不是之前的W，同時神經(jīng)元單元的偏置也變?yōu)閎WTx。但是由于∑是對稱半正定的矩陣，用 svd 函數(shù)在數(shù)值計算上更加穩(wěn)定。 % epsilon MATLAB 本身內(nèi)建的常數(shù)，它是一個10的52次方的小數(shù)，可以作為反復(fù)運算時比較之用如何計算卷積核？ 常用的計算卷積核的方法，一種是BP算法，上面神經(jīng)網(wǎng)絡(luò)中已經(jīng)討論過：窄卷積 vs 寬卷積在上文中解釋卷積運算的時候，忽略了如何使用濾波器的一個小細(xì)節(jié)。一般形式為nout=nin+2*npaddingnfilter+1步長卷積運算的另一個超參數(shù)是步長，即每一次濾波器平移的距離。本文截取2012年Alex Krizhevsky的CNN結(jié)構(gòu)進(jìn)行說明，該結(jié)構(gòu)在2012年取得冠軍，%。ZFNet提高AlexNet性能通過減少第一層濾波器的大小從1111到77以及減少卷積層數(shù)目從5到2。每張輸入的人臉被表示為160維的向量，學(xué)習(xí)到的向量經(jīng)過其他模型進(jìn)行分類，在人臉驗證實驗上對10000類的分類準(zhǔn)確率達(dá)到了 %，更進(jìn)一步的，原作者改進(jìn)了CNN（DeepID2[14