【正文】 )。卷積層和mlpconv層的區(qū)別：（從特征圖的計算上來看）形式上，卷積層的特征圖計算公式是：fi,j,k=max?(wkxi,j,0)其中，i,j是特征圖的像素索引，xi,j是以(i,j)為中心的輸入塊，k是特征圖的通道索引。卷積濾波器能自動學(xué)習(xí)好的表示方式，不需要用整個詞表來表征。相鄰的像素點(diǎn)很有可能是相關(guān)聯(lián)的（都是物體的同一部分），但單詞并不總是如此。矩陣的每一行對應(yīng)于一個分詞元素，一般是一個單詞，也可以是一個字符。Fan等人[10]使用CNN作為基礎(chǔ)學(xué)習(xí)器，學(xué)習(xí)一個獨(dú)立的分類專用網(wǎng)絡(luò)來追蹤對象。VGGNet將網(wǎng)絡(luò)深度擴(kuò)展到19層并在每個卷積層使用非常小的濾波器，大小為33。步長越大，則用到的濾波器越少，輸出的值也越少。矩陣V等于U的轉(zhuǎn)置，可以忽略。給定訓(xùn)練集xi,yi。hij0=tanh?(k=03(Wk*(W0*x)ij)+b0)所以，在上圖由4個通道卷積得到2個通道的過程中，參數(shù)的數(shù)目為4222個，其中4表示4個通道，第一個2表示生成2個通道，最后的22表示卷積核大小。而那1010個像素值對應(yīng)的1010個參數(shù)，其實就相當(dāng)于卷積操作。 池化層旨在通過降低特征圖的分辨率實現(xiàn)空間不變性。神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法也同Logistic類似，不過由于其多層性，還需要利用鏈?zhǔn)角髮?dǎo)法則對隱含層的節(jié)點(diǎn)進(jìn)行求導(dǎo)，即梯度下降+鏈?zhǔn)角髮?dǎo)法則，專業(yè)名稱為反向傳播。該深度網(wǎng)絡(luò)在ImageNet大賽上奪冠，進(jìn)一步掀起了CNN學(xué)習(xí)熱潮。卷積神經(jīng)網(wǎng)絡(luò)（CNN）一、簡介卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，簡稱CNN）是近年發(fā)展起來，并引起廣泛重視的一種高效的識別方法。它包括8個學(xué)習(xí)層（5個卷積與池化層和3個全連接層），前邊的幾層劃分到2個GPU上，（和ImageNet是同一個）并且它在卷積層使用ReLU作為非線性激活函數(shù)，在全連接層使用Dropout減少過擬合。其對應(yīng)的公式如下：比較類似的，可以拓展到有2,3,4,5,…個隱含層。典型的激活函數(shù)有sigmoid、tanh和ReLU。在上右圖中，假如每個神經(jīng)元只和它前一層鄰近的1010個像素值相連，那么權(quán)值數(shù)據(jù)為1000000100個參數(shù)，減少為原來的萬分之一。其中需要注意的是，四個通道上每個通道對應(yīng)一個卷積核，先將W1忽略，只看W0，那么在W0的某位置(i,j)處的值，是由四個通道上(i,j)處鄰近區(qū)域的卷積結(jié)果相加然后再取激活函數(shù)（假設(shè)選擇tanh函數(shù)）值得到的。對于分類任務(wù)，softmax回歸由于其可以生成輸出的wellformed概率分布[4]而被普遍使用。矩陣 U 將包含 Sigma 的特征向量（一個特征向量一列，從主向量開始排序），矩陣S 對角線上的元素將包含對應(yīng)的特征值（同樣降序排列）。上面所有例子中的步長都是1，相鄰兩個濾波器有重疊。在這樣的設(shè)置中，之間卷積層的大小被擴(kuò)展以便于獲得更有意義的特征。② 對象追蹤Object tracking對象追蹤在計算機(jī)視覺的應(yīng)用中起著重要作用，對象追蹤的成功在很大程度上依賴于如何健壯的表示目標(biāo)外觀，它面臨的挑戰(zhàn)如視點(diǎn)改變、光照變化以及遮擋等。（NLP）1NLP任務(wù)的輸入不再是像素點(diǎn)了，大多數(shù)情況下是以矩陣表示的句子或者文檔。人們也許會很在意一個詞在句子中出現(xiàn)的位置。即使Google也最多不超過5grams。NIN的整體結(jié)構(gòu)就是這些為網(wǎng)絡(luò)的堆積。③ 隨機(jī)池化（Stochastic pooling）[21]：保證特征圖的非線性激活值可以被利用。 ② DropConnect[19]：將Dropout的想法更進(jìn)一步，代替了其設(shè)置神經(jīng)元的輸出為0，而是在前向傳導(dǎo)時，輸入的時候隨機(jī)讓一些輸入神經(jīng)元以一定的概率p不工作，在BP訓(xùn)練時，這些不工作的神經(jīng)元顯然也不會得到誤差貢獻(xiàn)。與ReLU相比，LReLU壓縮了負(fù)軸部分而不是將它始終映射為0，使得函數(shù)在不活躍單元也具有了較小的非零梯度，從而便于權(quán)值調(diào)整。這種方法在Netflix Prize中被證明是非常有效的。這與圖像不同，對于圖像來說，如果我們檢測出這個特征在最上方，那么它可能代表的是一片云，如果在最下方，那么它可能是一只羊。, Unterthiner T, Hochreiter S. Fast and Accurate Deep Network Learning by Exponential Linear Units (ELUs)[J]. Computer Science, 2015.[30] Farabet C, Couprie C, Najman L, et al. Learning Hierarchical Features for Scene Labeling[J]. IEEE Transactions on Pattern Analysis amp。 卷積層的濾波器如圖中紅色矩形框所示，采用ReLU激活函數(shù)，注意到，不同于圖像的情況，頻譜圖兩個坐標(biāo)軸的意義是不同的，所以這些卷積只在時間維度上移動。另一種方法是從內(nèi)容和元數(shù)據(jù)中預(yù)測用戶的偏好。[16]中的實驗表明了使用ReLU作為激活函數(shù)的深度網(wǎng)絡(luò)可以被有效地訓(xùn)練。 目前存在著幾種對Dropout 的改進(jìn)，例如：Wang 等人[22]中提出了一種快速Dropout方法，通過抽樣或整合一個高斯近似值來實現(xiàn)更快的Dropout訓(xùn)練。Lp池化公式為：(i=1N|xIi|p)1p，其中xI1,…,xIN是一組有限的輸入節(jié)點(diǎn)，當(dāng)p=1時，Lp池化就相當(dāng)于平均池化，當(dāng)p=2時，是L2池化，當(dāng)p=∞時，即max?(|xI1|,…,|xIN|)相當(dāng)于最大池化。對隱含概念的線性可分實例的提取效果較好。CNNs的主要特點(diǎn)在于速度快，非常的快。然后對每個特征字典做最大值池化，也就是只記錄每個特征字典的最大值。因此，圖像的場景標(biāo)記具有挑戰(zhàn)性。第三層卷積： 33的卷積核60個得到60個46大小的卷積特征maxpooling： 22的核池化得到60個23大小的卷積特征。而模型并行則是，將若干層的模型參數(shù)進(jìn)行切分，不同的GPU上使用相同的數(shù)據(jù)進(jìn)行訓(xùn)練，得到的結(jié)果直接連接作為下一層的輸入。如圖所示：圖中濾波器長度為5，輸入長度為7。其次，計算=1mi=1m(x(i))(x(i))T，假設(shè)x為一數(shù)據(jù)結(jié)構(gòu)，其中每列表示一個訓(xùn)練樣本（所以x是一個nm的矩陣）；sigma = x * x39。這些池化后的特征便可以用來做分類。在有多個卷積核時，如下圖所示：上圖右，不同顏色表明不同的卷積核。因而，每個神經(jīng)元其實沒有必要對全局圖像進(jìn)行感知，只需要對局部進(jìn)行感知，然后在更高層將局部的信息綜合起來就得到了全局的信息。通過應(yīng)用不同的卷積核得到新的特征圖。二、卷積神經(jīng)網(wǎng)絡(luò) vs 神經(jīng)網(wǎng)絡(luò)首先簡要介紹下神經(jīng)網(wǎng)絡(luò)。直到2006年，Hinton終于一鳴驚人，在《科學(xué)》上發(fā)表文章，使得CNN再度覺醒，并取得長足發(fā)展。他指出，當(dāng)在不同位置應(yīng)用具有相同參數(shù)的神經(jīng)元作為前一層的patches時，能夠?qū)崿F(xiàn)平移不變性1296。此外，由于一個映射面上的神經(jīng)元共享權(quán)值，因而減少了網(wǎng)絡(luò)自由參數(shù)的個數(shù)。卷積神經(jīng)網(wǎng)絡(luò)的權(quán)值調(diào)整過程也多采用BP算法。通過疊加幾個卷積和池化層，我們可以提取更抽象的特征表示。這其中隱含的原理則是：圖像的一部分的統(tǒng)計特性與其他部分是一樣的。學(xué)習(xí)一個擁有超過 3 百萬特征輸入的分類器十分不便，并且容易出現(xiàn)過擬合 (overfitting)。 問題預(yù)處理步驟利用PCA或ZCA白化矩陣調(diào)整權(quán)值。 % diag函數(shù)功能：矩陣對角元素的提取和創(chuàng)建對角陣xZCAwhite = U * diag(1./sqrt(diag(S) + epsilon)) * U39。對大規(guī)模圖像分類的突破是在2012年，Alex Krizhevsky等人[9]建立的AlexNet網(wǎng)絡(luò)，在ILSVRC2012比賽中實現(xiàn)了最佳的性能?？梢?，深度學(xué)習(xí)的提升空間還很巨大。③ 姿態(tài)估計/行為識別類似于其他的視覺識別任務(wù)，人體姿態(tài)的估計任務(wù)由于CNN的大規(guī)模學(xué)習(xí)能力以及更全面訓(xùn)練的可擴(kuò)展性而實現(xiàn)了巨大的性能提升。這個矩陣相當(dāng)于是一幅“圖像”。由此看來，卷積神經(jīng)網(wǎng)絡(luò)似乎并不適合用來處理NLP任務(wù)。我們可以直觀的將輸入“圖像”考慮成一個具有靜態(tài)、delta以及deltadelta特征（即第一和第二時間派生物derivatives）的頻譜圖，如下圖a，選擇15幀長度的內(nèi)容窗口。特別地，inception module由一個池化操作和三種卷積操作組成。此外，還有頻譜池化（Spectral pooling）、立體金字塔狀池化（Spatial pyramid pooling(SPP)）以及多尺度無序池化（Multiscale Orderless Pooling）等。為了用連續(xù)型的函數(shù)表達(dá)神經(jīng)元的非線性變換能力，常采用S型的sigmoid和tanh函數(shù)作為激活函數(shù)。 ③ Exponential Linear Unit (ELU)[29]：指數(shù)線性單元可以更快地學(xué)習(xí)深度神經(jīng)網(wǎng)絡(luò)，提高分類準(zhǔn)確率。有一些很容易從音頻信號中獲取，如音樂的流派和樂器信息，有一些較難獲取，如音樂的情感，還有一些完全無法獲取，如作曲家的地理位置、抒情主題等。參考文獻(xiàn)[1] Hubel D H, Wiesel T N. Receptive fields, binocular interaction and functional architecture in the cat39。cun Y, Bottou L, Bengio Y, et al. Gradientbased learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11):22782324.[5] Lecun Y, Boser B, Denker J S, et al. Backpropagation Applied to Handwritten Zip Code Recognition[J]. Neural Computation, 1989, 1(4):541551.[6] AbdelHamid O, Mohamed A R, Jiang H, et al. Convolutional Neural N