【正文】 ）看成是提取特征的方式，該方式與位置無(wú)關(guān)。在上右圖中，假如每個(gè)神經(jīng)元只和它前一層鄰近的1010個(gè)像素值相連，那么權(quán)值數(shù)據(jù)為1000000100個(gè)參數(shù)，減少為原來(lái)的萬(wàn)分之一。因而，每個(gè)神經(jīng)元其實(shí)沒(méi)有必要對(duì)全局圖像進(jìn)行感知，只需要對(duì)局部進(jìn)行感知，然后在更高層將局部的信息綜合起來(lái)就得到了全局的信息。下面對(duì)各層進(jìn)行詳細(xì)的分析與介紹：在圖像處理中，往往把圖像表示為像素的向量，比如一個(gè)10001000的圖像，可以表示為一個(gè)1000000的向量。典型的池化操作是平均池化和最大池化。典型的激活函數(shù)有sigmoid、tanh和ReLU。通過(guò)應(yīng)用不同的卷積核得到新的特征圖。 卷積層旨在學(xué)習(xí)輸入的特征表示。(netj) 令?J?netj=δj，可得?J?ωji=δjxi3權(quán)系數(shù)的更新ωkj←ωkjη?J?ωkj ωji←ωjiη?J?ωji根據(jù)計(jì)算誤差修正權(quán)值，最終使得誤差值J最小，此時(shí)就建立好了神經(jīng)網(wǎng)絡(luò)模型。其對(duì)應(yīng)的公式如下：比較類似的，可以拓展到有2,3,4,5,…個(gè)隱含層。二、卷積神經(jīng)網(wǎng)絡(luò) vs 神經(jīng)網(wǎng)絡(luò)首先簡(jiǎn)要介紹下神經(jīng)網(wǎng)絡(luò)。CNN主要用來(lái)識(shí)別位移、縮放及其他形式扭曲不變性的二維圖形。特征映射結(jié)構(gòu)采用影響函數(shù)核小的sigmoid函數(shù)作為卷積網(wǎng)絡(luò)的激活函數(shù)，使得特征映射具有位移不變性。它包括8個(gè)學(xué)習(xí)層（5個(gè)卷積與池化層和3個(gè)全連接層），前邊的幾層劃分到2個(gè)GPU上，（和ImageNet是同一個(gè)）并且它在卷積層使用ReLU作為非線性激活函數(shù)，在全連接層使用Dropout減少過(guò)擬合。直到2006年，Hinton終于一鳴驚人，在《科學(xué)》上發(fā)表文章，使得CNN再度覺(jué)醒，并取得長(zhǎng)足發(fā)展。類似于一般的神經(jīng)網(wǎng)絡(luò)，LeNet5有多層，利用BP算法來(lái)訓(xùn)練參數(shù)。Fukushima在1980年基于神經(jīng)元間的局部連通性和圖像的層次組織轉(zhuǎn)換，為解決模式識(shí)別問(wèn)題，提出的新識(shí)別機(jī)（Neocognitron）是卷積神經(jīng)網(wǎng)絡(luò)的第一個(gè)實(shí)現(xiàn)網(wǎng)絡(luò)[2]。卷積神經(jīng)網(wǎng)絡(luò)（CNN）一、簡(jiǎn)介卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，簡(jiǎn)稱CNN）是近年發(fā)展起來(lái)，并引起廣泛重視的一種高效的識(shí)別方法。他指出，當(dāng)在不同位置應(yīng)用具有相同參數(shù)的神經(jīng)元作為前一層的patches時(shí)，能夠?qū)崿F(xiàn)平移不變性1296。它可以獲得原始圖像的有效表示，使得直接從原始像素（幾乎不經(jīng)過(guò)預(yù)處理）中識(shí)別視覺(jué)模式成為可能。隨后，更多的科研工作者對(duì)該網(wǎng)絡(luò)進(jìn)行了改進(jìn)。該深度網(wǎng)絡(luò)在ImageNet大賽上奪冠，進(jìn)一步掀起了CNN學(xué)習(xí)熱潮。此外，由于一個(gè)映射面上的神經(jīng)元共享權(quán)值，因而減少了網(wǎng)絡(luò)自由參數(shù)的個(gè)數(shù)。由于CNN的特征檢測(cè)層通過(guò)訓(xùn)練數(shù)據(jù)進(jìn)行學(xué)習(xí)，所以在使用CNN時(shí)，避免了顯式地特征抽取，而隱式地從訓(xùn)練數(shù)據(jù)中進(jìn)行學(xué)習(xí)；再者由于同一特征映射面上的神經(jīng)元權(quán)值相同，所以網(wǎng)絡(luò)可以并行學(xué)習(xí)，這也是卷積網(wǎng)絡(luò)相對(duì)于神經(jīng)元彼此相連網(wǎng)絡(luò)的一大優(yōu)勢(shì)。神經(jīng)網(wǎng)絡(luò)的每個(gè)單元如下：其對(duì)應(yīng)的公式如下：hW,bx=fWTx=f(i=13Wixi+b)其中，該單元也可以被稱作是Logistic回歸模型。神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法也同Logistic類似，不過(guò)由于其多層性，還需要利用鏈?zhǔn)角髮?dǎo)法則對(duì)隱含層的節(jié)點(diǎn)進(jìn)行求導(dǎo)，即梯度下降+鏈?zhǔn)角髮?dǎo)法則，專業(yè)名稱為反向傳播。卷積神經(jīng)網(wǎng)絡(luò)的權(quán)值調(diào)整過(guò)程也多采用BP算法。如圖，卷積層由幾個(gè)特征圖（feature maps）組成。注意到，生成一個(gè)特征圖的核是相同的。 池化層旨在通過(guò)降低特征圖的分辨率實(shí)現(xiàn)空間不變性。通過(guò)疊加幾個(gè)卷積和池化層，我們可以提取更抽象的特征表示。在上一節(jié)中提到的神經(jīng)網(wǎng)絡(luò)中，如果隱含層數(shù)目與輸入層一樣，即也是1000000時(shí)，那么輸入層到隱含層的參數(shù)數(shù)據(jù)為10000001000000=1012，這樣就太多了，基本沒(méi)法訓(xùn)練，所以必需先減少參數(shù)加快速度。網(wǎng)絡(luò)部分連通的思想，也是受啟發(fā)于生物學(xué)里面的視覺(jué)系統(tǒng)結(jié)構(gòu)。而那1010個(gè)像素值對(duì)應(yīng)的1010個(gè)參數(shù)，其實(shí)就相當(dāng)于卷積操作。這其中隱含的原理則是：圖像的一部分的統(tǒng)計(jì)特性與其他部分是一樣的。如下圖所示，展示了一個(gè)33的卷積核在55的圖像上做卷積的過(guò)程。每個(gè)卷積核都會(huì)將圖像生成為另一幅圖像。hij0=tanh?(k=03(Wk*(W0*x)ij)+b0)所以，在上圖由4個(gè)通道卷積得到2個(gè)通道的過(guò)程中，參數(shù)的數(shù)目為4222個(gè)，其中4表示4個(gè)通道，第一個(gè)2表示生成2個(gè)通道，最后的22表示卷積核大小。學(xué)習(xí)一個(gè)擁有超過(guò) 3 百萬(wàn)特征輸入的分類器十分不便，并且容易出現(xiàn)過(guò)擬合 (overfitting)。這種聚合的操作就叫做池化 (pooling)，有時(shí)也稱為平均池化或者最大池化 (取決于計(jì)算池化的方法)。 全連接層（Fullyconnected layers）幾個(gè)卷積和池化層之后，通常有一個(gè)或多個(gè)全連接層，旨在執(zhí)行對(duì)原始圖像的高級(jí)抽象。給定訓(xùn)練集xi,yi。 問(wèn)題預(yù)處理步驟利用PCA或ZCA白化矩陣調(diào)整權(quán)值。對(duì)于自然圖像，我們通過(guò)減去每個(gè)圖像塊(patch)的均值（近似地）來(lái)達(dá)到這一目標(biāo)。 / size(x, 2)。矩陣V等于U的轉(zhuǎn)置，可以忽略。 % diag函數(shù)功能：矩陣對(duì)角元素的提取和創(chuàng)建對(duì)角陣xZCAwhite = U * diag(1./sqrt(diag(S) + epsilon)) * U39。所有落在矩陣范圍之外的元素值都默認(rèn)為0。當(dāng)濾波器長(zhǎng)度相對(duì)輸入向量的長(zhǎng)度較大時(shí)，寬卷積很有用，或者說(shuō)很有必要。步長(zhǎng)越大，則用到的濾波器越少，輸出的值也越少。對(duì)大規(guī)模圖像分類的突破是在2012年，Alex Krizhevsky等人[9]建立的AlexNet網(wǎng)絡(luò)，在ILSVRC2012比賽中實(shí)現(xiàn)了最佳的性能。需要注意的是，該模型采用了2GPU并行結(jié)構(gòu)，即所有卷積層都是將模型參數(shù)分為2部分進(jìn)行訓(xùn)練的。隨著AlexNet的成功，一些工作對(duì)它的性能進(jìn)行了改進(jìn)。VGGNet將網(wǎng)絡(luò)深度擴(kuò)展到19層并在每個(gè)卷積層使用非常小的濾波器，大小為33。可見(jiàn)，深度學(xué)習(xí)的提升空間還很巨大。maxpooling：22的核池化得到20個(gè)1418大小的卷積特征。第四層卷積：22的卷積核80個(gè)得到80個(gè)12大小的卷積特征。Fan等人[10]使用CNN作為基礎(chǔ)學(xué)習(xí)器，學(xué)習(xí)一個(gè)獨(dú)立的分類專用網(wǎng)絡(luò)來(lái)追蹤對(duì)象。③ 姿態(tài)估計(jì)/行為識(shí)別類似于其他的視覺(jué)識(shí)別任務(wù)，人體姿態(tài)的估計(jì)任務(wù)由于CNN的大規(guī)模學(xué)習(xí)能力以及更全面訓(xùn)練的可擴(kuò)展性而實(shí)現(xiàn)了巨大的性能提升。不同于之前明確設(shè)計(jì)圖形化模型和部分探測(cè)器的工作，DeepPose描述人體姿態(tài)估計(jì)的整體視圖，通過(guò)將整個(gè)圖像作為最終人體姿態(tài)的輸入和輸出，來(lái)獲得每個(gè)人體關(guān)節(jié)的完整內(nèi)容。最近，CNN已經(jīng)被成功地應(yīng)用在場(chǎng)景標(biāo)記任務(wù)中。矩陣的每一行對(duì)應(yīng)于一個(gè)分詞元素，一般是一個(gè)單詞，也可以是一個(gè)字符。這個(gè)矩陣相當(dāng)于是一幅“圖像”。綜上所述，處理自然語(yǔ)言的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)是這樣的。這樣，就由六個(gè)字典生成了一串單變量特征向量（univariate feature vector），然后這六個(gè)特征拼接形成一個(gè)特征向量，傳給網(wǎng)絡(luò)的倒數(shù)第二層。相鄰的像素點(diǎn)很有可能是相關(guān)聯(lián)的（都是物體的同一部分），但單詞并不總是如此。由此看來(lái)，卷積神經(jīng)網(wǎng)絡(luò)似乎并不適合用來(lái)處理NLP任務(wù)。所有的模型都是錯(cuò)的，只是一些能被利用。卷積運(yùn)算是計(jì)算機(jī)圖像的核心部分，在GPU級(jí)別的硬件層實(shí)現(xiàn)。卷積濾波器能自動(dòng)學(xué)習(xí)好的表示方式，不需要用整個(gè)詞表來(lái)表征。我們可以直觀的將輸入“圖像”考慮成一個(gè)具有靜態(tài)、delta以及deltadelta特征（即第一和第二時(shí)間派生物derivatives）的頻譜圖，如下圖a，選擇15幀長(zhǎng)度的內(nèi)容窗口。如圖c所示，在這種情況下，相同的MFSC特征被組織作為一維特征圖，每一幀的3種特征作為一個(gè)特征圖，得到153=45個(gè)特征圖，每個(gè)特征圖有40維。目前有兩種可以提高濾波器特征表示能力的對(duì)卷積層的改進(jìn)工作。卷積層和mlpconv層的區(qū)別：（從特征圖的計(jì)算上來(lái)看）形式上，卷積層的特征圖計(jì)算公式是：fi,j,k=max?(wkxi,j,0)其中，i,j是特征圖的像素索引，xi,j是以(i,j)為中心的輸入塊，k是特征圖的通道索引。特別地，inception module由一個(gè)池化操作和三種卷積操作組成。目前為止在CNN中使用的典型的池化操作是平均池化或者最大池化，同時(shí)也存在著一些改進(jìn)的池化操作，如Lp池化、混合池化、隨機(jī)池化等。② 混合池化：受隨機(jī)Dropout[18]和DropConnect[19]啟發(fā)，Yu等人[20]提出混合池化方法，即最大池化和平均池化的結(jié)合。具體地，隨機(jī)池化先對(duì)每個(gè)區(qū)域Rj通過(guò)正則化區(qū)域內(nèi)的激活值計(jì)算概率p，即pi=aik∈Rj(ak)。此外，還有頻譜池化（Spectral pooling）、立體金字塔狀池化（Spatial pyramid pooling(SPP)）以及多尺度無(wú)序池化（Multiscale Orderless Pooling）等。它最先由Hinton等人（在深度學(xué)習(xí)的推廣中起了關(guān)鍵作用）在2012年提出[18]，它已經(jīng)被證明對(duì)減少過(guò)擬合十分有效。Ba等人[23]提出一種自適應(yīng)Dropout方法，使用一個(gè)與深度網(wǎng)絡(luò)共享參數(shù)的二進(jìn)制置信網(wǎng)絡(luò)計(jì)算每個(gè)隱含變量的Dropout概率。DropConnect的輸出r=a((m*W)v)，其中mij~Bernoulli(p)。為了用連續(xù)型的函數(shù)表達(dá)神經(jīng)元的非線性變換能力，常采用S型的sigmoid和tanh函數(shù)作為激活函數(shù)。 除了上述S型的函數(shù)外，ReLU（Rectified linear unit (ReLU)）[25]也是常用的激活函數(shù)的一種。盡管ReLU在0點(diǎn)處的不連續(xù)損害了BP算法的性能，并且它具有不活躍的零梯度單元，可能會(huì)導(dǎo)致基于梯度的優(yōu)化不能夠調(diào)整權(quán)值。② Randomized ReLU（RReLU）[28]：在RReLU中，負(fù)軸部分的參數(shù)是從均勻分布的訓(xùn)練樣本中隨機(jī)抽取的，隨后在測(cè)試樣本中確定。 ③ Exponential Linear Unit (ELU)[29]：指數(shù)線性單元可以更快地學(xué)習(xí)深度神經(jīng)網(wǎng)絡(luò)，提高分類準(zhǔn)確率。許多推薦系統(tǒng)依賴于慣用模式，即從用戶的消費(fèi)和評(píng)價(jià)中獲取的用戶偏好，并分析這些信息的相關(guān)性。只有在慣用數(shù)據(jù)可用的情況下，協(xié)同過(guò)濾方法是優(yōu)于基于內(nèi)容的推薦方法的。所以基于協(xié)同過(guò)濾方法的缺陷以及結(jié)