【正文】 ReLU作為非線性激活函數(shù)，在全連接層使用Dropout減少過擬合。類似于一般的神經(jīng)網(wǎng)絡(luò)，LeNet5有多層，利用BP算法來訓(xùn)練參數(shù)。卷積神經(jīng)網(wǎng)絡(luò)（CNN）一、簡介卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，簡稱CNN）是近年發(fā)展起來，并引起廣泛重視的一種高效的識別方法。它可以獲得原始圖像的有效表示，使得直接從原始像素（幾乎不經(jīng)過預(yù)處理）中識別視覺模式成為可能。該深度網(wǎng)絡(luò)在ImageNet大賽上奪冠，進(jìn)一步掀起了CNN學(xué)習(xí)熱潮。由于CNN的特征檢測層通過訓(xùn)練數(shù)據(jù)進(jìn)行學(xué)習(xí)，所以在使用CNN時，避免了顯式地特征抽取，而隱式地從訓(xùn)練數(shù)據(jù)中進(jìn)行學(xué)習(xí)；再者由于同一特征映射面上的神經(jīng)元權(quán)值相同，所以網(wǎng)絡(luò)可以并行學(xué)習(xí)，這也是卷積網(wǎng)絡(luò)相對于神經(jīng)元彼此相連網(wǎng)絡(luò)的一大優(yōu)勢。神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法也同Logistic類似，不過由于其多層性，還需要利用鏈?zhǔn)角髮?dǎo)法則對隱含層的節(jié)點進(jìn)行求導(dǎo)，即梯度下降+鏈?zhǔn)角髮?dǎo)法則，專業(yè)名稱為反向傳播。如圖，卷積層由幾個特征圖（feature maps）組成。 池化層旨在通過降低特征圖的分辨率實現(xiàn)空間不變性。在上一節(jié)中提到的神經(jīng)網(wǎng)絡(luò)中，如果隱含層數(shù)目與輸入層一樣，即也是1000000時，那么輸入層到隱含層的參數(shù)數(shù)據(jù)為10000001000000=1012，這樣就太多了，基本沒法訓(xùn)練，所以必需先減少參數(shù)加快速度。而那1010個像素值對應(yīng)的1010個參數(shù)，其實就相當(dāng)于卷積操作。如下圖所示，展示了一個33的卷積核在55的圖像上做卷積的過程。hij0=tanh?(k=03(Wk*(W0*x)ij)+b0)所以，在上圖由4個通道卷積得到2個通道的過程中，參數(shù)的數(shù)目為4222個，其中4表示4個通道，第一個2表示生成2個通道，最后的22表示卷積核大小。這種聚合的操作就叫做池化 (pooling)，有時也稱為平均池化或者最大池化 (取決于計算池化的方法)。給定訓(xùn)練集xi,yi。對于自然圖像，我們通過減去每個圖像塊(patch)的均值（近似地）來達(dá)到這一目標(biāo)。矩陣V等于U的轉(zhuǎn)置，可以忽略。所有落在矩陣范圍之外的元素值都默認(rèn)為0。步長越大，則用到的濾波器越少，輸出的值也越少。需要注意的是，該模型采用了2GPU并行結(jié)構(gòu)，即所有卷積層都是將模型參數(shù)分為2部分進(jìn)行訓(xùn)練的。VGGNet將網(wǎng)絡(luò)深度擴(kuò)展到19層并在每個卷積層使用非常小的濾波器，大小為33。maxpooling：22的核池化得到20個1418大小的卷積特征。Fan等人[10]使用CNN作為基礎(chǔ)學(xué)習(xí)器，學(xué)習(xí)一個獨立的分類專用網(wǎng)絡(luò)來追蹤對象。不同于之前明確設(shè)計圖形化模型和部分探測器的工作，DeepPose描述人體姿態(tài)估計的整體視圖，通過將整個圖像作為最終人體姿態(tài)的輸入和輸出，來獲得每個人體關(guān)節(jié)的完整內(nèi)容。矩陣的每一行對應(yīng)于一個分詞元素，一般是一個單詞，也可以是一個字符。綜上所述，處理自然語言的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)是這樣的。相鄰的像素點很有可能是相關(guān)聯(lián)的（都是物體的同一部分），但單詞并不總是如此。所有的模型都是錯的，只是一些能被利用。卷積濾波器能自動學(xué)習(xí)好的表示方式，不需要用整個詞表來表征。如圖c所示，在這種情況下，相同的MFSC特征被組織作為一維特征圖，每一幀的3種特征作為一個特征圖，得到153=45個特征圖，每個特征圖有40維。卷積層和mlpconv層的區(qū)別：（從特征圖的計算上來看）形式上，卷積層的特征圖計算公式是：fi,j,k=max?(wkxi,j,0)其中，i,j是特征圖的像素索引，xi,j是以(i,j)為中心的輸入塊，k是特征圖的通道索引。目前為止在CNN中使用的典型的池化操作是平均池化或者最大池化，同時也存在著一些改進(jìn)的池化操作，如Lp池化、混合池化、隨機(jī)池化等。具體地，隨機(jī)池化先對每個區(qū)域Rj通過正則化區(qū)域內(nèi)的激活值計算概率p，即pi=aik∈Rj(ak)。它最先由Hinton等人（在深度學(xué)習(xí)的推廣中起了關(guān)鍵作用）在2012年提出[18]，它已經(jīng)被證明對減少過擬合十分有效。DropConnect的輸出r=a((m*W)v)，其中mij~Bernoulli(p)。 除了上述S型的函數(shù)外，ReLU（Rectified linear unit (ReLU)）[25]也是常用的激活函數(shù)的一種。② Randomized ReLU（RReLU）[28]：在RReLU中，負(fù)軸部分的參數(shù)是從均勻分布的訓(xùn)練樣本中隨機(jī)抽取的，隨后在測試樣本中確定。許多推薦系統(tǒng)依賴于慣用模式，即從用戶的消費(fèi)和評價中獲取的用戶偏好，并分析這些信息的相關(guān)性。所以基于協(xié)同過濾方法的缺陷以及結(jié)合隱含因子模型，文章利用卷積神經(jīng)網(wǎng)絡(luò)建立基于內(nèi)容的音樂推薦方法[31]amp。a)b) 本文訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)包括4個卷積層和3個全連接層，如下圖c所示，垂直方向是時間軸。而對于音樂推薦，我們通常指對音樂中某些特征的存在與否感興趣，所以這里需要在整個時間軸上做池化。 Pattern Recognition. IEEE, 2014:16531660.[12] Zhang Y, Wallace B. A Sensitivity Analysis of (and Practitioners39。gs. 212223.[19] Wan L, Zeiler M, Zhang S, et al. Regularization of neural networks using dropconnect[C]// International Conference on Machine Learning. 2013:10581066.[20] Yu D, Wang H, Chen P, et al. Mixed Pooling for Convolutional Neural Networks[M]// Rough Sets and Knowledge Technology. 2014:364375.[21] Zeiler M D, Fergus R. Stochastic Pooling for Regularization of Deep Convolutional Neural Networks[J]. Computer Science, 2013.[22] Wang S I, Manning C D. Fast dropout training[C]// International Conference on Machine Learning. 2013:118126.[23] Ba L J, Frey B. Adaptive dropout for training deep neural networks[J]. Advances in Neural Information Processing Systems, 2013:30843092.[24] Tompson J, Goroshin R, Jain A, et al. Efficient object localization using Convolutional Networks[C]// Computer Vision and Pattern Recognition. IEEE, 2015:648656.[25] Nair V, Hinton G E. Rectified Linear Units Improve Restricted Boltzmann Machines Vinod Nair[C]// International Conference on Machine Learning. 2010:807814.[26] A. L. Maas, A. Y. Hannun, and A. Y. Ng. Rectifier nonlinearities improve neural network acoustic models[C]// in ICML, 2013.[27] He K, Zhang X, Ren S, et al. Delving Deep into Rectifiers: Surpassing HumanLevel Performance on ImageNet Classification[C]// IEEE International Conference on Computer Vision. IEEE, 2015:10261034.[28] Xu B, Wang N, Chen T, et al. Empirical Evaluation of Rectified Activations in Convolutional Network[J]. Computer Science, 2015.[29] Clevert, DjorkArn233。最后一層是輸出層，它預(yù)測從vector_exp算法（協(xié)同過濾算法中的一種）中獲得的40個隱含因子。最后，頻率坐標(biāo)從一個線性尺度變?yōu)閙el尺度來降低維數(shù)，頻率大小按對數(shù)比例縮小。 目前存在許多不同種類的與音樂相關(guān)的信息可以用來實現(xiàn)音樂推薦：標(biāo)簽、作曲家和唱片信息、歌詞、網(wǎng)站上的文本信息（如評價、訪談等）以及音頻信號本身。例如，如果兩個用戶基本上聽相同的歌，那么他們的偏好是相似的，相反，如果有兩首歌被同一用戶組的人聽，那么它們聽起來是相似的。由于該函數(shù)的隨機(jī)性質(zhì)使得它可以減少過擬合。ReLU簡單的max操作使得它的計算速度比sigmoid和tanh函數(shù)快，并且允許網(wǎng)絡(luò)很容易地獲得稀疏表示。和Dropout的區(qū)別就在于，Dropout一個輸出不工作了，那么這個輸出作為下一級輸入時對于下一級就一點都不工作，但是DropConnect不會，泛化能力更強(qiáng)一點。Dropout可以防止網(wǎng)絡(luò)過于依賴任何一個神經(jīng)元，使網(wǎng)絡(luò)即使在某些信息缺失的情況下也能是準(zhǔn)確的。池化的激活值sj=al，其中l(wèi)~P(p1,…,p|Rj|)。Bruna的理論分析表明Lp池化相比于最大池化能提供更好的泛化[17]。 可以發(fā)現(xiàn)，mlpconv層的特征圖計算公式相當(dāng)于在正常卷積層進(jìn)行級聯(lián)交叉通道參數(shù)池化。四、對卷積神經(jīng)網(wǎng)絡(luò)的改進(jìn)自從2012年AlexNet的成功之后，出現(xiàn)了各種對CNN的改進(jìn)，從對下面四個方面（卷積層、池化層、正則化以及激活函數(shù)）的改進(jìn)來看：CNN的基本卷積濾波器是底層局部圖像塊（p