【正文】 Machine Intelligence, 2013, 35(8):19151929.[31] Oord A V D, Dieleman S, Schrauwen B. Deep contentbased music remendation[J]. Advances in Neural Information Processing Systems, 2013, 26:26432651.參考網(wǎng)頁1 2 。gs. 212223.[19] Wan L, Zeiler M, Zhang S, et al. Regularization of neural networks using dropconnect[C]// International Conference on Machine Learning. 2013:10581066.[20] Yu D, Wang H, Chen P, et al. Mixed Pooling for Convolutional Neural Networks[M]// Rough Sets and Knowledge Technology. 2014:364375.[21] Zeiler M D, Fergus R. Stochastic Pooling for Regularization of Deep Convolutional Neural Networks[J]. Computer Science, 2013.[22] Wang S I, Manning C D. Fast dropout training[C]// International Conference on Machine Learning. 2013:118126.[23] Ba L J, Frey B. Adaptive dropout for training deep neural networks[J]. Advances in Neural Information Processing Systems, 2013:30843092.[24] Tompson J, Goroshin R, Jain A, et al. Efficient object localization using Convolutional Networks[C]// Computer Vision and Pattern Recognition. IEEE, 2015:648656.[25] Nair V, Hinton G E. Rectified Linear Units Improve Restricted Boltzmann Machines Vinod Nair[C]// International Conference on Machine Learning. 2010:807814.[26] A. L. Maas, A. Y. Hannun, and A. Y. Ng. Rectifier nonlinearities improve neural network acoustic models[C]// in ICML, 2013.[27] He K, Zhang X, Ren S, et al. Delving Deep into Rectifiers: Surpassing HumanLevel Performance on ImageNet Classification[C]// IEEE International Conference on Computer Vision. IEEE, 2015:10261034.[28] Xu B, Wang N, Chen T, et al. Empirical Evaluation of Rectified Activations in Convolutional Network[J]. Computer Science, 2015.[29] Clevert, DjorkArn233。 Pattern Recognition. IEEE, 2014:16531660.[12] Zhang Y, Wallace B. A Sensitivity Analysis of (and Practitioners39。cun Y, Bottou L, Bengio Y, et al. Gradientbased learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11):22782324.[5] Lecun Y, Boser B, Denker J S, et al. Backpropagation Applied to Handwritten Zip Code Recognition[J]. Neural Computation, 1989, 1(4):541551.[6] AbdelHamid O, Mohamed A R, Jiang H, et al. Convolutional Neural Networks for Speech Recognition[J]. IEEE/ACM Transactions on Audio Speech amp。參考文獻[1] Hubel D H, Wiesel T N. Receptive fields, binocular interaction and functional architecture in the cat39。最后一層是輸出層，它預測從vector_exp算法（協(xié)同過濾算法中的一種）中獲得的40個隱含因子。而對于音樂推薦，我們通常指對音樂中某些特征的存在與否感興趣，所以這里需要在整個時間軸上做池化。這么做的原因是，從音頻信號中檢測出的特征的絕對位置與當前的實驗目的不太相關。在卷積層之間，最大池化操作，圖中簡化為“MP”，被用來在時間軸上做降采樣，降低中間表示分辨率的同時保證時間不變性（也是為了讓之后層次的神經(jīng)元視野更廣，得到原始輸入的高級抽象表示）。最后，頻率坐標從一個線性尺度變?yōu)閙el尺度來降低維數(shù)，頻率大小按對數(shù)比例縮小。a)b) 本文訓練的卷積神經(jīng)網(wǎng)絡包括4個卷積層和3個全連接層，如下圖c所示，垂直方向是時間軸。所以文章試圖訓練一個卷積神經(jīng)網(wǎng)絡模型來預測音樂音頻信號的隱含因子。有一些很容易從音頻信號中獲取，如音樂的流派和樂器信息，有一些較難獲取，如音樂的情感，還有一些完全無法獲取，如作曲家的地理位置、抒情主題等。 目前存在許多不同種類的與音樂相關的信息可以用來實現(xiàn)音樂推薦：標簽、作曲家和唱片信息、歌詞、網(wǎng)站上的文本信息（如評價、訪談等）以及音頻信號本身。所以基于協(xié)同過濾方法的缺陷以及結合隱含因子模型，文章利用卷積神經(jīng)網(wǎng)絡建立基于內(nèi)容的音樂推薦方法[31]amp。協(xié)同過濾方法被分為基于近鄰的和基于模型的方法，其中基于模型的方法試圖建模用戶與其音樂列表的隱含特性，通常表示成隱含因子向量。只有在慣用數(shù)據(jù)可用的情況下，協(xié)同過濾方法是優(yōu)于基于內(nèi)容的推薦方法的。例如，如果兩個用戶基本上聽相同的歌，那么他們的偏好是相似的，相反，如果有兩首歌被同一用戶組的人聽，那么它們聽起來是相似的。許多推薦系統(tǒng)依賴于慣用模式，即從用戶的消費和評價中獲取的用戶偏好，并分析這些信息的相關性。函數(shù)被定義為：yi=zizi≥0a(exp?(zi)1)zi0（如圖d所示），其中a是預定義的參數(shù)用來控制負輸入的值。 ③ Exponential Linear Unit (ELU)[29]：指數(shù)線性單元可以更快地學習深度神經(jīng)網(wǎng)絡，提高分類準確率。由于該函數(shù)的隨機性質使得它可以減少過擬合。② Randomized ReLU（RReLU）[28]：在RReLU中，負軸部分的參數(shù)是從均勻分布的訓練樣本中隨機抽取的，隨后在測試樣本中確定。 針對這一缺點，之后出現(xiàn)了很多對ReLU激活函數(shù)的改進工作：① Leaky ReLU（LReLU）[26]或Parametric ReLU（PReLU）[27]：yi=zizi≥0azizi0（如圖b所示），其中a是（0，1）之間的一個預定義的參數(shù)。盡管ReLU在0點處的不連續(xù)損害了BP算法的性能，并且它具有不活躍的零梯度單元，可能會導致基于梯度的優(yōu)化不能夠調(diào)整權值。ReLU簡單的max操作使得它的計算速度比sigmoid和tanh函數(shù)快，并且允許網(wǎng)絡很容易地獲得稀疏表示。 除了上述S型的函數(shù)外，ReLU（Rectified linear unit (ReLU)）[25]也是常用的激活函數(shù)的一種。由于BP權值的調(diào)整采用梯度下降（Gradient Descent）公式?W=η?E?W，這個公式要求對網(wǎng)絡輸出值和訓練差值E求導，所以要求網(wǎng)絡輸出值處處可導，而Sigmoid函數(shù)正好滿足處處可導，因此神經(jīng)元的激活函數(shù)常用sigmoid型。為了用連續(xù)型的函數(shù)表達神經(jīng)元的非線性變換能力，常采用S型的sigmoid和tanh函數(shù)作為激活函數(shù)。和Dropout的區(qū)別就在于，Dropout一個輸出不工作了，那么這個輸出作為下一級輸入時對于下一級就一點都不工作，但是DropConnect不會，泛化能力更強一點。DropConnect的輸出r=a((m*W)v)，其中mij~Bernoulli(p)。這種新的Dropout在訓練數(shù)據(jù)量很小時性能很好。Ba等人[23]提出一種自適應Dropout方法，使用一個與深度網(wǎng)絡共享參數(shù)的二進制置信網(wǎng)絡計算每個隱含變量的Dropout概率。Dropout可以防止網(wǎng)絡過于依賴任何一個神經(jīng)元，使網(wǎng)絡即使在某些信息缺失的情況下也能是準確的。它最先由Hinton等人（在深度學習的推廣中起了關鍵作用）在2012年提出[18]，它已經(jīng)被證明對減少過擬合十分有效。這里介紹兩種有效的正則化技術：Dropout和DropConnect。此外，還有頻譜池化（Spectral pooling）、立體金字塔狀池化（Spatial pyramid pooling(SPP)）以及多尺度無序池化（Multiscale Orderless Pooling）等。池化的激活值sj=al，其中l(wèi)~P(p1,