【正文】 合隱含因子模型，文章利用卷積神經(jīng)網(wǎng)絡(luò)建立基于內(nèi)容的音樂推薦方法[31]amp。有一些很容易從音頻信號(hào)中獲取，如音樂的流派和樂器信息，有一些較難獲取，如音樂的情感，還有一些完全無法獲取，如作曲家的地理位置、抒情主題等。a)b) 本文訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)包括4個(gè)卷積層和3個(gè)全連接層，如下圖c所示，垂直方向是時(shí)間軸。在卷積層之間，最大池化操作，圖中簡(jiǎn)化為“MP”，被用來在時(shí)間軸上做降采樣，降低中間表示分辨率的同時(shí)保證時(shí)間不變性（也是為了讓之后層次的神經(jīng)元視野更廣，得到原始輸入的高級(jí)抽象表示）。而對(duì)于音樂推薦，我們通常指對(duì)音樂中某些特征的存在與否感興趣，所以這里需要在整個(gè)時(shí)間軸上做池化。參考文獻(xiàn)[1] Hubel D H, Wiesel T N. Receptive fields, binocular interaction and functional architecture in the cat39。 Pattern Recognition. IEEE, 2014:16531660.[12] Zhang Y, Wallace B. A Sensitivity Analysis of (and Practitioners39。 Machine Intelligence, 2013, 35(8):19151929.[31] Oord A V D, Dieleman S, Schrauwen B. Deep contentbased music remendation[J]. Advances in Neural Information Processing Systems, 2013, 26:26432651.參考網(wǎng)頁1 2 。gs. 212223.[19] Wan L, Zeiler M, Zhang S, et al. Regularization of neural networks using dropconnect[C]// International Conference on Machine Learning. 2013:10581066.[20] Yu D, Wang H, Chen P, et al. Mixed Pooling for Convolutional Neural Networks[M]// Rough Sets and Knowledge Technology. 2014:364375.[21] Zeiler M D, Fergus R. Stochastic Pooling for Regularization of Deep Convolutional Neural Networks[J]. Computer Science, 2013.[22] Wang S I, Manning C D. Fast dropout training[C]// International Conference on Machine Learning. 2013:118126.[23] Ba L J, Frey B. Adaptive dropout for training deep neural networks[J]. Advances in Neural Information Processing Systems, 2013:30843092.[24] Tompson J, Goroshin R, Jain A, et al. Efficient object localization using Convolutional Networks[C]// Computer Vision and Pattern Recognition. IEEE, 2015:648656.[25] Nair V, Hinton G E. Rectified Linear Units Improve Restricted Boltzmann Machines Vinod Nair[C]// International Conference on Machine Learning. 2010:807814.[26] A. L. Maas, A. Y. Hannun, and A. Y. Ng. Rectifier nonlinearities improve neural network acoustic models[C]// in ICML, 2013.[27] He K, Zhang X, Ren S, et al. Delving Deep into Rectifiers: Surpassing HumanLevel Performance on ImageNet Classification[C]// IEEE International Conference on Computer Vision. IEEE, 2015:10261034.[28] Xu B, Wang N, Chen T, et al. Empirical Evaluation of Rectified Activations in Convolutional Network[J]. Computer Science, 2015.[29] Clevert, DjorkArn233。cun Y, Bottou L, Bengio Y, et al. Gradientbased learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11):22782324.[5] Lecun Y, Boser B, Denker J S, et al. Backpropagation Applied to Handwritten Zip Code Recognition[J]. Neural Computation, 1989, 1(4):541551.[6] AbdelHamid O, Mohamed A R, Jiang H, et al. Convolutional Neural Networks for Speech Recognition[J]. IEEE/ACM Transactions on Audio Speech amp。最后一層是輸出層，它預(yù)測(cè)從vector_exp算法（協(xié)同過濾算法中的一種）中獲得的40個(gè)隱含因子。這么做的原因是，從音頻信號(hào)中檢測(cè)出的特征的絕對(duì)位置與當(dāng)前的實(shí)驗(yàn)?zāi)康牟惶嚓P(guān)。最后，頻率坐標(biāo)從一個(gè)線性尺度變?yōu)閙el尺度來降低維數(shù)，頻率大小按對(duì)數(shù)比例縮小。所以文章試圖訓(xùn)練一個(gè)卷積神經(jīng)網(wǎng)絡(luò)模型來預(yù)測(cè)音樂音頻信號(hào)的隱含因子。 目前存在許多不同種類的與音樂相關(guān)的信息可以用來實(shí)現(xiàn)音樂推薦：標(biāo)簽、作曲家和唱片信息、歌詞、網(wǎng)站上的文本信息（如評(píng)價(jià)、訪談等）以及音頻信號(hào)本身。協(xié)同過濾方法被分為基于近鄰的和基于模型的方法，其中基于模型的方法試圖建模用戶與其音樂列表的隱含特性，通常表示成隱含因子向量。例如，如果兩個(gè)用戶基本上聽相同的歌，那么他們的偏好是相似的，相反，如果有兩首歌被同一用戶組的人聽，那么它們聽起來是相似的。函數(shù)被定義為：yi=zizi≥0a(exp?(zi)1)zi0（如圖d所示），其中a是預(yù)定義的參數(shù)用來控制負(fù)輸入的值。由于該函數(shù)的隨機(jī)性質(zhì)使得它可以減少過擬合。 針對(duì)這一缺點(diǎn)，之后出現(xiàn)了很多對(duì)ReLU激活函數(shù)的改進(jìn)工作：① Leaky ReLU（LReLU）[26]或Parametric ReLU（PReLU）[27]：yi=zizi≥0azizi0（如圖b所示），其中a是（0，1）之間的一個(gè)預(yù)定義的參數(shù)。ReLU簡(jiǎn)單的max操作使得它的計(jì)算速度比sigmoid和tanh函數(shù)快，并且允許網(wǎng)絡(luò)很容易地獲得稀疏表示。由于BP權(quán)值的調(diào)整采用梯度下降（Gradient Descent）公式?W=η?E?W，這個(gè)公式要求對(duì)網(wǎng)絡(luò)輸出值和訓(xùn)練差值E求導(dǎo)，所以要求網(wǎng)絡(luò)輸出值處處可導(dǎo)，而Sigmoid函數(shù)正好滿足處處可導(dǎo)，因此神經(jīng)元的激活函數(shù)常用sigmoid型。和Dropout的區(qū)別就在于，Dropout一個(gè)輸出不工作了，那么這個(gè)輸出作為下一級(jí)輸入時(shí)對(duì)于下一級(jí)就一點(diǎn)都不工作，但是DropConnect不會(huì)，泛化能力更強(qiáng)一點(diǎn)。這種新的Dropout在訓(xùn)練數(shù)據(jù)量很小時(shí)性能很好。Dropout可以防止網(wǎng)絡(luò)過于依賴任何一個(gè)神經(jīng)元，使網(wǎng)絡(luò)即使在某些信息缺失的情況下也能是準(zhǔn)確的。這里介紹兩種有效的正則化技術(shù)：Dropout和DropConnect。池化的激活值sj=al，其中l(wèi)~P(p1,…,p|Rj|)。在前向傳播過程中，λ被記錄，并在反向傳播中被調(diào)整。Bruna的理論分析表明Lp池化相比于最大池化能提供更好的泛化[17]。在inception module作用下，網(wǎng)絡(luò)參數(shù)可以被減少到5百萬，遠(yuǎn)小于AlexNet的6千萬和ZFNet的7千5百萬。 可以發(fā)現(xiàn)，mlpconv層的特征圖計(jì)算公式相當(dāng)于在正常卷積層進(jìn)行級(jí)聯(lián)交叉通道參數(shù)池化。它用一個(gè)微網(wǎng)絡(luò)（micronetwork，如多層感知機(jī)卷積mlpconv，使得濾波器能夠更加接近隱含概念的抽象表示）代替了卷積層的線性濾波器。四、對(duì)卷積神經(jīng)網(wǎng)絡(luò)的改進(jìn)自從2012年AlexNet的成功之后，出現(xiàn)了各種對(duì)CNN的改進(jìn)，從對(duì)下面四個(gè)方面（卷積層、池化層、正則化以及激活函數(shù)）的改進(jìn)來看：CNN的基本卷積濾波器是底層局部圖像塊（patch）的一個(gè)廣義的線性模型（GLM）。在這種情況下，一個(gè)二維卷積被執(zhí)行來同時(shí)正規(guī)化頻率和時(shí)間變化，得到3個(gè)二維特征圖，每個(gè)特征圖有1540=600維。許多在CNN卷積第一層學(xué)到的濾波器捕捉到的特征與ngrams非常相似（但不局限），但是以更緊湊的方式表征。由于詞典龐大，任何超過3grams的計(jì)算開銷就會(huì)非常的大。正如詞袋模型（Bag of Words model），它明顯是基于錯(cuò)誤假設(shè)的過于簡(jiǎn)化模型，但這不影響它多年來一直被作為NLP的標(biāo)準(zhǔn)方法，并且取得了不錯(cuò)的效果。它們模仿我們?nèi)祟愄幚碚Z言的方式（至少是我們自己所認(rèn)為的方式）：從左到右的順序閱讀。同樣，組合性也不見得明顯。位置不變性和局部組合性對(duì)圖像來說很直觀，但對(duì)NLP卻并非如此。每個(gè)濾波器對(duì)句子矩陣