【正文】 ]），%的正確率。Softmax層輸出的每一維都是圖片屬于該類別的概率。在這個(gè)應(yīng)用中，姿態(tài)估計(jì)被視為一個(gè)基于CNN的回歸問題來求解人體關(guān)節(jié)坐標(biāo)。Farabet等人首次將CNN應(yīng)用在場景標(biāo)記任務(wù)中[30]，用不同尺度的圖像塊來調(diào)整多尺度卷積網(wǎng)絡(luò)，結(jié)果表明CNN網(wǎng)絡(luò)性能明顯優(yōu)于比采用手工提取特征的系統(tǒng)。因此，濾波器的寬度也就和輸入矩陣的寬度相等了。位置不變性和局部組合性對圖像來說很直觀，但對NLP卻并非如此。它們模仿我們?nèi)祟愄幚碚Z言的方式（至少是我們自己所認(rèn)為的方式）：從左到右的順序閱讀。由于詞典龐大，任何超過3grams的計(jì)算開銷就會(huì)非常的大。在這種情況下，一個(gè)二維卷積被執(zhí)行來同時(shí)正規(guī)化頻率和時(shí)間變化，得到3個(gè)二維特征圖，每個(gè)特征圖有1540=600維。它用一個(gè)微網(wǎng)絡(luò)（micronetwork，如多層感知機(jī)卷積mlpconv，使得濾波器能夠更加接近隱含概念的抽象表示）代替了卷積層的線性濾波器。在inception module作用下，網(wǎng)絡(luò)參數(shù)可以被減少到5百萬，遠(yuǎn)小于AlexNet的6千萬和ZFNet的7千5百萬。在前向傳播過程中，λ被記錄，并在反向傳播中被調(diào)整。這里介紹兩種有效的正則化技術(shù)：Dropout和DropConnect。這種新的Dropout在訓(xùn)練數(shù)據(jù)量很小時(shí)性能很好。由于BP權(quán)值的調(diào)整采用梯度下降（Gradient Descent）公式?W=η?E?W，這個(gè)公式要求對網(wǎng)絡(luò)輸出值和訓(xùn)練差值E求導(dǎo)，所以要求網(wǎng)絡(luò)輸出值處處可導(dǎo)，而Sigmoid函數(shù)正好滿足處處可導(dǎo)，因此神經(jīng)元的激活函數(shù)常用sigmoid型。 針對這一缺點(diǎn)，之后出現(xiàn)了很多對ReLU激活函數(shù)的改進(jìn)工作：① Leaky ReLU（LReLU）[26]或Parametric ReLU（PReLU）[27]：yi=zizi≥0azizi0（如圖b所示），其中a是（0，1）之間的一個(gè)預(yù)定義的參數(shù)。函數(shù)被定義為：yi=zizi≥0a(exp?(zi)1)zi0（如圖d所示），其中a是預(yù)定義的參數(shù)用來控制負(fù)輸入的值。協(xié)同過濾方法被分為基于近鄰的和基于模型的方法，其中基于模型的方法試圖建模用戶與其音樂列表的隱含特性，通常表示成隱含因子向量。所以文章試圖訓(xùn)練一個(gè)卷積神經(jīng)網(wǎng)絡(luò)模型來預(yù)測音樂音頻信號(hào)的隱含因子。這么做的原因是，從音頻信號(hào)中檢測出的特征的絕對位置與當(dāng)前的實(shí)驗(yàn)?zāi)康牟惶嚓P(guān)。cun Y, Bottou L, Bengio Y, et al. Gradientbased learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11):22782324.[5] Lecun Y, Boser B, Denker J S, et al. Backpropagation Applied to Handwritten Zip Code Recognition[J]. Neural Computation, 1989, 1(4):541551.[6] AbdelHamid O, Mohamed A R, Jiang H, et al. Convolutional Neural Networks for Speech Recognition[J]. IEEE/ACM Transactions on Audio Speech amp。 Machine Intelligence, 2013, 35(8):19151929.[31] Oord A V D, Dieleman S, Schrauwen B. Deep contentbased music remendation[J]. Advances in Neural Information Processing Systems, 2013, 26:26432651.參考網(wǎng)頁1 2 。參考文獻(xiàn)[1] Hubel D H, Wiesel T N. Receptive fields, binocular interaction and functional architecture in the cat39。在卷積層之間，最大池化操作，圖中簡化為“MP”，被用來在時(shí)間軸上做降采樣，降低中間表示分辨率的同時(shí)保證時(shí)間不變性（也是為了讓之后層次的神經(jīng)元視野更廣，得到原始輸入的高級(jí)抽象表示）。有一些很容易從音頻信號(hào)中獲取，如音樂的流派和樂器信息，有一些較難獲取，如音樂的情感，還有一些完全無法獲取，如作曲家的地理位置、抒情主題等。只有在慣用數(shù)據(jù)可用的情況下，協(xié)同過濾方法是優(yōu)于基于內(nèi)容的推薦方法的。 ③ Exponential Linear Unit (ELU)[29]：指數(shù)線性單元可以更快地學(xué)習(xí)深度神經(jīng)網(wǎng)絡(luò)，提高分類準(zhǔn)確率。盡管ReLU在0點(diǎn)處的不連續(xù)損害了BP算法的性能，并且它具有不活躍的零梯度單元，可能會(huì)導(dǎo)致基于梯度的優(yōu)化不能夠調(diào)整權(quán)值。為了用連續(xù)型的函數(shù)表達(dá)神經(jīng)元的非線性變換能力，常采用S型的sigmoid和tanh函數(shù)作為激活函數(shù)。Ba等人[23]提出一種自適應(yīng)Dropout方法，使用一個(gè)與深度網(wǎng)絡(luò)共享參數(shù)的二進(jìn)制置信網(wǎng)絡(luò)計(jì)算每個(gè)隱含變量的Dropout概率。此外，還有頻譜池化（Spectral pooling）、立體金字塔狀池化（Spatial pyramid pooling(SPP)）以及多尺度無序池化（Multiscale Orderless Pooling）等。② 混合池化：受隨機(jī)Dropout[18]和DropConnect[19]啟發(fā)，Yu等人[20]提出混合池化方法，即最大池化和平均池化的結(jié)合。特別地，inception module由一個(gè)池化操作和三種卷積操作組成。目前有兩種可以提高濾波器特征表示能力的對卷積層的改進(jìn)工作。我們可以直觀的將輸入“圖像”考慮成一個(gè)具有靜態(tài)、delta以及deltadelta特征（即第一和第二時(shí)間派生物derivatives）的頻譜圖，如下圖a，選擇15幀長度的內(nèi)容窗口。卷積運(yùn)算是計(jì)算機(jī)圖像的核心部分，在GPU級(jí)別的硬件層實(shí)現(xiàn)。由此看來，卷積神經(jīng)網(wǎng)絡(luò)似乎并不適合用來處理NLP任務(wù)。這樣，就由六個(gè)字典生成了一串單變量特征向量（univariate feature vector），然后這六個(gè)特征拼接形成一個(gè)特征向量，傳給網(wǎng)絡(luò)的倒數(shù)第二層。這個(gè)矩陣相當(dāng)于是一幅“圖像”。最近，CNN已經(jīng)被成功地應(yīng)用在場景標(biāo)記任務(wù)中。③ 姿態(tài)估計(jì)/行為識(shí)別類似于其他的視覺識(shí)別任務(wù)，人體姿態(tài)的估計(jì)任務(wù)由于CNN的大規(guī)模學(xué)習(xí)能力以及更全面訓(xùn)練的可擴(kuò)展性而實(shí)現(xiàn)了巨大的性能提升。第四層卷積：22的卷積核80個(gè)得到80個(gè)12大小的卷積特征。可見，深度學(xué)習(xí)的提升空間還很巨大。隨著AlexNet的成功，一些工作對它的性能進(jìn)行了改進(jìn)。對大規(guī)模圖像分類的突破是在2012年，Alex Krizhevsky等人[9]建立的AlexNet網(wǎng)絡(luò)，在ILSVRC2012比賽中實(shí)現(xiàn)了最佳的性能。當(dāng)濾波器長度相對輸入向量的長度較大時(shí)，寬卷積很有用，或者說很有必要。 % diag函數(shù)功能：矩陣對角元素的提取和創(chuàng)建對角陣xZCAwhite = U * diag(1./sqrt(diag(S) + epsilon)) * U39。 / size(x, 2)。 問題預(yù)處理步驟利用PCA或ZCA白化矩陣調(diào)整權(quán)值。 全連接層（Fullyconnected layers）幾個(gè)卷積和池化層之后，通常有一個(gè)或多個(gè)全連接層，旨在執(zhí)行對原始圖像的高級(jí)抽象。學(xué)習(xí)一個(gè)擁有超過 3 百萬特征輸入的分類器十分不便，并且容易出現(xiàn)過擬合 (overfitting)。每個(gè)卷積核都會(huì)將圖像生成為另一幅圖像。這其中隱含的原理則是：圖像的一部分的統(tǒng)計(jì)特性與其他部分是一樣的。網(wǎng)絡(luò)部分連通的思想，也是受啟發(fā)于生物學(xué)里面的視覺系統(tǒng)結(jié)構(gòu)。通過疊加幾個(gè)卷積和池化層，我們可以提取更抽象的特征表示。注意到，生成一個(gè)特征圖的核是相同的。卷積神經(jīng)網(wǎng)絡(luò)的權(quán)值調(diào)整過程也多采用BP算法。神經(jīng)網(wǎng)絡(luò)的每個(gè)單元如下：其對應(yīng)的公式如下：hW,bx=fWTx=f(i=13Wixi+b)其中，該單元也可以被稱作是Logistic回歸模型。此外，由于一個(gè)映射面上的神經(jīng)元共享權(quán)值，因而減少了網(wǎng)絡(luò)自由參數(shù)的個(gè)數(shù)。隨后，更多的科研工作者對該網(wǎng)絡(luò)進(jìn)行了改進(jìn)。他指出，當(dāng)在不同位置應(yīng)用具有相同參數(shù)的神經(jīng)元作為前一層的patches時(shí)，能夠?qū)崿F(xiàn)平移不變性1296。Fukushima在1980年基于神經(jīng)元間的局部連通性和圖像的層次組織轉(zhuǎn)換，為解決模式識(shí)別問題，提出的新識(shí)別機(jī)（Neocognitron）是卷積神經(jīng)網(wǎng)絡(luò)的第一個(gè)實(shí)現(xiàn)網(wǎng)絡(luò)[2]。直到2006年，Hinton終于一鳴驚人，在《科學(xué)》上發(fā)表文章，使得CNN再度覺醒，并取得長足發(fā)展。特征映射結(jié)構(gòu)采用影響函數(shù)核小的sigmoid函數(shù)作為卷積網(wǎng)絡(luò)的激活函數(shù)，使得特征映射具有位移不變性。二、卷積神經(jīng)網(wǎng)絡(luò) vs 神經(jīng)網(wǎng)絡(luò)首先簡要介紹下神經(jīng)網(wǎng)絡(luò)。(netj) 令?J?netj=δj，可得?J?ωji=δjxi3權(quán)系數(shù)的更新ωkj←ωkjη?J?ωkj ωji←ωjiη?J?ωji根據(jù)計(jì)算誤差修正權(quán)值，最終使得誤差值J最小，此時(shí)就建立好了神經(jīng)網(wǎng)絡(luò)模型。通過應(yīng)用不同的卷積核得到新的特征圖。典型的池化操作是平均池化和最大池化。因而，每個(gè)神經(jīng)元其實(shí)沒有必要對全局圖像進(jìn)行感知，只需要對局部進(jìn)行感知，然后在更高層將局部的信息綜合起來就得到了全局的信息。怎么理解權(quán)值共享呢？我們可以這100個(gè)參數(shù)（也就是卷積操作）看成是提取特征的方式，該方式與位置無關(guān)。在有多個(gè)卷積核時(shí)，如下圖所示：上圖右，不同顏色表明不同的卷積核。例如：對于一個(gè) 9696 像素的圖像，假設(shè)我們已經(jīng)學(xué)習(xí)得到了400個(gè)定義在88輸入上的特征(即：有400個(gè)卷積核)，每一個(gè)特征和圖像卷積都會(huì)得到一個(gè) (96 ? 8 + 1) (96 ? 8 + 1) = 7921 維的卷積特征，由于有 400 個(gè)特征，所以每個(gè)樣例 (example) 都會(huì)得到一個(gè) 7921 400 = 3,168,400 維的卷積特征向量。這些池化后的特征便可以用來做分類。在實(shí)際應(yīng)用中，往往使用多層卷積，然后再使用全連接層進(jìn)行訓(xùn)練，多層卷積的目的是一層卷積學(xué)到的特征往往是局部的，層數(shù)越高，學(xué)到的特