深度學(xué)習(xí)綜述(編輯修改稿)
2024-09-01 09:18 本頁面
【文章內(nèi)容簡介】 神經(jīng)網(wǎng)絡(luò)的每一層：從該多層神經(jīng)網(wǎng)絡(luò)的最頂層的輸出（也就是改網(wǎng)絡(luò)產(chǎn)生預(yù)測的那一層）一直到該多層神經(jīng)網(wǎng)絡(luò)的最底層（也就是被接受外部輸入的那一層），一旦這些關(guān)于（目標(biāo)函數(shù)對）每層輸入的導(dǎo)數(shù)求解完，我們就可以求解每一層上面的（目標(biāo)函數(shù)對）權(quán)值的梯度了。很多深度學(xué)習(xí)的應(yīng)用都是使用前饋式神經(jīng)網(wǎng)絡(luò)，該神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)一個從固定大小輸入（比如輸入是一張圖）到固定大小輸出（例如，到不同類別的概率）的映射。從第一層到下一層，計算前一層神經(jīng)元輸入數(shù)據(jù)的權(quán)值的和，然后把這個和傳給一個非線性激活函數(shù)。當(dāng)前最流行的非線性激活函數(shù)是rectified linear unit(ReLU)，函數(shù)形式：f(z)=max(z,0)。過去的幾十年中，神經(jīng)網(wǎng)絡(luò)使用一些更加平滑的非線性函數(shù)，比如tanh(z)和1/(1+exp(z))，但是ReLU通常會讓一個多層神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的更快，也可以讓一個深度網(wǎng)絡(luò)直接有監(jiān)督的訓(xùn)練（不需要無監(jiān)督的pretrain）。達到之前那種有pretrain的效果。通常情況下，輸入層和輸出層以外的神經(jīng)單元被稱為隱藏單元。隱藏層的作用可以看成是使用一個非線性的方式打亂輸入數(shù)據(jù)，來讓輸入數(shù)據(jù)對應(yīng)的類別在最后一層變得線性可分。在20世紀(jì)90年代晚期，神經(jīng)網(wǎng)絡(luò)和反向傳播算法被大多數(shù)機器學(xué)習(xí)團隊拋棄，同時也不受計算機視覺和語音識別團隊的重視。人們普遍認為，學(xué)習(xí)有用的、多級層次結(jié)構(gòu)的、使用較少先驗知識進行特征提取的這些方法都不靠譜。確切的說是因為簡單的梯度下降會讓整個優(yōu)化陷入到不好的局部最小解。實踐中，如果在大的網(wǎng)絡(luò)中，不管使用什么樣的初始化條件，局部最小解并不算什么大問題，系統(tǒng)總是得到效果差不多的解。最近的理論和實驗表明，局部最小解還真不是啥大問題。相反，解空間中充滿了大量的鞍點（梯度為0的點），同時鞍點周圍大部分曲面都是往上的。所以這些算法就算是陷入了這些局部最小值，關(guān)系也不太大。2006年前后，CIFAR（加拿大高級研究院）把一些研究者聚集在一起，人們對深度前饋式神經(jīng)網(wǎng)絡(luò)重新燃起了興趣。研究者們提出了一種非監(jiān)督的學(xué)習(xí)方法，這種方法可以創(chuàng)建一些網(wǎng)絡(luò)層來檢測特征而不使用帶標(biāo)簽的數(shù)據(jù)，這些網(wǎng)絡(luò)層可以用來重構(gòu)或者對特征檢測器的活動進行建模。通過預(yù)訓(xùn)練過程，深度網(wǎng)絡(luò)的權(quán)值可以被初始化為有意思的值。然后一個輸出層被添加到該網(wǎng)絡(luò)的頂部，并且使用標(biāo)準(zhǔn)的反向傳播算法進行微調(diào)。這個工作對手寫體數(shù)字的識別以及行人預(yù)測任務(wù)產(chǎn)生了顯著的效果，尤其是帶標(biāo)簽的數(shù)據(jù)非常少的時候。使用這種與訓(xùn)練方法做出來的第一個比較大的應(yīng)用是關(guān)于語音識別的，并且是在GPU上做的，這樣做是因為寫代碼很方便，并且在訓(xùn)練的時候可以得到10倍或者20倍的加速。2009年，這種方法被用來映射短時間的系數(shù)窗口，該系統(tǒng)窗口是提取自聲波并被轉(zhuǎn)換成一組概率數(shù)字。它在一組使用很少詞匯的標(biāo)準(zhǔn)的語音識別基準(zhǔn)測試程序上達到了驚人的效果，然后又迅速被發(fā)展到另外一個更大的數(shù)據(jù)集上，同時也取得驚人的效果。從2009年到到2012年底，較大的語音團隊開發(fā)了這種深度網(wǎng)絡(luò)的多個版本并且已經(jīng)被用到了安卓手機上。對于小的數(shù)據(jù)集來說，無監(jiān)督的預(yù)訓(xùn)練可以防止過擬合，同時可以帶來更好的泛化性能當(dāng)有標(biāo)簽的樣本很小的時候。一旦深度學(xué)習(xí)技術(shù)重新恢復(fù)，這種預(yù)訓(xùn)練只有在數(shù)據(jù)集合較少的時候才需要。然后，還有一種深度前饋式神經(jīng)網(wǎng)絡(luò)，這種網(wǎng)絡(luò)更易于訓(xùn)練并且比那種全連接的神經(jīng)網(wǎng)絡(luò)的泛化性能更好。這就是卷積神經(jīng)網(wǎng)絡(luò)（CNN）。當(dāng)人們對神經(jīng)網(wǎng)絡(luò)不感興趣的時候，卷積神經(jīng)網(wǎng)絡(luò)在實踐中卻取得了很多成功，如今它被計算機視覺團隊廣泛使用。4 卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)被設(shè)計用來處理到多維數(shù)組數(shù)據(jù)的，比如一個有3個包含了像素值2D圖像組合成的一個具有3個顏色通道的彩色圖像。很多數(shù)據(jù)形態(tài)都是這種多維數(shù)組的：1D用來表示信號和序列包括語言，2D用來表示圖像或者聲音，3D用來表示視頻或者有聲音的圖像。卷積神經(jīng)網(wǎng)絡(luò)使用4個關(guān)鍵的想法來利用自然信號的屬性：局部連接、權(quán)值共享、池化以及多網(wǎng)絡(luò)層的使用。圖2 卷積神經(jīng)網(wǎng)絡(luò)內(nèi)部一個典型的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)（如圖2）是由一系列的過程組成的。最初的幾個階段是由卷積層和池化層組成，卷積層的單元被組織在特征圖中，在特征圖中，每一個單元通過一組叫做濾波器的權(quán)值被連接到上一層的特征圖的一個局部塊，然后這個局部加權(quán)和被傳給一個非線性函數(shù)，比如ReLU。在一個特征圖中的全部單元享用相同的過濾器，不同層的特征圖使用不同的過濾器。使用這種結(jié)構(gòu)處于兩方面的原因。首先，在數(shù)組數(shù)據(jù)中，比如圖像數(shù)據(jù)，一個值的附近的值經(jīng)常是高度相關(guān)的，可以形成比較容易被探測到的有區(qū)分性的局部特征。其次，不同位置局部統(tǒng)計特征不太相關(guān)的，也就是說，在一個地方出現(xiàn)的某個特征，也可能出現(xiàn)在別的地方，所以不同位置的單元可以共享權(quán)值以及可以探測相同的樣本。在數(shù)學(xué)上，這種由一個特征圖執(zhí)行的過濾操作是一個離線的卷積，卷積神經(jīng)網(wǎng)絡(luò)也是這么得名來的。卷積層的作用是探測上一層特征的局部連接，然而池化層的作用是在語義上把相似的特征合并起來，這是因為形成一個主題的特征的相對位置不太一樣。一般地，池化單元計算特征圖中的一個局部塊的最大值，相鄰的池化單元通過移動一行或者一列來從小塊上讀取數(shù)據(jù)，因為這樣做就減少的表達的維度以及對數(shù)據(jù)的平移不變性。兩三個這種的卷積、非線性變換以及池化被串起來，后面再加上一個更多卷積和全連接層。在卷積神經(jīng)網(wǎng)絡(luò)上進行反向傳播算法和在一般的深度網(wǎng)絡(luò)上是一樣的，可以讓所有的在過濾器中的權(quán)值得到訓(xùn)練。深度神經(jīng)網(wǎng)絡(luò)利用的很多自然信號是層級組成的屬性，在這種屬性中高級的特征是通過對低級特征的組合來實現(xiàn)的。在圖像中，局部邊緣的組合形成基本圖案，這些圖案形成物體的局部，然后再形成物體。這種層級結(jié)構(gòu)也存在于語音數(shù)據(jù)以及文本數(shù)據(jù)中，如電話中的聲音，因素，音節(jié)，文檔中的單詞和句子。當(dāng)輸入數(shù)據(jù)在前一層中
醫(yī)療健康相關(guān)推薦
鄂ICP備17016276號-1