freepeople性欧美熟妇, 色戒完整版无删减158分钟hd, 无码精品国产vα在线观看DVD, 丰满少妇伦精品无码专区在线观看,艾栗栗与纹身男宾馆3p50分钟,国产AV片在线观看,黑人与美女高潮,18岁女RAPPERDISSSUBS,国产手机在机看影片

正文內(nèi)容

深度學(xué)習(xí)綜述(編輯修改稿)

2024-09-01 09:18 本頁(yè)面
 

【文章內(nèi)容簡(jiǎn)介】 神經(jīng)網(wǎng)絡(luò)的每一層:從該多層神經(jīng)網(wǎng)絡(luò)的最頂層的輸出(也就是改網(wǎng)絡(luò)產(chǎn)生預(yù)測(cè)的那一層)一直到該多層神經(jīng)網(wǎng)絡(luò)的最底層(也就是被接受外部輸入的那一層),一旦這些關(guān)于(目標(biāo)函數(shù)對(duì))每層輸入的導(dǎo)數(shù)求解完,我們就可以求解每一層上面的(目標(biāo)函數(shù)對(duì))權(quán)值的梯度了。很多深度學(xué)習(xí)的應(yīng)用都是使用前饋式神經(jīng)網(wǎng)絡(luò),該神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)一個(gè)從固定大小輸入(比如輸入是一張圖)到固定大小輸出(例如,到不同類別的概率)的映射。從第一層到下一層,計(jì)算前一層神經(jīng)元輸入數(shù)據(jù)的權(quán)值的和,然后把這個(gè)和傳給一個(gè)非線性激活函數(shù)。當(dāng)前最流行的非線性激活函數(shù)是rectified linear unit(ReLU),函數(shù)形式:f(z)=max(z,0)。過(guò)去的幾十年中,神經(jīng)網(wǎng)絡(luò)使用一些更加平滑的非線性函數(shù),比如tanh(z)和1/(1+exp(z)),但是ReLU通常會(huì)讓一個(gè)多層神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的更快,也可以讓一個(gè)深度網(wǎng)絡(luò)直接有監(jiān)督的訓(xùn)練(不需要無(wú)監(jiān)督的pretrain)。達(dá)到之前那種有pretrain的效果。通常情況下,輸入層和輸出層以外的神經(jīng)單元被稱為隱藏單元。隱藏層的作用可以看成是使用一個(gè)非線性的方式打亂輸入數(shù)據(jù),來(lái)讓輸入數(shù)據(jù)對(duì)應(yīng)的類別在最后一層變得線性可分。在20世紀(jì)90年代晚期,神經(jīng)網(wǎng)絡(luò)和反向傳播算法被大多數(shù)機(jī)器學(xué)習(xí)團(tuán)隊(duì)拋棄,同時(shí)也不受計(jì)算機(jī)視覺(jué)和語(yǔ)音識(shí)別團(tuán)隊(duì)的重視。人們普遍認(rèn)為,學(xué)習(xí)有用的、多級(jí)層次結(jié)構(gòu)的、使用較少先驗(yàn)知識(shí)進(jìn)行特征提取的這些方法都不靠譜。確切的說(shuō)是因?yàn)楹?jiǎn)單的梯度下降會(huì)讓整個(gè)優(yōu)化陷入到不好的局部最小解。實(shí)踐中,如果在大的網(wǎng)絡(luò)中,不管使用什么樣的初始化條件,局部最小解并不算什么大問(wèn)題,系統(tǒng)總是得到效果差不多的解。最近的理論和實(shí)驗(yàn)表明,局部最小解還真不是啥大問(wèn)題。相反,解空間中充滿了大量的鞍點(diǎn)(梯度為0的點(diǎn)),同時(shí)鞍點(diǎn)周圍大部分曲面都是往上的。所以這些算法就算是陷入了這些局部最小值,關(guān)系也不太大。2006年前后,CIFAR(加拿大高級(jí)研究院)把一些研究者聚集在一起,人們對(duì)深度前饋式神經(jīng)網(wǎng)絡(luò)重新燃起了興趣。研究者們提出了一種非監(jiān)督的學(xué)習(xí)方法,這種方法可以創(chuàng)建一些網(wǎng)絡(luò)層來(lái)檢測(cè)特征而不使用帶標(biāo)簽的數(shù)據(jù),這些網(wǎng)絡(luò)層可以用來(lái)重構(gòu)或者對(duì)特征檢測(cè)器的活動(dòng)進(jìn)行建模。通過(guò)預(yù)訓(xùn)練過(guò)程,深度網(wǎng)絡(luò)的權(quán)值可以被初始化為有意思的值。然后一個(gè)輸出層被添加到該網(wǎng)絡(luò)的頂部,并且使用標(biāo)準(zhǔn)的反向傳播算法進(jìn)行微調(diào)。這個(gè)工作對(duì)手寫體數(shù)字的識(shí)別以及行人預(yù)測(cè)任務(wù)產(chǎn)生了顯著的效果,尤其是帶標(biāo)簽的數(shù)據(jù)非常少的時(shí)候。使用這種與訓(xùn)練方法做出來(lái)的第一個(gè)比較大的應(yīng)用是關(guān)于語(yǔ)音識(shí)別的,并且是在GPU上做的,這樣做是因?yàn)閷懘a很方便,并且在訓(xùn)練的時(shí)候可以得到10倍或者20倍的加速。2009年,這種方法被用來(lái)映射短時(shí)間的系數(shù)窗口,該系統(tǒng)窗口是提取自聲波并被轉(zhuǎn)換成一組概率數(shù)字。它在一組使用很少詞匯的標(biāo)準(zhǔn)的語(yǔ)音識(shí)別基準(zhǔn)測(cè)試程序上達(dá)到了驚人的效果,然后又迅速被發(fā)展到另外一個(gè)更大的數(shù)據(jù)集上,同時(shí)也取得驚人的效果。從2009年到到2012年底,較大的語(yǔ)音團(tuán)隊(duì)開發(fā)了這種深度網(wǎng)絡(luò)的多個(gè)版本并且已經(jīng)被用到了安卓手機(jī)上。對(duì)于小的數(shù)據(jù)集來(lái)說(shuō),無(wú)監(jiān)督的預(yù)訓(xùn)練可以防止過(guò)擬合,同時(shí)可以帶來(lái)更好的泛化性能當(dāng)有標(biāo)簽的樣本很小的時(shí)候。一旦深度學(xué)習(xí)技術(shù)重新恢復(fù),這種預(yù)訓(xùn)練只有在數(shù)據(jù)集合較少的時(shí)候才需要。然后,還有一種深度前饋式神經(jīng)網(wǎng)絡(luò),這種網(wǎng)絡(luò)更易于訓(xùn)練并且比那種全連接的神經(jīng)網(wǎng)絡(luò)的泛化性能更好。這就是卷積神經(jīng)網(wǎng)絡(luò)(CNN)。當(dāng)人們對(duì)神經(jīng)網(wǎng)絡(luò)不感興趣的時(shí)候,卷積神經(jīng)網(wǎng)絡(luò)在實(shí)踐中卻取得了很多成功,如今它被計(jì)算機(jī)視覺(jué)團(tuán)隊(duì)廣泛使用。4 卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)被設(shè)計(jì)用來(lái)處理到多維數(shù)組數(shù)據(jù)的,比如一個(gè)有3個(gè)包含了像素值2D圖像組合成的一個(gè)具有3個(gè)顏色通道的彩色圖像。很多數(shù)據(jù)形態(tài)都是這種多維數(shù)組的:1D用來(lái)表示信號(hào)和序列包括語(yǔ)言,2D用來(lái)表示圖像或者聲音,3D用來(lái)表示視頻或者有聲音的圖像。卷積神經(jīng)網(wǎng)絡(luò)使用4個(gè)關(guān)鍵的想法來(lái)利用自然信號(hào)的屬性:局部連接、權(quán)值共享、池化以及多網(wǎng)絡(luò)層的使用。圖2 卷積神經(jīng)網(wǎng)絡(luò)內(nèi)部一個(gè)典型的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)(如圖2)是由一系列的過(guò)程組成的。最初的幾個(gè)階段是由卷積層和池化層組成,卷積層的單元被組織在特征圖中,在特征圖中,每一個(gè)單元通過(guò)一組叫做濾波器的權(quán)值被連接到上一層的特征圖的一個(gè)局部塊,然后這個(gè)局部加權(quán)和被傳給一個(gè)非線性函數(shù),比如ReLU。在一個(gè)特征圖中的全部單元享用相同的過(guò)濾器,不同層的特征圖使用不同的過(guò)濾器。使用這種結(jié)構(gòu)處于兩方面的原因。首先,在數(shù)組數(shù)據(jù)中,比如圖像數(shù)據(jù),一個(gè)值的附近的值經(jīng)常是高度相關(guān)的,可以形成比較容易被探測(cè)到的有區(qū)分性的局部特征。其次,不同位置局部統(tǒng)計(jì)特征不太相關(guān)的,也就是說(shuō),在一個(gè)地方出現(xiàn)的某個(gè)特征,也可能出現(xiàn)在別的地方,所以不同位置的單元可以共享權(quán)值以及可以探測(cè)相同的樣本。在數(shù)學(xué)上,這種由一個(gè)特征圖執(zhí)行的過(guò)濾操作是一個(gè)離線的卷積,卷積神經(jīng)網(wǎng)絡(luò)也是這么得名來(lái)的。卷積層的作用是探測(cè)上一層特征的局部連接,然而池化層的作用是在語(yǔ)義上把相似的特征合并起來(lái),這是因?yàn)樾纬梢粋€(gè)主題的特征的相對(duì)位置不太一樣。一般地,池化單元計(jì)算特征圖中的一個(gè)局部塊的最大值,相鄰的池化單元通過(guò)移動(dòng)一行或者一列來(lái)從小塊上讀取數(shù)據(jù),因?yàn)檫@樣做就減少的表達(dá)的維度以及對(duì)數(shù)據(jù)的平移不變性。兩三個(gè)這種的卷積、非線性變換以及池化被串起來(lái),后面再加上一個(gè)更多卷積和全連接層。在卷積神經(jīng)網(wǎng)絡(luò)上進(jìn)行反向傳播算法和在一般的深度網(wǎng)絡(luò)上是一樣的,可以讓所有的在過(guò)濾器中的權(quán)值得到訓(xùn)練。深度神經(jīng)網(wǎng)絡(luò)利用的很多自然信號(hào)是層級(jí)組成的屬性,在這種屬性中高級(jí)的特征是通過(guò)對(duì)低級(jí)特征的組合來(lái)實(shí)現(xiàn)的。在圖像中,局部邊緣的組合形成基本圖案,這些圖案形成物體的局部,然后再形成物體。這種層級(jí)結(jié)構(gòu)也存在于語(yǔ)音數(shù)據(jù)以及文本數(shù)據(jù)中,如電話中的聲音,因素,音節(jié),文檔中的單詞和句子。當(dāng)輸入數(shù)據(jù)在前一層中
點(diǎn)擊復(fù)制文檔內(nèi)容
醫(yī)療健康相關(guān)推薦
文庫(kù)吧 www.dybbs8.com
備案圖片鄂ICP備17016276號(hào)-1