深度學(xué)習(xí)綜述-預(yù)覽頁(yè)
【正文】 是監(jiān)督學(xué)習(xí)。我們希望所需的類別在所有的類別中具有最高的得分，但是這在訓(xùn)練之前是不太可能發(fā)生的。在典型的深學(xué)習(xí)系統(tǒng)中，有可能有數(shù)以百萬(wàn)計(jì)的樣本和權(quán)值，和帶有標(biāo)簽的樣本，用來(lái)訓(xùn)練機(jī)器。負(fù)的梯度矢量表示在該地形中下降方向最快，使其更接近于最小值，也就是平均輸出誤差低最低的地方。它被稱為隨機(jī)的是因?yàn)樾〉臉颖炯瘜?duì)于全體樣本的平均梯度來(lái)說(shuō)會(huì)有噪聲估計(jì)。當(dāng)前應(yīng)用中的許多機(jī)器學(xué)習(xí)技術(shù)使用的是線性分類器來(lái)對(duì)人工提取的特征進(jìn)行分類。但像圖像和語(yǔ)音識(shí)別等問(wèn)題，它們需要的輸入輸出函數(shù)要對(duì)輸入樣本中不相關(guān)因素的變化不要過(guò)于的敏感，如位置的變化，目標(biāo)的方向或光照，或者語(yǔ)音中音調(diào)或語(yǔ)調(diào)的變化等，但是需要對(duì)于一些特定的微小變化非常敏感（例如，一只白色的狼和跟狼類似的白色狗——薩莫耶德犬之間的差異）。這個(gè)例子中只用了兩個(gè)輸入節(jié)點(diǎn)，兩個(gè)隱藏節(jié)點(diǎn)和一個(gè)輸出節(jié)點(diǎn)，但是用于目標(biāo)識(shí)別或自然語(yǔ)言處理的網(wǎng)絡(luò)通常包含數(shù)十個(gè)或者數(shù)百個(gè)這樣的節(jié)點(diǎn)。通過(guò)鏈?zhǔn)椒▌t可以將一個(gè)方程轉(zhuǎn)化到另外的一個(gè)——也就是Δx通過(guò)乘以?y/?x和?z/?y得到Δz的過(guò)程。在每一層上，我們首先計(jì)算每個(gè)節(jié)點(diǎn)的總輸入z，z是前一層輸出的加權(quán)和。*(yltl)^2, 那么節(jié)點(diǎn)的誤差就是yltl，其中tl是期望值。為了加強(qiáng)分類能力，可以使用泛化的非線性特性，如核方法，但這些泛化特征，比如通過(guò)高斯核得到的，并不能夠使得學(xué)習(xí)器從學(xué)習(xí)樣本中產(chǎn)生較好的泛化效果。深度學(xué)習(xí)的體系結(jié)構(gòu)是簡(jiǎn)單模塊的多層棧，所有（或大部分）模塊的目標(biāo)是學(xué)習(xí)，還有許多計(jì)算非線性輸入輸出的映射。直到20世紀(jì)80年代，使用簡(jiǎn)單的隨機(jī)梯度下降來(lái)訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)，這種糟糕的情況才有所改變。反向傳播算法的核心思想是：目標(biāo)函數(shù)對(duì)于某層輸入的導(dǎo)數(shù)（或者梯度）可以通過(guò)向后傳播對(duì)該層輸出（或者下一層輸入）的導(dǎo)數(shù)求得。當(dāng)前最流行的非線性激活函數(shù)是rectified linear unit(ReLU)，函數(shù)形式：f(z)=max(z,0)。隱藏層的作用可以看成是使用一個(gè)非線性的方式打亂輸入數(shù)據(jù)，來(lái)讓輸入數(shù)據(jù)對(duì)應(yīng)的類別在最后一層變得線性可分。實(shí)踐中，如果在大的網(wǎng)絡(luò)中，不管使用什么樣的初始化條件，局部最小解并不算什么大問(wèn)題，系統(tǒng)總是得到效果差不多的解。2006年前后，CIFAR（加拿大高級(jí)研究院）把一些研究者聚集在一起，人們對(duì)深度前饋式神經(jīng)網(wǎng)絡(luò)重新燃起了興趣。這個(gè)工作對(duì)手寫體數(shù)字的識(shí)別以及行人預(yù)測(cè)任務(wù)產(chǎn)生了顯著的效果，尤其是帶標(biāo)簽的數(shù)據(jù)非常少的時(shí)候。從2009年到到2012年底，較大的語(yǔ)音團(tuán)隊(duì)開發(fā)了這種深度網(wǎng)絡(luò)的多個(gè)版本并且已經(jīng)被用到了安卓手機(jī)上。這就是卷積神經(jīng)網(wǎng)絡(luò)（CNN）。卷積神經(jīng)網(wǎng)絡(luò)使用4個(gè)關(guān)鍵的想法來(lái)利用自然信號(hào)的屬性：局部連接、權(quán)值共享、池化以及多網(wǎng)絡(luò)層的使用。使用這種結(jié)構(gòu)處于兩方面的原因。卷積層的作用是探測(cè)上一層特征的局部連接，然而池化層的作用是在語(yǔ)義上把相似的特征合并起來(lái)，這是因?yàn)樾纬梢粋€(gè)主題的特征的相對(duì)位置不太一樣。深度神經(jīng)網(wǎng)絡(luò)利用的很多自然信號(hào)是層級(jí)組成的屬性，在這種屬性中高級(jí)的特征是通過(guò)對(duì)低級(jí)特征的組合來(lái)實(shí)現(xiàn)的。卷積神經(jīng)網(wǎng)絡(luò)中的卷積和池化層靈感直接來(lái)源于視覺(jué)神經(jīng)科學(xué)中的簡(jiǎn)單細(xì)胞和復(fù)雜細(xì)胞。一個(gè)比較原始的1D卷積神經(jīng)網(wǎng)絡(luò)被稱為時(shí)延神經(jīng)網(wǎng)絡(luò)，可以被用來(lái)識(shí)別語(yǔ)音以及簡(jiǎn)單的單詞。20世紀(jì)90年代末，這個(gè)系統(tǒng)被用來(lái)美國(guó)超過(guò)10%的支票閱讀上。5 使用深度卷積網(wǎng)絡(luò)進(jìn)行圖像理解21世紀(jì)開始，卷積神經(jīng)網(wǎng)絡(luò)就被成功的大量用于檢測(cè)、分割、物體識(shí)別以及圖像的各個(gè)領(lǐng)域。像Mobileye以及NVIDIA公司正在把基于卷積神經(jīng)網(wǎng)絡(luò)的方法用于汽車中的視覺(jué)系統(tǒng)中。該結(jié)果達(dá)到了前所未有的好，幾乎比當(dāng)時(shí)最好的方法降低了一半的錯(cuò)誤率。最近一個(gè)更好的成果是，利用卷積神經(jīng)網(wǎng)絡(luò)結(jié)合回饋神經(jīng)網(wǎng)絡(luò)用來(lái)產(chǎn)生圖像標(biāo)題。卷積神經(jīng)網(wǎng)絡(luò)很容易在芯片或者現(xiàn)場(chǎng)可編程門陣列（FPGA）中高效實(shí)現(xiàn)，許多公司比如NVIDIA、Mobileye、Intel、Qualm以及Samsung，正在開發(fā)卷積神經(jīng)網(wǎng)絡(luò)芯片，以使智能機(jī)、相機(jī)、機(jī)器人以及自動(dòng)駕駛汽車中的實(shí)時(shí)視覺(jué)系統(tǒng)成為可能。首先，學(xué)習(xí)分布式特征表示能夠泛化適應(yīng)新學(xué)習(xí)到的特征值的組合（比如，n元特征就有2n種可能的組合）。內(nèi)容中的每個(gè)單詞表示為網(wǎng)絡(luò)中的N分之一的向量，也就是說(shuō)，每個(gè)組成部分中有一個(gè)值為1其余的全為0。這些語(yǔ)義特征在輸入中并沒(méi)有明確的表征。這樣的表示方式被稱為分布式特征表示，因?yàn)樗麄兊脑刂g并不互相排斥，并且他們的構(gòu)造信息對(duì)應(yīng)于觀測(cè)到的數(shù)據(jù)的變化。在邏輯啟發(fā)的范式中，一個(gè)符號(hào)實(shí)體表示某一事物，因?yàn)槠湮ㄒ坏膶傩耘c其他符號(hào)實(shí)體相同或者不同。而是基于統(tǒng)計(jì)簡(jiǎn)短符號(hào)序列出現(xiàn)的頻率增長(zhǎng)到N（Ngrams，N元文法）。對(duì)于涉及到序列輸入的任務(wù)，比如語(yǔ)音和語(yǔ)言，利用RNNs能獲得更好的效果。由于先進(jìn)的架構(gòu)和訓(xùn)練方式，RNNs被發(fā)現(xiàn)可以很好的預(yù)測(cè)文本中下一個(gè)字符或者句子中下一個(gè)單詞，并且可以應(yīng)用于更加復(fù)雜的任務(wù)?？傮w而言，這一過(guò)程是根據(jù)英語(yǔ)句子的概率分布而產(chǎn)生的法語(yǔ)詞匯序列。這種編碼器是可以在最后的隱層將像素轉(zhuǎn)換為活動(dòng)向量的深度卷積網(wǎng)絡(luò)（ConvNet）。雖然它們的目的是學(xué)習(xí)長(zhǎng)期的依賴性，但理論的和經(jīng)驗(yàn)的證據(jù)表明很難學(xué)習(xí)并長(zhǎng)期保存信息。LSTM網(wǎng)絡(luò)隨后被證明比傳統(tǒng)的RNNs更加有效，尤其當(dāng)每一個(gè)時(shí)間步長(zhǎng)內(nèi)有若干層時(shí)，整個(gè)語(yǔ)音識(shí)別系統(tǒng)能夠完全一致的將聲學(xué)轉(zhuǎn)錄為字符序列。記憶網(wǎng)絡(luò)在標(biāo)準(zhǔn)的問(wèn)答基準(zhǔn)測(cè)試中表現(xiàn)良好，記憶是用來(lái)記住稍后要求回答問(wèn)題的事例。在一個(gè)測(cè)試?yán)又?，網(wǎng)絡(luò)能夠正確回答15句版的《指環(huán)王》中諸如“Frodo現(xiàn)在在哪？”的問(wèn)題。人類視覺(jué)是一個(gè)智能的、基于特定方式的利用小或大分辨率的視網(wǎng)膜中央窩與周圍環(huán)繞區(qū)域?qū)饩€采集成像的活躍的過(guò)程。我們預(yù)測(cè)那些利用了RNNs的系統(tǒng)將會(huì)更好地理解句子或者整個(gè)文檔，當(dāng)它們選擇性地學(xué)習(xí)了某時(shí)刻部分加入的策
醫(yī)療健康相關(guān)推薦
鄂ICP備17016276號(hào)-1