深度學(xué)習(xí)綜述-資料下載頁(yè)
2025-08-05 09:18本頁(yè)面
【正文】 容易的、具有常識(shí)推理的快速“直覺(jué)”功能。在介紹神經(jīng)語(yǔ)言模型前，簡(jiǎn)述下標(biāo)準(zhǔn)方法，其是基于統(tǒng)計(jì)的語(yǔ)言模型，該模型沒(méi)有使用分布式特征表示。而是基于統(tǒng)計(jì)簡(jiǎn)短符號(hào)序列出現(xiàn)的頻率增長(zhǎng)到N（Ngrams，N元文法）?？赡艿腘grams的數(shù)字接近于VN，其中V是詞匯表的大小，考慮到文本內(nèi)容包含成千上萬(wàn)個(gè)單詞，所以需要一個(gè)非常大的語(yǔ)料庫(kù)。Ngrams將每個(gè)單詞看成一個(gè)原子單元，因此不能在語(yǔ)義相關(guān)的單詞序列中一概而論，然而神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型可以，是因?yàn)樗麄冴P(guān)聯(lián)每個(gè)詞與真是特征值的向量，并且在向量空間中語(yǔ)義相關(guān)的詞彼此靠近。7 遞歸神經(jīng)網(wǎng)絡(luò)首次引入反向傳播算法時(shí)，最令人興奮的便是使用遞歸神經(jīng)網(wǎng)絡(luò)（recurrent neural networks，下文簡(jiǎn)稱RNNs）訓(xùn)練。對(duì)于涉及到序列輸入的任務(wù)，比如語(yǔ)音和語(yǔ)言，利用RNNs能獲得更好的效果。RNNs一次處理一個(gè)輸入序列元素，同時(shí)維護(hù)網(wǎng)絡(luò)中隱式單元中隱式的包含過(guò)去時(shí)刻序列元素的歷史信息的“狀態(tài)向量”。如果是深度多層網(wǎng)絡(luò)不同神經(jīng)元的輸出，我們就會(huì)考慮這種在不同離散時(shí)間步長(zhǎng)的隱式單元的輸出，這將會(huì)使我們更加清晰怎么利用反向傳播來(lái)訓(xùn)練RNNs。圖5 遞歸神經(jīng)網(wǎng)絡(luò)RNNs是非常強(qiáng)大的動(dòng)態(tài)系統(tǒng)，但是訓(xùn)練它們被證實(shí)存在問(wèn)題的，因?yàn)榉聪騻鞑サ奶荻仍诿總€(gè)時(shí)間間隔內(nèi)是增長(zhǎng)或下降的，所以經(jīng)過(guò)一段時(shí)間后將導(dǎo)致結(jié)果的激增或者降為零。由于先進(jìn)的架構(gòu)和訓(xùn)練方式，RNNs被發(fā)現(xiàn)可以很好的預(yù)測(cè)文本中下一個(gè)字符或者句子中下一個(gè)單詞，并且可以應(yīng)用于更加復(fù)雜的任務(wù)。例如在某時(shí)刻閱讀英語(yǔ)句子中的單詞后，將會(huì)訓(xùn)練一個(gè)英語(yǔ)的“編碼器”網(wǎng)絡(luò)，使得隱式單元的最終狀態(tài)向量能夠很好地表征句子所要表達(dá)的意思或思想。這種“思想向量”（thought vector）可以作為聯(lián)合訓(xùn)練一個(gè)法語(yǔ)“編碼器”網(wǎng)絡(luò)的初始化隱式狀態(tài)（或者額外的輸入），其輸出為法語(yǔ)翻譯首單詞的概率分布。如果從分布中選擇一個(gè)特殊的首單詞作為編碼網(wǎng)絡(luò)的輸入，將會(huì)輸出翻譯的句子中第二個(gè)單詞的概率分布，并直到停止選擇為止?？傮w而言，這一過(guò)程是根據(jù)英語(yǔ)句子的概率分布而產(chǎn)生的法語(yǔ)詞匯序列。這種簡(jiǎn)單的機(jī)器翻譯方法的表現(xiàn)甚至可以和最先進(jìn)的（stateoftheart）的方法相媲美，同時(shí)也引起了人們對(duì)于理解句子是否需要像使用推理規(guī)則操作內(nèi)部符號(hào)表示質(zhì)疑。這與日常推理中同時(shí)涉及到根據(jù)合理結(jié)論類推的觀點(diǎn)是匹配的。類比于將法語(yǔ)句子的意思翻譯成英語(yǔ)句子，同樣可以學(xué)習(xí)將圖片內(nèi)容“翻譯”為英語(yǔ)句子。這種編碼器是可以在最后的隱層將像素轉(zhuǎn)換為活動(dòng)向量的深度卷積網(wǎng)絡(luò)（ConvNet）。解碼器與RNNs用于機(jī)器翻譯和神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型的類似。近來(lái)，已經(jīng)掀起了一股深度學(xué)習(xí)的巨大興趣熱潮。RNNs一旦展開(kāi)，可以將之視為一個(gè)所有層共享同樣權(quán)值的深度前饋神經(jīng)網(wǎng)絡(luò)。雖然它們的目的是學(xué)習(xí)長(zhǎng)期的依賴性，但理論的和經(jīng)驗(yàn)的證據(jù)表明很難學(xué)習(xí)并長(zhǎng)期保存信息。為了解決這個(gè)問(wèn)題，一個(gè)增大網(wǎng)絡(luò)存儲(chǔ)的想法隨之產(chǎn)生。采用了特殊隱式單元的LSTM（long shorttermmemory networks）被首先提出，其自然行為便是長(zhǎng)期的保存輸入。一種稱作記憶細(xì)胞的特殊單元類似累加器和門控神經(jīng)元：它在下一個(gè)時(shí)間步長(zhǎng)將擁有一個(gè)權(quán)值并聯(lián)接到自身，拷貝自身狀態(tài)的真實(shí)值和累積的外部信號(hào)，但這種自聯(lián)接是由另一個(gè)單元學(xué)習(xí)并決定何時(shí)清除記憶內(nèi)容的乘法門控制的。LSTM網(wǎng)絡(luò)隨后被證明比傳統(tǒng)的RNNs更加有效，尤其當(dāng)每一個(gè)時(shí)間步長(zhǎng)內(nèi)有若干層時(shí)，整個(gè)語(yǔ)音識(shí)別系統(tǒng)能夠完全一致的將聲學(xué)轉(zhuǎn)錄為字符序列。目前LSTM網(wǎng)絡(luò)或者相關(guān)的門控單元同樣用于編碼和解碼網(wǎng)絡(luò)，并且在機(jī)器翻譯中表現(xiàn)良好。過(guò)去幾年中，幾位學(xué)者提出了不同的提案用于增強(qiáng)RNNs的記憶模塊。提案中包括神經(jīng)圖靈機(jī)，其中通過(guò)加入RNNs可讀可寫的“類似磁帶”的存儲(chǔ)來(lái)增強(qiáng)網(wǎng)絡(luò)，而記憶網(wǎng)絡(luò)中的常規(guī)網(wǎng)絡(luò)通過(guò)聯(lián)想記憶來(lái)增強(qiáng)。記憶網(wǎng)絡(luò)在標(biāo)準(zhǔn)的問(wèn)答基準(zhǔn)測(cè)試中表現(xiàn)良好，記憶是用來(lái)記住稍后要求回答問(wèn)題的事例。除了簡(jiǎn)單的記憶化，神經(jīng)圖靈機(jī)和記憶網(wǎng)絡(luò)正在被用于那些通常需要推理和符號(hào)操作的任務(wù)，還可以教神經(jīng)圖靈機(jī)“算法”。除此以外，他們可以從未排序的輸入符號(hào)序列（其中每個(gè)符號(hào)都有與其在列表中對(duì)應(yīng)的表明優(yōu)先級(jí)的真實(shí)值）中，學(xué)習(xí)輸出一個(gè)排序的符號(hào)序列?？梢杂?xùn)練記憶網(wǎng)絡(luò)用來(lái)追蹤一個(gè)設(shè)定與文字冒險(xiǎn)游戲和故事的世界的狀態(tài)，回答一些需要復(fù)雜推理的問(wèn)題。在一個(gè)測(cè)試?yán)又?，網(wǎng)絡(luò)能夠正確回答15句版的《指環(huán)王》中諸如“Frodo現(xiàn)在在哪？”的問(wèn)題。8 深度學(xué)習(xí)的未來(lái)展望無(wú)監(jiān)督學(xué)習(xí)對(duì)于重新點(diǎn)燃深度學(xué)習(xí)的熱潮起到了促進(jìn)的作用，但是純粹的有監(jiān)督學(xué)習(xí)的成功蓋過(guò)了無(wú)監(jiān)督學(xué)習(xí)。在本篇綜述中雖然這不是我們的重點(diǎn)，我們還是期望無(wú)監(jiān)督學(xué)習(xí)在長(zhǎng)期內(nèi)越來(lái)越重要。無(wú)監(jiān)督學(xué)習(xí)在人類和動(dòng)物的學(xué)習(xí)中占據(jù)主導(dǎo)地位：我們通過(guò)觀察能夠發(fā)現(xiàn)世界的內(nèi)在結(jié)構(gòu)，而不是被告知每一個(gè)客觀事物的名稱。人類視覺(jué)是一個(gè)智能的、基于特定方式的利用小或大分辨率的視網(wǎng)膜中央窩與周圍環(huán)繞區(qū)域?qū)饩€采集成像的活躍的過(guò)程。我們期望未來(lái)在機(jī)器視覺(jué)方面會(huì)有更多的進(jìn)步，這些進(jìn)步來(lái)自那些端對(duì)端的訓(xùn)練系統(tǒng)，并結(jié)合ConvNets和RNNs，采用增強(qiáng)學(xué)習(xí)來(lái)決定走向。結(jié)合了深度學(xué)習(xí)和增強(qiáng)學(xué)習(xí)的系統(tǒng)正處在初期，但已經(jīng)在分類任務(wù)中超過(guò)了被動(dòng)視頻系統(tǒng)，并在學(xué)習(xí)操作視頻游戲中產(chǎn)生了令人印象深刻的效果。在未來(lái)幾年，自然語(yǔ)言理解將是深度學(xué)習(xí)做出巨大影響的另一個(gè)領(lǐng)域。我們預(yù)測(cè)那些利用了RNNs的系統(tǒng)將會(huì)更好地理解句子或者整個(gè)文檔，當(dāng)它們選擇性地學(xué)習(xí)了某時(shí)刻部分加入的策略。最終，在人工智能方面取得的重大進(jìn)步將來(lái)自那些結(jié)合了復(fù)雜推理表示學(xué)習(xí)（representation learning）的系統(tǒng)。盡管深度學(xué)習(xí)和簡(jiǎn)單推理已經(jīng)應(yīng)用于語(yǔ)音和手寫字識(shí)別很長(zhǎng)一段時(shí)間了，我們?nèi)孕枰ㄟ^(guò)操作大量向量的新范式來(lái)代替基于規(guī)則的字符表達(dá)式操作。
醫(yī)療健康相關(guān)推薦
鄂ICP備17016276號(hào)-1