【正文】 網(wǎng)絡(luò)進(jìn)行微調(diào)） 深度學(xué)習(xí)及應(yīng)用 1）使用自下上升非監(jiān)督學(xué)習(xí) ? 采用無(wú)標(biāo)定數(shù)據(jù)（有標(biāo)定數(shù)據(jù)也可）分層訓(xùn)練各層參數(shù)，這一步可以看作是一個(gè)無(wú)監(jiān)督訓(xùn)練過(guò)程，是和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)區(qū)別最大的部分（這個(gè)過(guò)程可以看作是 feature learning過(guò)程）： ? 具體的，先用無(wú)標(biāo)定數(shù)據(jù)訓(xùn)練第一層，訓(xùn)練時(shí)先學(xué)習(xí)第一層的參數(shù)（這一層可以看作是得到一個(gè)使得輸出和輸入差別最小的三層神經(jīng)網(wǎng)絡(luò)的隱層），由于模型 capacity的限制以及稀疏性約束，使得得到的模型能夠?qū)W習(xí)到數(shù)據(jù)本身的結(jié)構(gòu)，從而得到比輸入更具有表示能力的特征；在學(xué)習(xí)得到第 n1層后，將 n1層的輸出作為第 n層的輸入，訓(xùn)練第 n層，由此分別得到各層的參數(shù)； 深度學(xué)習(xí)及應(yīng)用 2）自頂向下的監(jiān)督學(xué)習(xí) ?基于第一步得到的各層參數(shù)進(jìn)一步 調(diào)整 整個(gè)多層模型的參數(shù)，這一步是一個(gè)有監(jiān)督訓(xùn)練過(guò)程；第一步類似神經(jīng)網(wǎng)絡(luò)的隨機(jī)初始化初值過(guò)程，由于 DL的第一步不是隨機(jī)初始化，而是通過(guò)學(xué)習(xí)輸入數(shù)據(jù)的結(jié)構(gòu)得到的，因而這個(gè)初值更接近全局最優(yōu)，從而能夠取得更好的效果； ?所以 ， deep learning效果好很大程度上歸功于第一步的 feature learning過(guò)程。 深度學(xué)習(xí)及應(yīng)用 Deep Learning的常用模型或者方法 ? AutoEncoder 自動(dòng)編碼器 ? Sparse Coding 稀疏編碼 ? Restricted Boltzmann Machine (RBM) 限制波爾茲曼機(jī) ? Deep Belief Networks 深度信念 網(wǎng)絡(luò) ? Convolutional Neural Networks卷積神經(jīng)網(wǎng)絡(luò) 深度學(xué)習(xí)及應(yīng)用 AutoEncoder 自動(dòng)編碼器 ? Deep Learning最簡(jiǎn)單的一種方法是利用人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)，人工神經(jīng)網(wǎng)絡(luò)（ ANN）本身就是具有層次結(jié)構(gòu)的系統(tǒng)，如果給定一個(gè)神經(jīng)網(wǎng)絡(luò)，我們假設(shè)其輸出與輸入是相同的，然后訓(xùn)練調(diào)整其參數(shù)，得到每一層中的權(quán)重。 ? 自然地，我們就得到了輸入 I的幾種不同表示（每一層代表一種表示），這些表示就是特征。自動(dòng)編碼器就是一種盡可能復(fù)現(xiàn)輸入信號(hào)的神經(jīng)網(wǎng)絡(luò)。為了實(shí)現(xiàn)這種復(fù)現(xiàn)，自動(dòng)編碼器就必須捕捉可以代表輸入數(shù)據(jù)的最重要的因素，就像 PCA那樣，找到可以代表原信息的主要成分。 深度學(xué)習(xí)及應(yīng)用 具體過(guò)程 ?1）給定無(wú)標(biāo)簽數(shù)據(jù)，用非監(jiān)督學(xué)習(xí)學(xué)習(xí)特征 ?2） 通過(guò)編碼器產(chǎn)生特征，然后訓(xùn)練下一層 ，這樣逐層訓(xùn)練 ?3） 有監(jiān)督微調(diào) 深度學(xué)習(xí)及應(yīng)用 1）給定無(wú)標(biāo)簽數(shù)據(jù)，用非監(jiān)督學(xué)習(xí)學(xué)習(xí)特征 ? 在我們之前的神經(jīng)網(wǎng)絡(luò)中，如第一個(gè)圖，我們輸入的樣本是有標(biāo)簽的，即（ input, target），這樣我們根據(jù)當(dāng)前輸出和 target（ label）之間的差去改變前面各層的參數(shù)，直到收斂。但現(xiàn)在我們只有無(wú)標(biāo)簽數(shù)據(jù)，也就是右邊的圖。那么這個(gè)誤差怎么得到呢？ 深度學(xué)習(xí)及應(yīng)用 1）給定無(wú)標(biāo)簽數(shù)據(jù)，用非監(jiān)督學(xué)習(xí)學(xué)習(xí)特征 ? 如 下 圖，我們將 input輸入一個(gè) encoder編碼器，就會(huì)得到一個(gè) code，這個(gè) code也就是輸入的一個(gè)表示，那么我們?cè)趺粗肋@個(gè) code表示的就是 input呢？我們加一個(gè) decoder解碼器，這時(shí)候 decoder就會(huì)輸出一個(gè)信息，那么如果輸出的這個(gè)信息和一開始的輸入信號(hào) input是很像的（理想情況下就是一樣的），那很明顯，我們就有理由相信這個(gè)code是靠譜的。所以，我們就通過(guò)調(diào)整 encoder和 decoder的參數(shù)，使得重構(gòu)誤差最小，這時(shí)候我們就得到了輸入 input信號(hào)的第一個(gè)表示了，也就是編碼 code了。因?yàn)槭菬o(wú)標(biāo)簽數(shù)據(jù)，所以誤差的來(lái)源就是直接重構(gòu)后與原輸入相比得到。 深度學(xué)習(xí)及應(yīng)用 Deep Belief Networks 深度信念 網(wǎng)絡(luò) ? DBNs是一個(gè)概率生成模型，與傳統(tǒng)的判別模型的神經(jīng)網(wǎng)絡(luò)相對(duì)，生成模型是建立一個(gè) 觀察數(shù)據(jù) 和 標(biāo)簽 之間的聯(lián)合分布，對(duì) P(Observation|Label)和 P(Label|Observation)都做了評(píng)估，而判別模型僅僅評(píng)估了后者而已，也就是 P(Label|Observation)。對(duì)于在深度神經(jīng)網(wǎng)絡(luò)應(yīng)用傳統(tǒng)的 BP算法的時(shí)候， DBNs遇到了以下問(wèn)題： ? （ 1）需要為訓(xùn)練提供一個(gè)有標(biāo)簽的樣本集； ? （ 2）學(xué)習(xí)過(guò)程較慢； ? （ 3）不適當(dāng)?shù)膮?shù)選擇會(huì)導(dǎo)致學(xué)習(xí)收斂于局部最優(yōu)解。 深度學(xué)習(xí)及應(yīng)用 Deep Belief Networks 深度信念 網(wǎng)絡(luò) 深度學(xué)習(xí)及應(yīng)用 Deep Belief Networks 深度信念 網(wǎng)絡(luò) ?DBNs由多個(gè)限制玻爾茲曼機(jī)（ Restricted Boltzmann Machines）層組成，一個(gè)典型的神經(jīng)網(wǎng)絡(luò)類型如圖三所示。這些網(wǎng)絡(luò)被“限制”為一個(gè)可視層和一個(gè)隱層，層間存在連接，但層內(nèi)的單元間不存在連接。隱層單元被訓(xùn)練去捕捉在可視層表現(xiàn)出來(lái)的高階數(shù)據(jù)的相關(guān)性。 深度學(xué)習(xí)及應(yīng)用 深度學(xué)習(xí)及應(yīng)用 Deep Belief Networks 深度信念 網(wǎng)絡(luò) ?在最高兩層，權(quán)值被連接到一起，這樣更低層的輸出將會(huì)提供一個(gè)參考的線索或者關(guān)聯(lián)給頂層，這樣頂層就會(huì)將其聯(lián)系到它的記憶內(nèi)容。而我們最關(guān)心的，最后想得到的就是判別性能，例如分類任務(wù)里面。 深度學(xué)習(xí)及應(yīng)用 Deep Belief Networks 深度信念 網(wǎng)絡(luò) ? 在預(yù)訓(xùn)練后， DBN可以通過(guò)利用帶標(biāo)簽數(shù)據(jù)用 BP算法去對(duì)判別性能做調(diào)整。在這里，一個(gè)標(biāo)簽集將被附加到頂層（推廣聯(lián)想記憶），通過(guò)一個(gè)自下向上的，學(xué)習(xí)到的識(shí)別權(quán)值獲得一個(gè)網(wǎng)絡(luò)的分類面。 ? 這個(gè)性能會(huì)比單純的 BP算法訓(xùn)練的網(wǎng)絡(luò)好。這可以很直觀的解釋， DBNs的 BP算法只需要對(duì)權(quán)值參數(shù)空間進(jìn)行一個(gè)局部的搜索，這相比前向神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō)，訓(xùn)練是要快的，而且收斂的時(shí)間也少。 深度學(xué)習(xí)及應(yīng)用 Deep Belief Networks 深度信念 網(wǎng)絡(luò) ? DBNs的靈活性使得它的拓展比較容易。一個(gè)拓展就是卷積DBNs（ Convolutional Deep Belief Networks(CDBNs)）。DBNs并沒(méi)有考慮到圖像的 2維結(jié)構(gòu)信息，因?yàn)檩斎胧呛?jiǎn)單的從一個(gè)圖像矩陣一維向量化的。而 CDBNs就是考慮到了這個(gè)問(wèn)題，它利用鄰域像素的空域關(guān)系，通過(guò)一個(gè)稱為卷積 RBMs的模型區(qū)達(dá)到生成模型的變換不變性，而且可以容易得變換到高維圖像。 ? DBNs并沒(méi)有明確地處理對(duì)觀察變量的時(shí)間聯(lián)系的學(xué)習(xí)上，雖然目前已經(jīng)有這方面的研究，例如堆疊時(shí)間 RBMs，以此為推廣，有序列學(xué)習(xí)的 dubbed temporal convolutionmachines刺激顳葉卷積機(jī) ，這種序列學(xué)習(xí)的應(yīng)用，給語(yǔ)音信號(hào)處理問(wèn)題帶來(lái)了一個(gè)讓人激動(dòng)的未來(lái)研究方向。 深度學(xué)習(xí)及應(yīng)用 Deep Belief Networks 深度信念 網(wǎng)絡(luò) ? 目前，和 DBNs有關(guān)的研究包括 堆疊自動(dòng)編碼器 ，它是通過(guò)用堆疊自動(dòng)編碼器來(lái)替換傳統(tǒng) DBNs里面的 RBMs。這就使得可以通過(guò)同樣的規(guī)則來(lái)訓(xùn)練產(chǎn)生深度多層神經(jīng)網(wǎng)絡(luò)架構(gòu)，但它缺少層的參數(shù)化的嚴(yán)格要求。與 DBNs不同，自動(dòng)編碼器使用判別模型，這樣這個(gè)結(jié)構(gòu)就很難采樣輸入采樣空間，這就使得網(wǎng)絡(luò)更難捕捉它的內(nèi)部表達(dá)。 ? 但是， 降噪自動(dòng)編碼器 卻能很好的避免這個(gè)問(wèn)題，并且比傳統(tǒng)的 DBNs更優(yōu)。它通過(guò)在訓(xùn)練過(guò)程添加隨機(jī)的污染并堆疊產(chǎn)生場(chǎng)泛化性能。訓(xùn)練單一的降噪自動(dòng)編碼器的過(guò)程和RBMs訓(xùn)練生成模型的過(guò)程一樣。 深度學(xué)習(xí)及應(yīng)用 演講完畢，謝謝觀看！