【文章內(nèi)容簡介】 edge沒有貢獻(xiàn)，因此均為 0 。 深度學(xué)習(xí)及應(yīng)用 深度學(xué)習(xí)及應(yīng)用 初級（淺層）特征表示 ? 另外， 許多專家 還發(fā)現(xiàn)，不僅圖像存在這個規(guī)律，聲音也存在。他們 從未標(biāo)注的聲音中發(fā)現(xiàn)了 20種基本的聲音結(jié)構(gòu) ，其余的聲音可以由這 20種基本結(jié)構(gòu)合成。 深度學(xué)習(xí)及應(yīng)用 深度學(xué)習(xí)及應(yīng)用 結(jié)構(gòu)性特征表示 ? 小塊的圖形可以由基本 edge構(gòu)成，更結(jié)構(gòu)化，更復(fù)雜的，具有概念性的圖形如何表示呢？ ? 這就需要更高層次的特征表示，比如 V2， V4。因此 V1看像素級是像素級。 V2看 V1是像素級，這個是層次遞進(jìn)的，高層表達(dá)由底層表達(dá)的組合而成。 ? 專業(yè)點說就是基 basis。 V1區(qū) 提出的 basis是邊緣，然后 V2層是 V1層這些 basis的組合，這時候 V2區(qū)得到的又是高一層的 basis， 上上層又是上一層的組合 basis結(jié)果 ... ? 所以有 專家 說 Deep learning就是 “ 搞基 ” ，因為難聽，所以美其名曰 Deep learning或者 Unsupervised Feature Learning. 深度學(xué)習(xí)及應(yīng)用 結(jié)構(gòu)性特征表示 ? 直觀上說，就是找到 有意義 的小 碎片（ patch），再將其進(jìn)行 組合（ bine） ，就得到了上一層的特征（ feature） ，遞歸地向上 學(xué)習(xí)特征（ learning feature） 。 深度學(xué)習(xí)及應(yīng)用 結(jié)構(gòu)性特征表示 ? 在不同 對象（ object） 上做 訓(xùn)練時 ，所得的 邊緣基（ edge basis） 是非常相似的，但 對象部分（ object parts） 和模式（ models） 完全不同。這樣便于圖像的準(zhǔn)確識別。 深度學(xué)習(xí)及應(yīng)用 結(jié)構(gòu)性特征表示 ? 從文本來說，一個 doc文檔 表示什么意思？我們描述一件事情，用什么來表示比較合適？ ? 用一個一個 字 嘛 ?不是，字就是像素級別了，起碼應(yīng)該是 term（術(shù)語 /詞組） ，換句話說每個 doc都由 term構(gòu)成 。 ? 但這樣表示概念的能力就夠了嘛，可能也不夠，需要再上一步，達(dá)到topic級，有了 topic，再到 doc就合理。 ? 但每個層次的數(shù)量差距很大，比如 doc表示的概念 topic（千 萬量級） term（ 10萬量級） word（百萬量級）。 ? 一個人在看一個 doc的時候，眼睛看到的是 word，由這些 word在大腦里自動切詞形成 term，在按照概念組織的方式，先驗的學(xué)習(xí)，得到 topic，然后再進(jìn)行高層次的 learning。 深度學(xué)習(xí)及應(yīng)用 需要有多少個特征 ?我們知道需要層次的特征構(gòu)建，由淺入深，但每一層該有多少個特征呢？ ?任何一種方法，特征越多，給出的參考信息就越多，準(zhǔn)確性會得到提升。但 特征多意味著計算復(fù)雜，探索的空間大，可以用來訓(xùn)練的數(shù)據(jù)在每個特征上就會稀疏 ，都會帶來各種問題，并不一定特征越多越好。 深度學(xué)習(xí)及應(yīng)用 深度學(xué)習(xí)及應(yīng)用 小 結(jié) ?上面我們 談 到為什么會有 Deep learning（讓機(jī)器自動學(xué)習(xí)良好的特征，而免去人工選取過程。還有參考人的分層視覺處理系統(tǒng)），我們得到一個結(jié)論就是 Deep learning需要多層來獲得更抽象的特征表達(dá) 。 ?那么多少層才合適呢？用什么架構(gòu)來建模呢？怎么進(jìn)行非監(jiān)督訓(xùn)練呢？ 深度學(xué)習(xí)及應(yīng)用 深度學(xué)習(xí)的基本思想 ? 假設(shè)我們有一個系統(tǒng) S，它有 n層（ S1,?Sn ），它的輸入是 I，輸出是 O，形象地表示為： I =S1=S2=?..=Sn = O，如果輸出 O等于輸入 I，即輸入 I經(jīng)過這個系統(tǒng)變化之后沒有任何的信息損失 。 這意味著輸入 I經(jīng)過每一層 Si都沒有任何的信息損失，即在任何一層 Si，它都是原有信息（即輸入 I）的另外一種表示。 ? 現(xiàn)在回到我們的主題 Deep Learning，我們需要自動地學(xué)習(xí)特征，假設(shè)我們有一堆輸入 I（如一堆圖像或者文本），假設(shè)我們設(shè)計了一個系統(tǒng) S（有 n層），我們通過調(diào)整系統(tǒng)中參數(shù)，使得它的輸出仍然是輸入 I，那么我們就可以自動地獲取得到輸入 I的一系列層次特征，即 S1， ?, Sn。 深度學(xué)習(xí)及應(yīng)用 深度學(xué)習(xí)的基本思想 ? 對于深度學(xué)習(xí)來說，其思想就是對堆疊多個層，也就是說 這一層的輸出作為下一層的輸入 。通過這種方式，就可以實現(xiàn)對輸入信息進(jìn)行分級表達(dá)了。 ? 另外，前面是假設(shè)輸出嚴(yán)格地等于輸入，這個限制太嚴(yán)格，我們可以略微地放松這個限制，例如我們只要使得輸入與輸出的差別盡可能地小即可 ，這個放松會導(dǎo)致另外一類不同的 Deep Learning方法 。上述就是 Deep Learning的基本思想。 深度學(xué)習(xí)及應(yīng)用 淺層學(xué)習(xí)和深度學(xué)習(xí) ? 淺層學(xué)習(xí)（ Shallow Learning） ：機(jī)器學(xué)習(xí)第一次浪潮 ? 深度學(xué)習(xí)（ Deep Learning） ： 機(jī)器學(xué)習(xí)第二次浪潮 深度學(xué)習(xí)及應(yīng)用 淺層學(xué)習(xí) ： 機(jī)器學(xué)習(xí)第一次浪潮 ? 20世紀(jì) 80年代末期，用于 人工神經(jīng)網(wǎng)絡(luò) 的 反向傳播算法 （也叫 Back Propagation算法或者 BP算法 ）的發(fā)明，給機(jī)器學(xué)習(xí)帶來了希望，掀起了 基于統(tǒng)計模型的機(jī)器學(xué)習(xí) 熱潮。這個熱潮一直持續(xù)到今天。 ? 人們發(fā)現(xiàn)，利用 BP算法可以 讓一個人工神經(jīng)網(wǎng)絡(luò)模型從大量訓(xùn)練樣本中學(xué)習(xí)統(tǒng)計規(guī)律，從而對未知事件做預(yù)測 。這種基于統(tǒng)計的機(jī)器學(xué)習(xí)方法比起過去基于人工規(guī)則的系統(tǒng)，在很多方面顯出優(yōu)越性。 ? 這個時候的人工神經(jīng)網(wǎng)絡(luò)，雖也被稱作 多層感知機(jī) （Multilayer Perceptron），但實際是 一 種 只含有一層隱層節(jié)點的淺層模型 。 深度學(xué)習(xí)及應(yīng)用 淺層學(xué)習(xí) ： 機(jī)器學(xué)習(xí)第一次浪潮 ? 20世紀(jì) 90年代，各種各樣的淺層機(jī)器學(xué)習(xí)模型相繼被提出，例如 支撐向量機(jī) （ SVM， Support Vector Machines）、 Boosting、 最大熵方法 （如 LR， Logistic Regression）等。 ? 這些模型的結(jié)構(gòu)基本上可以看成帶有一層隱層節(jié)點（如SVM、 Boosting），或沒有隱層節(jié)點（如 LR）。這些模型無論是在理論分析還是應(yīng)用中都獲得了巨大的成功。 ? 相比之下，由于理論分析的難度大，訓(xùn)練方法又需要很多經(jīng)驗和技巧，這個時期 深度 人工神經(jīng)網(wǎng)絡(luò)反而相對沉寂。 深度學(xué)習(xí)及應(yīng)用 深度 學(xué)習(xí) ： 機(jī)器學(xué)習(xí)第 二 次浪潮 ? 2023年，加拿大多倫多大學(xué)教授、機(jī)器學(xué)習(xí)領(lǐng)域的泰斗Geoffrey Hinton和他的學(xué)生 Ruslan Salak hutdinov在 國際頂級期刊 《科學(xué)》上發(fā)表了一篇文章，開啟了深度學(xué)習(xí)在學(xué)術(shù)界和工業(yè)界的浪潮。 ? 這篇文章有兩個主要觀點： ? 1）多隱層的人工神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的特征學(xué)習(xí)能力，學(xué)習(xí)得到的特征對數(shù)據(jù)有更本質(zhì)的刻畫，從而有利于可視化或分類； ? 2）深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練上的難度，可以通過 “ 逐層初始化 ”（ layerwise pretraining）來有效克服，在這篇文章中，逐層初始化是通過無監(jiān)督學(xué)習(xí)實現(xiàn)的。 深度學(xué)習(xí)及應(yīng)用 ? 當(dāng)前多數(shù)分類、回歸等學(xué)習(xí)方法為淺層結(jié)構(gòu)算法，其局限性在于 有限樣本和計算單元情況下對復(fù)雜函數(shù)的表示能力有限，針對復(fù)雜分類問題其泛化能力受到一定制約 。 ? 深度學(xué)習(xí) 可通過學(xué)習(xí)一種深層非線性網(wǎng)絡(luò)結(jié)構(gòu)，實現(xiàn)復(fù)雜函數(shù)逼近，表征輸入數(shù)據(jù)分布式表示，并展現(xiàn)了 強(qiáng)大的從少數(shù)樣本 中 集中學(xué)習(xí)數(shù)據(jù)集本質(zhì)特征的能力 。（多層的