詳解卷積神經(jīng)網(wǎng)絡(luò)-免費(fèi)閱讀
【正文】 ? DBN與 DNN的區(qū)別是什么？ ? 受限玻爾茲曼機(jī)是什么？ ? 深度置信網(wǎng)絡(luò)有一個(gè)非監(jiān)督預(yù)訓(xùn)練的過(guò)程，使用 RBM進(jìn)行權(quán)重偏置的初始化。 總結(jié) ? ANN（人工神經(jīng)網(wǎng)絡(luò)）又被稱為淺層神經(jīng)網(wǎng)絡(luò)（ shallow neural work，也可能使用了 CNN的方法。 Jeff Dean說(shuō)：“我們?cè)谟?xùn)練的時(shí)候從來(lái)不會(huì)告訴機(jī)器：‘這是一只貓’（即無(wú)標(biāo)注樣本）。 深度學(xué)習(xí) ? 2022年， Geoffrey Hinton基于深度置信網(wǎng)（ Deep Belief Net： DBN） ——其由一系列受限波爾茲曼機(jī)（ Restricted Boltzmann Machine： RBM）組成，提出非監(jiān)督貪心逐層訓(xùn)練（ Layerwise PreTraining）算法，應(yīng)用效果才取得突破性進(jìn)展。需要指出這些向量的成分是+1或 1，這正好在 F6 sigmoid的范圍內(nèi)，因此可以防止 sigmoid函數(shù)飽和。這種表示對(duì)識(shí)別單獨(dú)的數(shù)字不是很有用，但是對(duì)識(shí)別可打印 ASCII集中的字符串很有用。換句話說(shuō)，每個(gè)輸出 RBF單元計(jì)算輸入向量和參數(shù)向量之間的歐式距離。 C3層： 輸入圖片大?。? (14*14)*6 卷積窗大小： 5*5 卷積窗種類： 15 輸出特征圖數(shù)量： 16 輸出特征圖大?。? 10*10 (145+1) 神經(jīng)元數(shù)量： 1600 [(10*10)*16)] 連接數(shù)： 151600 [(60+16)*25]*(10*10) （部分連接） 可訓(xùn)練參數(shù)： 1516 [(60+16)*25] 連接數(shù)計(jì)算： 151600 = [(60+16)*25]*(10*10) 60 = 3*6+9*4+6； 16是因?yàn)槊糠N神經(jīng)元都有一個(gè)常數(shù)連接 其中打 X了的表示兩者之間有連接的。 ? 能不能自動(dòng)地學(xué)習(xí)一些特征呢？ 深度學(xué)習(xí)的優(yōu)勢(shì) ? 深度學(xué)習(xí)通過(guò)學(xué)習(xí)一種深層非線性網(wǎng)絡(luò)結(jié)構(gòu)，只需簡(jiǎn)單的網(wǎng)絡(luò)結(jié)構(gòu)即可實(shí)現(xiàn)復(fù)雜函數(shù)的逼近，并展現(xiàn)了強(qiáng)大的從大量無(wú)標(biāo)注樣本集中學(xué)習(xí)數(shù)據(jù)集本質(zhì)特征的能力。Convolutional Neural Networks 卷積神經(jīng)網(wǎng)絡(luò) 楊皓軒 主要內(nèi)容 1. 卷積神經(jīng)網(wǎng)絡(luò) —誕生背景與歷程 2. 卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用 —LeNet5手寫數(shù)字識(shí)別 3. 深度學(xué)習(xí) —Hinton做了些什么 4. 深度學(xué)習(xí)在數(shù)字圖像識(shí)別上的運(yùn)用 —Hinton如何在 2022年 ImageNet引起轟動(dòng) 卷積神經(jīng)網(wǎng)絡(luò)提出的背景 ? 淺層神經(jīng)網(wǎng)絡(luò) ? 大約二三十年前，神經(jīng)網(wǎng)絡(luò)曾經(jīng)是機(jī)器學(xué)習(xí)領(lǐng)域特別熱門的一個(gè)方向，這種基于統(tǒng)計(jì)的機(jī)器學(xué)習(xí)方法比起過(guò)去基于人工規(guī)則的專家系統(tǒng)，在很多方面顯示出優(yōu)越性。 ? 深度學(xué)習(xí)能夠獲得可更好地表示數(shù)據(jù)的特征，同時(shí)由于模型的層次深（通常有 5層、 6層，甚至 10多層的隱層節(jié)點(diǎn)，“深”的好處是可以控制隱層節(jié)點(diǎn)的數(shù)目為輸入節(jié)點(diǎn)數(shù)目的多項(xiàng)式倍而非多達(dá)指數(shù)倍）、表達(dá)能力強(qiáng)，因此有能力表示大規(guī)模數(shù)據(jù)。取我們學(xué)習(xí)到的網(wǎng)絡(luò)（結(jié)構(gòu)為 15016）中 16個(gè)隱含節(jié)點(diǎn)種的一個(gè)拿來(lái)分析，比如拿 C3中的第 3號(hào)特征圖來(lái)說(shuō)，它與上層網(wǎng)絡(luò) S2第 3,4,5號(hào)特征圖連接。輸入離參數(shù)向量越遠(yuǎn)， RBF輸出的越大。 ? 使用這種分布編碼而非更常用的“ 1 of N”編碼用于產(chǎn)生輸出的另一個(gè)原因是，當(dāng)類別比較大的時(shí)候，非分布編碼的效果比較差。實(shí)際上， +1和 1是 sigmoid函數(shù)的最大彎曲的點(diǎn)處。 ? 之后 Ruslan Salakhutdinov提出的深度波爾茲曼機(jī)（ Deep Boltzmann Machine：
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1