深度學(xué)習(xí)基礎(chǔ)(ppt36頁)(完整版)
【正文】 ，重新組織已有的知識(shí)結(jié)構(gòu)市值不斷改善自身的性能的學(xué)科，簡(jiǎn)單地說，機(jī)器學(xué)習(xí)就是通過算法，使得機(jī)器能從大量的歷史數(shù)據(jù)中學(xué)習(xí)規(guī)律，從而對(duì)新的樣本做智能識(shí)別或預(yù)測(cè)未來。 ? 深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究，含多隱層的多層感知器就是一種深度學(xué)習(xí)結(jié)構(gòu)。 ? 受到大腦結(jié)構(gòu)分層的啟發(fā)，神經(jīng)網(wǎng)絡(luò)的研究發(fā)現(xiàn)多隱層的人工神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的特征學(xué)習(xí)能力，學(xué)習(xí)得到的特征對(duì)數(shù)據(jù)有更本質(zhì)的刻畫，從而有利于可視化或分類；而深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練上的難度，可以通過“逐層初始化”來有效克服。隨機(jī)設(shè)定初值，計(jì)算當(dāng)前網(wǎng)絡(luò)的輸出，然后根據(jù)當(dāng)前輸出和樣本真實(shí)標(biāo)簽之間的差去改變前面各層的參數(shù)，直到收斂； ?深度學(xué)習(xí)： BP算法不適合深度神經(jīng)網(wǎng)絡(luò)，如果對(duì)所有層同時(shí)訓(xùn)練，時(shí)間復(fù)雜度會(huì)太高，如果每次訓(xùn)練一層，偏差逐層傳遞會(huì)出現(xiàn)過擬合。卷積網(wǎng)絡(luò)是為識(shí)別二維形狀而特殊設(shè)計(jì)的一個(gè)多層感知器，這種網(wǎng)絡(luò)結(jié)構(gòu)對(duì)平移、比例縮放、傾斜或者共他形式的變形具有高度不變性。 圖像具有一種 “ 靜態(tài)性（ stationarity） ” 的屬性，可以對(duì)圖像某一個(gè)區(qū)域上的特征取平均值 (或最大值 )。 卷積神經(jīng)網(wǎng)絡(luò)較一般神經(jīng)網(wǎng)絡(luò)在圖像處理方面有如下優(yōu)點(diǎn)： a）輸入圖像和網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)能很好的吻合； b）特征提取和模式分類同時(shí)進(jìn)行，并同時(shí)在訓(xùn)練中產(chǎn)生； c）權(quán)重共享可以減少網(wǎng)絡(luò)的訓(xùn)練參數(shù)，使神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)變得更簡(jiǎn)單，適應(yīng)性更強(qiáng)。 小結(jié)： 經(jīng)過計(jì)算， LeNet5系統(tǒng)總共需要大約 13萬個(gè)參數(shù)，這與前面提到的全連接系統(tǒng)每個(gè)隱藏層就需要百萬個(gè)參數(shù)有著天壤之別，極大地減少了計(jì)算量。 輸入正則化 ? 原始信號(hào)：由電極采集的 EEG信號(hào) ? 輸入數(shù)據(jù)正則化： EEG信號(hào)樣本中提取子樣本，從而降低數(shù)據(jù)的大小以便分析。 ? 網(wǎng)絡(luò)由五層組成，每一層由一個(gè)戒多個(gè)特征圖組成。在代價(jià)函數(shù)方面，我們選擇采用平方誤差代價(jià)函數(shù)。)( 11 llTll ufW ?? ?? ??2023/1/30 （ 4）池化層 對(duì)于池化層來說，輸入和輸出的特征圖數(shù)量是相等的，而不同的是每個(gè)特征圖的大小。其中偏置 basi基 b因?yàn)橹皇且粋€(gè)加性基，所以跟上述卷積層當(dāng)中的計(jì)算一樣。 對(duì)于非輸出層，第 l層靈敏度可以表示為： 而對(duì)于輸出層 L的靈敏度為： )(39。 。 20HZ的帶通濾波器處理輸入數(shù)據(jù) ? CNN的輸入： ? 一個(gè) 矩陣。這種特有的兩次特征提取結(jié)構(gòu)使得網(wǎng)絡(luò)對(duì)輸入樣本有較高的畸變?nèi)萑棠芰?。這里設(shè)定有 6個(gè)不同的 C1層，每一個(gè) C1層內(nèi)的權(quán)值是相同的。 CNN的優(yōu)點(diǎn) 參數(shù) 減少與權(quán)值共享 如下圖所示，如果我們有 1000x1000像素的圖像，有 1百萬個(gè)隱層神經(jīng)元，那么他們?nèi)B接的話（每個(gè)隱層神經(jīng)元都連接圖像的每一個(gè)像素點(diǎn)），就有 個(gè)連接，也就是 10^12個(gè)權(quán)值參數(shù)。 CNN的 Convolution過程
范文總結(jié)相關(guān)推薦
鄂ICP備17016276號(hào)-1