深度學(xué)習(xí)基礎(chǔ)(ppt36頁(yè))(存儲(chǔ)版)
【正文】 類(lèi)似于生物神經(jīng)網(wǎng)絡(luò)，降低了網(wǎng)絡(luò)模型的復(fù)雜度，減少了權(quán)值的數(shù)量。 CNN的 Pooling過(guò)程 如果人們選擇圖像中的連續(xù)范圍作為池化區(qū)域，并且只是池化相同 (重復(fù) )的隱藏單元產(chǎn)生的特征，那么，這些池化單元就具有平移不變性 (translation invariant)。這使得卷積神經(jīng)網(wǎng)絡(luò)明顯有別于其他基于神經(jīng)網(wǎng)絡(luò)的分類(lèi)器，通過(guò)結(jié)構(gòu)重組和減少權(quán)值將特征提取功能融合進(jìn)多層感知器。具體的組合規(guī)則在 LeNet5 系統(tǒng)中給出了下面的表格： 4. S4 層是在 C3層基礎(chǔ)上進(jìn)行下采樣，前面已述。 ? 挑戓性： ? 盡管我們可以從實(shí)驗(yàn)中的范例得知 P300的預(yù)期響應(yīng)在什么時(shí)候，但是 P300的響應(yīng)取決于被試者。 ? 每個(gè)樣本代表一部分經(jīng)過(guò) 650ms頻閃燈后采集的信號(hào)。 llllll bxWuufx ??? ?1)( ，其中(.)f（ 2） 反向傳播算法 我們假設(shè)訓(xùn)練集有 N個(gè)訓(xùn)練樣本，一共分成 2類(lèi)。這樣一來(lái)，得到的靈敏度圖的大小便和卷積層的特征圖的大小相同了。為了簡(jiǎn)便計(jì)算，我們會(huì)在前向傳播時(shí)保存好相對(duì)應(yīng)的特征圖，那么在反向傳播過(guò)程中就不需要再另外計(jì)算了。 nnLL tyuf ????2023/1/30 對(duì)于第 l層，誤差對(duì)于每個(gè)權(quán)值的偏導(dǎo)數(shù)如下： 當(dāng)前層神經(jīng)元的權(quán)值更新值如下： (3)卷積層 當(dāng)接在卷積層的下一層為池化層時(shí)，由于池化層是有下采樣的，池化層和卷積層的神經(jīng)元無(wú)法一一對(duì)應(yīng)。 （ 1） 前向傳播 如果用 l來(lái)表示當(dāng)前的網(wǎng)絡(luò)層，那么當(dāng)前網(wǎng)絡(luò)層的輸出為： 其中， 為網(wǎng)絡(luò)的輸出激活函數(shù)。 是每個(gè)電極采集到的 EEG信號(hào)正則化以后長(zhǎng)度。 Convolutional Neural Networks for P300 Detection with Application to BrainComputer Interfaces P300檢測(cè) ? P300檢測(cè)：檢測(cè) P300的響應(yīng)。這個(gè)過(guò)程也叫做 Pool。其權(quán)值連接個(gè)數(shù)比原來(lái)減少了四個(gè)數(shù)量級(jí)。 假設(shè)一種卷積核只提取出圖像的一種特征，所以一般要多個(gè)卷積核來(lái)提取不同的特征，所以每一層一般都會(huì)有多張 Feature map。 ? 自上而下的監(jiān)督學(xué)習(xí) 基于第一步的得到的各層參數(shù)進(jìn)一步調(diào)整整個(gè)多層模型的參數(shù)，這一步是一個(gè)有監(jiān)督的訓(xùn)練過(guò)程。 ? 深度學(xué)習(xí)與淺層學(xué)習(xí)的區(qū)別 ? 強(qiáng)調(diào)了模型結(jié)構(gòu)的深度，通常有 510多層的隱層節(jié)點(diǎn)； ? 明確突出了特征學(xué)習(xí)的重要性，通過(guò)逐層特征變換，將樣本在原空間的特征表示變換到一個(gè)新特征空間，從而使分類(lèi)或預(yù)測(cè)更加容易。 淺層學(xué)習(xí)與深度學(xué)習(xí) ? 傳統(tǒng)機(jī)器學(xué)習(xí)和信號(hào)處理技術(shù)探索僅含單層非線性變換的淺層學(xué)習(xí)結(jié)構(gòu)。而特征的樣式目前一般都是靠人工提取特征。 特征提取與選擇的好壞對(duì)最終算法的確定性齊了非常關(guān)鍵的作用。 由此可知人的視覺(jué)系統(tǒng)的信息處理是分級(jí)的，高層的特征是低層特征的組合，從低層到高層的特征表示越來(lái)越抽象，越來(lái)越能表現(xiàn)語(yǔ)義或者意圖，抽
范文總結(jié)相關(guān)推薦
鄂ICP備17016276號(hào)-1