深度學(xué)習(xí)基礎(chǔ)(ppt36頁(yè))-免費(fèi)閱讀
【正文】 池化層對(duì)每個(gè)特征圖進(jìn)行下采樣，所以輸出的特征圖比起輸入的特征圖要變小了： 按照卷積神經(jīng)網(wǎng)絡(luò)的反向傳播算法的思路，我們應(yīng)該先計(jì)算到池化層每個(gè)神經(jīng)元的靈敏度，然后再通過(guò)這個(gè)靈敏度更新偏置 b和偏置參數(shù) 。因此 N個(gè)訓(xùn)練樣本的代價(jià)函數(shù)如下： ??? ??? Nn knknkN ytE1212)(212023/1/30 對(duì)于 N個(gè)訓(xùn)練樣本中的第 n個(gè)訓(xùn)練樣本，它的代價(jià)函數(shù)表示為： 22212n 21)(21 nnknknk ytytE ???? ?? 接下來(lái)需要根據(jù)每個(gè)樣本的輸出誤差來(lái)反向調(diào)節(jié)每一層當(dāng)中的權(quán)值系數(shù)，即計(jì)算代價(jià)函數(shù)對(duì)應(yīng)于卷積神經(jīng)網(wǎng)絡(luò)中的每個(gè)權(quán)值的偏導(dǎo)數(shù)： ????????? buuEbE1???bu??????? uEbE 可以看到誤差對(duì)于 bias基 b的靈敏度和誤差對(duì)于一個(gè)節(jié)點(diǎn)的輸入 u的導(dǎo)數(shù)是相等的。一個(gè)特征圖代表一層的本質(zhì)，含有一個(gè)特殊的語(yǔ)義： 。等同于把信號(hào)用 120HZ的抽樣率采樣。 在以上的識(shí)別系統(tǒng)中，每個(gè)特征圖提取后都緊跟著一個(gè)用來(lái)求局部平均與二次提取的亞取樣層。 經(jīng)典例子：文字識(shí)別系統(tǒng) LeNet5 1. 輸入圖像是 32x32的大小 ,卷積核的大小是 5x5的，則 C1層的大小是 28x28。這種聚合的操作就叫做池化 (pooling)。 卷積神經(jīng)網(wǎng)絡(luò)原理圖 如圖所示，輸入圖像（ Input）通過(guò)和三個(gè)可訓(xùn)練的卷積核和可加偏置進(jìn)行卷積，卷積后在 C1層產(chǎn)生三個(gè)特征映射圖（ Feature map） 然后， C1層的Feature map在經(jīng)過(guò)子采樣（ Subsampling）后，加權(quán)值，加偏置，再通過(guò)一個(gè)Sigmoid函數(shù)得到三個(gè) S2層的特征映射圖。因此深度學(xué)習(xí)整體上是是一個(gè)分層訓(xùn)練機(jī)制。 ? 深度學(xué)習(xí)可以通過(guò)學(xué)習(xí)一種深層非線性網(wǎng)絡(luò)結(jié)構(gòu)，實(shí)現(xiàn)復(fù)雜函數(shù)逼近，表征輸入數(shù)據(jù)分布式表示，并展現(xiàn)了強(qiáng)大的從少數(shù)樣本中集中學(xué)習(xí)數(shù)據(jù)及本質(zhì)特征的能力。深度學(xué)習(xí)通過(guò)組合低層特征形成更加抽象的高層表示屬性類別或特征，已發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。 ? 機(jī)器學(xué)習(xí)在圖像識(shí)別、語(yǔ)音識(shí)別、自然語(yǔ)言理解、天氣預(yù)測(cè)、基因表達(dá)、內(nèi)容推薦等很多方面的發(fā)展還存在著沒(méi)有良好解決的問(wèn)題。 深度學(xué)習(xí) ? 自 2023年，深度學(xué)習(xí)（ Deep Learning）已經(jīng)成為機(jī)器學(xué)習(xí)研究中的一個(gè)新興領(lǐng)域，通常也被叫做深層結(jié)構(gòu)學(xué)習(xí)或分層學(xué)習(xí)。典型的淺層學(xué)習(xí)結(jié)構(gòu)包括傳統(tǒng)隱馬爾科夫模型 (HMM)、條件隨機(jī)場(chǎng) (CRFs)、最大熵模型 (Max Ent)、支持向量機(jī) (SVM)、核回歸及僅含單隱層的多層感知器 (MLP)等。 深度學(xué)習(xí)的訓(xùn)練方法 與神經(jīng)網(wǎng)絡(luò)的異同 深度學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)的異同 神經(jīng)網(wǎng)絡(luò) 深度學(xué)習(xí) 深度學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)的異同 ? 相同點(diǎn) 二者均采用分層結(jié)構(gòu)，系統(tǒng)包括輸入層、隱層（多層）、輸出層組成的多層網(wǎng)絡(luò)，只有相鄰層節(jié)點(diǎn)之間有連接，同一層以及跨層節(jié)點(diǎn)之間相互無(wú)連接，每一層可以看作是一個(gè) logistic 回歸模型。它的權(quán)值共享網(wǎng)絡(luò)結(jié)構(gòu)使之更
范文總結(jié)相關(guān)推薦
鄂ICP備17016276號(hào)-1