深度學習基礎(chǔ)(ppt36頁)-免費閱讀
【正文】 池化層對每個特征圖進行下采樣，所以輸出的特征圖比起輸入的特征圖要變小了： 按照卷積神經(jīng)網(wǎng)絡(luò)的反向傳播算法的思路，我們應該先計算到池化層每個神經(jīng)元的靈敏度，然后再通過這個靈敏度更新偏置 b和偏置參數(shù) 。因此 N個訓練樣本的代價函數(shù)如下： ??? ??? Nn knknkN ytE1212)(212023/1/30 對于 N個訓練樣本中的第 n個訓練樣本，它的代價函數(shù)表示為： 22212n 21)(21 nnknknk ytytE ???? ?? 接下來需要根據(jù)每個樣本的輸出誤差來反向調(diào)節(jié)每一層當中的權(quán)值系數(shù)，即計算代價函數(shù)對應于卷積神經(jīng)網(wǎng)絡(luò)中的每個權(quán)值的偏導數(shù)： ????????? buuEbE1???bu??????? uEbE 可以看到誤差對于 bias基 b的靈敏度和誤差對于一個節(jié)點的輸入 u的導數(shù)是相等的。一個特征圖代表一層的本質(zhì)，含有一個特殊的語義： 。等同于把信號用 120HZ的抽樣率采樣。 在以上的識別系統(tǒng)中，每個特征圖提取后都緊跟著一個用來求局部平均與二次提取的亞取樣層。 經(jīng)典例子：文字識別系統(tǒng) LeNet5 1. 輸入圖像是 32x32的大小 ,卷積核的大小是 5x5的，則 C1層的大小是 28x28。這種聚合的操作就叫做池化 (pooling)。 卷積神經(jīng)網(wǎng)絡(luò)原理圖 如圖所示，輸入圖像（ Input）通過和三個可訓練的卷積核和可加偏置進行卷積，卷積后在 C1層產(chǎn)生三個特征映射圖（ Feature map） 然后， C1層的Feature map在經(jīng)過子采樣（ Subsampling）后，加權(quán)值，加偏置，再通過一個Sigmoid函數(shù)得到三個 S2層的特征映射圖。因此深度學習整體上是是一個分層訓練機制。 ? 深度學習可以通過學習一種深層非線性網(wǎng)絡(luò)結(jié)構(gòu)，實現(xiàn)復雜函數(shù)逼近，表征輸入數(shù)據(jù)分布式表示，并展現(xiàn)了強大的從少數(shù)樣本中集中學習數(shù)據(jù)及本質(zhì)特征的能力。深度學習通過組合低層特征形成更加抽象的高層表示屬性類別或特征，已發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。 ? 機器學習在圖像識別、語音識別、自然語言理解、天氣預測、基因表達、內(nèi)容推薦等很多方面的發(fā)展還存在著沒有良好解決的問題。 深度學習 ? 自 2023年，深度學習（ Deep Learning）已經(jīng)成為機器學習研究中的一個新興領(lǐng)域，通常也被叫做深層結(jié)構(gòu)學習或分層學習。典型的淺層學習結(jié)構(gòu)包括傳統(tǒng)隱馬爾科夫模型 (HMM)、條件隨機場 (CRFs)、最大熵模型 (Max Ent)、支持向量機 (SVM)、核回歸及僅含單隱層的多層感知器 (MLP)等。 深度學習的訓練方法 與神經(jīng)網(wǎng)絡(luò)的異同 深度學習與神經(jīng)網(wǎng)絡(luò)的異同 神經(jīng)網(wǎng)絡(luò) 深度學習 深度學習與神經(jīng)網(wǎng)絡(luò)的異同 ? 相同點 二者均采用分層結(jié)構(gòu)，系統(tǒng)包括輸入層、隱層（多層）、輸出層組成的多層網(wǎng)絡(luò)，只有相鄰層節(jié)點之間有連接，同一層以及跨層節(jié)點之間相互無連接，每一層可以看作是一個 logistic 回歸模型。它的權(quán)值共享網(wǎng)絡(luò)結(jié)構(gòu)使之更
范文總結(jié)相關(guān)推薦
鄂ICP備17016276號-1