卷積神經(jīng)網(wǎng)絡(luò)總結(jié)-資料下載頁(yè)
2025-07-26 05:44本頁(yè)面
【正文】 池化池化(Pooling) 是卷積神經(jīng)網(wǎng)絡(luò)中一個(gè)重要的操作, 它能夠使特征減少, 同時(shí)保持特征的局部不變性. 常用的池化操作有: 空間金字塔池化(Spatial pyramid pooling, SPP)[10]、最大池化(Max pooling)、平均池化(Mean pooling)、隨機(jī)池化(Stochastic pooling)[20] 等. 激活函數(shù)常用激活函數(shù)有: ReLU[8]、Leakly ReLU[21]、Parametric ReLU、Randomized ReLU、ELU 等. 損失函數(shù)損失函數(shù)的選擇在卷積神經(jīng)網(wǎng)絡(luò)中起重要作用, 代表性的損失函數(shù)有: 平方誤差損失、互熵?fù)p失(Cross entropy loss)、Hinge 損失等. 優(yōu)化方法和技巧卷積神經(jīng)網(wǎng)絡(luò)常用的優(yōu)化方法包含隨機(jī)梯度下降方法(Stochastic gradient descent, SGD), 常用的技巧有權(quán)值初始化[8]、權(quán)值衰減(Weight decay)[18]、Batch normalization[22] 等. 卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)卷積神經(jīng)網(wǎng)絡(luò)在下采樣層可以保持一定局部平移不變形, 在卷積層通過(guò)感受野和權(quán)值共享減少了神經(jīng)網(wǎng)絡(luò)需要訓(xùn)練的參數(shù)的個(gè)數(shù). 每個(gè)神經(jīng)元只需要感受局部的圖像區(qū)域, , 可以減少網(wǎng)絡(luò)連接的數(shù)目, 即減少神經(jīng)網(wǎng)絡(luò)需積神經(jīng)網(wǎng)絡(luò)以其權(quán)值共享的特殊結(jié)構(gòu)在圖像理解領(lǐng)域中有著獨(dú)特的優(yōu)越性, 通過(guò)權(quán)值共享降低了網(wǎng)絡(luò)的復(fù)雜性.總之, 卷積神經(jīng)網(wǎng)絡(luò)相比于一般神經(jīng)網(wǎng)絡(luò)在圖像理解中有其特殊的優(yōu)點(diǎn): 1) 網(wǎng)絡(luò)結(jié)構(gòu)能較好適應(yīng)圖像的結(jié)構(gòu)。 2) 同時(shí)進(jìn)行特征提取和分類(lèi), 使得特征提取有助于特征分類(lèi)。 3) 權(quán)值共享可以減少網(wǎng)絡(luò)的訓(xùn)練參數(shù), 使得神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)變得更簡(jiǎn)單、. 由于同一特征通道上的神經(jīng)元權(quán)值相同, 所以網(wǎng)絡(luò)可以并行學(xué)習(xí), 這也是卷積網(wǎng)絡(luò)相對(duì)于神經(jīng)元彼此相連網(wǎng)絡(luò)的一大優(yōu)勢(shì).
外語(yǔ)相關(guān)推薦
鄂ICP備17016276號(hào)-1