一文讀懂卷積神經(jīng)網(wǎng)絡(luò)cnn-免費(fèi)閱讀
【正文】 上圖中的結(jié)構(gòu)，在最后只有一層全連接層，然后就是softmax層了。該層與上一層連接沒有經(jīng)過pooling層。而模型并行則是，將若干層的模型參數(shù)進(jìn)行切分，不同的GPU上使用相同的數(shù)據(jù)進(jìn)行訓(xùn)練，得到的結(jié)果直接連接作為下一層的輸入。ImageNet2010網(wǎng)絡(luò)結(jié)構(gòu)ImageNet LSVRC是一個(gè)圖片分類的比賽，其訓(xùn)練集包括127W+張圖片，驗(yàn)證集有5W張圖片，測(cè)試集有15W張圖片。例如：對(duì)于一個(gè) 9696 像素的圖像，假設(shè)我們已經(jīng)學(xué)習(xí)得到了400個(gè)定義在88輸入上的特征，每一個(gè)特征和圖像卷積都會(huì)得到一個(gè) (96 ? 8 + 1) (96 ? 8 + 1) = 7921 維的卷積特征，由于有 400 個(gè)特征，所以每個(gè)樣例 (example) 都會(huì)得到一個(gè) 7921 400 = 3,168,400 維的卷積特征向量。比如兩個(gè)卷積核就可以將生成兩幅圖像，這兩幅圖像可以看做是一張圖像的不同的通道。這也意味著我們?cè)谶@一部分學(xué)習(xí)的特征也能用在另一部分上，所以對(duì)于這個(gè)圖像上的所有位置，我們都能使用同樣的學(xué)習(xí)特征。視覺皮層的神經(jīng)元就是局部接受信息的（即這些神經(jīng)元只響應(yīng)某些特定區(qū)域的刺激）。卷積神經(jīng)網(wǎng)絡(luò)在圖像處理中，往往把圖像表示為像素的向量，比如一個(gè)10001000的圖像，可以表示為一個(gè)1000000的向量。神經(jīng)網(wǎng)絡(luò)首先介紹神經(jīng)網(wǎng)絡(luò)，這一步的詳細(xì)可以參考資源1。一般地，CNN的基本結(jié)構(gòu)包括兩層，其一為特征提取層，每個(gè)神經(jīng)元的輸入與前一層的局部接受域相連，并提取該局部的特征。第三點(diǎn)，Deep Learning算法能夠有效的關(guān)鍵其實(shí)是大規(guī)模的數(shù)據(jù)，這一點(diǎn)原因在于每個(gè)DL都有眾多的參數(shù)，少量數(shù)據(jù)無法將參數(shù)訓(xùn)練充分。接下來話不多說，直接奔入主題開始CNN之旅。一旦該局部特征被提取后，它與其它特征間的位置關(guān)系也隨之確定下來；其二是特征映射層，網(wǎng)絡(luò)的每個(gè)計(jì)算層由多個(gè)特征映射組成，每個(gè)特征映射是一個(gè)平面，平面上所有神經(jīng)元的權(quán)值相等。簡(jiǎn)要介紹下。在上一節(jié)中提到的神經(jīng)網(wǎng)絡(luò)中，如果隱含層數(shù)目與輸入層一樣，即也是1000000時(shí)，那么輸入層到隱含層的參數(shù)數(shù)據(jù)為10000001000000=10^12，這樣就太多了，基本沒法訓(xùn)練。如下圖所示：左圖為全連接，右圖為局部連接。
高考資料相關(guān)推薦
鄂ICP備17016276號(hào)-1