【文章內(nèi)容簡介】 每一層的節(jié)點激勵值都是由其前一層與之相連的節(jié)點計算得到的。除了前饋神經(jīng)網(wǎng)絡，還有循環(huán)神經(jīng)網(wǎng)絡，這種網(wǎng)絡具有環(huán)路，它更貼近生物大腦的工作原理但是訓練困難；另外還有對稱神經(jīng)網(wǎng)絡，它的每個連接都是雙向的，包含隱藏層的對稱神經(jīng)網(wǎng)絡就是玻爾茲曼機，雖然比不上循環(huán)神經(jīng)網(wǎng)絡的學習能力，但是具有簡單易學習等優(yōu)勢，因此應用十分廣泛。 深度學習就是利用一些方法去構建一個含有多層隱藏層的人工神經(jīng)網(wǎng)絡，網(wǎng)絡的每一層都對應著原始數(shù)據(jù)不同層次的數(shù)學抽象，從而達到用特征向量描述圖像的目的。在討論深度學習的具體方法之前，首先要明確兩個概念：有監(jiān)督學習和無監(jiān)督學習。 所謂有監(jiān)督學習，是指給定了訓練樣本數(shù)據(jù)（data）的同時也已知樣本經(jīng)過學習后的目標值，比如我們進行車輛型號分類的時候給出了一組車輛圖片，也給出每張圖片對應車輛的型號。一般這些目標值是由人工標記或給出的真值（Ground Truth），也稱為樣本標簽（label）。常見的有監(jiān)督學習形式有：回歸和分類?；貧w就是要對數(shù)據(jù)及其標簽進行擬合，找到使得下面的函數(shù)值最小的函數(shù)曲線。 卷積神經(jīng)網(wǎng)絡算法深度學習有多種學習結構，主要分為三類：第一種是生成型的深度結構，其代表有深度置信網(wǎng)絡（DBN）[21]：它由一系列限制型玻爾茲曼機組成，主要能解決多層神經(jīng)網(wǎng)絡在學習的過程中：標簽數(shù)據(jù)需求量大、收斂速度慢和陷入局部極值等問題。由于其學習的是觀測數(shù)據(jù)和標簽的聯(lián)合概率，所以對先驗概率和后驗概率都可以進行估計。第二種是區(qū)分型模型，下一章使用的卷積神經(jīng)網(wǎng)絡就是其代表，其結構不同于第一類模型，只能對后驗概率進行估計，適合應用在識別和分類問題中。生成型結構用于分類問題的時候，可以在后面使用區(qū)分型的結構進行參數(shù)優(yōu)化。因此得到第三類——混合型結構，它是將上述兩種結構用合適的方式組合起來。 卷積神經(jīng)網(wǎng)絡在計算機視覺上的應用已經(jīng)相當廣泛 ，利用卷積神經(jīng)網(wǎng)絡對圖像進行特征提取 并且在場景標記 中取得較好的效果；另外也有把這種方式應用在機器人視覺上的研究 。它根據(jù)視覺原理定義局部視覺感受域，這個感受域是圖像的一個個小區(qū)域，這些區(qū)域作為最底層的輸入，然后在多層網(wǎng)絡中逐層做正向傳遞，得到圖片的特征，在同一層的特征圖中位置不同但網(wǎng)絡參數(shù)共享，這樣做能減少需要學習的參數(shù)數(shù)量，同時能夠使得特征具有變換不變性。因此，最后通過網(wǎng)絡學到的數(shù)據(jù)特征具有平移、旋轉、縮放不變。神經(jīng)網(wǎng)絡算法應用廣泛，首先我們介紹特征提取算法。上面已經(jīng)提到卷積神網(wǎng)絡作為區(qū)分型的深度學習結構在計算機視覺特別是區(qū)分性問題中應用廣泛，我們將使用卷積神經(jīng)網(wǎng)絡分析深度學習。我們接下來展現(xiàn)在卷積神經(jīng)網(wǎng)絡，我們?nèi)绾翁崛√卣飨蛄俊?圖 211 卷積網(wǎng)絡特征提取[53] 上圖展示了使用神經(jīng)網(wǎng)絡進行特征提取的流程圖。做完卷積運算就得到了 C1，是 8 幅 2828 的圖片，因為邊長 32 的圖片用邊長 5 的卷積核卷積后圖片大小應為：325+1=，在 C1 的基礎上做 pooling，pooling 有多種方式，常用的有最大/最小值 pooling 和均值 pooling，為了保證整體效果最好，我們采用均值池化。然后為了減少數(shù)據(jù)維度，在進行特征圖的下采樣得到下一層 S1，此時數(shù)據(jù)變?yōu)?8 幅 1414 的特征圖；接著按類似得到第一層的方式，使用 55 卷積核，并將不同特征圖卷積后累加起來得到，操作之后得到 20 幅 1010 特征圖，即為 C3 的輸出。同樣進行下采樣將每幅特征圖變?yōu)榇笮?55，即為 S4 的輸出。然后，最后一層 C5 也是卷積層，其每一幅圖跟上一層所有圖都連接，得到個特征圖大小為 11 的 120 個特征圖，拉成一維向量就是學習得到的圖片特征。 接下來我們介紹卷積神經(jīng)網(wǎng)絡訓練過程卷積神經(jīng)網(wǎng)絡的訓練過程就是要對網(wǎng)絡的各個參數(shù)進行優(yōu)化，這個過程包括前向傳遞和后向傳播。前向傳遞的時候網(wǎng)絡中的參數(shù)保持不變，根據(jù)各層節(jié)點的激勵函數(shù)逐級計算得到網(wǎng)絡的輸出；然后將輸出值與已知的數(shù)據(jù)標簽進行比較得到兩者的差值，再從最后一層網(wǎng)絡一層一層向前根據(jù)誤差去修改參數(shù)，從而達到優(yōu)化參數(shù)的目的。假設一個多類問題，類別數(shù)為一共有個訓練樣本，選取平方誤差作為代價函數(shù)，則系統(tǒng)誤差計算如下： (220) 表示對應的第個樣本在第類上應該對應的標簽，表示系統(tǒng)預測出來的結果。在傳統(tǒng)的全連接網(wǎng)絡中，通過優(yōu)化得到網(wǎng)絡中的各個連接的權重，假設當前為第?層，則當前層的輸出為： ? ?,其中? ??? (221) 為輸出激活函數(shù)可以根據(jù)具體應用選擇不同的函數(shù)，使得滿足一定的統(tǒng)計特性能夠加速訓練過程的收斂；?是對與當前節(jié)點連接的所有前一層節(jié)點輸出的加權求，具體參見前面對神經(jīng)元的闡述。這個向前傳遞的過程就叫卷積神經(jīng)網(wǎng)絡的前向傳遞。 對系統(tǒng)參數(shù)的學習過程就是優(yōu)化系統(tǒng)誤差的過程，因此，每次前向傳遞后系統(tǒng)的誤差會在網(wǎng)絡中做后向傳播，這時，定義一個變量：節(jié)點的“靈敏度”，它是指誤差隨某個參數(shù)變化率，單元偏差值（bias）參數(shù)為例，根據(jù)求導鏈式法則定義為： (222) 相鄰網(wǎng)絡層之間的遞推關系為： ? ??′ ? (223) 我們使用各個元素一次相乘。然后每一層根據(jù)其對應的值用下面的式子對各個連接的權重進行更新，最終訓練得到神經(jīng)網(wǎng)絡。 (224) (225) 根據(jù)上面的表達式，我們可以設計出有效的神經(jīng)網(wǎng)絡訓練算法。3 車型識別算法 在現(xiàn)實生活中，車型識別有效提高車輛通行效率，增強車輛識別度，減少人工管理及刷卡停車場系統(tǒng)的管理難度，更減少系統(tǒng)誤判，具有高效、安全、便捷等特點。他無論對于個人，企業(yè)以及政府都有非常有效的作用。如何使用合適的算法，在保證車型識別的精度時，降低開銷，如計算復雜度，軟硬件實現(xiàn)成本等，是車型識別理論研究和工程實踐的重點。接下來，我們分別介紹了兩種車型識別算法： SIFT特征匹配識別算法和深度學習算法。這兩種算法可以有效地識別車型，適用于不同場景。對于SIFT特征匹配識別算法，我們在車型識別的應用中需要更高的要求，因此，我們首先介紹了SIFT特征匹配識別原始算法，之后提出了改進方案，最后分析了算法性能。對于深度學習算法，我們分別介紹了無監(jiān)督特征學習和利用 SVM 分類器進行卷積網(wǎng)絡優(yōu)化的背景知識，之后對車型識別進行建模，我們的模型可以有效地利用深度學習反應車載識別的特性。最后，我們也對深度學習算法進行了性能分析。在接下來的章節(jié)中，我們詳細介紹 SIFT特征匹配識別算法和深度學習算法在車載識別中的應用。. SIFT特征匹配識別算法在智能交通中，SIFT 特征匹配算法應用廣泛。尺度不變特征轉換(Scaleinvariantfeaturetransform或SIFT)[22]是一種電腦視覺的算法用來偵測與描述影像中的局部性特征，它在空間尺度中尋找極值點，并提取出其位置、尺度、旋轉不變量，此算法由DavidLowe在1999年所發(fā)表，2004年完善總結。其應用范圍包含物體辨識、機器人地圖感知與導航、影像縫合、3D模型建立、手勢辨識、影像追蹤和動作比對。SIFT特征是基于物體上的一些局部外觀的興趣點而與影像的大小和旋轉無關。對于光線、噪聲、些微視角改變的容忍度也相當高。基于這些特性，它們是高度顯著而且相對容易擷取，在母數(shù)龐大的特征數(shù)據(jù)庫中，很容易辨識物體而且鮮有誤認。使用SIFT特征描述對于部分物體遮蔽的偵測率也相當高，甚至只需要3個以上的SIFT物體特征就足以計算出位置與方位。在現(xiàn)今的電腦硬件速度下和小型的特征數(shù)據(jù)庫條件下，辨識速度可接近即時運算。SIFT特征的信息量大，適合在海量數(shù)據(jù)庫中快速準確匹配。具體而言，SIFT特征匹配算法有如下特點：1.SIFT特征是圖像的局部特征，其對旋轉、尺度縮放、亮度變化保持不變性，對視角變化、仿射變換、噪聲也保持一定程度的穩(wěn)定性；2.獨特性（Distinctiveness）好，信息量豐富，適用于在海量特征數(shù)據(jù)庫中進行快速、準確的匹配；3.多量性，即使少數(shù)的幾個物體也可以產(chǎn)生大量的SIFT特征向量；4.高速性，經(jīng)優(yōu)化的SIFT匹配算法甚至可以達到實時的要求；5.可擴展性，可以很方便的與其他形式的特征向量進行聯(lián)合。由于SIFT 特征匹配算法適用于各種場合的車載識別，我們也對 SIFT 特征匹配算法進行了大量實驗，說明基于 SIFT 特征匹配算法在車型識別中存在的問題。 本實驗從城市交通車輛監(jiān)控視頻中截取出大量的車輛圖片，然后利用 OpenCV 中現(xiàn)有的檢測算法配合人工標注的方式得到個常見品牌車頭圖片，約有10000張圖片?；谶@些圖片進行實驗?；?SIFT 特征匹配算法進行車型識別的流程如圖 32 所示。 然后將圖片與數(shù)據(jù)庫中所有的比對圖片進行關鍵點匹配，具體做法：數(shù)據(jù)庫中已知標簽的圖片歸一化到相同大小都提取得到關鍵點，并計算各個關鍵點處的SIFT特征；未知圖片歸一化到同樣的大小并進行相同的操作，然后將未知標簽的圖片與數(shù)據(jù)庫中的一張圖片逐個計算每兩個特征點的特征向量的距離，距離小于一定閾值且方向滿足一定要求的則認為是匹配成功，并記錄這兩幅圖片匹配特征點的數(shù)目。與數(shù)據(jù)庫中所有圖片都進行上述的匹配過程，選取匹配特征點最多的圖片，將該圖片的標簽作為未知圖片的標簽，就得到了未知圖片的類別。在SIFT算法中誤判主要來源于：首先，多對特征點集中在車標和車牌這些區(qū)域，因此會得到很多匹配的特有些同品牌不同型號的車存在外觀上的相似。第二個原因是可以接受的，因為長得很像的車人眼也不容易區(qū)分，但是第一個原因值得我們關注，因為特征點過于集中在某些區(qū)域實際上就是丟失了一些其他區(qū)域的信息，而且集中在車標區(qū)域帶來的問題是：即使可以很好的區(qū)分不同品牌的汽車，但同品牌的不同型號就不易進行區(qū)分了。 異很大，加上 SIFT 對局部特征描述能力很強所以最后的匹配點明顯減少，只需給出匹配線段的一些角度限制還可以抑制掉更多的誤匹配。 . 算法改進 SIFT算法會具有不穩(wěn)定的特性。當樣本形態(tài)顏色等相關特性出現(xiàn)變化時，往往會導致檢測結果不穩(wěn)定。這種不穩(wěn)定在關鍵點上表現(xiàn)得更為明顯。在車型識別中，由于車輛的特征變化較大，例如，同意品牌的車輛的大小外化以及顏色都會有明顯差異，在使用原始SIFT算法進行車型識別的過程中受上述限制， 往往會導致結果的不準確。在原始SIFT算法中，特征向量的旋轉角往往非常不準確，因此，我們需要修正相關參數(shù)。同時，在在原始SIFT算法中，我們使用特征抽樣的方式，當采樣率低時，關鍵點間隔較大，無法準確反映樣本特性?；谝陨系姆治?，我們改進SIFT算法，使之適用于我們所研究的車型識別。我們采用更加密集的抽樣方式，這樣雖然會增加系統(tǒng)的復雜度，但是相對于傳統(tǒng)SIFT算法的稀疏抽樣，它能夠更加準確地獲得樣本信息，是的車型識別的精度有大量提升。同時，為了增加算法的效率，我們使用特殊的數(shù)據(jù)結構加速SIFT算法中的匹配過程。具體而言，在本文中，我們使用廣為使用的樹狀結構。樹狀結構簡潔明了，適用于各種分類搜索算法，因此，可以大大