【正文】 流的粉類算法的思想做了描述和總結(jié)，分析了每類算法的優(yōu)點和缺點，這些理論研究，可以幫助我們設(shè)計基于卷積神經(jīng)網(wǎng)絡的車輛識別算法。在改改進算法中，我們使用密集采樣保證識別精度。最后，我們對比了這兩種方法的仿真結(jié)果。SIFT 特征的設(shè)計及描述方法，并對最常用的機器學習分類器做簡單的闡述。. 基于機器學習的分類算法在本章中，我們介紹機器學習的相關(guān)分類算法，主要包括K 近鄰算法（K nearest neighbor，KNN）[1113]和支撐向量機算法（Support Vector Machine, SVM）[1415]。在目標分類領(lǐng)域，關(guān)鍵點特征匹配加上 K 近鄰的方式非常常用，效果也不錯，特別是標記樣本數(shù)據(jù)不充足的時候比基于分類的方法可靠性更高，但是其缺點也很明顯，需要存儲大量數(shù)據(jù)，并且計算量也很大。另外，SVM 還要求最后得到的判決面是最優(yōu)的，即所得判決面兩側(cè)離判決面最近的樣本到超平面距離最大。 另一種方法：引入松弛變量解決線性不可分問題，將線性約束變?yōu)椋? (216) 當樣本分錯的時候大于 0，分正確怎為 0；優(yōu)化的目標函數(shù)變?yōu)椋? (217) 為懲罰因子，取值越大表明樣本越重要，因此，該樣本被分錯會得到更大的懲罰。本文的車型識別方法也將會用到 SVM 分類器，并將它與卷積神經(jīng)網(wǎng)絡相結(jié)合。根據(jù)激勵函數(shù)的形式不同神經(jīng)元分為：線性神經(jīng)元、二進制閾值神經(jīng)元、修正的線性神經(jīng)元、Sigmoid 函數(shù)神經(jīng)元等，它們的工作原理大同小異，總的歸納起來，神經(jīng)元工作原理如圖 25 所示，首先將所有輸入進行加權(quán)求和，并加上一個偏置并加上一個偏置 b，然后用激勵函數(shù)處理得到該神經(jīng)元的輸出。 深度學習就是利用一些方法去構(gòu)建一個含有多層隱藏層的人工神經(jīng)網(wǎng)絡，網(wǎng)絡的每一層都對應著原始數(shù)據(jù)不同層次的數(shù)學抽象，從而達到用特征向量描述圖像的目的。常見的有監(jiān)督學習形式有：回歸和分類。第二種是區(qū)分型模型，下一章使用的卷積神經(jīng)網(wǎng)絡就是其代表，其結(jié)構(gòu)不同于第一類模型，只能對后驗概率進行估計，適合應用在識別和分類問題中。它根據(jù)視覺原理定義局部視覺感受域，這個感受域是圖像的一個個小區(qū)域，這些區(qū)域作為最底層的輸入，然后在多層網(wǎng)絡中逐層做正向傳遞，得到圖片的特征，在同一層的特征圖中位置不同但網(wǎng)絡參數(shù)共享，這樣做能減少需要學習的參數(shù)數(shù)量，同時能夠使得特征具有變換不變性。我們接下來展現(xiàn)在卷積神經(jīng)網(wǎng)絡，我們?nèi)绾翁崛√卣飨蛄俊Ｍ瑯舆M行下采樣將每幅特征圖變?yōu)榇笮?55，即為 S4 的輸出。假設(shè)一個多類問題，類別數(shù)為一共有個訓練樣本，選取平方誤差作為代價函數(shù)，則系統(tǒng)誤差計算如下： (220) 表示對應的第個樣本在第類上應該對應的標簽，表示系統(tǒng)預測出來的結(jié)果。然后每一層根據(jù)其對應的值用下面的式子對各個連接的權(quán)重進行更新，最終訓練得到神經(jīng)網(wǎng)絡。如何使用合適的算法，在保證車型識別的精度時，降低開銷，如計算復雜度，軟硬件實現(xiàn)成本等，是車型識別理論研究和工程實踐的重點。對于深度學習算法，我們分別介紹了無監(jiān)督特征學習和利用 SVM 分類器進行卷積網(wǎng)絡優(yōu)化的背景知識，之后對車型識別進行建模，我們的模型可以有效地利用深度學習反應車載識別的特性。尺度不變特征轉(zhuǎn)換(ScaleinvariantLowe在1999年所發(fā)表，2004年完善總結(jié)。對于光線、噪聲、些微視角改變的容忍度也相當高。在現(xiàn)今的電腦硬件速度下和小型的特征數(shù)據(jù)庫條件下，辨識速度可接近即時運算。獨特性（Distinctiveness）好，信息量豐富，適用于在海量特征數(shù)據(jù)庫中進行快速、準確的匹配；3.由于SIFT 特征匹配算法適用于各種場合的車載識別，我們也對 SIFT 特征匹配算法進行了大量實驗，說明基于 SIFT 特征匹配算法在車型識別中存在的問題。 然后將圖片與數(shù)據(jù)庫中所有的比對圖片進行關(guān)鍵點匹配，具體做法：數(shù)據(jù)庫中已知標簽的圖片歸一化到相同大小都提取得到關(guān)鍵點，并計算各個關(guān)鍵點處的SIFT特征；未知圖片歸一化到同樣的大小并進行相同的操作，然后將未知標簽的圖片與數(shù)據(jù)庫中的一張圖片逐個計算每兩個特征點的特征向量的距離，距離小于一定閾值且方向滿足一定要求的則認為是匹配成功，并記錄這兩幅圖片匹配特征點的數(shù)目。 異很大，加上 SIFT 對局部特征描述能力很強所以最后的匹配點明顯減少，只需給出匹配線段的一些角度限制還可以抑制掉更多的誤匹配。在車型識別中，由于車輛的特征變化較大，例如，同意品牌的車輛的大小外化以及顏色都會有明顯差異，在使用原始SIFT算法進行車型識別的過程中受上述限制， 往往會導致結(jié)果的不準確。我們采用更加密集的抽樣方式，這樣雖然會增加系統(tǒng)的復雜度，但是相對于傳統(tǒng)SIFT算法的稀疏抽樣，它能夠更加準確地獲得樣本信息，是的車型識別的精度有大量提升。在最后的仿真部分，我們會展現(xiàn)原始算法和改進算法的結(jié)果。因此，深度學習可以利用與車型識別。最后，我們通過大量實驗證實了深度學習在車型識別中的有效性和可靠性 . 無監(jiān)督特征學習 無監(jiān)督特征學習[23]包括許多有效地算法，其中，最為常用的是k均值聚類算法。但是，這些特征無法有效地實現(xiàn)識別分類，尤其是當有突發(fā)情況的干擾時，基于k均值聚類快速提取低緯特征的精度非常低。在實際設(shè)計中，我們往往會用優(yōu)化來設(shè)計。同時，由于非零元素較小，我們不需要遍歷許多情況，所以k均值聚類算法收斂速度快。以 3232 的圖片為例，要在其每個 88 圖像塊（patch）上進行特征計算，則首先將用來訓練的 88 圖像塊，都拉成 64 維向量，然后聚類得到碼本 ，然后對圖像中以為中心的 8 8圖像塊拉伸成向量后根據(jù)公式 44 計算該點出的特征，對圖像塊來說就是在做卷積運算，最后整幅圖像被表示成 2525的特征，完成對圖片的無監(jiān)督特征提取?？紤]到圖像一般是平穩(wěn)的概率分布，因此可以用局部的統(tǒng)計特征去替代具體的特征。將 k均值聚類算法 編碼得到的圖像特征圖進行均值 Pooling 后就完成了無監(jiān)督特征學習，所得結(jié)果則是卷積神經(jīng)網(wǎng)絡的輸入。 //利用改造的k均值聚類算法 算法學習卷積核 P_whiten=ZCA_whiten(P)。下圖表示了它們的邏輯關(guān)系： 圖 44 神經(jīng)網(wǎng)絡層連接示意圖 我們可以看出，接上例均值池化輸出大小 55 的個特征圖，當前層要輸出個特征圖，則一共要優(yōu)化得到卷積核。??參數(shù)則控制邊緣最大化（margin maximization）和分類誤差最?。╡rror minimization）之間的折中。這相比傳統(tǒng)的多層卷積神經(jīng)網(wǎng)絡，大大簡化了訓練過程。 . 深度學習算法設(shè)計k均值聚類算法會受到輸入變量大小和訓練次數(shù)的影響，一般而言，較高的訓練次數(shù)和較低的變量大小會使得k均值聚類算法有較高的精度。我們主要從從ZAC白化和k均值聚類卷積這兩方面分析。無監(jiān)督的核心算法是利用 k均值聚類算法 我們通過訓練學習的卷積核，對學習圖像邊緣、角點等低層次特征?？梢?，k均值聚類算法 確實能夠有效地提取低層次圖像特征。識別正確率達到 95%以上的車型，有識別結(jié)果的樣本只是總樣本的一小部分。因此，雖然基于深度學習的模型訓練耗時，但在進行測試的時候卻占優(yōu)勢?；谏鲜龇抡娼Y(jié)果，我們的到了深度學習算法適用于車輛型號識別領(lǐng)域的結(jié)論。之后，介紹了在目標識別工作中基本算法,闡明了各種方法的特點和適用場景。同時，基于相同的實測數(shù)據(jù)我們適用改進SIFT特征匹配算法和深度學習算法進行車型識別。 affine invariant interest point detectors. International journal of puter vision, 2004. 60(1): p. 6386. [16]. Ke, Y. and R. Sukthankar. PCASIFT: A more distinctive representation for local image descriptors. 2004: IEEE. [17]. Bay, H., T. Tuytelaars and L. Van Gool, Surf: Speeded up robust features. 2006, Springer. p. 404417. [18]. Wang, X., et al. Contextual weighting for vocabulary tree based image retrieval. 2011: IEEE. [19]. Nister, D. and H. Stewenius. Scalable recognition with a vocabulary tree. 2006: IEEE. 2002. 31(1): 第2529頁. [20]. Coates, A., . Ng and H. Lee. An analysis of singlelayer networks in unsupervised feature learning. 2011. [21]. Boureau, Y., J. Ponce and Y. LeCun. A theoretical analysis of feature pooling in visual recognition. 2010. [22]. Coates, A., et al. Text detection and character recognition in scene images with unsupervised feature learning. 2011: IEEE. [23]. Coates, A., et al. Text detection and character recognition in scene images with unsupervised feature learning. 2011: IEEE. [24]. Wang, T., et al. Endtoend text recognition with convolutional neural networks. 2012: IEEE. [25].Coates, A. and . Ng, Learning feature representations with kmeans. 2012, Springer. p. 561580. .28?；谏鲜龇抡娼Y(jié)果，我們的到了深度學習算法適用于車輛型號識別領(lǐng)域的結(jié)論5. 致謝我感謝學校領(lǐng)導和老師對我的指導，我感謝同學對我的幫助。我們分析比較不同特征學習方法的特點選取k均值聚類算法作為本文使用的特征學習方法，利用卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)搭建深度學習模型。首先，介紹了車型識別的應用背景和深度學習的基本理論。而如果使用SIFT匹配算法，準確率一般為70%左右。另外從表中可以看出，訓練模型消耗時間很長，并且迭代次數(shù)越多時間越長，但是一旦模型訓練好之后，測試時間是很短的，測試 2158 張圖片總共耗費時間都在 25 秒左右，平均處理一張圖片 11~12ms。但是，通過對實驗結(jié)果進一步分析發(fā)現(xiàn)識別結(jié)果并不如數(shù)據(jù)所示這么好。每一個方形