【正文】 affine invariant interest point detectors. International journal of puter vision, 2004. 60(1): p. 6386. [16]. Ke, Y. and R. Sukthankar. PCASIFT: A more distinctive representation for local image descriptors. 2004: IEEE. [17]. Bay, H., T. Tuytelaars and L. Van Gool, Surf: Speeded up robust features. 2006, Springer. p. 404417. [18]. Wang, X., et al. Contextual weighting for vocabulary tree based image retrieval. 2011: IEEE. [19]. Nister, D. and H. Stewenius. Scalable recognition with a vocabulary tree. 2006: IEEE. 2002. 31(1): 第2529頁. [20]. Coates, A., . Ng and H. Lee. An analysis of singlelayer networks in unsupervised feature learning. 2011. [21]. Boureau, Y., J. Ponce and Y. LeCun. A theoretical analysis of feature pooling in visual recognition. 2010. [22]. Coates, A., et al. Text detection and character recognition in scene images with unsupervised feature learning. 2011: IEEE. [23]. Coates, A., et al. Text detection and character recognition in scene images with unsupervised feature learning. 2011: IEEE. [24]. Wang, T., et al. Endtoend text recognition with convolutional neural networks. 2012: IEEE. [25].Coates, A. and . Ng, Learning feature representations with kmeans. 2012, Springer. p. 561580. .28?；谏鲜龇抡娼Y(jié)果，我們的到了深度學(xué)習(xí)算法適用于車輛型號(hào)識(shí)別領(lǐng)域的結(jié)論5. 致謝我感謝學(xué)校領(lǐng)導(dǎo)和老師對(duì)我的指導(dǎo)，我感謝同學(xué)對(duì)我的幫助。同時(shí)，基于相同的實(shí)測(cè)數(shù)據(jù)我們適用改進(jìn)SIFT特征匹配算法和深度學(xué)習(xí)算法進(jìn)行車型識(shí)別。我們分析比較不同特征學(xué)習(xí)方法的特點(diǎn)選取k均值聚類算法作為本文使用的特征學(xué)習(xí)方法，利用卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搭建深度學(xué)習(xí)模型。之后，介紹了在目標(biāo)識(shí)別工作中基本算法,闡明了各種方法的特點(diǎn)和適用場(chǎng)景。首先，介紹了車型識(shí)別的應(yīng)用背景和深度學(xué)習(xí)的基本理論?；谏鲜龇抡娼Y(jié)果，我們的到了深度學(xué)習(xí)算法適用于車輛型號(hào)識(shí)別領(lǐng)域的結(jié)論。而如果使用SIFT匹配算法，準(zhǔn)確率一般為70%左右。因此，雖然基于深度學(xué)習(xí)的模型訓(xùn)練耗時(shí)，但在進(jìn)行測(cè)試的時(shí)候卻占優(yōu)勢(shì)。另外從表中可以看出，訓(xùn)練模型消耗時(shí)間很長(zhǎng)，并且迭代次數(shù)越多時(shí)間越長(zhǎng)，但是一旦模型訓(xùn)練好之后，測(cè)試時(shí)間是很短的，測(cè)試 2158 張圖片總共耗費(fèi)時(shí)間都在 25 秒左右，平均處理一張圖片 11~12ms。識(shí)別正確率達(dá)到 95%以上的車型，有識(shí)別結(jié)果的樣本只是總樣本的一小部分。但是，通過對(duì)實(shí)驗(yàn)結(jié)果進(jìn)一步分析發(fā)現(xiàn)識(shí)別結(jié)果并不如數(shù)據(jù)所示這么好?？梢姡琸均值聚類算法 確實(shí)能夠有效地提取低層次圖像特征。每一個(gè)方形小塊就是一個(gè) 八十八 的卷積模板，從圖像可以看出，這些模板都是各種各樣的邊緣及角點(diǎn)圖像塊，用這些卷積模板對(duì)圖像做卷積則可以在相應(yīng)的邊緣處得到較高的響應(yīng)。無監(jiān)督的核心算法是利用 k均值聚類算法 我們通過訓(xùn)練學(xué)習(xí)的卷積核，對(duì)學(xué)習(xí)圖像邊緣、角點(diǎn)等低層次特征。我么對(duì)特定圖片進(jìn)行進(jìn)行 ZAC 白化處理，然后比較白化和未白化的效果： s 從圖 46 可以看出，第一層卷積核提取的正是低層次的圖像邊緣信息，這與深度學(xué)習(xí)模型理論是一致的；左圖是經(jīng)過白化處理后學(xué)到的卷積核，可以看到卷積核之間都差異很大，說明卷積核相關(guān)性低；而右圖未經(jīng)過白化處理可以看到圖中圈出的卷積核有較高相似度，說明卷積核有較強(qiáng)的相關(guān)性。我們主要從從ZAC白化和k均值聚類卷積這兩方面分析。因而，實(shí)驗(yàn)步驟可以總結(jié)如下：1） 對(duì)歸一化圖片進(jìn)行ZCA 白化處理； 2） 第一層k均值聚類算法聚類得到88的卷積核，對(duì)圖像卷積獲得2555的特征圖； 3） 對(duì)各個(gè)特征圖進(jìn)行均值池化，處理后我們可以獲得大小改變的特征圖； 4） 使用 18048 個(gè) 22 大小的卷積核，得到 180 個(gè) 410 大小的特征圖； 5） 分別對(duì)每個(gè)特征圖進(jìn)行22 區(qū)域內(nèi)均值池化得到大小25的特征圖； 6） 所有特征圖拉成1800 維特征向量輸入到 SVM 分類器進(jìn)行分類。 . 深度學(xué)習(xí)算法設(shè)計(jì)k均值聚類算法會(huì)受到輸入變量大小和訓(xùn)練次數(shù)的影響，一般而言，較高的訓(xùn)練次數(shù)和較低的變量大小會(huì)使得k均值聚類算法有較高的精度。首先對(duì)訓(xùn)練圖片進(jìn)行 ZCA 白化處理[25]，然后利用 k均值聚類算法 進(jìn)行無監(jiān)督特征學(xué)習(xí)得到第一層的特征圖，在第一層特征圖上做均值 Pooling 得到第二層的特征圖，在第二層特征圖上再次做卷積，卷積核由基于 SVM 的有監(jiān)督學(xué)習(xí)算法完成。這相比傳統(tǒng)的多層卷積神經(jīng)網(wǎng)絡(luò)，大大簡(jiǎn)化了訓(xùn)練過程。重復(fù)上述的前向和后向傳遞過程，直到結(jié)果收斂。??參數(shù)則控制邊緣最大化（margin maximization）和分類誤差最小（error minimization）之間的折中。 得到圖像特征向量后，訓(xùn)練 1vsall 的 SVM 多類分類器，通過減小分類誤差，達(dá)到優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)的目的。下圖表示了它們的邏輯關(guān)系： 圖 44 神經(jīng)網(wǎng)絡(luò)層連接示意圖 我們可以看出，接上例均值池化輸出大小 55 的個(gè)特征圖，當(dāng)前層要輸出個(gè)特征圖，則一共要優(yōu)化得到卷積核。 //進(jìn)行均值Pooling 降維處理 End . 基于 SVM 卷積的網(wǎng)絡(luò)優(yōu)化算法為了優(yōu)化k均值聚類算法中，我們可以采用基于 SVM 卷積[24]的網(wǎng)絡(luò)優(yōu)化算法。 //利用改造的k均值聚類算法 算法學(xué)習(xí)卷積核 P_whiten=ZCA_whiten(P)。 //對(duì)訓(xùn)練圖像進(jìn)行白化 Patches = generation(Training_Set)。將 k均值聚類算法 編碼得到的圖像特征圖進(jìn)行均值 Pooling 后就完成了無監(jiān)督特征學(xué)習(xí)，所得結(jié)果則是卷積神經(jīng)網(wǎng)絡(luò)的輸入。因?yàn)閳D像的平穩(wěn)特性一個(gè)地方的統(tǒng)計(jì)特征很可能也能在其他區(qū)域適用?？紤]到圖像一般是平穩(wěn)的概率分布，因此可以用局部的統(tǒng)計(jì)特征去替代具體的特征。在使用k聚類均值算法均時(shí)，我們往往采用均值池化，圖 43 給出 55 均值 池化 的示意圖，左圖為 2525 的特征圖，可以不重疊的分割成 25 個(gè) 55 小塊，每一小塊內(nèi)求取均值代替該區(qū)域，就得到了如右圖所示的 55 特征圖，這樣特征維度就大大降低了，并且仍然能有很好的描述能力。以 3232 的圖片為例，要在其每個(gè) 88 圖像塊（patch）上進(jìn)行特征計(jì)算，則首先將用來訓(xùn)練的 88 圖像塊，都拉成 64 維向量，然后聚類得到碼本 ，然后對(duì)圖像中以為中心的 8 8圖像塊拉伸成向量后根據(jù)公式 44 計(jì)算該點(diǎn)出的特征，對(duì)圖像塊來說就是在做卷積運(yùn)算，最后整幅圖像被表示成 2525的特征，完成對(duì)圖片的無監(jiān)督特征提取。 當(dāng)這樣的迭代完成，得到訓(xùn)練好的碼本，即可利用碼本對(duì)新的數(shù)據(jù)進(jìn)行特征表示。同時(shí)，由于非零元素較小，我們不需要遍歷許多情況，所以k均值聚類算法收斂速度快。稀疏編碼最小化來強(qiáng)制稀疏性，而 k均值聚類算法要求碼元的非零元素為一。在實(shí)際設(shè)計(jì)中，我們往往會(huì)用優(yōu)化來設(shè)計(jì)。K均值聚類算法通過不斷更新聚類中心實(shí)現(xiàn)樣本分裂，這是矢量量化（vector quantization）方式。但是，這些特征無法有效地實(shí)現(xiàn)識(shí)別分類，尤其是當(dāng)有突發(fā)情況的干擾時(shí)，基于k均值聚類快速提取低緯特征的精度非常低。然而，在使用卷積網(wǎng)絡(luò)進(jìn)提取圖像特征是，當(dāng)卷積層數(shù)較高時(shí)，我們需要大規(guī)模的訓(xùn)練，進(jìn)而極大地增加了算法復(fù)雜度。最后，我們通過大量實(shí)驗(yàn)證實(shí)了深度學(xué)習(xí)在車型識(shí)別中的有效性和可靠性 . 無監(jiān)督特征學(xué)習(xí) 無監(jiān)督特征學(xué)習(xí)[23]包括許多有效地算法，其中，最為常用的是k均值聚類算法。之后，我們建立了車型識(shí)別的深度學(xué)習(xí)模型。因此，深度學(xué)習(xí)可以利用與車型識(shí)別。深度學(xué)習(xí)可以提取樣本特性，并給出分類。在最后的仿真部分，我們會(huì)展現(xiàn)原始算法和改進(jìn)算法的結(jié)果。具體而言，在本文中，我們使用廣為使用的樹狀結(jié)構(gòu)。我們采用更加密集的抽樣方式，這樣雖然會(huì)增加系統(tǒng)的復(fù)雜度，但是相對(duì)于傳統(tǒng)SIFT算法的稀疏抽樣，它能夠更加準(zhǔn)確地獲得樣本信息，是的車型識(shí)別的精度有大量提升。同時(shí)，在在原始SIFT算法中，我們使用特征抽樣的方式，當(dāng)采樣率低時(shí)，關(guān)鍵點(diǎn)間隔較大，無法準(zhǔn)確反映樣本特性。在車型識(shí)別中，由于車輛的特征變化較大，例如，同意品牌的車輛的大小外化以及顏色都會(huì)有明顯差異，在使用原始SIFT算法進(jìn)行車型識(shí)別的過程中受上述限制， 往往會(huì)導(dǎo)致結(jié)果的不準(zhǔn)確。當(dāng)樣本形態(tài)顏色等相關(guān)特性出現(xiàn)變化時(shí)，往往會(huì)導(dǎo)致檢測(cè)結(jié)果不穩(wěn)定。 異很大，加上 SIFT 對(duì)局部特征描述能力很強(qiáng)所以最后的匹配點(diǎn)明顯減少，只需給出匹配線段的一些角度限制還可以抑制掉更多的誤匹配。在SIFT算法中誤判主要來源于：首先，多對(duì)特征點(diǎn)集中在車標(biāo)和車牌這些區(qū)域，因此會(huì)得到很多匹配的特有些同品牌不同型號(hào)的車存在外觀上的相似。 然后將圖片與數(shù)據(jù)庫中所有的比對(duì)圖片進(jìn)行關(guān)鍵點(diǎn)匹配，具體做法：數(shù)據(jù)庫中已知標(biāo)簽的圖片歸一化到相同大小都提取得到關(guān)鍵點(diǎn)，并計(jì)算各個(gè)關(guān)鍵點(diǎn)處的SIFT特征；未知圖片歸一化到同樣的大小并進(jìn)行相同的操作，然后將未知標(biāo)簽的圖片與數(shù)據(jù)庫中的一張圖片逐個(gè)計(jì)算每?jī)蓚€(gè)特征點(diǎn)的特征向量的距離，距離小于一定閾值且方向滿足一定要求的則認(rèn)為是匹配成功，并記錄這兩幅圖片匹配特征點(diǎn)的數(shù)目。基于這些圖片進(jìn)行實(shí)驗(yàn)。由于SIFT 特征匹配算法適用于各種場(chǎng)合的車載識(shí)別，我們也對(duì) SIFT 特征匹配算法進(jìn)行了大量實(shí)驗(yàn)，說明基于 SIFT 特征匹配算法在車型識(shí)別中存在的問題。高速性，經(jīng)優(yōu)化的SIFT匹配算法甚至可以達(dá)到實(shí)時(shí)的要求；5.獨(dú)特性（Distinctiveness）好，信息量豐富，適用于在海量特征數(shù)據(jù)庫中進(jìn)行快速、準(zhǔn)確的匹配；3.具體而言，SIFT特征匹