【正文】 . 基于 SVM 卷積的網(wǎng)絡優(yōu)化算法為了優(yōu)化k均值聚類算法中，我們可以采用基于 SVM 卷積[24]的網(wǎng)絡優(yōu)化算法。因為圖像的平穩(wěn)特性一個地方的統(tǒng)計特征很可能也能在其他區(qū)域適用。 當這樣的迭代完成，得到訓練好的碼本，即可利用碼本對新的數(shù)據(jù)進行特征表示。K均值聚類算法通過不斷更新聚類中心實現(xiàn)樣本分裂，這是矢量量化（vector quantization）方式。之后，我們建立了車型識別的深度學習模型。具體而言，在本文中，我們使用廣為使用的樹狀結構。當樣本形態(tài)顏色等相關特性出現(xiàn)變化時，往往會導致檢測結果不穩(wěn)定?；谶@些圖片進行實驗。具體而言，SIFT特征匹配算法有如下特點：1.SIFT在接下來的章節(jié)中，我們詳細介紹 SIFT特征匹配識別算法和深度學習算法在車載識別中的應用。3 車型識別算法 在現(xiàn)實生活中，車型識別有效提高車輛通行效率，增強車輛識別度，減少人工管理及刷卡停車場系統(tǒng)的管理難度，更減少系統(tǒng)誤判，具有高效、安全、便捷等特點。 接下來我們介紹卷積神經(jīng)網(wǎng)絡訓練過程卷積神經(jīng)網(wǎng)絡的訓練過程就是要對網(wǎng)絡的各個參數(shù)進行優(yōu)化，這個過程包括前向傳遞和后向傳播。神經(jīng)網(wǎng)絡算法應用廣泛，首先我們介紹特征提取算法。 卷積神經(jīng)網(wǎng)絡算法深度學習有多種學習結構，主要分為三類：第一種是生成型的深度結構，其代表有深度置信網(wǎng)絡（DBN）[21]：它由一系列限制型玻爾茲曼機組成，主要能解決多層神經(jīng)網(wǎng)絡在學習的過程中：標簽數(shù)據(jù)需求量大、收斂速度慢和陷入局部極值等問題。它由一個輸入層（input）、一個隱藏層（hidden）和一個輸出層（output）組成，每一層的節(jié)點激勵值都是由其前一層與之相連的節(jié)點計算得到的。第一種是針對多類問題中的每兩個類都訓練一個二類分類器，這樣若是一個 k 類問題則需要訓練個分類器，雖然這種方法簡單易擴展，但類別很多的時候會需要大量分類器，會有不可分的區(qū)域；另一種方法是針對每一個類跟剩下所有其他類間訓練二類分類器，則 k 類問題則需要訓練 k 個分類器，這種方法需要的分類器少，但對每個類的訓練過程復雜類別改變的時候不易擴展，也同樣存在不能區(qū)分的區(qū)域。 支撐向量機（Support Vector Machine, SVM）使用線性劃分的方法。深度學習的提出給神經(jīng)網(wǎng)絡的學習能力帶來了飛躍。第四章使用計算機進行仿真。. 本文主要工作及篇章結構本文研究內容主要包括，1）介紹車輛型號識別現(xiàn)狀和深度學習理論，提出改進方法；2）研究將深度神經(jīng)網(wǎng)絡引入目標識別和分類問題中的具體方法；3）研究了卷積神經(jīng)網(wǎng)絡的構建方法和訓練方法；4）提出針對車型識別的卷積神經(jīng)網(wǎng)絡模型，并通過實驗證實該模型在車輛型號分類上的效果；5）與改進的SIFT特征匹配分類方法進行對比本文分為四個章節(jié)： 第一章主要介紹了車輛檢測和識別的應用背景和目前該領域存在的主要問題和挑戰(zhàn)，闡述了研究車輛型號識別的目的和意義，并對當前現(xiàn)有的智能交通系統(tǒng)做了介紹，比較各種車型分類識別的方法，介紹深度學習在特征提取和文字識別上的發(fā)展狀況，提出車輛分類算法新思路。最后，我們介紹深度學習的應用。這實際上包括了受限波爾茲曼模型（Restricted Boltzmann Machine），稀疏編碼（Sparse Coding）和自編碼器（Autoencoder）等。這一方面源于大數(shù)據(jù)時代樣本巨大的數(shù)量，另一方面近年出現(xiàn)了一些新的在實踐上比較有效的控制泛化誤差（Regularization）的方法，比如Dropout和DropConnect，以及非常有效的數(shù)據(jù)擴增（Data Agumentation）技術。此外，深度學習模型優(yōu)化過程的并行化也是一個非常熱的點，近年在分布式系統(tǒng)的會議上相關論文也逐漸增多。深度學習的實質，就是通過構建具有很多隱層的機器學習模型和海量的訓練數(shù)據(jù)，來學習更有用的特征，從而最終提升分類或預測的準確性。目前國內的車牌識別技術已經(jīng)日益成熟，隨著智能交通技術應用的不斷加深，工業(yè)界迫切希望提取更多元的車輛信息，除車牌號碼外，還需要車輛的廠牌、型號以及顏色等信息特征。之后，我們以深度神經(jīng)網(wǎng)絡為理論依據(jù)，分析比較了深度神經(jīng)網(wǎng)絡不同的特征學習方法，并分析了如何使用卷積神經(jīng)網(wǎng)絡訓練參數(shù)。因而，如何設計高效算法，對車輛型號進行識別和分類，受到了學術界和工業(yè)界的廣泛關注。同時，基于相同的實測數(shù)據(jù)我們適用改進SIFT特征匹配算法和深度學習算法進行車型識別。為了得到較高的識別率，要求每一個處理步驟要有很高的準確率，而實際背景復雜，四季、晝夜、晴雨等不同情況的光照以及車輛運動速度的快慢等直接影響車輛圖像的成像環(huán)節(jié)，造成車輛圖像顏色失真、車身及車標區(qū)域灰度不均勻、邊緣模糊、粘連等問題，增加了處理難度；反光、逆光、夜晚光照不足、樹蔭、車身顏色顯著區(qū)域分布位置不同等情況又增加車身顏色識別難度；再加上車輛類別繁多以及車身本身的污損、遮擋、模糊，也為進一步提高識別率帶來諸多困難。. 深度學習簡介深度學習[710]領域的學術研究可以包含四部分：優(yōu)化（Optimization），泛化（Generalization），表達（Representation）以及應（Applications）。之后我們介紹泛化過程。這些理論無一例外地屬于“上界的上界”的一個證明過程，而其本質無外乎各種集中不等式（Concentration Inequality）和復雜性度量（Complexity Measurement）的變種，因此它對深度學習模型有相當不切實際的估計。絕大多數(shù)的深度學習研究者都集中在這方面，而這些也恰恰能夠帶來最大的學術影響力。然后2010年，語音識別就產(chǎn)生了巨大突破。 第三章介紹了車型識別算法。2. 目標識別算法綜述 傳統(tǒng)的目標識別主要是利用一種或多種特定的特征去表示圖片中目標物體區(qū)域，然后利用分類器對所得的特征向量進行分類，車輛型號的識別其實就是目標識別的對象為車輛，方法流程基本一致。K 近鄰（K nearest neighbor，KNN）作為數(shù)據(jù)挖掘的十大經(jīng)典算法之一也在圖像分類中用的很多，大多數(shù)基于特征匹配的分類算法都需要用到 KNN 或者他的變形。設訓練樣本為：，表示樣本特征向量，表示樣本的標簽取值為若存在超平面： (210) 則樣本線性可分，因此兩類的間距可以表示成，因此為了得到最優(yōu)判決平面就要對類間距進行優(yōu)化，求解最優(yōu)判決平面的問題轉化為下面這個規(guī)劃問題： (211) 然后用拉格朗日法將上述問題轉化為對偶的二次規(guī)劃問題： (212) 優(yōu)化后求解得到： (213) 得到?jīng)Q策函數(shù)為： (214) 根據(jù)判決函數(shù)值的正負來確定樣本是正樣本還是負樣本。 神經(jīng)網(wǎng)絡算法神經(jīng)網(wǎng)絡（Artificial Neural Network ANN）[1820] 是受動物中樞神經(jīng)系統(tǒng)的啟發(fā)所設計的一種具有機器學習和模式識別功能的數(shù)學模型。在討論深度學習的具體方法之前，首先要明確兩個概念：有監(jiān)督學習和無監(jiān)督學習。生成型結構用于分類問題的時候，可以在后面使用區(qū)分型的結構進行參數(shù)優(yōu)化。 圖 211 卷積網(wǎng)絡特征提取[53] 上圖展示了使用神經(jīng)網(wǎng)絡進行特征提取的流程圖。在傳統(tǒng)的全連接網(wǎng)絡中，通過優(yōu)化得到網(wǎng)絡中的各個連接的權重，假設當前為第?層，則當前層的輸出為： ? ?,其中? ??? (221) 為輸出激活函數(shù)可以根據(jù)具體應用選擇不同的函數(shù)，使得滿足一定的統(tǒng)計特性能夠加速訓練過程的收斂；?是對與當前節(jié)點連接的所有前一層節(jié)點輸出的加權求，具體參見前面對神經(jīng)元的闡述。接下來，我們分別介紹了兩種車型識別算法： SIFT特征匹配識別算法和深度學習算法。feature基于這些特性，它們是高度顯著而且相對容易擷取，在母數(shù)龐大的特征數(shù)據(jù)庫中，很容易辨識物體而且鮮有誤認。多量性，即使少數(shù)的幾個物體也可以產(chǎn)生大量的SIFT特征向量；4.與數(shù)據(jù)庫中所有圖片都進行上述的匹配過程，選取匹配特征點最多的圖片，將該圖片的標簽作為未知圖片的標簽，就得到了未知圖片的類別。在原始SIFT算法中，特征向量的旋轉角往往非常不準確，因此，我們需要修正相關參數(shù)。 深度學習算法在車型識別中，我們需要根據(jù)已有圖像的相關特性，并根據(jù)特性進行分裂。在k均值聚類算法使用自適應稀疏編碼和限制性玻爾茲曼機對圖像進行特征提取。 k均值聚類算法 可以視作為稀疏編碼的推廣，差別在于保證稀疏性的區(qū)別。 由上述的分析可見碼本的好壞會直接影響提取的特征好壞，下面討論數(shù)據(jù)的預處。 圖 43 均值 Pooling 示意圖 我們分析了 k均值聚類算法進行無監(jiān)督特征學習的原理，算法總結如下：算法41 k均值聚類算法 無監(jiān)督特征學習 輸入： 訓練圖片集Training_Set，待提取特征圖片P 輸出： P 的特征圖Feature_maps Begin： Training_Set =ZCA_whiten(Training_Set)。特征圖進過第二次卷積（使用 22 卷積模板）之后得到一組個大小 4 4 的特征圖，但直接拉成一維向量作為圖像特征維度過高，所以和無監(jiān)督特征學習一樣，在最后進行均值池化操作，降到適合的維度再拉成向量作為圖像特征。 根據(jù)上述研究，我們構建基于深度學習的車型識別模型。首先，我們分析ZAC 白化對特征學習的影響。 圖 47 k均值聚類算法 卷積結果可視化 4. 數(shù)值仿真和結果分析我們的仿真平臺如下所示：點擊再入圖像，選擇一幅圖像十字光標截取即可識別出車型和年份或者點擊一步識別自動選取興趣區(qū)域，實現(xiàn)自動化的識別 . 基于SIFT特征匹配的車型識別仿真 采用SIFT特征匹配算法后，不同車型識別準確率如下圖所示 型號 準確率 型號 準確率 奧迪 A4L % 寶馬 5 系、X6；本田 CRV、雅閣 奧德賽；別克君威；大眾寶來、輝騰、捷達 100% 奧迪 A6L % 奧迪 Q5 % 奧迪 Q7 % 寶馬 3 系 % 奔馳 B 級 % 奔馳 GLK % 奔馳 S 級 % 本田鋒范 % 本田飛度 96% 本田雅閣 1 % 本田思域 % 本田雅閣 4 % 本田雅閣 5 % 比亞迪 F3 % 比亞迪 G6 80% 別克君越 % 別克林蔭大道 % 大眾 polo % 本田雅閣 3 95% 有 9 個類都能夠達到 100%的正確率，也有其他不少類別能夠達到正確率 90%以上，說明 SIFT 特征匹配在進行車型識別的工作中確實能取得較好的實驗效果。. 結果分析以及算法對比實驗結果表明，我們可以控制訓練樣本，使得深度學習算法的準確率高達90%。之后，我們以深度神經(jīng)網(wǎng)絡為理論依據(jù)，分析比較了深度神經(jīng)網(wǎng)絡不同的特征學習方法，并分析了如何使用卷積神經(jīng)網(wǎng)絡訓