【正文】 之后，我們以深度神經(jīng)網(wǎng)絡(luò)為理論依據(jù)，分析比較了深度神經(jīng)網(wǎng)絡(luò)不同的特征學(xué)習(xí)方法，并分析了如何使用卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練參數(shù)。 圖 47 k均值聚類算法 卷積結(jié)果可視化 4. 數(shù)值仿真和結(jié)果分析我們的仿真平臺如下所示：點(diǎn)擊再入圖像，選擇一幅圖像十字光標(biāo)截取即可識別出車型和年份或者點(diǎn)擊一步識別自動選取興趣區(qū)域，實(shí)現(xiàn)自動化的識別 . 基于SIFT特征匹配的車型識別仿真 采用SIFT特征匹配算法后，不同車型識別準(zhǔn)確率如下圖所示 型號 準(zhǔn)確率 型號 準(zhǔn)確率 奧迪 A4L % 寶馬 5 系、X6；本田 CRV、雅閣 奧德賽；別克君威；大眾寶來、輝騰、捷達(dá) 100% 奧迪 A6L % 奧迪 Q5 % 奧迪 Q7 % 寶馬 3 系 % 奔馳 B 級 % 奔馳 GLK % 奔馳 S 級 % 本田鋒范 % 本田飛度 96% 本田雅閣 1 % 本田思域 % 本田雅閣 4 % 本田雅閣 5 % 比亞迪 F3 % 比亞迪 G6 80% 別克君越 % 別克林蔭大道 % 大眾 polo % 本田雅閣 3 95% 有 9 個(gè)類都能夠達(dá)到 100%的正確率，也有其他不少類別能夠達(dá)到正確率 90%以上，說明 SIFT 特征匹配在進(jìn)行車型識別的工作中確實(shí)能取得較好的實(shí)驗(yàn)效果。 根據(jù)上述研究，我們構(gòu)建基于深度學(xué)習(xí)的車型識別模型。 圖 43 均值 Pooling 示意圖 我們分析了 k均值聚類算法進(jìn)行無監(jiān)督特征學(xué)習(xí)的原理，算法總結(jié)如下：算法41 k均值聚類算法 無監(jiān)督特征學(xué)習(xí) 輸入： 訓(xùn)練圖片集Training_Set，待提取特征圖片P 輸出： P 的特征圖Feature_maps Begin： Training_Set =ZCA_whiten(Training_Set)。 k均值聚類算法 可以視作為稀疏編碼的推廣，差別在于保證稀疏性的區(qū)別。 深度學(xué)習(xí)算法在車型識別中，我們需要根據(jù)已有圖像的相關(guān)特性，并根據(jù)特性進(jìn)行分裂。與數(shù)據(jù)庫中所有圖片都進(jìn)行上述的匹配過程，選取匹配特征點(diǎn)最多的圖片，將該圖片的標(biāo)簽作為未知圖片的標(biāo)簽，就得到了未知圖片的類別。基于這些特性，它們是高度顯著而且相對容易擷取，在母數(shù)龐大的特征數(shù)據(jù)庫中，很容易辨識物體而且鮮有誤認(rèn)。接下來，我們分別介紹了兩種車型識別算法： SIFT特征匹配識別算法和深度學(xué)習(xí)算法。 圖 211 卷積網(wǎng)絡(luò)特征提取[53] 上圖展示了使用神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取的流程圖。在討論深度學(xué)習(xí)的具體方法之前，首先要明確兩個(gè)概念：有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)。設(shè)訓(xùn)練樣本為：，表示樣本特征向量，表示樣本的標(biāo)簽取值為若存在超平面： (210) 則樣本線性可分，因此兩類的間距可以表示成，因此為了得到最優(yōu)判決平面就要對類間距進(jìn)行優(yōu)化，求解最優(yōu)判決平面的問題轉(zhuǎn)化為下面這個(gè)規(guī)劃問題： (211) 然后用拉格朗日法將上述問題轉(zhuǎn)化為對偶的二次規(guī)劃問題： (212) 優(yōu)化后求解得到： (213) 得到?jīng)Q策函數(shù)為： (214) 根據(jù)判決函數(shù)值的正負(fù)來確定樣本是正樣本還是負(fù)樣本。2. 目標(biāo)識別算法綜述 傳統(tǒng)的目標(biāo)識別主要是利用一種或多種特定的特征去表示圖片中目標(biāo)物體區(qū)域，然后利用分類器對所得的特征向量進(jìn)行分類，車輛型號的識別其實(shí)就是目標(biāo)識別的對象為車輛，方法流程基本一致。然后2010年，語音識別就產(chǎn)生了巨大突破。這些理論無一例外地屬于“上界的上界”的一個(gè)證明過程，而其本質(zhì)無外乎各種集中不等式（Concentration Inequality）和復(fù)雜性度量（Complexity Measurement）的變種，因此它對深度學(xué)習(xí)模型有相當(dāng)不切實(shí)際的估計(jì)。. 深度學(xué)習(xí)簡介深度學(xué)習(xí)[710]領(lǐng)域的學(xué)術(shù)研究可以包含四部分：優(yōu)化（Optimization），泛化（Generalization），表達(dá)（Representation）以及應(yīng)（Applications）。同時(shí)，基于相同的實(shí)測數(shù)據(jù)我們適用改進(jìn)SIFT特征匹配算法和深度學(xué)習(xí)算法進(jìn)行車型識別。之后，我們以深度神經(jīng)網(wǎng)絡(luò)為理論依據(jù)，分析比較了深度神經(jīng)網(wǎng)絡(luò)不同的特征學(xué)習(xí)方法，并分析了如何使用卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練參數(shù)。深度學(xué)習(xí)的實(shí)質(zhì)，就是通過構(gòu)建具有很多隱層的機(jī)器學(xué)習(xí)模型和海量的訓(xùn)練數(shù)據(jù)，來學(xué)習(xí)更有用的特征，從而最終提升分類或預(yù)測的準(zhǔn)確性。這一方面源于大數(shù)據(jù)時(shí)代樣本巨大的數(shù)量，另一方面近年出現(xiàn)了一些新的在實(shí)踐上比較有效的控制泛化誤差（Regularization）的方法，比如Dropout和DropConnect，以及非常有效的數(shù)據(jù)擴(kuò)增（Data Agumentation）技術(shù)。最后，我們介紹深度學(xué)習(xí)的應(yīng)用。第四章使用計(jì)算機(jī)進(jìn)行仿真。 支撐向量機(jī)（Support Vector Machine, SVM）使用線性劃分的方法。它由一個(gè)輸入層（input）、一個(gè)隱藏層（hidden）和一個(gè)輸出層（output）組成，每一層的節(jié)點(diǎn)激勵值都是由其前一層與之相連的節(jié)點(diǎn)計(jì)算得到的。神經(jīng)網(wǎng)絡(luò)算法應(yīng)用廣泛，首先我們介紹特征提取算法。3 車型識別算法 在現(xiàn)實(shí)生活中，車型識別有效提高車輛通行效率，增強(qiáng)車輛識別度，減少人工管理及刷卡停車場系統(tǒng)的管理難度，更減少系統(tǒng)誤判，具有高效、安全、便捷等特點(diǎn)。SIFT基于這些圖片進(jìn)行實(shí)驗(yàn)。具體而言，在本文中，我們使用廣為使用的樹狀結(jié)構(gòu)。K均值聚類算法通過不斷更新聚類中心實(shí)現(xiàn)樣本分裂，這是矢量量化（vector quantization）方式。因?yàn)閳D像的平穩(wěn)特性一個(gè)地方的統(tǒng)計(jì)特征很可能也能在其他區(qū)域適用。重復(fù)上述的前向和后向傳遞過程，直到結(jié)果收斂。每一個(gè)方形小塊就是一個(gè) 八十八 的卷積模板，從圖像可以看出，這些模板都是各種各樣的邊緣及角點(diǎn)圖像塊，用這些卷積模板對圖像做卷積則可以在相應(yīng)的邊緣處得到較高的響應(yīng)。首先，介紹了車型識別的應(yīng)用背景和深度學(xué)習(xí)的基本理論。同時(shí)，基于相同的實(shí)測數(shù)據(jù)我們適用改進(jìn)SIFT特征匹配算法和深度學(xué)習(xí)算法進(jìn)行車型識別。識別正確率達(dá)到 95%以上的車型，有識別結(jié)果的樣本只是總樣本的一小部分。 . 深度學(xué)習(xí)算法設(shè)計(jì)k均值聚類算法會受到輸入變量大小和訓(xùn)練次數(shù)的影響，一般而言，較高的訓(xùn)練次數(shù)和較低的變量大小會使得k均值聚類算法有較高的精度。 //利用改造的k均值聚類算法 算法學(xué)習(xí)卷積核 P_whiten=ZCA_whiten(P)。同時(shí)，由于非零元素較小，我們不需要遍歷許多情況，所以k均值聚類算法收斂速度快。因此，深度學(xué)習(xí)可以利用與車型識別。 異很大，加上 SIFT 對局部特征描述能力很強(qiáng)所以最后的匹配點(diǎn)明顯減少，只需給出匹配線段的一些角度限制還可以抑制掉更多的誤匹配。在現(xiàn)今的電腦硬件速度下和小型的特征數(shù)據(jù)庫條件下，辨識速度可接近即時(shí)運(yùn)算。對于深度學(xué)習(xí)算法，我們分別介紹了無監(jiān)督特征學(xué)習(xí)和利用 SVM 分類器進(jìn)行卷積網(wǎng)絡(luò)優(yōu)化的背景知識，之后對車型識別進(jìn)行建模，我們的模型可以有效地利用深度學(xué)習(xí)反應(yīng)車載識別的特性。同樣進(jìn)行下采樣將每幅特征圖變?yōu)榇笮?55，即為 S4 的輸出。常見的有監(jiān)督學(xué)習(xí)形式有：回歸和分類。 另一種方法：引入松弛變量解決線性不可分問題，將線性約束變?yōu)椋? (216) 當(dāng)樣本分錯(cuò)的時(shí)候大于 0，分正確怎為 0；優(yōu)化的目標(biāo)函數(shù)變?yōu)椋? (217) 為懲罰因子，取值越大表明樣本越重要，因此，該樣本被分錯(cuò)會得到更大的懲罰。SIFT 特征的設(shè)計(jì)及描述方法，并對最常用的機(jī)器學(xué)習(xí)分類器做簡單的闡述。在此之后，在深度學(xué)習(xí)框架下，人們還在不斷利用更好的模型和更多的訓(xùn)練數(shù)據(jù)進(jìn)一步改進(jìn)結(jié)果。表達(dá)主要指的是深度學(xué)習(xí)模型和它要解決的問題之間的關(guān)系，比如給出一個(gè)設(shè)計(jì)好的深度學(xué)習(xí)模型，它適合表達(dá)什么樣的問題，以及給定一個(gè)問題是否存在一個(gè)可以進(jìn)行表達(dá)的深度學(xué)習(xí)模型。深度學(xué)習(xí)的問題最后似乎總能變成優(yōu)化問題，這個(gè)時(shí)候數(shù)值優(yōu)化的方法就變得尤其重要。 關(guān)鍵詞： k 均值聚類，深度學(xué)習(xí)，卷積神經(jīng)網(wǎng)絡(luò)，尺度不變特征變換, 支撐向量機(jī) Abstract With the development of intelligent transportation, the recognition of vehicle model is paid more and more attention. It can provide many ergodic for vehicle use and supervision of individual, enterprise and government. Therefore, how to design efficient algorithms to identify and classify vehicle models has attracted wide attention from both academia and industry. This paper mainly discusses how to use depth learning method to identify and classify vehicle models. First of all, the application background and the basic theory of depth learning are introduced. After that, in order to identify objects, we introduce the mon algorithms, analyze and pare the mon algorithms for image feature extraction, and summarize their performance, accuracy, and the correlation between them. After that, the basic algorithms in target recognition are introduced, and the characteristics and application scenarios of various methods are clarified. Then, we analyze and pare the different feature learning methods of depth neural networks based on the depth neural network, and analyze how to train parameters using th