【正文】 Newton）以及自動步長等各種技巧。之后我們介紹泛化過程。從實踐方面來說，之前許多人擔心的深度神經網(wǎng)絡泛化能力較差的問題，在現(xiàn)實使用中并沒有表現(xiàn)得很明顯。這些理論無一例外地屬于“上界的上界”的一個證明過程，而其本質無外乎各種集中不等式（Concentration Inequality）和復雜性度量（Complexity Measurement）的變種，因此它對深度學習模型有相當不切實際的估計。這方面的實踐主要是兩個主流，一方面那些篤信無監(jiān)督學習（Unsupervised Learning）可行性的研究者們一直在尋找更好的無監(jiān)督學習目標及其評價方法，以使得機器能夠自主進行表達學習變得可能。絕大多數(shù)的深度學習研究者都集中在這方面，而這些也恰恰能夠帶來最大的學術影響力。s Demon）一樣，如果存在它便無所不知，也因此它的存在會產生矛盾，使得這一理論實際上只能無限逼近。然后2010年，語音識別就產生了巨大突破?，F(xiàn)在語音識別已經真正變得比較成熟，并且被廣泛商用，且目前所有的商用語音識別算法沒有一個不是基于深度學習的。 第三章介紹了車型識別算法。之后我們介紹了深度學習算法的理論，并給出基于深度算法的車型識別模型，并設計了算法流程。2. 目標識別算法綜述 傳統(tǒng)的目標識別主要是利用一種或多種特定的特征去表示圖片中目標物體區(qū)域，然后利用分類器對所得的特征向量進行分類，車輛型號的識別其實就是目標識別的對象為車輛，方法流程基本一致。 機器學習的核心問題就是讓計算機模擬人類大腦工作，為此科學家們構建出人工神經網(wǎng)絡模型，算法在提供初始條件后自主從數(shù)據(jù)學習新知識，不斷增強自身的學習和理解能力。K 近鄰（K nearest neighbor，KNN）作為數(shù)據(jù)挖掘的十大經典算法之一也在圖像分類中用的很多，大多數(shù)基于特征匹配的分類算法都需要用到 KNN 或者他的變形。為了優(yōu)化計算也出現(xiàn)了 Kdtree、VOCtree[40, 41]等優(yōu)化算法。設訓練樣本為：，表示樣本特征向量，表示樣本的標簽取值為若存在超平面： (210) 則樣本線性可分，因此兩類的間距可以表示成，因此為了得到最優(yōu)判決平面就要對類間距進行優(yōu)化，求解最優(yōu)判決平面的問題轉化為下面這個規(guī)劃問題： (211) 然后用拉格朗日法將上述問題轉化為對偶的二次規(guī)劃問題： (212) 優(yōu)化后求解得到： (213) 得到決策函數(shù)為： (214) 根據(jù)判決函數(shù)值的正負來確定樣本是正樣本還是負樣本。 此時優(yōu)化約束也發(fā)生改變，變?yōu)椋? (218) 上面討論可以看到 SVM 是針對二類問題設計的，但是現(xiàn)實中分類往往是多類問題，利用 SVM 解決多類問題一般有兩種方法[43, 44]。 神經網(wǎng)絡算法神經網(wǎng)絡（Artificial Neural Network ANN）[1820] 是受動物中樞神經系統(tǒng)的啟發(fā)所設計的一種具有機器學習和模式識別功能的數(shù)學模型。 將神經元以一定的方式連接組合就得到了人工神經網(wǎng)絡，圖 26 所示的是最為普遍的前饋神經網(wǎng)絡模型。在討論深度學習的具體方法之前，首先要明確兩個概念：有監(jiān)督學習和無監(jiān)督學習?；貧w就是要對數(shù)據(jù)及其標簽進行擬合，找到使得下面的函數(shù)值最小的函數(shù)曲線。生成型結構用于分類問題的時候，可以在后面使用區(qū)分型的結構進行參數(shù)優(yōu)化。因此，最后通過網(wǎng)絡學到的數(shù)據(jù)特征具有平移、旋轉、縮放不變。 圖 211 卷積網(wǎng)絡特征提取[53] 上圖展示了使用神經網(wǎng)絡進行特征提取的流程圖。然后，最后一層 C5 也是卷積層，其每一幅圖跟上一層所有圖都連接，得到個特征圖大小為 11 的 120 個特征圖，拉成一維向量就是學習得到的圖片特征。在傳統(tǒng)的全連接網(wǎng)絡中，通過優(yōu)化得到網(wǎng)絡中的各個連接的權重，假設當前為第?層，則當前層的輸出為： ? ?,其中? ??? (221) 為輸出激活函數(shù)可以根據(jù)具體應用選擇不同的函數(shù)，使得滿足一定的統(tǒng)計特性能夠加速訓練過程的收斂；?是對與當前節(jié)點連接的所有前一層節(jié)點輸出的加權求，具體參見前面對神經元的闡述。 (224) (225) 根據(jù)上面的表達式，我們可以設計出有效的神經網(wǎng)絡訓練算法。接下來，我們分別介紹了兩種車型識別算法： SIFT特征匹配識別算法和深度學習算法。最后，我們也對深度學習算法進行了性能分析。feature其應用范圍包含物體辨識、機器人地圖感知與導航、影像縫合、3D模型建立、手勢辨識、影像追蹤和動作比對?；谶@些特性，它們是高度顯著而且相對容易擷取，在母數(shù)龐大的特征數(shù)據(jù)庫中，很容易辨識物體而且鮮有誤認。SIFT特征的信息量大，適合在海量數(shù)據(jù)庫中快速準確匹配。多量性，即使少數(shù)的幾個物體也可以產生大量的SIFT特征向量；4. 本實驗從城市交通車輛監(jiān)控視頻中截取出大量的車輛圖片，然后利用 OpenCV 中現(xiàn)有的檢測算法配合人工標注的方式得到個常見品牌車頭圖片，約有10000張圖片。與數(shù)據(jù)庫中所有圖片都進行上述的匹配過程，選取匹配特征點最多的圖片，將該圖片的標簽作為未知圖片的標簽，就得到了未知圖片的類別。 . 算法改進 SIFT算法會具有不穩(wěn)定的特性。在原始SIFT算法中，特征向量的旋轉角往往非常不準確，因此，我們需要修正相關參數(shù)。同時，為了增加算法的效率，我們使用特殊的數(shù)據(jù)結構加速SIFT算法中的匹配過程。 深度學習算法在車型識別中，我們需要根據(jù)已有圖像的相關特性，并根據(jù)特性進行分裂。在接下來的章節(jié)中，我們主要介紹了無監(jiān)督特征學習和基于SVM 分類器卷積的網(wǎng)絡優(yōu)化，這是使用深度學習實現(xiàn)特征識別的基礎。在k均值聚類算法使用自適應稀疏編碼和限制性玻爾茲曼機對圖像進行特征提取。所以，之后我們需要采用參數(shù)優(yōu)化的方法，從這些低緯參數(shù)中提取高緯參數(shù)，保證識別的可靠性。 k均值聚類算法 可以視作為稀疏編碼的推廣，差別在于保證稀疏性的區(qū)別。在k均值聚類算法中，我們可以構建以下優(yōu)化問題： (41) 不難看出，上述問題為凸優(yōu)化問題，因而，我們可以得到最優(yōu)化單一碼本的形式為： (42) 之后，我們可以使用迭代的方法求出所有碼本。 由上述的分析可見碼本的好壞會直接影響提取的特征好壞，下面討論數(shù)據(jù)的預處。均值 Pooling 用一個塊狀區(qū)域的均值去替代這個區(qū)域，不僅維度得到了降低，也能達到平移不變的效果。 圖 43 均值 Pooling 示意圖 我們分析了 k均值聚類算法進行無監(jiān)督特征學習的原理，算法總結如下：算法41 k均值聚類算法 無監(jiān)督特征學習 輸入： 訓練圖片集Training_Set，待提取特征圖片P 輸出： P 的特征圖Feature_maps Begin： Training_Set =ZCA_whiten(Training_Set)。 //對原始圖像進行白化 For 1 to number of K_kernels Feature_maps = convolution(P_whiten, K_kernels) //將白化后的圖片與每個卷積核進行卷積 End Feature_maps =average_pooling(Feature_maps)。特征圖進過第二次卷積（使用 22 卷積模板）之后得到一組個大小 4 4 的特征圖，但直接拉成一維向量作為圖像特征維度過高，所以和無監(jiān)督特征學習一樣，在最后進行均值池化操作，降到適合的維度再拉成向量作為圖像特征。 神經網(wǎng)絡在第一次前向傳播的時候，首先隨機初始化卷積核，利用初始化的卷積核計算后圖片特征，計算 SVM 的分類誤差，由于每一層的計算都是可導的，根據(jù)鏈式法則可以逐層求出，誤差對每個網(wǎng)絡參數(shù)的偏導，根據(jù)梯度下降算法，通過調整系統(tǒng)參數(shù)，使誤差逐漸減小。 根據(jù)上述研究，我們構建基于深度學習的車型識別模型。由于本實驗的實驗樣本為5381張圖片，數(shù)目較少，因此為了減少所需要確定的參數(shù)數(shù)目保證實驗效果，我們需要歸一化圖片大小。首先，我們分析ZAC 白化對特征學習的影響。圖 47 左側給出車頭原始圖片以及 k均值聚類算法 方法學習得到的所有卷積模板。 圖 47 k均值聚類算法 卷積結果可視化 4. 數(shù)值仿真和結果分析我們的仿真平臺如下所示：點擊再入圖像，選擇一幅圖像十字光標截取即可識別出車型和年份或者點擊一步識別自動選取興趣區(qū)域，實現(xiàn)自動化的識別 . 基于SIFT特征匹配的車型識別仿真 采用SIFT特征匹配算法后，不同車型識別準確率如下圖所示 型號 準確率 型號 準確率 奧迪 A4L % 寶馬 5 系、X6；本田 CRV、雅閣 奧德賽；別克君威；大眾寶來、輝騰、捷達 100% 奧迪 A6L % 奧迪 Q5 % 奧迪 Q7 % 寶馬 3 系 % 奔馳 B 級 % 奔馳 GLK % 奔馳 S 級 % 本田鋒范 % 本田飛度 96% 本田雅閣 1 % 本田思域 % 本田雅閣 4 % 本田雅閣 5 % 比亞迪 F3 % 比亞迪 G6 80% 別克君越 % 別克林蔭大道 % 大眾 polo % 本田雅閣 3 95% 有 9 個類都能夠達到 100%的正確率，也有其他不少類別能夠達到正確率 90%以上，說明 SIFT 特征匹配在進行車型識別的工作中確實能取得較好的實驗效果。 . 基于深度學習的車型識別仿真車輛型號 識別正確率 訓練樣本數(shù) 奔馳 B 級 50% 4 大眾寶來 50% 2 大眾輝騰 20% 5 寶馬 3 系 % 361 本田 CRV % 266 上表給出不同的迭代優(yōu)化次數(shù)得到的實驗結果，可以看出當?shù)螖?shù)從 200 次增加到 300 次的時候，在訓練集上的分類精度提升的同時，在測試集合上的分類精度也有提高；但是當繼續(xù)增加迭代次數(shù)到 400 次的時候，雖然訓練精度繼續(xù)升高，但是測試精度發(fā)生下降，這說明過多的迭代次數(shù)，會帶來模型在訓練集上發(fā)生過擬合，反而降低了在其他數(shù)據(jù)上的分類效果。. 結果分析以及算法對比實驗結果表明，我們可以控制訓練樣本，使得深度學習算法的準確率高達90%。5. 結束語本文主要如何利用深度學習的方法進行車輛型號的識別和分類。之后，我們以深度神經網(wǎng)絡為理論依據(jù)，分析比較了深度神經網(wǎng)絡不同的特征學習方法，并分析了如何使用卷積神經網(wǎng)絡訓練參數(shù)。實驗結果表明，深度學習算法的準確率高達90%，相對于SIFT匹配算法，深度學習算法的車型識別的準確率大