【導(dǎo)讀】據(jù)我所知，除了文中特別加以標(biāo)志和致謝的地方外，論文中不包含其。他人已經(jīng)發(fā)表或撰寫過的研究成果，也不包含為獲得惠州或其他教育機(jī)構(gòu)的學(xué)位或證書而使用過的材料。的同志對(duì)本研究所做的任何貢獻(xiàn)均已在論文中作了明確的說明并表示謝意。國(guó)家有關(guān)部門或機(jī)構(gòu)送交論文的復(fù)印件和磁盤，允許論文被查閱或借閱。描等復(fù)制手段保存、匯編學(xué)位論文。神經(jīng)網(wǎng)絡(luò)能快速有效地識(shí)別汽車車型。

　　

【正文】 神經(jīng)元狀態(tài)固定下連接權(quán)值隨時(shí)間變化的行為為權(quán)值動(dòng)力學(xué)，如 （ 2）式 所示 （ 2） 動(dòng)力學(xué)方程（ 1） 和（ 2）分別表示了神經(jīng)網(wǎng)絡(luò)的記憶和學(xué)習(xí)過程，它們都是人工神經(jīng)網(wǎng)絡(luò)具有智能性的關(guān)鍵功能。為了能較真實(shí)地反映生物神經(jīng)系統(tǒng)的動(dòng)力學(xué)行為，聯(lián)立方程（ 1）和（ 2）就構(gòu)成一 個(gè)高度復(fù)雜的神經(jīng)動(dòng)力學(xué)耦合系統(tǒng)，對(duì)于這個(gè)系統(tǒng)的任何解析解都是不可能的。方程（ 1）和（ 2）可以參照它們?nèi)缦碌碾x散形式采用計(jì)算機(jī)模擬求解： （ 3） （ 4） 這里時(shí)間步長(zhǎng)取為 ， 第一個(gè)過程是記憶過程即快過程（用 t 表示），第二個(gè)過程是學(xué)習(xí)過程即慢過程（用 k 表示）。對(duì)迭代得到的權(quán)值，令其在式（ 3）中保持不變一直到過程（ 4）收斂于平穩(wěn)態(tài)后，再迭代式（ 4）得 ，然后再返回式（ 3）重 復(fù)迭代。式（ 3）和（ 4）有時(shí)也可看成離散型神經(jīng)網(wǎng)絡(luò)。 學(xué) 習(xí)是神經(jīng)網(wǎng)絡(luò)最重要的一個(gè)能力，學(xué)習(xí)算法（ 4）式是神經(jīng)網(wǎng)絡(luò)的核心問題之一。通常它也是一個(gè)強(qiáng)非線性系統(tǒng)，學(xué)習(xí)功能反映在神經(jīng)網(wǎng)絡(luò)模型中，就是突觸連接權(quán)值 可以按學(xué)習(xí)規(guī)則隨時(shí)間改變。正是這種權(quán)值的可塑性，使得神經(jīng)網(wǎng)絡(luò)可適應(yīng)不同信息處理需要。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則有有導(dǎo)師學(xué)習(xí)和無導(dǎo)師學(xué)習(xí)兩大類，概括如下。 （ 1）糾錯(cuò)規(guī)則 它從方法上等效于梯度下降法，通過在局部最大改善的方向上一小步、一小基于神經(jīng)網(wǎng)絡(luò)的車型識(shí)別算法研究及實(shí)現(xiàn) 27 步地進(jìn)行修正，力圖達(dá)到表示函數(shù)功能問題的全局解。對(duì) BP 算法，當(dāng) i 為隱結(jié)點(diǎn)時(shí)，有 （ 5） 這里 是結(jié)點(diǎn) i 到上一層結(jié)點(diǎn) k 的權(quán)值； 為傳遞函數(shù)。將某一隱結(jié)點(diǎn)饋入上一層結(jié)點(diǎn)的誤差的比例總和（加權(quán)和）作為該隱結(jié)點(diǎn)的誤差，通過可觀察的輸出結(jié)點(diǎn)誤差，下一層隱結(jié)點(diǎn)的誤差就能遞歸得到。 （ 2） Boltzman 機(jī)學(xué)習(xí)規(guī)則 它是基于模擬退火的統(tǒng)計(jì)方法，適用于多層網(wǎng)絡(luò)。它提供了學(xué)習(xí)隱結(jié)點(diǎn)的一個(gè)有效方法，能學(xué)習(xí)復(fù)雜的非線性可分函數(shù)。該規(guī)則對(duì)神經(jīng)元 i， j 間的連接權(quán)值的調(diào)整按下式進(jìn)行： （ 6） 式中：η為學(xué)習(xí)率； ， 分別為 i、 j 兩個(gè)神經(jīng)元在系統(tǒng)中處于某 狀態(tài)和自由運(yùn)轉(zhuǎn)狀態(tài)時(shí)實(shí)現(xiàn)連接的概率。調(diào)整權(quán)值的原則是：當(dāng) 時(shí)，則增加權(quán)值，否則減少權(quán)值。 （ 3）無導(dǎo)師學(xué)習(xí)規(guī)則 諸如 Grossberg 等的 ART Kohonen 的自組織映射和 Klopf 的享樂主義神經(jīng)元等都是無導(dǎo)師學(xué)習(xí)。在這類學(xué)習(xí)規(guī)則中，關(guān)鍵不在于實(shí)際結(jié)點(diǎn)的輸出怎樣與外部的期望輸出相一致，而在于調(diào)整參數(shù)以反映觀察事件的分布。 ART 通過設(shè)立警戒線ρ（ 1 ≥ρ≥ 0），將類似的樣本歸類，ρ表示兩個(gè)樣本相距多遠(yuǎn)才被認(rèn)為是匹配的。通過警戒線可調(diào)整模式的類數(shù)，ρ小則模式類別多，反之亦然。 自組織映射如同競(jìng)爭(zhēng)學(xué)習(xí)一樣，首 先要求識(shí)別與輸入最匹配的結(jié)點(diǎn)，定義距離 為接近測(cè)度 （ 7） 其中假設(shè)輸入向量 u 為 N 維的，具有最短距離的結(jié)點(diǎn)選作勝者，它的權(quán)值經(jīng)修正使該結(jié)點(diǎn)對(duì)輸入 u 敏感。定義值域 ，其半徑逐漸至零。權(quán)值學(xué)習(xí)規(guī)則為 （ 8） 這類無導(dǎo)師學(xué)習(xí)系統(tǒng)的學(xué)習(xí)并不在于尋找一個(gè)特殊映射函數(shù)的表示，而是將事件空間分類成活動(dòng)區(qū)域，并有選擇地對(duì)這些區(qū)域響應(yīng)。它在應(yīng)用于開發(fā)由多層競(jìng)爭(zhēng)族組成的網(wǎng)絡(luò)等方面有良好的前景。它的輸 入可以是連續(xù)值，對(duì)噪聲有較強(qiáng)基于神經(jīng)網(wǎng)絡(luò)的車型識(shí)別算法研究及實(shí)現(xiàn) 28 的抗干擾能力，但對(duì)較少的樣本，結(jié)果可能要依賴于輸入順序。 由上述可知，糾錯(cuò)規(guī)則基于梯度下降法，因此不能保證得到全局最優(yōu)解；同時(shí)要求大量的訓(xùn)練樣本，因此收斂速度慢；糾錯(cuò)規(guī)則對(duì)樣本的表示次序變化比較敏感，這就像導(dǎo)師必須認(rèn)真?zhèn)湔n，精心組織才能有效地讓學(xué)生學(xué)習(xí)。 Boltzman學(xué)習(xí)規(guī)則提供了學(xué)習(xí)隱結(jié)點(diǎn)的一個(gè)有效方法，能學(xué)習(xí)復(fù)雜的非線性可分函數(shù)。其主要缺點(diǎn)是學(xué)習(xí)速度太慢，因?yàn)樵谀M退火過程中要求當(dāng)系統(tǒng)進(jìn)入平衡時(shí)，“冷卻”必須慢慢進(jìn)行，否則易陷入局部極小。它基本上是梯度下降法，所以要求提供大 量的例子。無導(dǎo)師學(xué)習(xí)規(guī)則提供了新的選擇，它利用自適應(yīng)學(xué)習(xí)法，使結(jié)點(diǎn)有選擇地接收輸入空間上的不同特性，從而拋棄了普通神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)映射函數(shù)的學(xué)習(xí)概念，并提供了基于檢測(cè)特性空間的活動(dòng)規(guī)律的性能描寫。 神經(jīng)網(wǎng)絡(luò)的基本性質(zhì)主要包括：收斂性、容錯(cuò)性、魯棒性及推廣性等。 神經(jīng)網(wǎng)絡(luò)的收斂性是指神經(jīng)網(wǎng)絡(luò)的訓(xùn)練算法在有限次迭代之后可收斂到正確的權(quán)值或權(quán)向量。神經(jīng)網(wǎng)絡(luò)良好的容錯(cuò)性保證網(wǎng)絡(luò)將不完整的、污損的、畸變的輸入樣本恢復(fù)成完整的原型。容錯(cuò)性的研究歸結(jié)于神經(jīng)網(wǎng)絡(luò)動(dòng)力系統(tǒng)記憶模式吸引域的大小。吸引 域越大，網(wǎng)絡(luò)從部分信息恢復(fù)全部信息的能力越大，表明網(wǎng)絡(luò)的容錯(cuò)性越大。神經(jīng)網(wǎng)絡(luò)的高度魯棒性使得網(wǎng)絡(luò)中的神經(jīng)元或突觸遭到破壞時(shí)網(wǎng)絡(luò)仍然具有學(xué)習(xí)和記憶能力，從而使網(wǎng)絡(luò)表現(xiàn)出高度的自組織性。研究表明，如果記憶模式的吸引域比較“規(guī)則”，網(wǎng)絡(luò)抵抗干擾、噪聲或自身?yè)p害的能力就越強(qiáng)，即魯棒性越好。訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)應(yīng)能夠?qū)Σ粚儆谟?xùn)練樣本集合的輸入樣本正確識(shí)別或分類，這種現(xiàn)象常稱為神經(jīng)網(wǎng)絡(luò)具有良好的推廣性 。 神經(jīng)網(wǎng)絡(luò)具有以下優(yōu)點(diǎn)： （ 1）具有很強(qiáng)的魯棒性和容錯(cuò)性，這是因?yàn)樾畔⑹欠植即鎯?chǔ)于網(wǎng)絡(luò)內(nèi)的神經(jīng)元中； （ 2）并行處理方法， 人工神經(jīng)元網(wǎng)絡(luò)在結(jié)構(gòu)上是并行的，而且網(wǎng)絡(luò)的各個(gè)單元可以同時(shí)進(jìn)行類似的處理過程，使得計(jì)算快速； （ 3）自學(xué)習(xí)、自組織、自適應(yīng)性，神經(jīng)元之間的連接多種多樣，各元之間連接強(qiáng)度具有一定可塑性，使得神經(jīng)網(wǎng)絡(luò)可以處理不確定或不知道的系統(tǒng)； （ 4）可以充分逼近任意復(fù)雜的非線性關(guān)系； （ 5）具有很強(qiáng)的信息綜合能力，能同時(shí)處理定量和定性的信息，能很好的協(xié)調(diào)多種輸入信息關(guān)系，適用于處理復(fù)雜非線性和不確定對(duì)象。 神經(jīng)網(wǎng)絡(luò)以其獨(dú)特的結(jié)構(gòu)和處理信息的方法，在許多實(shí)際應(yīng)用領(lǐng)域中取得了顯著的成效，主要應(yīng)用于：自動(dòng)控制，處理組合優(yōu)化問題， 模式識(shí)別，圖像處理，傳感器信號(hào)處理，機(jī)器人控制，信號(hào)處理，衛(wèi)生保健、醫(yī)療，經(jīng)濟(jì)，土木工程，化工，地理，數(shù)據(jù)挖掘，電力系統(tǒng)，交通，軍事，礦業(yè)，農(nóng)業(yè)和氣象等領(lǐng)域。 基于神經(jīng)網(wǎng)絡(luò)的車型識(shí)別算法研究及實(shí)現(xiàn) 29 BP 神經(jīng)網(wǎng)絡(luò) BP 神經(jīng)網(wǎng)絡(luò)的原理 BP 神經(jīng)網(wǎng)絡(luò)是一種具有三層或三層以上的階層型神經(jīng)網(wǎng)絡(luò)，下層的每一個(gè)單元與上層的每個(gè)單元都實(shí)現(xiàn)權(quán)連接，而每層各神經(jīng)元之間沒有連接。網(wǎng)絡(luò)按有導(dǎo)師的方式進(jìn)行學(xué)習(xí)，當(dāng)一對(duì)學(xué)習(xí)模式提供給網(wǎng)絡(luò)后，神經(jīng)元的激活值，從輸入層經(jīng)中間層向輸出層傳播，在輸出層的各神經(jīng)元獲得網(wǎng)絡(luò)的輸入響應(yīng)。在這之后，按減小希望輸出與實(shí)際輸出誤差的方向，從輸出層經(jīng)各中間層逐層修正各連接權(quán)，最后回到輸入層，故得名“誤差反向傳播算法”。 BP 網(wǎng)絡(luò)結(jié)構(gòu)如圖 所示，包含一個(gè)輸入層、若干個(gè)隱含層和一個(gè)輸出層組成。各層之間實(shí)現(xiàn)全連接，且各層的節(jié)點(diǎn)之間沒有連接，隱節(jié)點(diǎn)和輸出節(jié)點(diǎn)的激活函數(shù)一般采用 Sigmnid 函數(shù) : 圖 其中 λ 成為 sigrnoid 函數(shù)的增益，其值決定了函數(shù)非飽和段的斜率， λ 越大，函數(shù) 的斜率越大。 BP 網(wǎng)絡(luò)的輸入向量 為 ，第一個(gè)隱含層含有 n1 個(gè)節(jié)點(diǎn)， ， ，輸出層有 m個(gè)節(jié)點(diǎn)， 。輸入層到第一隱含層的 基于神經(jīng)網(wǎng)絡(luò)的車型識(shí)別算法研究及實(shí)現(xiàn) 30 圖 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 權(quán)值為 ，閾 值為 已，隱含層到輸出層的權(quán)值為 ， 閾 值為 。則 BP 算法 算法描述 ( l )初始化網(wǎng)絡(luò)的權(quán)值和閾值 ， ，取一個(gè)隨機(jī)數(shù)列； ( 2 )依次輸入 P 個(gè)訓(xùn)練樣本，設(shè)當(dāng)前輸入的是第 p 個(gè)樣本； ( 3 )依次計(jì)算各層的輸出； （ 4 )求輸出層和隱含層的反傳誤差 ； 基于神經(jīng)網(wǎng)絡(luò)的車型識(shí)別算法研究及實(shí)現(xiàn) 31 并記下各個(gè) ， 值； ( 5 )記錄已經(jīng)訓(xùn)練過的樣本個(gè)數(shù) p，如果 pp，轉(zhuǎn) 步驟 (2)，反之，轉(zhuǎn)步驟 (6)； ( 6 )按權(quán)值修正公式修正各層的權(quán)值或閾 值 ： ( 7 )按照重新修正的權(quán)值計(jì)算 和 并計(jì)算 ，如果 或者已達(dá)到了 最大學(xué)習(xí)次數(shù)，終止 學(xué)習(xí)，否則轉(zhuǎn)步驟 ( 2 )繼續(xù)訓(xùn)練。 BP 學(xué)習(xí)規(guī)則的推導(dǎo)是基于最小均方差誤差準(zhǔn)則，即當(dāng)一個(gè)樣本輸入網(wǎng)絡(luò)，并產(chǎn) 生輸出，此時(shí)誤差應(yīng)為： ，根據(jù)梯度下降法，權(quán)值的修正量 ，對(duì)輸入層，有： 基于神經(jīng)網(wǎng)絡(luò)的車型識(shí)別算法研究及實(shí)現(xiàn) 32 對(duì)中間隱層，有： 圖 最速下降法 神經(jīng)網(wǎng)絡(luò)的性質(zhì)分析 ( l )三層 BP 神經(jīng)網(wǎng)絡(luò)的逼近性 在 神經(jīng)網(wǎng)絡(luò)應(yīng)用設(shè)計(jì)中，往往是三層的。萬能逼近定理指出，含一個(gè)隱藏層的 3 層 BP 網(wǎng)絡(luò)，只要隱藏層節(jié)點(diǎn)數(shù)足夠多，能以任意精度逼近與有界區(qū)域上的任意連續(xù)函數(shù)。但實(shí)際應(yīng)用中并不一定三層的網(wǎng)絡(luò)就是最好的，一般還要根據(jù)實(shí)際情況來判定。 基于神經(jīng)網(wǎng)絡(luò)的車型識(shí)別算法研究及實(shí)現(xiàn) 33 ( 2 )樣本的預(yù)處理 當(dāng)網(wǎng)絡(luò)用于分類時(shí)，樣本的期望值為 0 或 1，但由于實(shí)際輸出值在 u=士 co時(shí)才能取到 0 或 ，為了避免這種現(xiàn)象，一般規(guī)定實(shí)際輸出值在 以上為 1，不大于 的情況下為 O。樣本的輸入也必須進(jìn)行歸一化處理，使歸一化的樣本輸入均值為零。另外 也要盡量使各個(gè)輸入變量不相關(guān)，各輸入變量的協(xié)方差也要接近相等，以保證各權(quán)值的收斂速度大致相同。 ( 3 )學(xué)習(xí)速率 學(xué)習(xí)速率 決定每一次循環(huán)訓(xùn)練中所產(chǎn)生的權(quán)值變化量。大的學(xué)習(xí)速率可能導(dǎo)致系統(tǒng)的不穩(wěn)定，但小的學(xué)習(xí)速率將導(dǎo)致訓(xùn)練較長(zhǎng)，收斂速度很慢，不過能保證網(wǎng)絡(luò)的誤差值不跳出誤差表面的低谷而最終趨于最小誤差值。所以，一般情況下，傾向于選取較小的學(xué)習(xí)速率以保證系統(tǒng)的穩(wěn)定性。 神經(jīng)網(wǎng)絡(luò) 分類器設(shè)計(jì) 利用神經(jīng)網(wǎng)絡(luò)進(jìn)行車型 識(shí)別是由以下原因決定的拼： ( l )神經(jīng)網(wǎng)絡(luò)具有很好的學(xué)習(xí)泛化能力，可以直接提取車型 的原始特征進(jìn)行識(shí)別 ； ( 2)神經(jīng)網(wǎng)絡(luò)采用的是大規(guī)模的并行分布式結(jié)構(gòu)，具有并行處理的能力，可以提高車型 的識(shí)別速度 ； ( 3)神經(jīng)網(wǎng)絡(luò)分類器對(duì)輸 入模式信息的不完備或缺損特征不敏感， 抗干擾性能更好。 萬能逼近定理指出，含一個(gè)隱藏層的三層 BP 網(wǎng)絡(luò)，只要隱藏層節(jié)點(diǎn)數(shù)足夠多，能以任意精度逼近與有界區(qū)域上的任意連續(xù)函數(shù)。但實(shí)際應(yīng)用中我們不知道一個(gè)有限網(wǎng)絡(luò)對(duì)于一個(gè)給定問題的確切學(xué)習(xí)泛化能力，一般要根據(jù)實(shí)際情況來判定。不同的問題需要從網(wǎng)絡(luò)中得到不同的能力，所以設(shè)計(jì)一個(gè)解決具體問題的神經(jīng)網(wǎng)絡(luò)時(shí)，須選擇適當(dāng)大小的網(wǎng)絡(luò)結(jié)構(gòu)。如 果網(wǎng)絡(luò)太小，則網(wǎng)絡(luò)不能對(duì)問題形成一個(gè)好的模型 ， 如果網(wǎng)絡(luò)太大，網(wǎng)絡(luò)可能實(shí)現(xiàn)無數(shù)個(gè)與訓(xùn)練數(shù)據(jù)相洽的解，但泛化能力很差。本文采取的是三層神經(jīng)網(wǎng)絡(luò) 來對(duì)車型 進(jìn)行識(shí)別。 網(wǎng)絡(luò)結(jié)構(gòu) 標(biāo)準(zhǔn) BP 神經(jīng)網(wǎng)絡(luò)分 3 層，即輸入層、隱含層和輸出層。對(duì)于車型識(shí)別問題來說，網(wǎng)絡(luò)輸入層的神經(jīng)元數(shù)即為所抽取的特征數(shù)，輸出層的神經(jīng)元數(shù)就取為車型類別數(shù)，關(guān)于隱含層神經(jīng)元數(shù)的選取，根據(jù)通常做法， !可以參照以下公式設(shè)計(jì)： （其中 n 為隱含層神經(jīng)元數(shù)， 為輸入層神經(jīng)元數(shù)， 基于神經(jīng)網(wǎng)絡(luò)的車型識(shí)別算法研究及實(shí)現(xiàn) 34 為輸出層神經(jīng)元數(shù)， a 是 之間的常數(shù)）因此，針對(duì)車型識(shí)別的設(shè)計(jì)， 采用383 的網(wǎng)絡(luò)結(jié)構(gòu)。 學(xué)習(xí)算法 前向神經(jīng)網(wǎng)絡(luò) BP 算法采用最速下降尋優(yōu)算法，即梯度法。設(shè)有 N 對(duì)學(xué)習(xí)樣本，采取批處理學(xué)習(xí)方法，目標(biāo)函數(shù) E 取為 ： ， 其中 、分別為第 k 對(duì)樣本的期望輸出和實(shí)際輸出向量 ， E 反映網(wǎng)絡(luò)輸出與樣本的總體誤差 ， 學(xué)習(xí)過程就是通過修改各神經(jīng)元之間的權(quán)值 ， 使得目標(biāo)函數(shù) E 的值最小 ，權(quán)值按下列公式修正 ： 其中 為學(xué)習(xí)速率 。 最速下降法在非二次型較強(qiáng)的區(qū)域能使目標(biāo)函數(shù)收斂較快 。 BP 算法的最速下降方向即目標(biāo)函數(shù) E 在權(quán)值空間上的負(fù)梯度方向，在無約束優(yōu)化目標(biāo)函數(shù) E時(shí)，相鄰的兩個(gè)搜索方向正 交，因而，當(dāng)權(quán)值接近于極值區(qū)域時(shí)，每次迭代移動(dòng)的步長(zhǎng)很小，呈現(xiàn)出“鋸齒現(xiàn)象”嚴(yán)重影響了收斂速率，有時(shí)甚至不能收斂而在局部極值區(qū)域振蕩，為此 !為針對(duì)這種現(xiàn)象，采用了附加動(dòng)量項(xiàng)的算法為當(dāng)前廣為應(yīng)用的方法，其權(quán)值修正公式為 其中 為動(dòng)量系數(shù)，引入動(dòng)量項(xiàng)后，使得調(diào)節(jié)向著底部的平均方向變化，不致產(chǎn)生大的擺動(dòng)，即起到緩沖平滑的作用，若系統(tǒng)進(jìn)入誤差函數(shù)面的平坦區(qū)，那么誤差將變化很小，動(dòng)量項(xiàng)的引入使得調(diào)節(jié)盡快脫離這一平坦區(qū)，有助于縮短向極值逼近的時(shí)間 ， 所以動(dòng)量項(xiàng)的引入，加快了學(xué)習(xí)速度 。 在訓(xùn)練過程中，若能選擇合適的速率 ， 使它的值盡可能的大但又不至于引起振蕩 ， 則能使訓(xùn)練快速達(dá)到要求 。 共軛梯度法是重要的無約束最優(yōu)化方法 ， 它利用一維搜索所得到的極小點(diǎn)處的最速下降方向生成共軛方向 ， 并據(jù)此搜索目標(biāo)函數(shù)極值 ， 共軛梯度法的計(jì)算步驟和梯度法差別不大 ， 主要差別在搜索方向的不同 ， 即每一步的方向不再是梯度方向 ，