【正文】 () HO（隱藏層導(dǎo)輸出層） () 其中，輸人層神經(jīng)元個(gè)數(shù)為 n，隱含層神經(jīng)元個(gè)數(shù)為 n1，輸出層神經(jīng)元個(gè)數(shù)為 S2。 評(píng)價(jià)的準(zhǔn)則是誤差最小，所以網(wǎng)絡(luò)訓(xùn)練的實(shí)質(zhì)轉(zhuǎn)化為一個(gè)優(yōu)化問(wèn)題。 本科畢業(yè)設(shè)計(jì) (論文 ) 第 26 頁(yè) (3)．解釋 輸出層誤差 ej(j=1S2) 隱含層誤差 ei(i=1n2), 這里，可以認(rèn)為 ei 是由 ej 加權(quán)組合形成的，由于作用函數(shù)的存在， ej 的等效作用為 δ ji=ejf ?()。增加層數(shù)可以進(jìn)一步的降低誤差，提高精度，但同時(shí) 也使網(wǎng)絡(luò)復(fù)雜化。 (2)． 隱含層神經(jīng)元數(shù) 網(wǎng)絡(luò)訓(xùn)練精度的提高，可以通過(guò)采用一個(gè)隱含層，而增加其神經(jīng)元數(shù)的方法來(lái)獲得，這在結(jié)構(gòu)實(shí)現(xiàn)上，要比增加更多的隱含層要簡(jiǎn)單得多。所以隱含層神經(jīng)元數(shù)應(yīng) ≥ 2。 表 21 當(dāng) Sl ＝ 2， 3， 4， 5， 6， 20， 25， 30 時(shí)的訓(xùn)練結(jié)果 我們?cè)u(píng)價(jià)一個(gè)網(wǎng)絡(luò)設(shè)計(jì)的好壞 ，首先是它的精度，再一個(gè)就是訓(xùn)練時(shí)間。 另外，威得羅等人在分析 了兩層網(wǎng)絡(luò)是如何對(duì)一個(gè)函數(shù)進(jìn)行訓(xùn)練后，提出一種選定初始權(quán)值的策略：選擇權(quán)值的量級(jí)為 ，其中 S1 為第一層神經(jīng)元數(shù)，r為輸入個(gè)數(shù)。學(xué)習(xí)速率的選取范圍是~。一般情況下，作為對(duì)比，可以同時(shí)對(duì)兩個(gè)不同期望誤差值的網(wǎng)絡(luò)進(jìn)行訓(xùn)練，最后通過(guò)綜合因素的考慮來(lái)確定采用其中一個(gè)網(wǎng)絡(luò) 。通常為了避免這種情況的產(chǎn)生，一是選取較小的初始權(quán)值，二是采用較小的學(xué)習(xí)速率。 (1)．帶動(dòng)量因子算法 該方法是在反向傳播法的基礎(chǔ)上在每一個(gè)權(quán)值的變化上加上一項(xiàng)正比于前次權(quán)之變化的值，并根據(jù)反向傳播法來(lái)產(chǎn)生新的權(quán)值變化。 (2)．自適應(yīng)學(xué)習(xí)速率 對(duì)于一個(gè)特定的問(wèn)題，要選擇適當(dāng)?shù)膶W(xué)習(xí)速率并不是一件容易的事情。 (3)．改變學(xué)習(xí)速率方法 學(xué)習(xí)速率的局部調(diào)整法基于 如下的幾個(gè)直觀的推斷： 在連續(xù)幾次迭代中，若目標(biāo)函數(shù)對(duì)某個(gè)權(quán)導(dǎo)數(shù)的符號(hào)相反，則這個(gè)權(quán)的學(xué)習(xí)速率要減小。另一方面，若在兩次連續(xù)的迭代中，目標(biāo)函數(shù)對(duì)某個(gè)權(quán)的導(dǎo)數(shù)具有相反的符號(hào)和很大的值，則對(duì)應(yīng)于那個(gè)權(quán)學(xué)習(xí)速率的負(fù)調(diào)整也很大。 (4)．作用函數(shù)后縮法 () () 實(shí)驗(yàn)證明，采用此方法，收斂時(shí)問(wèn)平均可 減少 30％ ~50%。 1．特征提取 圖像經(jīng)過(guò)一系列的預(yù)處理之后，原來(lái)大小不同、分布不規(guī)則的各個(gè)字符變成了一個(gè)。神經(jīng)網(wǎng)絡(luò)字符識(shí)別的具體流程圖如 所示 圖 神經(jīng)網(wǎng)絡(luò)字符識(shí)別流程圖 程序?qū)崿F(xiàn) 系統(tǒng)是對(duì)車(chē)牌圖像進(jìn)行了圖像灰度化、二值化、圖像的調(diào) 整、離散噪音點(diǎn)的去除、字符的切分、圖像的縮放、字符的細(xì)化、字符的平滑、圖像的求梯度等圖像預(yù)處理之后的圖像中的字符進(jìn)行二次處理。 上述問(wèn)題可以用 δ barδ 方法來(lái)克服。 上式的學(xué)習(xí)規(guī)則雖然和上述推斷一致，但在應(yīng)用時(shí)還存在 一些潛在的問(wèn)題。每一步迭代中，每個(gè)學(xué)習(xí)速率參數(shù)都能改變； 為了解決這一問(wèn)題，人們自然會(huì)想到在訓(xùn)練過(guò)程中自動(dòng)調(diào)整學(xué)習(xí)速率。 附加動(dòng)量法的實(shí)質(zhì)是將最后一次權(quán)值變化的影響，通過(guò)一個(gè)動(dòng)量團(tuán)于來(lái)傳遞。 6. B P 算法力改進(jìn) BP 算法改進(jìn)的主要目標(biāo)是為了加快訓(xùn)練速度，避免陷入局部極小值和改善其他能力?？刹捎米兓膶W(xué)習(xí)速率或自適應(yīng) 的學(xué)習(xí)速率來(lái)加以改進(jìn)。為本科畢業(yè)設(shè)計(jì) (論文 ) 第 28 頁(yè) 了減少尋找 學(xué)習(xí)速率的訓(xùn)練次數(shù)以及訓(xùn)練時(shí)間，比較合適的方法是采用變化 的自適應(yīng)學(xué)習(xí)速率，使網(wǎng)絡(luò)的訓(xùn)練在不同的階段設(shè)置不同大小的學(xué)習(xí)速率。大的學(xué)習(xí)速率可能導(dǎo)致系統(tǒng)的不穩(wěn)定；但小的學(xué)習(xí)速率導(dǎo)致較長(zhǎng)的訓(xùn)練時(shí)間，可能收斂很慢，不過(guò)能保證網(wǎng)絡(luò)的誤差值不跳出誤差表面的低谷而最終趨于誤差最小值。 一般的講，網(wǎng)絡(luò) sl 的選擇原則是：在能夠解決問(wèn)題的前提下，再加上一個(gè)到兩個(gè)神經(jīng)元以加快誤差的下降速度即可。選擇誤差目標(biāo)為 err_goal＝ ，并通過(guò)對(duì)網(wǎng)絡(luò)訓(xùn)本科畢業(yè)設(shè)計(jì) (論文 ) 第 27 頁(yè) 練 時(shí)所需的循環(huán)次數(shù)和訓(xùn)練時(shí)間的情況來(lái)觀察網(wǎng)絡(luò)求解效果。 例：用兩層 BP 網(wǎng)絡(luò)實(shí)現(xiàn)“異或”功能。因?yàn)槟苡脝螌泳W(wǎng)絡(luò)完美解決的問(wèn)題，用自適應(yīng)線(xiàn)性網(wǎng)絡(luò)也一定能解決，而且自適應(yīng)線(xiàn)性網(wǎng)絡(luò)的運(yùn)算速度還要快。下面討論各自的選取原則。 定義 誤差函數(shù)為： () 我們利用剃度下降法求權(quán)值的變化及誤差的反向傳播。下面，討論一下本科畢業(yè)設(shè)計(jì) (論文 ) 第 25 頁(yè) BP網(wǎng)絡(luò)中的權(quán)值確定方法。 BP 神經(jīng)網(wǎng)絡(luò) BP 網(wǎng)絡(luò)是應(yīng)用中經(jīng)常碰到的，這一節(jié)將詳細(xì)介紹一下 BP 網(wǎng)絡(luò)。這一小節(jié)介紹 M些常用的學(xué)習(xí)規(guī)則。 本科畢業(yè)設(shè)計(jì) (論文 ) 第 23 頁(yè) 圖 前向網(wǎng)絡(luò)結(jié)構(gòu) 其中， x1,x2,? ,xn 是輸入 ,y1,y2,? ,yn 是 輸 出。 圖 輻射基函數(shù)（三角波函數(shù) ） 人工神經(jīng)網(wǎng)絡(luò)構(gòu)成 人工神經(jīng)網(wǎng)絡(luò)有很多構(gòu)成形式，比如基本型、前向型、回歸型以及互聯(lián)型等，下面我們列出一些前兩種神經(jīng)網(wǎng)絡(luò)構(gòu)成形式。 ① 對(duì)數(shù)正切 y=1/(en+1) () 輸出與輸入成對(duì)數(shù)正切關(guān)系，見(jiàn) 圖 。 圖 閾值型作用函數(shù)二 (2)．線(xiàn)性型 也有兩種情況，全線(xiàn)性型和正線(xiàn)性型，如下： ① 全線(xiàn)性 A=f (W*P+b)=W*p+b () 此時(shí)輸出與輸入成正比關(guān)系。 (1)．閥值型（硬限制型） 有兩種形式，第一種是： () 當(dāng) 輸入大于 0 時(shí)，輸出為 1；輸入小于 0時(shí)，輸出為 0。 經(jīng)過(guò)抽象，可得到數(shù)學(xué)表達(dá)式如下： () () ωi： 數(shù)值 (Weigthts)； θ：閥值 (Threshold)； б (s)：作用函數(shù) (Activated Transfer Function)。 1．神經(jīng)元模型 神經(jīng)元是人工神經(jīng)網(wǎng)絡(luò)的基本處理單元，它一般是一個(gè)多輸入 /多輸出的非線(xiàn)性元件。但是在描述形狀時(shí)，信息并不完全，這些數(shù)值特征與具體的形狀之間并不 — 一對(duì)應(yīng)。 從鏈碼可以得出邊界的許多形狀特征： (1) 鏈的長(zhǎng)度 () 其中。常用的標(biāo)識(shí)碼有兩種： (1) 加上特殊專(zhuān)用的鏈碼結(jié)束標(biāo)志。對(duì)圖 23(b)所示的一個(gè)圖像區(qū)域，若以 S點(diǎn)為出發(fā)點(diǎn)，按逆時(shí)針的方向進(jìn)行，所構(gòu)成的邊界鏈碼應(yīng)為 556570700122333。 假設(shè)從某一個(gè)起點(diǎn)開(kāi)始，將邊界的走向按上面的編碼方式記錄下來(lái)，可形成如下的序列 a1 a2 a3? an。適當(dāng)?shù)厝?{an}的前幾項(xiàng)就可在信息損失較小的前提下描述邊界 r。 Person 和 Fu 將 r 與下面的復(fù)參量對(duì)應(yīng)： u(l)＝ x(l)+iy(l)。在每邊 vi1vi上， φ(l)為常數(shù)，設(shè) φi1, 定義 , 則： () () () 其中 n=1,2,?。 由于 φ*(t)是周期函數(shù)，因此可用它的傅立葉系數(shù)來(lái)描述它，在 [0,2Π]上展成傅立葉級(jí)數(shù)為： () 其中： () () () 其中 n=1,2,?。定義： φ(l)= ?(l)－ ?(0) () 則 φ(l)的變化規(guī)律可以描述封閉曲線(xiàn)的形狀，很明顯它是平移和旋轉(zhuǎn)不變的。 由于邊界通常是封閉曲線(xiàn)。因此可以將邊界看成是直角坐標(biāo)下的點(diǎn)集構(gòu)成的曲線(xiàn) y=f (x,y)，其中 x 是橫坐標(biāo)， y 是縱坐標(biāo)。區(qū)域的凹凸性可以通過(guò)以下方法進(jìn)行判別：區(qū)域內(nèi)任意兩像素間的連線(xiàn)穿過(guò)區(qū)域外的像素，則此區(qū)域?yàn)榘夹巍? 區(qū)域的周長(zhǎng)二用區(qū)域中相鄰邊緣點(diǎn)間的距離之和來(lái)表示，同樣存 在誤差補(bǔ)償?shù)膯?wèn)題。 粗略地說(shuō)，圖像中的區(qū)域面積Ｓ就是圖像中相同標(biāo)記的像素?cái)?shù)目。歐拉數(shù)定義為一個(gè)圖中或一個(gè)區(qū)域中的孔數(shù) H 和連接部分?jǐn)?shù) C的差： E=C－ H。不斷地從 0~2∏變換 ?，可得到在不同方向上 {f (x,y)}的投影。在實(shí)際應(yīng)用中 ，這是不可能實(shí)現(xiàn)的，通常取前 幾階矩即可，但是這會(huì)帶來(lái)誤差。 M1=m20＋ m02 M2=(m20－ m02)2＋ 4m112 M3=(m30－ 3m12)2＋ (3m21+ m03)2 M4=(m30＋ m12)2＋ (m21+ m03)2 M5=( m30－ m12)( m30＋ m12) (m30＋ m12)2－ 3(m21+ m03)2 ＋ ( 3m12－ m03) (m21+ m03) 3(m30＋ m12)2－ (m21+ m03)2 M6=(m20－ m02) (m30＋ m12) 2 － (m21+ m03)2 ＋ 4m11 (m30＋ m12)(m21+ m03) M7=(3m12－ m30)( m30＋ m12) (m30＋ m12) 2 － 3(m21+ m03)2 ＋ (3m21－ m30)( m21＋ m30) (m03＋ m12) 2 － 3(m12+ m03)2 如果上述的 7 個(gè) Hu 矩中的 mpq用 來(lái)代替，則得到的矩還可以滿(mǎn) 足尺度不變性。 區(qū)域內(nèi)部的數(shù)字特征 1. 矩 給定二維連續(xù)函數(shù) f(x,y)，下式定義了其 pq 階矩： () 矩在文字識(shí)別中作為有效統(tǒng)計(jì)特征而被廣泛運(yùn)用，它之所以能被用來(lái)表征一幅二維圖像是基于下面的帕普利斯（ Papoulis）惟一性定理：如果 f(x,y)是分段連續(xù)的，只在 xy 平面的有限部分中有非零值，則所有各階矩皆存在，并且矩序列{Mpq}此才惟一地被 f(x,y)所確定，反之 {Mpq}也唯一地確正 f(x,y)。它可以刻畫(huà)某一圖像不同部分之間的相互關(guān)系（如文字識(shí)別中的筆劃關(guān)系），也可以描述不同目標(biāo)間的關(guān)系。 實(shí)際應(yīng)用中特征提取過(guò)程往往包括：先測(cè)試一組自覺(jué)上合理的特征，然后減少成數(shù)目合適