【正文】 神經(jīng)網(wǎng)絡(luò)模式識別的基本方法是 ，首先用己知樣本訓(xùn)練神經(jīng)網(wǎng)絡(luò)，使之對不同類別的己知樣本給出所希望的不同輸出，然后用該網(wǎng)絡(luò)識別未知的樣本，根據(jù)各樣本所對應(yīng)的網(wǎng)絡(luò)輸出情況來劃分未知樣本的類別。即通過對識別對象的有效觀測、進(jìn)行采樣量化，獲得一系列數(shù)據(jù)，再經(jīng)過去除噪聲、加強(qiáng) 有用信息等工作獲得盡量逼真的原始數(shù)據(jù)。 這一步驟與傳統(tǒng)模式識別的特征提取選擇的位置很相似，不同的是，神經(jīng)網(wǎng)絡(luò)可以對原始樣本直接進(jìn)行處理，因此這種變換在神經(jīng)網(wǎng)絡(luò)模式識別中不象傳統(tǒng)模式識別的特征提取選擇那樣必不可少，神經(jīng)網(wǎng)絡(luò)對預(yù)處理的要求與傳統(tǒng)模式識別對特征提取選擇的要求也有所不同。 分布存儲和容錯性 一個信息不是存儲在一個地方，而是按內(nèi)容而分布在整個網(wǎng)絡(luò)上，網(wǎng)絡(luò)某一處不是只存儲一個外部信息，而每個神經(jīng)元存儲多種信息的部分內(nèi)容。當(dāng)然在信息輸出時也還要經(jīng)過一種處理。人的大腦的容錯性是它的一種重要的智慧形式。這按照現(xiàn)有傳統(tǒng)的計算機(jī)及人工智能技術(shù)目前還是做不到的。如不可預(yù)測性、不可逆性、有各種類型的吸引子(信息正是“存儲”在定點(diǎn)吸引子 )和出現(xiàn)混沌現(xiàn)象等。通過神經(jīng)元網(wǎng)絡(luò)學(xué)習(xí) (按照學(xué)習(xí)法則 )，從典型事例中學(xué)會處理具體事例，給出比較滿意的解答。樹突的作用是向四方收集由其他神經(jīng)細(xì)胞傳 來的信息，軸突的功能是傳出從細(xì)胞體送來的信息。 從信息的傳遞過程來看，一個神經(jīng)細(xì)胞的樹突，在突觸處從其他神經(jīng)細(xì)胞接受信號。 （ 1）細(xì)胞體（ 2）樹突（ 3）軸突（ 4）突觸 圖 22 簡單神經(jīng)元網(wǎng)絡(luò)及其簡化結(jié)構(gòu)圖 人們正是通過對人腦神經(jīng)系統(tǒng)的初步認(rèn)識，嘗試構(gòu)造出人工神經(jīng)元以組成人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)來對人的智能，甚至是思維行為進(jìn)行研究 :嘗試從理性角度闡明大腦的高級機(jī)能。 人工神經(jīng)元的主要結(jié)構(gòu)單元是信號的輸入、綜合處理和輸出，其輸出信號的強(qiáng)度大小反映了該單元對相鄰單元影響的強(qiáng)弱。 每個單元的輸入、輸出信號以及綜合處理內(nèi)容都比較簡單 。一個具有 r個輸入分量的神經(jīng)元如圖 22所示。 通常所說的神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，主要指它的聯(lián)接方式。這種網(wǎng)絡(luò)特點(diǎn)是只有前后相鄰兩層之間神經(jīng)元相互聯(lián)接，各神經(jīng)元之間沒有反饋。 反饋網(wǎng)絡(luò) 反饋網(wǎng)絡(luò)從輸出層到輸入層有反饋。構(gòu)成網(wǎng)絡(luò)中各個神經(jīng)元都可能相互雙向聯(lián)接，所有的神經(jīng)元既作輸入，同時也用于輸出。 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)和訓(xùn)練 人腦中一個典型神經(jīng)元通過許多樹突的精細(xì)結(jié)構(gòu)，收集來自其它神經(jīng)元的信息，神經(jīng)元又通過軸突發(fā)出電活性脈沖。 神經(jīng)網(wǎng)絡(luò)按學(xué)習(xí)方式分為有教師學(xué)習(xí)和無教師學(xué)習(xí)兩大類。為了適應(yīng)環(huán)境變化就要重新調(diào)整加權(quán)值，這樣，當(dāng)學(xué)習(xí)到新知識的同時，也容易忘掉已學(xué)過的舊知識，這一些是有教師學(xué)習(xí)方法的缺點(diǎn)。 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則 基于 VC++的數(shù)字識別系統(tǒng)的設(shè)計與實(shí)現(xiàn) 12 人類高度發(fā)展的智能，主要是通過學(xué)習(xí)獲得的。 誤差傳播式學(xué)習(xí) Delta學(xué)習(xí)規(guī)則。如圖 31所示，在此模式中，共有三層神經(jīng)元，每層由若干節(jié)點(diǎn)組成，第 k層的每個節(jié)點(diǎn)與第 k+1層的每個節(jié)點(diǎn)連接。其結(jié)構(gòu)可以表示為 :nqm網(wǎng)絡(luò)， n為輸入層節(jié)點(diǎn)數(shù)， q為隱含層節(jié)點(diǎn)數(shù)， m為輸出層節(jié)點(diǎn)數(shù)。同樣輸出單元的行為取決于隱單元的活性及隱單元和輸出單元之何的權(quán)值。 網(wǎng)絡(luò)的希望輸出與網(wǎng)絡(luò)實(shí)際輸出之間的誤差信號，由輸出層經(jīng)中間層向輸入層的誤差逆?zhèn)鞑ミ^程。其方法步 驟如下 : （ 1）向網(wǎng)絡(luò)提供訓(xùn)練例子，包括輸入單元的活性模式和期望的輸出單元活性模式 。因此，網(wǎng)絡(luò)需要64個輸入單元 (每個傳感器一個 )， 10個輸出單元 (每種數(shù)字一個 )和許多隱單元。針對每種數(shù)字的多種不同圖像重復(fù)訓(xùn)練，直到網(wǎng)絡(luò)能對每個數(shù)字正確地歸類為止。 1979年前后，正在哈佛大學(xué)攻讀博士的 Werbos發(fā)明了一種高效的計算 EW的方法，即誤差反向傳播算法，只因發(fā)明后多年來未受重視，也沒有充分體會到它的用處，直到 1985年 Rumelhart和 Parker兩人各自再次發(fā)現(xiàn)該算法后才得以推廣。將所有隱單元的 EA計算出后，可用類似的方法計算其它層的 Eel值，計算的順序恰好與活性專播過網(wǎng)絡(luò)路徑相反的方向逐層進(jìn)行，故稱為誤差反向傳基于 VC++的數(shù)字識別系統(tǒng)的設(shè)計與實(shí)現(xiàn) 15 播算法。誤差反傳學(xué)習(xí)算法一種改進(jìn)算法可以用圖 32表示 ,它添加了多個隱層 . 圖 32誤差反向傳播學(xué)習(xí)算法網(wǎng)絡(luò)結(jié)構(gòu)圖 在如圖 BP網(wǎng)絡(luò)，設(shè)單元 j、 i分別是輸出層和它前面一層中的一個單元。因此，為了計算對誤差總的影響，把對各輸出單元的所有單獨(dú)影響相加 . ijj jjjj jii WEIyxxEyEEA ?? ?????????? （ ） 運(yùn)用步驟 (2)和 (4),可把一層單元的 EA變成前面一層單元的 FA，為了得到期望的前面各層的 EA。 (2)給定訓(xùn)練數(shù)據(jù)集，即提供輸入向量 x和期望輸出 y: (3)計算實(shí)際輸出 y ??????? ?i iijj xWfy （ ） 其 中 f 函數(shù)為 Sigmoid 函數(shù) : (4)調(diào)整權(quán)值，按誤差反向傳播方向，從輸出節(jié)點(diǎn)開始返回到隱層按下式修正權(quán)值 . ? ? ? ? ijijij ytWtW ????? 1 （ ） 基于 VC++的數(shù)字識別系統(tǒng)的設(shè)計與實(shí)現(xiàn) 17 其中 ? 為大于 0的增益， j? 為節(jié)點(diǎn) j的誤差， j? 的計算根據(jù)節(jié)點(diǎn) j的形式不同，由下式分別計算 : ? ?? ?為隱節(jié)點(diǎn)當(dāng)為輸出節(jié)點(diǎn)當(dāng)jWyyjyyyyjkk kiiijjiij ?????????1)(1 （ ） (5)返回 (2)步重復(fù)，直至誤差滿足要求為止。 （ 2）對輸入、輸出進(jìn)行函數(shù)轉(zhuǎn)換 。 帶有偏差的對數(shù) S型曲線 帶有偏差的雙曲 S型函數(shù) 圖 33 S型激活函數(shù) 此種激活函數(shù)常用對數(shù)或雙曲正切等一類 S形狀的曲線來表示，如對數(shù) S型激活函數(shù)關(guān)系為 : ? ?bnef ???? 1 1 () 而雙曲正切 S型 曲線的輸入輸出函數(shù)關(guān)系為： 基于 VC++的數(shù)字識別系統(tǒng)的設(shè)計與實(shí)現(xiàn) 18 ? ?? ?bnbneef??????? 11 2 （ ） S型激活函數(shù)具有非線性放大增益，對任意輸入的增益等于在輸入 /輸出曲線中該輸入點(diǎn)處的曲線斜率值。 一般地，稱一個神經(jīng)網(wǎng)絡(luò)是線性或非線性是由網(wǎng)絡(luò)神經(jīng)元中所具有的激活函數(shù)的線性或非線性來決定的。這種方法是一種由頂向下的方法，也就是由一般到特殊的方法 ，它的基本思想是將原始的問題分割成若干個子問題，子問題較整個大問題容易解決。 面對琳瑯滿目的各種開發(fā)環(huán)境和開發(fā)軟件 ,我沒有使用 MATLAB,最主要的原因是VC對內(nèi)存的掌控很好 ,這對運(yùn)算量極大的 BP算法有著關(guān)鍵的作用 ,要知道 ,設(shè)計一個 BP網(wǎng)絡(luò)不難 ,難的是設(shè)計一個高效 ,高速 ,穩(wěn)定的 BP網(wǎng)絡(luò) ,這就需要我們來對內(nèi)存進(jìn)行優(yōu)化 ,對算法進(jìn)行最大程度的發(fā)掘 .否則設(shè)計出來的 BP算法將是不健壯、不穩(wěn)定、不實(shí)用的 .一定要注意在設(shè)計時盡可能多的釋放掉不使用的內(nèi)存 . Visua1C++， 是 Microsoft公司開發(fā)的 Visual Studio集成開發(fā)環(huán)境中功能最為強(qiáng)大、代碼效率最高的開發(fā)工共。 MFC類庫的優(yōu)越性表現(xiàn)在以下幾個方面： MFC幾乎完整地封裝了 WindowsAPI函數(shù)。 MFC庫自動處理每一個 Windows消息，且每一條 Windows消息被直接映射到一個進(jìn)行處理的成員函數(shù)。 位圖 (BMP)文件中 DIB的結(jié)構(gòu)由四部分組成 :第 1部分為位圖文件頭 BITMAPFILEH EADER，指定文件為 BMP文件類型，并且指定了從文件頭到實(shí)際位圖數(shù)據(jù)的偏移字節(jié)數(shù) 。由于 DIB位圖能獨(dú)立的保存固有的圖像信息，能在不同的系統(tǒng)中重現(xiàn)其圖像，故成為 Windows環(huán)境中的基本圖像格式。 從這些函數(shù)中可以看出它們能完成 DIB位圖的一些最基本的功能，如能申請到內(nèi)存，完成 DIB位圖的構(gòu)造，能縮放顯示 DIB于顯示器和打印機(jī)上，直接從磁盤文件中讀入位圖，返回該句柄，能設(shè)置和獲取位圖的顏色表。 功能 根據(jù)對 DIB操作的分析，以及參照 CBitmap的功能設(shè)計， CDib類的基本操作功能應(yīng)該包括如下 : （ 1）多種形式的構(gòu)造函數(shù)，包括創(chuàng)建空 DIB，從 DIB句柄創(chuàng)建，從 DIB數(shù)據(jù)塊指針創(chuàng)建及從屏幕或顯示創(chuàng)建等。 （ 5） DIB格式轉(zhuǎn)換和調(diào)色板操作。此外， CBitmap類沒有提供有效的文件操作機(jī)制，而 DIB主要是一種“外部”位圖，即它主要以文件形式進(jìn)行存儲和交換，所以 CDib類應(yīng)該能很好的處理文件操作。另外， CObject類具有最低限度的成員數(shù)據(jù)和函數(shù) ，從 CObject類派生的類所花的代價是最低的，因此，采用 CObject類作為 CDib類的基類是很合理的。 二、 CDib類成員函數(shù) 以下介紹的 Win32SDKAPI函數(shù)和 CDib類的數(shù)據(jù)成員是磚石，現(xiàn)在可以開始構(gòu)筑CDib類的成員函數(shù)也即 DIB處理類的根基了，將定義的 DIB處理函數(shù)分為以下幾類 :初始化函數(shù)類，屬性函數(shù)類，顯示函數(shù)類，操作函數(shù)類，調(diào)色板函數(shù)類。調(diào)色板函數(shù)類完成對調(diào)色板的操作。 MFC使用框架窗口類從應(yīng)用程序資源中創(chuàng)建幾個用戶界面元素。對應(yīng)的代碼都寫入了文件 ，而其對應(yīng)的算法函數(shù)寫在文件 ，字符識別函數(shù)（ Code Recognize） 在文件 。 在代碼中放置斷點(diǎn)的最簡單方式是將源代碼窗口中的文本光標(biāo)移動到希望放置斷點(diǎn)的位置然后按 F9設(shè)置此斷點(diǎn)。其次， VC++允許在 Diassembly窗口內(nèi)設(shè)置斷點(diǎn)。 Visual Studio將被禁用的斷點(diǎn)以空心紅圈的形式顯示在源代碼窗口中。下表列出了 Debug菜單上 Step命令的快捷鍵。雖然，在某些情況下，人們采用第一類樣本表達(dá)獲得了較好的識別結(jié)果，但這種輸入方式，通常使得網(wǎng)絡(luò)分類器結(jié)構(gòu)的復(fù)雜程度大大增加，所以，對原始樣本進(jìn)行預(yù)處理，已成為神經(jīng)網(wǎng)絡(luò)模式識別成功的一個很重要的方面。 數(shù)值化 數(shù)字識別時，首先將印在紙上的數(shù)字經(jīng)過光電掃描產(chǎn)生模擬信號 ,再通過模數(shù)轉(zhuǎn)換變成表示灰度值的數(shù)字信號輸入計算機(jī)。而在采用光電掃描儀對數(shù)字進(jìn)行掃描輸入時，通常是將數(shù)字轉(zhuǎn)換為帶灰度值的數(shù)字信號輸入計算機(jī)。二值化可以通過設(shè)定灰度閾值來完成，即當(dāng) g(i,j)值比預(yù)定閾值大，看成背景，以 0表示 ?？紤]到各個樣本數(shù)字的灰度范圍的差別，可以采用不同的閾值進(jìn)行處理。因此，消除噪聲，恢復(fù)原始圖像是圖像處理中的一個重要內(nèi)容。在一維形式下，中值濾波器是一個含有奇數(shù)個像素的滑動窗口，經(jīng)排序后，窗口像素序列為 ? ?viiiivi FFFFF ???? ,. .. ,. .. , 11 v=(L1)/2,L 為窗口長度， Fi 即為窗口像素的中值濾波輸出。這時取某種形式的二維窗口，將窗口內(nèi)像素排序，生成單調(diào)二維數(shù)據(jù)序列 {Fjk}.類似于一維，二維中值濾波被輸出 G(j,k)為 ? ? ? ?jkFMedkjG ?, () 一般來說，二維中值濾波器比一維濾波器更能抑制噪聲。 圖 41 中值濾波器常用窗口 使用中值濾波器濾除噪聲的方法有多種，且十分靈活。 中值濾波具有很多重要特性。與圖像的平滑處理一樣，圖像的銳化也有很多處理方法，如針對平均或積分運(yùn)算使圖像模糊，可逆其道而采取微分運(yùn)算 ,使用高通濾波器優(yōu)化高頻分量，抑制低頻分量，提高圖像邊界清晰度等。對 照此圖是很容易記住梯度差分表達(dá)式的。 基于 VC++的數(shù)字識別系統(tǒng)的設(shè)計與實(shí)現(xiàn) 30 輔以門限判斷 ? ? ? ?? ? ? ?? ?? ? ? ?? ???? ? ?? TkjFGkjF TkjFGkjFGkjG ,。. ,。 字符切分 數(shù)字識別常用于郵政編碼的自動識別和支票的檢驗(yàn)等。 一是依據(jù)各個象素點(diǎn)的灰度不連續(xù)性進(jìn)行分割 。此時，我們只要選取一個適當(dāng)?shù)幕叶燃夐撝?，然后將每個象素灰度和它進(jìn)行比較。 細(xì)化 在傳統(tǒng)的模式識別中，對于數(shù)字的特征提取往往是從字形結(jié)構(gòu)的提取入手。 細(xì)化的基本原理都是從字的邊界開始逐層移去黑點(diǎn)，直到尋找到一個集合，此集合與其邊界相重合，這種方法被稱為脫殼算法。而對于神經(jīng)網(wǎng)絡(luò)識別系統(tǒng)，這種簡單樣本表達(dá)可以直接輸入進(jìn)行模 式識別。 由于上面三方面的原因，在神經(jīng)網(wǎng)絡(luò)模式識別中，我們要用帶污染的輸入量去訓(xùn)練神經(jīng)網(wǎng)絡(luò)，使其具有一定的抗干擾能力，這樣對所要識別的數(shù)字，能達(dá)到更好的識別率。 10個含 64個元素的輸入向量被定義為一個輸入向量矩陣，向量代表某個數(shù)字，其相應(yīng)有數(shù)的位置值為 1，而其他位置值為 0。 圖 46 理想信號（上） 含有噪音的信號（下） 網(wǎng)絡(luò)通過輸出一個具有 10個元素