【正文】 （ ） 式中 Yj是輸出層中第 j個單元的活性水平， dj是第 j個單元的期望輸出 概括起來反向傳播算法包括下列四個步驟 : 基于 VC++的數(shù)字識別系統(tǒng)的設(shè)計與實現(xiàn) 16 (1)一個輸出單元活性改變時的誤差導數(shù) EA，即實際活性與期望活性的差值： j j jjEEA y dy???? （ ） (2)計算一個單元所接受總輸入變化時的誤差導數(shù) EI， EI實際上等于上述步驟 (1)的結(jié)果乘以一個單元的總輸入變化時其輸出的變化率，即 ? ?1j j j jj j jE E EE I E A y yx y x? ? ?? ? ? ? ? ?? ? ? （ ） (3)計算一個與輸出單元聯(lián)接權(quán)值改變時的誤差變化率 EW。網(wǎng)絡(luò)解決問題的能力與功效除了與網(wǎng)絡(luò)結(jié)構(gòu)有關(guān)，在很大程度上取決于網(wǎng)絡(luò)所采用的激活函數(shù)。利用該函數(shù)可以使同一神經(jīng)網(wǎng)絡(luò)既能處理小信號，也能處理大信號。首先分別對每個模塊進行單元測試分析和模塊測試，然后再組合成系統(tǒng)，進行系統(tǒng)測試。 MFC支持多線程，所有的應用至少有一個線程，這個線程由 CWinApp類的對象創(chuàng)建，被稱為“主”線程口為方便多線程編程， MFC還提供了同步對象類。第三部分調(diào)色板 (Palette)保存顏色信息 。 表 41 Win32 SDK中的 DIBAPI函數(shù) 函數(shù) 功能 GetDIBits 從 DDB 中獲取位圖的圖 象位，用于將 DDB 轉(zhuǎn)換為 DIB格式 SetDIBits 設(shè)置 DIB 位圖的圖象位，用于將 DIB 轉(zhuǎn)換為 DDB 形式 CreateDIBitmap 用指定的 DIB來創(chuàng)建 DDB，并用 DIB 信息初始化位圖的圖象位 SetDIBitsToDevice 直接將 DIB 位圖的圖象位輸出到設(shè)備，用于顯示 DIB StretchDIBits 將 DIB 位圖映射輸出到設(shè)備的一個矩形區(qū)域，位圖可能被縮放 CreateDIBSection 創(chuàng)建一個可直接寫入的 DIB GetDIBColorTable 獲取 DIB 的顏色表 SetDIBColorTable 設(shè)置 DIB 的顏色表 CDib 類的構(gòu)造 一、 CDib類設(shè)計的目標 面向?qū)ο笤O(shè)計的重點是類的設(shè)計，而不是對象的設(shè)計，如果將對象比作房子，那么類就是房子的設(shè)計圖紙。 父類 由于 MFC中已有一個支持 DDB操作的 CBitmap類，因此容易想到以 CBitmap類作為基基于 VC++的數(shù)字識別系統(tǒng)的設(shè)計與實現(xiàn) 22 類派生出 CDib類。 LPBI TMAPINFOHEADER Ipbih。菜單項具備三個關(guān)鍵字段： ID， Caption（標題）和 Prompt（提示）。要學會用斷點來調(diào)試程序。當程序中尋找活動斷點，同時程序以 Debug（調(diào)試）模式執(zhí)行時， Breakpoints對話框在該斷點旁邊顯示對號。目前，在神經(jīng)網(wǎng)絡(luò)模式識別中根據(jù)對輸入樣本的表達方式的選擇有下面兩大類 :一類是直接將數(shù)字圖像經(jīng)數(shù)值化處理之后得到的像素點原始樣本作為神經(jīng)網(wǎng)絡(luò)的輸入 。因此，一般由掃描得到的數(shù)值化的字符還需要多種進一步的處理。這樣，經(jīng)過二值化，各點重新表示為 : ? ? ? ?? ? njnijig jigjig ,...,2,1。 平滑的辦法有中值濾波 ,均值濾波等很多方法 ,本設(shè)計選擇的平滑技術(shù)是中值濾波法。不同形狀的窗口產(chǎn)生不同的濾波效果，使用中必須根據(jù)圖像的內(nèi)容和不同的要求加以選擇。 銳化 圖像的銳化處理主要用于增強圖像中的輪廓邊緣，細化以及灰度跳變部分，形成完整的物體邊界，達到將物體從圖像中分離出來或?qū)⒈硎就晃矬w表面的區(qū)域檢測出來的目的。 (a)水平梯度銳化法 (b)羅伯特銳化法 圖 43 二維梯度的兩種差分算法 知道了梯度 G[F(j,k)]后，如何確定銳化輸出 G(j,k)呢？下面提供了幾種思路： 直接以梯度值代替 G(j,k)=G[F(j,k)] () 這種方法直截了當，簡單。在灰度陡變區(qū)域，梯度值大；在灰度相似區(qū)域，梯度值??；在灰度級為常數(shù)的區(qū)域，梯度為 0。前者稱為基于點相關(guān)的分割技術(shù)，后者稱為基于區(qū)域相關(guān)的分割技術(shù)。基于這種認識，在經(jīng)過以上幾個步驟的處理，得到干凈、平滑、規(guī)范的樣本集合之后，往往要進行細 化。 沒有將那些真正反映數(shù)字特點的特征突出出來 。另一類是隨機方式生成含有噪聲的信號。 初始化 給定輸入向量 和目標輸出 求隱層、輸出層各單元輸出 基于 VC++的數(shù)字識別系統(tǒng)的設(shè)計與實現(xiàn) 32 Y N N Y 圖 44 BP算法流程圖 BP 算法在數(shù)字識別中的應用流程圖： 圖 45 BP 算法在數(shù)字識別中的應用 BP 神經(jīng)網(wǎng)絡(luò)的設(shè)計 采樣數(shù)據(jù) 輸入判斷語句 映射關(guān)系 初步的神經(jīng)網(wǎng)絡(luò)模型 學習結(jié)束？ 學習樣本 穩(wěn)態(tài)時的神經(jīng)網(wǎng)絡(luò)模型 輸出判斷語句 輸入屬于給定設(shè)計空間的新的輸入變量集 基于 VC++的數(shù)字識別系統(tǒng)的設(shè)計與實現(xiàn) 33 將要識別的目標是從 0到 9的 10個數(shù)字字符。 經(jīng)過上面幾個步驟的預處理變換，則可以獲得一種簡單像素點輸入樣本表達。在分割之前進行背景平滑和噪聲消除，常常能改善分割的性能。經(jīng)過文字切分得到的一個個獨立的樣本，可以用于進一步的處理。, () 該方法基本上不破壞圖像背景，又可增強圖像邊緣?，F(xiàn)在約定把 G[F（ j,k） ]叫做梯度，而不再說 G[F（ j,k） ]是 G[F（ j,k） ]的幅度。另一種方法是一維濾波器和二維濾波器交替使用。如一窗口長度為 5，像素灰度分別為 {20， 10， 30， 15，25}，則 ? ? 2030,25,20,15,10 ?? M e dG i 若灰度級為 30的像素為椒鹽噪 聲（表現(xiàn)為黑圖像上的白點，白圖像上的黑點），在經(jīng)過中值濾波后即被消除。根據(jù)數(shù)字的特 點和掃描得到的數(shù)字圖像的灰度差別，可以分別用上述不同確定閾值的方法進行二值化。 在本設(shè)計中是先將 256色位圖轉(zhuǎn)化為對應灰度值的灰度圖 ,再將灰度圖轉(zhuǎn)化為二值黑白圖象 . 基于 VC++的數(shù)字識別系統(tǒng)的設(shè)計與實現(xiàn) 26 設(shè)像素點 (i,j)的灰度為 g(i,j)。接下來，對原始樣本表達進行一些常規(guī)變換，包括平滑、銳化、規(guī)格化和細化。然而，這樣的中斷從性質(zhì)上講是異步的，經(jīng)常在一系列嵌套的的系統(tǒng)函數(shù)內(nèi)中斷程序，在這種情 況下，可以使用 Debug菜單上的 Step Out(步出 )選項，從系統(tǒng)函數(shù)中走出來，直到到達代碼中的可標示位置。 對于簡單斷點來說有兩點是很重要的。對于各個菜單項，必須確定它們都應該分別由哪些類處理，然后確定是否需要為 COMMAND菜單消息，UPDATE_COMMAND_UI菜單消息編寫代碼。屬性函數(shù)是為了方便得到 DIB的空間、顏色和圖像數(shù)據(jù)方面的信息如圖像的高度，寬度，數(shù)據(jù)塊地址等 。它不但提供許多有用的特性，還包括對文件串行化的支持，運行時的類信息和對象診斷的輸出等。 （ 3） DIB 的顯示和縮放顯示。 但是在構(gòu)建 CDib類時會遇到許多的困難，因為 Win32SDK沒有提供多少直接處理DIB位圖的 API函數(shù)，僅支持一些重要的 DIB訪問，在實際應用時很不夠，必須定義一套完整的 DIB處理函數(shù) ?；叶葓D是只含亮度信息，不含色彩信息的圖像，就像平時看到亮度由暗到明變化連續(xù)的黑白照片一樣。 C基于 VC++的數(shù)字識別系統(tǒng)的設(shè)計與實現(xiàn) 20 編程方式是傳統(tǒng)的、久經(jīng)考驗的編程方式，代碼的效率較高，但開發(fā)難度與開發(fā)的工作量都很大。另一種解決問題的方法是尋找容易解決的或者是己經(jīng)解決的相關(guān)的問題轉(zhuǎn)而應用到解決當前的問題來。 在這個設(shè)計的 BP神經(jīng)網(wǎng)絡(luò)中我 們選擇的是 S型（ Sigmod型）激活函數(shù)。當?shù)玫揭粋€單元的 EA后，可用步驟 (2)和 (3)來計算作用于它的輸入聯(lián)接上的 EW。 對于非線性單元，反向傳播算法還包括另外一步，即在反向傳播前，必須把 FA變換為 EI， EI是 一個單元所收到的總輸入變化時誤差的變化率。但是，要對 EW的有效計算是十分復雜棘手的問題。 下面以網(wǎng)絡(luò)識別數(shù)字為例說明上述方法。這種含有隱層的前向網(wǎng)絡(luò)有一個重要特征，即隱單元可以任意構(gòu)成它們自身的輸入表示，輸入單元和隱單元間的權(quán)值決定每個隱單元何時是活性的，因此，借修改這些權(quán)值，一個隱單元可以選擇它代表什么。第二層為中間層，又稱為隱層 。因此，有關(guān)神經(jīng)網(wǎng)絡(luò)的學習算法的研究一直占有特殊的地位。在訓練過程中又需教師的監(jiān)督，故這種有教師的學習又稱監(jiān)督式學習。 圖 25網(wǎng)狀結(jié)構(gòu)網(wǎng)絡(luò) 圖 26混合型網(wǎng)絡(luò) 混合型網(wǎng)絡(luò) 上述的前向網(wǎng)絡(luò)和相互結(jié)合型網(wǎng)絡(luò)分別是典型的 層狀結(jié)構(gòu)網(wǎng)絡(luò)和網(wǎng)絡(luò)結(jié)構(gòu)網(wǎng)絡(luò)，基于 VC++的數(shù)字識別系統(tǒng)的設(shè)計與實現(xiàn) 11 介于這兩種網(wǎng)絡(luò)中間的一種聯(lián)接方式，如圖 26所示，在前向網(wǎng)絡(luò)的同層間神經(jīng)元有互聯(lián)的結(jié)構(gòu)，稱為混合型網(wǎng)絡(luò)。三層前向網(wǎng)絡(luò)分為輸入層、隱層和輸出層。激活函數(shù)的另一個輸入是神經(jīng)元的偏差 b,權(quán)值 Wj和輸入分量的矩陣形式可以由 W的行矢量以及 P的列矢量來表示 : ? ?rW ...21? ? ?trpppP ...21? （ ） 神經(jīng)網(wǎng)絡(luò)的聯(lián)接形式 人腦中大量的神經(jīng)細胞都不是孤立的，而是通過突觸形式相互聯(lián)系著，構(gòu)成結(jié)構(gòu)與功能十分復雜的神經(jīng)網(wǎng) 絡(luò)系統(tǒng)。神經(jīng)元之間相互聯(lián)接的方式稱為聯(lián)接模式，相互之間的聯(lián)接度由聯(lián)接權(quán)值體現(xiàn)在人工神經(jīng)網(wǎng)絡(luò)中，改變信息處理過程及其能力，就是修改網(wǎng)絡(luò)權(quán)值的過程。所有樹突接受到的信號都傳到細胞體進行綜合處理，如果在一個時間間隔內(nèi)，某一細胞接受到的興奮性信號量足夠大，以致于使該細胞被激活，而產(chǎn)生一個脈沖信號。它和人體中其他細胞的關(guān)鍵區(qū)別在于具有產(chǎn)生、處理和傳遞信號的功能。神經(jīng)元之間的連接有多種多樣，各神經(jīng)元之間連接強度具有一定的可塑性，相當于突觸傳遞信息能力的變化，這樣，網(wǎng)絡(luò)可以通過學習和訓練進行自組織以適應不同信息處理的要求。這種存儲方式的優(yōu)點在于若部分信息不完全，就是說或者丟失或者損壞甚至有錯誤的信息，它仍能恢復出原來正確的完整的信息，系統(tǒng)仍能運行。 訓練過程結(jié)束以后，網(wǎng)絡(luò)相當于一個固定的映射器，新的輸入樣木 (測試樣本 )通過網(wǎng)絡(luò)映射到不同的類別。 圖 21 神經(jīng)網(wǎng)絡(luò)模式識別基本構(gòu)成 樣本獲取 這一步驟主要是為了得到一定數(shù)量的用于訓練和識別的樣本。模式和集合的概念是分不開的，模式可以看作是集合論中的元素，而類則可以看作是子集。也就是說，這些千差萬別的數(shù)字“ 8”的共性是它們具有相 同的屬性特征。 本論文所做的工作 本論文在數(shù)字識別及預處理方面做了如下工作 : 介紹了數(shù)字識別廣闊的應用前景和常用的識別方法，通過分析指出數(shù)字識別的難點在于無法建立精確的數(shù)學模型和做出簡單可行的識別系統(tǒng)。作為最簡單的二值圖像可采用其幾何特性描述物體的特性，一般圖像的描述方法采用二維形狀描述，它有邊界描述和區(qū)域描述兩類方法。圖像增強不考慮圖像降質(zhì)的原因，突出圖像中所感興趣的部分。因此，往往采用各種圖像變換的方法，如傅立葉變換、沃爾什變換、離散余弦變換等間接處理技術(shù)，將空間域的處理轉(zhuǎn)換為變換域處理，不僅可減少計算量，而且可獲得更有效的處理（如傅立葉變換可在頻域中進行數(shù)字濾波處理）。 目前 , 隨著計算機的迅速發(fā)展，性能價格比的不斷提高，模式識別技術(shù)己經(jīng)從理論探討為主發(fā)展到大量的實際應用，人們將更多的注意力開始轉(zhuǎn)向那些用于語音，圖像、機器人以及人工智能等的模式識別實際問題。在輸出模式中，通過輸出節(jié)點的比較和本身信號的強弱而得到特定的解，同時排出其余的解。其中包括對信息的加工、處理、存儲和搜索等過程，它具有如下基本特點 : 神經(jīng)網(wǎng)絡(luò)具有分布式存儲信息的特點。一般情況下，當涉及到數(shù)字識別時，人們往往要求識別器有很高的識別可 靠性，特別是有關(guān)金額的數(shù)字識別時，如支票中填寫的金額部分，更是如此。但聯(lián)機字符識別有一個重要的不足就是要求輸入者必須在指定的設(shè)備上書寫，然而人們在生活中大部分的書寫情況是不滿足這一要求的，比如人們填寫各種表格資料，開具支票等?；?VC++的數(shù)字識別系統(tǒng)的設(shè)計與實現(xiàn) 1 第 1 章緒論