【正文】 The object of the research in this paper is a digit character or alphabet written with mouse in the puter,and we using more than 300 pictures as the sample data to test feature extraction and use it to train the neural work. Key words: digit character and alphabet recognition。 在整個 OCR識別 領域中 中 ，最難 處理地是 手寫字 符 的 識別 。由于它研究的是如何用機器來實現(xiàn)人 (及某些動物 )對事物 的學習、識別和判斷能力，因而受到了很多科技領域研究人員的注意，成為人工智能研究的一個重要方面。模式識別是直觀的，無所不在的。 數(shù)字字母識別 背景 字符識別處理的信息可分為兩大類：一類是文字信息 ，主要處理各個圖家的文字，比如，漢字，字母等等 ；另一類是數(shù)據(jù)信息，主要是數(shù)字及 一些 特殊符號組成的各種編號和數(shù)據(jù)，如：郵政編碼、統(tǒng)計報表、 財務報表、銀行票據(jù)等等，處理這類信息的核心技術是手寫數(shù)字識別。 桂林電子科技大學畢業(yè)設計（論文）報告用紙 第 2 頁 共 37 頁 (2).由于數(shù)字 字母識別的類 別 不像漢字 不是很多 ， 對這方面的研究 有助于 發(fā)現(xiàn)一些新的模式識別理論，并且對其進行驗證。模板匹配法是將樣品與一標準模板庫里面的模板進行比 較，然后看比較結果與模板庫中的哪一個最相近，從而對樣品進行識別 。 結構特征表達了 樣本的結構，在識別中能有效的 結合幾何信息，得到可靠的識別結果。 在神經(jīng)網(wǎng)絡理論的基礎上形成了神經(jīng)網(wǎng)絡法，其基本原理是利用神經(jīng)網(wǎng)絡的學習和記憶功能，先讓神經(jīng)網(wǎng)絡學習各個模式中的大量學習樣本，以記住各模式類別中的樣本特征，然后在識別待識別樣本時回憶起記住的各模式類別的特征并將 它們逐個與樣本特征相比較，從而確定樣本類別。 神經(jīng)網(wǎng)絡在模式識別中的應用 人工神經(jīng)網(wǎng)絡是對人腦思維的一種模擬和抽象，是一種由 很多 神經(jīng)元組成的非線性系統(tǒng)。它能通過對輸入樣本的學習來發(fā)發(fā)現(xiàn)輸入與輸出空間之間的關系，實現(xiàn)對 樣本 的分類 。網(wǎng)絡的每部分對信息的存儲有等勢作用。而不是直接從記憶中取出。 人工神經(jīng)元網(wǎng)絡在結構上是并行的，而且網(wǎng)絡的各個單元可以同時進行類似的處理過程。 自學習、自組織和自適應性 。如不可預測性、不可逆性、有各種類型的吸引子 (信息正是“存儲”在定點吸引子 )和出現(xiàn)混沌現(xiàn)象等。通過神經(jīng)元網(wǎng)絡學習 (按照學習法則 )，從典型事例中學會處理具體事例，給出比較滿意的解答。 神經(jīng)網(wǎng)絡能通過原來存儲的信息和學習進行自我訓練學習，可以從不完整的有缺陷的數(shù)據(jù)中恢愎原始最初的完整的信息，這一能力在數(shù)字識別 中具有很大的作用。解決這些問題的關鍵是需要進行復雜而龐大的實時數(shù)據(jù)處理，而 因為 現(xiàn)有計算機的存貯容量及計算復雜性的局限，使得真正 的廣泛 應用受阻。正是神經(jīng)網(wǎng)絡所具有的這種自組織自學習能力、推廣能力、非線性和運算高度并行的能力使得模式識別成為目前神經(jīng)網(wǎng)絡最為成功的應用領域。 第二章 介 紹了人工神經(jīng)網(wǎng)絡的 生物模型，并且介紹了 bp 神經(jīng)網(wǎng)絡的 數(shù)學模型和 一些改進方法 ，在最后給出了其實現(xiàn)的流程圖。并且詳細介紹了神經(jīng)網(wǎng)絡類的實現(xiàn)。它和人體中其他細胞的關鍵區(qū)別在于具有產(chǎn)生、處理和傳遞信號的功能。在兩個神經(jīng)細胞之間的相互接觸點稱為突觸。所有樹突接受到的信號都傳到細胞體進行綜合處理，如果在一個時間 段 內(nèi)，某一細胞接受到的興奮 的 信號量足夠大， 從而使該細胞被激活，產(chǎn)生一個脈沖信號。經(jīng)過幾十年的努力與發(fā)展，己涌現(xiàn)出上百種人工神經(jīng)網(wǎng)絡模型，它們的網(wǎng)絡結構、性能、算法及應用領域各異， 但均是根據(jù)生物學事實衍生出來的。人工神經(jīng)元之間通過互相聯(lián)接形成網(wǎng)絡，稱為人工神經(jīng)網(wǎng)絡。 網(wǎng)絡的學習和知識存儲體現(xiàn)在各單元之間的聯(lián)接 權值 上。 WiXi? 稱為激活值 ，表示此神經(jīng)元的 輸入的總和。 閾值 θ 不是常數(shù)，它是 隨神經(jīng)元的激活而不斷調(diào)整變化的 。 層次型的神經(jīng)網(wǎng)絡結構把神經(jīng)元按功能分為許多層，比如有輸入層，中間層，輸出層，中間層也叫做 隱層，可以有多個中間層。 b. 互連結構 對于互連結構，網(wǎng)絡中任意兩個節(jié)點之間都可能存在連接。在學習訓練過程中需要不斷的給網(wǎng)絡提供一個 標準 模式和一個期望的輸出的模式， 叫做 “導師信號”。 BP 神經(jīng)網(wǎng)絡 原理 BP 算法的基本思想是，學習過和中由信號怕正向傳播與誤反向傳播兩個過程組成。從而獲得各層單元的誤差信號，此誤差信號媽作為修正各單元權值的依據(jù)。 網(wǎng)絡的主要能力 非線性射能力， BP 網(wǎng)絡能學習和存儲大量輸入 輸出模式映射關系，而無需事先了解描述這種映射關系的數(shù)學模型。 容錯能力， BP 網(wǎng)絡的魅力還在于，允許輸入樣本中帶有較大的誤差甚至個別錯誤。 輸入層到隱層 之間的權值矩陣用 V 表示， 12( , ,..., )TjV v v v? ， 其 中jV為 隱層第 j 個神經(jīng)元對應的權向；隱層到輸出層之間的權值矩陣用 W 表示， 12( , ,..., )TiW w w w? ， 其中列向量 Wk 為輸出層第 k個神經(jīng)元對應的權值向量。 對于輸出層： 對于隱層： 對輸出層和隱層各定義一個誤差信號，令： 21021 0 01 ( ( ( ) ))21 ( ( ( ) ))2lmk jk jkjl m nk jk ij ik j iE d f w f d f w f v x??? ? ???????? ? ?jkjkEww??? ? ??kjkjk k jkn e tEEww n e t w?????? ? ? ? ?? ? ?ijijEvv??? ? ??kijij j ijn e tEEvv n e t v?????? ? ? ? ?? ? ? 桂林電子科技大學畢業(yè)設計（論文）報告用紙 第 12 頁 共 37 頁 由上兩式可得出： 對于輸出層： 對于隱層： 從而可以得出 BP 網(wǎng)絡的權值調(diào)整量： okkyjjEE????????????ojk k jwy????yi j j ivx????39。然而 BP 算法仍有不少缺陷。 。若用 W 代表某層權矩陣， X 代表某層輸入向量，則含有動量項的權值調(diào)整向量一達式為： 增加動量項即從前一次的權值調(diào)整量中取出一部分迭加到本次權值調(diào)整量中，α稱為動量系數(shù)。為了加速收斂過程， 增加了學習率的自適應性，使其該大時增大，該小時減小。 計算網(wǎng)絡的輸出誤差，設共有 P 對訓練樣本，網(wǎng)絡對于不同的樣本具有不同的誤差 ： 可將全部樣本輸出誤差的平方 2()pE 進行累加再開方，作為總輸出誤差，也可用諸誤差中的最大者 maxE 代表網(wǎng)絡的總輸出 誤差，實用中更多采用均方差誤差 : 計算各層誤差信號，計算 ok? 和 yj? 。 21()lp p pkkkE d o????211 ()p pRM EpEEp ?? ? 桂林電子科技大學畢業(yè)設計（論文）報告用紙 第 15 頁 共 37 頁 3 模板匹配法原理 理 論基礎 在圖像識別中，最簡單的識別方法就是模板匹配。用模板匹配方法來識別，若 AXX? ，則該手寫數(shù)字為 A，若 BXX? ，則該手寫數(shù)字為 B。 具休體判別時， X， Y 兩點的距離可以用 2XY? 表示，即： 式中的 T T Ti i iX X X X X Xi??為特征的線性函數(shù)，可 作為判別函數(shù)： () T T Ti i i id X X X X X X X i? ? ? 若 ( , )id X X =min( ()idX)，則 X? iw 。 本文中模板匹配算法流程圖見附錄 2，其基本思想是將樣品與庫中的每一個特征進行距離計算，找出距離最小的一個特征 。為了對樣品進行準確的識別，需要進行特征選擇或特征壓縮。 對數(shù)字的識別特征提取可以有多種方法，有的方法認為從框架的左邊框到數(shù)字之間的距離變化反映了不同數(shù)神出鬼沒不同形狀， 以框架的左邊框到數(shù)字之間的距離用來作為數(shù)字分類的依據(jù)。 采用模板的好處是，針對同一形狀，不同大小的樣口得到的特征值相差不大，有能力對同一形狀，不同大小的樣品視為同類，因此本文中要求物體至少在寬度的高度要大于 5個像素，否則太小無法正確的分類。 此類中有如下成員函數(shù) ： LoadFile 從文件加載位圖 SaveFile 保存位圖到文件 GetData 返回加載的位圖的數(shù)據(jù)指針 GetWidth 返回圖像的寬度 GetHeight 返回圖像的高度 GetSize 返回圖像的大小 GetNumOfColors 返回顏色表中顏色數(shù) 桂林電子科技大學畢業(yè)設計（論文）報告用紙 第 18 頁 共 37 頁 通過此類中函數(shù) LoadFile 加載位圖后即可通過 GetData 得到加載的位圖的數(shù)據(jù) 指針 。 BmpEdit 使用一個數(shù)組保存存繪制的數(shù)據(jù)，在此類的創(chuàng)建時，會把位圖的格式設為 8位位圖，因為只會用到兩種顏色所以同時會設置調(diào)色板中只有兩種顏色 。在同一圖片中， 手寫的數(shù)字 (字母 )不可能在同一位置，大小也不 同 ，此時 首先需提取在一張圖片中 提取手寫的數(shù)字(字母 )的位置，也就是數(shù)字位于圖片中的上下左右四個邊框 。 統(tǒng)計一個小框中的像素個數(shù)由 NgetFeature 類中的函數(shù) GetPixelInBlock 完成。 下圖是對圖片進行特征提取的實例 : 原始圖 : 桂林電子科技大學畢業(yè)設計（論文）報告用紙 第 19 頁 共 37 頁 5 數(shù)字 (字母 )識別軟件的實 現(xiàn) 特征保存與提取 模塊 類 Nfeature， 此類用于保存一個特征，包含了一個從圖片中提取的 5*5 的特征數(shù)組。本文中使用的是 25維數(shù)組的特征，如果 將來要進行改進， 也許特征會大于 25 維，此時數(shù)組的大小則會不夠，如果要繼續(xù)使 用此類，則要進行代碼的重新編寫，無法重用 。 Vectors 包含著一系列連續(xù)存儲的元素 ,其行為和數(shù)組類似。因為分配時是按塊分配內(nèi)存的，所以也不用太過于擔心過多的內(nèi)存分配 所帶來的 時間花費。對于數(shù)據(jù)的插入，刪除查找 ，取得指定位置的數(shù)據(jù)都有完整的函數(shù)，使 用起來方便簡單，無需使用者去關注細節(jié)，就可以獲得不少的功能 。 可以看出，此類與 Nfeature 類是組合關系。相當于一個容器，用于保存許多的數(shù)字特征。 右圖是從文件加載特征的流程圖 ,保存特征與此類似。每一行的第一個字符說明了此行代表的是哪一個字符，以空格分開的第二個字符 代表 的是此行所代表的數(shù)字共有幾個特征，然后再以空格分開后的一連串的數(shù)據(jù)則是所有的特征 。 模塊 特征提取類基類 XgetFeature， 這是一個純虛類，它 只是用來提供接特征提取的結口 ，任何一個要具有特征提取功能 的類只要從此類中繼承，并且實現(xiàn)相應的接口函數(shù)即可 。 特征提取類 NgetFeature， 此類從 XFeature 繼承而來，并且實現(xiàn)了其中的三個特征提取的虛函數(shù)，從而具有特征提取的功能 。 bm ) 。 以上各個類之間的關系圖大概如 右 圖所示： NumatureLib 由多個數(shù)字特征組成的一個庫 Nfeature 保存一個特征 NnmFeature 保存一個數(shù)字的特征，一個數(shù)字可能有多個特征樣本 NGetFeature 數(shù)字特征的提取類 Virtual XgetFeature 特征提取類的基類 桂林電子科技大學畢業(yè)設計（論文）報告用紙 第 22 頁 共 37 頁 BP 神經(jīng)網(wǎng)絡 的實現(xiàn) 模塊 神經(jīng)網(wǎng)絡類主要 有 ： Bpfnc 類， Bp類， 2Fnc 類 ， Bp2 類。 在進 行改進后可以無需進行原來已經(jīng)做好的代碼，只需進行繼承 ，并實現(xiàn)一個新的算法 ，并使用新的子類進行實例化 。