【正文】 設(shè)計(jì) 學(xué)生姓名： 學(xué) 號(hào)： 學(xué) 院： 信息科學(xué)與技術(shù)學(xué)院 專(zhuān)業(yè)年級(jí)： 電子信息工程 2020 級(jí) 指導(dǎo)教師： 職 稱(chēng)： 完成日期： 二 ○ 一一年六月十一日 摘要 I 手寫(xiě)體數(shù)字識(shí)別系統(tǒng)設(shè)計(jì) 學(xué)生： 指導(dǎo)教師： [摘要 ] 隨著科學(xué)技術(shù)的迅速發(fā)展，在郵政編碼、統(tǒng)計(jì)報(bào)表、財(cái)務(wù)報(bào)表、銀行票據(jù)等處理大量字符信息錄入的場(chǎng)合，手寫(xiě)數(shù)字識(shí)別系統(tǒng)的應(yīng)用需求越來(lái)越強(qiáng)烈，如何將數(shù)字方便、快速地輸入到 計(jì)算機(jī)中已成為關(guān)系到計(jì)算機(jī)技術(shù)普及的關(guān)鍵問(wèn)題。 在整個(gè) OCR 領(lǐng)域中，最為困難的就是脫機(jī)手寫(xiě) 字符 的識(shí)別。這幾年來(lái)我國(guó)開(kāi)始大力推廣的 “ 三金 ” 工程在很大程度上要依賴(lài)數(shù)據(jù)信息的輸入，如果能通過(guò)手寫(xiě)數(shù)字識(shí)別技術(shù)實(shí)現(xiàn)信息的自動(dòng)錄入，無(wú)疑會(huì)促進(jìn)這一事業(yè)的進(jìn)展。這些手段分兩大類(lèi)：全局分析和結(jié)構(gòu)分析。因此，最近這方面的努力 向著更為成熟、復(fù)雜、綜合的方向發(fā)展。在于數(shù)字信息自動(dòng)處理領(lǐng)域，節(jié)省人力，提高效率，加快信息流動(dòng)，創(chuàng)造巨大的經(jīng)濟(jì)效益 [5]。 （ 3）盡管人們對(duì)手寫(xiě)數(shù)字的識(shí)別已從事了很長(zhǎng)時(shí)間的研究，并已取得了很多成果，但到目前為止機(jī)器的識(shí)別本領(lǐng)還無(wú)法與人的認(rèn)知能力相比，這仍是一個(gè)有難度的開(kāi)放問(wèn)題。 而 隨著國(guó)家信息化進(jìn)程的加速，手寫(xiě)數(shù)字識(shí)別的應(yīng)用需求越來(lái)越廣泛，應(yīng)用系統(tǒng)的性能的關(guān)鍵與瓶頸在于手寫(xiě)數(shù)字識(shí)別核心算法性能上，最終目標(biāo)是研究零誤識(shí)率和低拒識(shí)率的高速識(shí)別算法。因?yàn)閿?shù)據(jù)的錄入是集中組織的，所以往往可以通過(guò)專(zhuān)門(mén)設(shè)計(jì)表格和對(duì)書(shū)寫(xiě)施加限制以便于機(jī)器的自動(dòng)識(shí)別。 財(cái)務(wù)、稅務(wù)、金融是手 寫(xiě)數(shù)字識(shí)別大有可為的又一領(lǐng)域。 手寫(xiě)數(shù)字識(shí)別在郵件分揀中的應(yīng)用 也十分廣泛， 隨著人們生活水平的提高 ，經(jīng)濟(jì)活動(dòng)的發(fā)展 ， 通信聯(lián)系的需求使信函的互換量大幅度增加，我國(guó)函件業(yè)務(wù)量也在不斷增長(zhǎng)，一 些 大城市的中心郵局每天處理量將高達(dá) 上千 萬(wàn)件，業(yè)務(wù)量的急劇上升使得郵件的分揀自動(dòng)化成為大勢(shì)所趨。 圖 11 識(shí)別的基本思路框架圖 導(dǎo)入圖片 邊緣提取 Freeman編碼 關(guān)鍵點(diǎn)特征提 取 參數(shù)測(cè)量 計(jì)算面積 石河子大學(xué)學(xué)士學(xué)位論文 4 課題難點(diǎn)分析 數(shù)字的類(lèi)別只有十種，筆劃又簡(jiǎn)單，其識(shí)別問(wèn)題似乎不是很困難。這是因?yàn)?，?shù)字沒(méi)有上下文關(guān)系，每個(gè)單字的識(shí)別都事關(guān)重要，而且數(shù)字識(shí)別經(jīng)常涉及的財(cái)會(huì)、金融領(lǐng)域其嚴(yán)格性更是不言而喻的。 第二章 開(kāi)發(fā)運(yùn)行環(huán)境 5 第二章 開(kāi)發(fā)運(yùn)行環(huán)境 系統(tǒng)開(kāi)發(fā)環(huán)境和運(yùn)行環(huán)境 硬件環(huán)境： （ 1） 計(jì)算機(jī)一臺(tái)。 開(kāi)發(fā)工具介紹 硬件部分介紹 本課題中，我們所用到的硬件有攝像頭， 攝像頭 (CAMERA)又稱(chēng)為電腦相機(jī)，電腦眼 等，是一種視頻 輸入設(shè)備 ，被廣泛的運(yùn)用于 視頻會(huì)議 ，遠(yuǎn)程醫(yī)療及 實(shí)時(shí)監(jiān)控 等方面。 攝像頭分為模擬攝像頭 和 數(shù)字 攝像頭兩大類(lèi)。在本實(shí)驗(yàn)中，我們就選擇 使用 了 USB數(shù)字?jǐn)z像頭 。 軟件部分介紹 本課題中，我們所用到的軟件是 Matlab， Matlab 是 MATrix LABoratory 的縮寫(xiě)， 它是一種科學(xué)計(jì)算軟件，專(zhuān)門(mén)以矩陣的形式處理數(shù)據(jù)。 本試驗(yàn)中，我們使用了 Matlab 圖形用戶(hù)界面（簡(jiǎn)稱(chēng) GUI） 設(shè)計(jì)主界面和子界面，優(yōu)化界面并實(shí)現(xiàn)主界面對(duì)子界面的調(diào)用，編寫(xiě)界面的回調(diào)函數(shù)。 根據(jù)國(guó)內(nèi)外優(yōu)秀的 GUI 技術(shù)應(yīng)用的成功經(jīng)驗(yàn)，可以總結(jié)出近幾年的設(shè)計(jì)具備以下幾個(gè)最基本特點(diǎn) [13]： （ 1）技術(shù)上具有先進(jìn)性、高效性、實(shí)用性、安全性； （ 2）數(shù)據(jù)管理功能完善，數(shù)據(jù)的采集、處理、發(fā)布過(guò)程中不會(huì)出現(xiàn)數(shù) 據(jù)丟失、改變的問(wèn)題； （ 3）界面友好，操作簡(jiǎn)便，使用統(tǒng)一的瀏覽器界面； （ 4）自動(dòng)化程度高，結(jié)構(gòu)設(shè)計(jì)簡(jiǎn)單； （ 5）模塊化設(shè)計(jì)，易于擴(kuò)充功能； （ 6）產(chǎn)品設(shè)計(jì)靈活； （ 7）投資少，最大限度保護(hù)用戶(hù)的投資。 其中， 常見(jiàn)的處理 有 圖像數(shù)字化、圖像編碼、 圖像增強(qiáng) 、圖像復(fù)原、圖像分割和 圖像分析 等 。 在本文中，我們就是利用USB攝像頭將圖像數(shù)字化。 圖像分割 是 將圖像劃分為一些互不重疊的區(qū)域，每一區(qū)域是像素的一個(gè)連續(xù)集。境界法利用各種 邊緣檢測(cè) 技術(shù)，即根據(jù)圖像邊緣處具有很大的梯度值進(jìn)行檢測(cè)。圖像匹配試圖建立兩張圖片之間的幾何對(duì)應(yīng)關(guān)系，度量其類(lèi)似或不同的程度。 （ 1）索引圖像 索引圖像是一種把像素值直接作為 RGB調(diào)色板下標(biāo)的圖像。其中 B是一個(gè)包含 3列和若干行的數(shù)據(jù)陣列。 （ 2）灰度圖像 灰度數(shù)字圖像是每個(gè)像素只 有一個(gè)采樣顏色的圖像 ， 這類(lèi)圖像通常顯示為從最暗 的 黑色到最亮的白色的灰度，盡管理論上這個(gè)采樣可以 用于 任何顏色的不同深淺，甚至可以是不同亮度上的不同顏色。大多數(shù)情況下，灰度圖像很少和顏色映射表一起保存。二值圖像可以采用 uint和 double類(lèi)型存儲(chǔ)，工具箱中以二值圖像作為返回結(jié)果的函數(shù)都使用 uint類(lèi)型。像素的顏色保存在像素位置上的紅、綠、藍(lán)的強(qiáng)度值的 組合來(lái)確定。 圖 31 手寫(xiě)體數(shù)字識(shí)別系統(tǒng)結(jié)構(gòu)圖 其中三個(gè)模塊的輸入部分以及部分輸出部分的具體設(shè)計(jì)將會(huì)在下一章中提到。 在本系統(tǒng)中，我們?cè)O(shè)計(jì)的 這個(gè)部分主要由計(jì)算數(shù)據(jù)大小，灰度，全局圖像閾值選取，二值化，刪除 小面積圖形等過(guò)程組成。 [d1,d2,d3,? ,dn] = size(X) 返回 X 數(shù)組每一維的大小到 d1， d2， d3，?， dn。 rgb2gray 刪除圖像中的色調(diào)和飽和度信息，而保留亮度信息，從而將 RGB 圖像轉(zhuǎn)換為灰度圖。如果輸入的是色圖，則輸入和輸出都是 double 類(lèi)型的。 J = rgb2gray(I)。 figure。 第三章 手寫(xiě)體數(shù)字識(shí)別系統(tǒng)構(gòu)成及原理 12 測(cè)試結(jié)果如圖 、 所示 ： 圖 32 原始圖像 圖 33 灰度圖像 （ 3） 全局圖像閾值選取 全局圖像閾值選取的函數(shù)為 graythresh，函數(shù)功能為 使用大津法進(jìn)行全局圖像閾值選取 。 多維矩陣被 reshape 自動(dòng)轉(zhuǎn)換為二維矩陣。只有單一灰度值的圖像 0，只有兩個(gè)灰度值的圖像 1。函數(shù) graythresh 能用來(lái)自動(dòng)計(jì)算變量 level 。 注：如果輸入圖像不是灰度圖像， im2bw 首先將圖像轉(zhuǎn)換為灰度圖像，然后通過(guò)閾值將灰度圖像轉(zhuǎn)換成二進(jìn)制圖像。 B = im2bw(A)。 測(cè)試結(jié)果如圖 、 所示 ： 圖 34 灰度圖像 圖 35 二值化圖像 （ 5） 刪除小面積圖形 刪除小面積圖形的函數(shù)為 bwareaopen，函數(shù)公式以及具體解析如下： 格式： BW2 = bwareaopen(BW,P,conn) 作用：刪除二值圖像 BW 中面積小于 P 的對(duì)象，默認(rèn)情況下 conn 使用 8 鄰域，這個(gè)部分其實(shí)就是去噪，根 據(jù)設(shè)置的 P 的大小，去除圖像上的雜點(diǎn)。)。 CONN對(duì)應(yīng)鄰域方法，默認(rèn)為 8。有些算法需要先對(duì)圖像進(jìn)行粗分割，因?yàn)樗麄冃枰獜膱D像中提取出來(lái)的信息。分割結(jié)果的好壞需要根據(jù)具體的場(chǎng)合及要求衡量。 閾值分割方法中對(duì)灰度圖像的取閾值分割就是先確定一個(gè)處于圖像灰度取值范圍之中的灰度閾值，然后將圖像中各個(gè)像素的灰度值都與這個(gè)閾值相比較，并根據(jù)比較結(jié)果將對(duì)應(yīng)的像素分為兩類(lèi)。閾值分割方法根據(jù)圖像本身的特點(diǎn)，可分為單閾值分割方法和多閾值分割方法；也可分為基于像素值 的閾值分割方法、基于區(qū)域性質(zhì)的閾值分割方法和基于坐標(biāo)位置的閾值分割方法。 特征提取是計(jì)算機(jī)視覺(jué)和圖像處理中的一個(gè)概念。它檢查每個(gè) 像素 來(lái)確定該像素是否代表一個(gè)特征。 特征提取的目的是從原始數(shù)據(jù)中抽取出用于區(qū)分不同類(lèi)型的本質(zhì)特征。 分類(lèi)識(shí)別 圖像分類(lèi)指的是根據(jù)提取的特征值，利用模式識(shí)別的方法進(jìn)行分類(lèi)，確定類(lèi)別名稱(chēng)，以便對(duì)圖像的重要信息得到一種理解和解釋 。 shuzijz=[shuzijz shuzidb]。 程序主界面 程序的主界面如下，功能主要分為三個(gè)模塊，分別為攝像頭輸入模塊、直接讀取圖片模塊以及寫(xiě)字板輸入模塊，另外，右下角還有個(gè)退出的按鈕，如圖 。normalized39。 uistack(ha,39。)。off39。off39。)。 K=imread(39。Beijingtupian\39。,I)。 set(,39。cdata39。visible39。 zjdqtp push button 2 *1 %視屏輸入 字體 set(gcf,39。)。off39。 另外，在界面的左上角有幾組下拉菜單，主界面的下拉菜單如圖 所示，內(nèi)容包括幫助以及退出，另外三個(gè)下拉菜單的內(nèi)容是三個(gè)模塊的功能。前者的優(yōu)點(diǎn)是帖近自己的應(yīng)用 ，缺點(diǎn)也是明顯的：要費(fèi)相當(dāng)?shù)木η掖硇院茈y保證 ， 與其它人的結(jié)果不好比較。在實(shí)驗(yàn)的過(guò)程中，我們還可以根據(jù)手寫(xiě)體數(shù)字的樣式，來(lái)添加樣本，充實(shí)基準(zhǔn)庫(kù)。 此時(shí)，如果點(diǎn)擊視頻輸入按鈕下面的自動(dòng)截取按鈕，視頻輸入在界面中的畫(huà)面就會(huì)按照規(guī)定的時(shí)間間隔進(jìn)行截取，比如程序設(shè)定是 5 秒進(jìn)行一次截取，畫(huà)面就會(huì)固定在視頻輸入后的 5 秒的圖像上，進(jìn)行截取，然后輸出。 global sp h = waitbar(,39。winvideo39。 %攝像頭 = videoinput(39。, 39。, 39。, [10 200 40 20],... 39。,Inf)。rgb39。)。ReturnedColorSpace39。 data = getsnapshot(sp)。 period=str2num(get(q1,39。TimerF39。fixedDelay39。 start(t)。 圖 411 直接讀圖的手寫(xiě)體數(shù)字識(shí)別讀圖結(jié)果 在直接讀圖的手寫(xiě)體數(shù)字識(shí)別界面上，左邊空白部分的代碼如下： set(gca,39。)) set(gca,39。)) set(gca,39。,[]) 它代表的意思是將坐標(biāo)軸去掉，實(shí)現(xiàn)那一部分的空白。*.bmp39。*.*39。 S = imread([pathname,filename])。shengchengwenjian\zjdqtpsctp39。 imwrite(S,str,39。 圖片識(shí)別按鈕的代碼如下： zjdqtpsb() edit1 = load(39。STRING39。 識(shí)別的具體過(guò)程為單擊界面左邊空白處，拉動(dòng)鼠標(biāo)不松左鍵， 即可在寫(xiě)字板上進(jìn)行手寫(xiě)體數(shù)字的輸入，如圖 413。 石河子大學(xué)學(xué)士學(xué)位論文 23 end switch(dongz) case 39。WindowButtonDownF39。 case 39。, 39。WindowButtonUpF39。 dianji = get(gca, 39。 y0 = dianji(1,2)。CurrentPoint39。 %y=kx+b 直線(xiàn)方程實(shí)現(xiàn)。 else yidong_x=x_zl。 %定義 x 的變化 %定義 y 的變化 if abs(xx0) %直線(xiàn)平行于 y 軸 Y=y0:yidong_y:y。, 39。,30, 39。,39。,39。y0=y。WindowButtonMotionF39。 end 這段代碼所實(shí)現(xiàn)的功能是鼠標(biāo)跟隨，即單擊左鍵，會(huì)進(jìn)行鼠標(biāo)更隨，松開(kāi)左鍵，會(huì)釋放更隨命令。.39。LineStyle39。LineWidth39。black39。*.jpg39。*.bmp39。*.gif39。*.*39。Save Picture39。 if FileName==0 return。評(píng)價(jià)的指標(biāo)除了借用一般文字識(shí)別里的通常做法外，還要根據(jù)數(shù)字識(shí)別的特點(diǎn)進(jìn)行修改和補(bǔ)充 [22]。因此，在評(píng)價(jià)手寫(xiě)數(shù)字識(shí)別系統(tǒng)系統(tǒng)時(shí)，我們必須綜合考慮這幾個(gè)指標(biāo)。而由表 所示，以標(biāo)準(zhǔn)字體存在的手寫(xiě)體數(shù)字識(shí)別率較高，達(dá)到了 84%。 表 51 利用攝像頭輸入的手寫(xiě)體訓(xùn)練結(jié)果 表 52直接讀圖的手寫(xiě)體訓(xùn)練結(jié)果 表 53 利用手寫(xiě)板輸入的手寫(xiě)體訓(xùn)練結(jié)果 數(shù)字 類(lèi)別 正識(shí)樣本數(shù) 誤識(shí) 樣本數(shù) 識(shí)別率 0 4 6 40% 1 5 5 50% 2 4 6 40% 3 5 5 50% 4 7 3 70% 5 6 4 60% 6 5 5 50% 7 3 7 30% 8 7 3 70% 9 6 4 60% 合計(jì) 52 48 52% 數(shù)字 類(lèi)別 正識(shí)樣本數(shù) 誤識(shí)樣本數(shù) 識(shí)別率 0 6 4 60% 1 8 2 80% 2 9 1 90% 3 9 1 90% 4 9 1 90% 5 9 1 90% 6 7 3 70% 7 9 1 90% 8 9 1 90% 9 9 1 90% 合計(jì) 84 16 8