【正文】 第一章 引言 課題背景 數(shù)字已有數(shù)千年的歷史，在世界上使用很廣，然而，在當今社會里，如何快速高效地將數(shù)字輸入計算機，已成為影響人機接口效率的一個重要瓶頸，也關(guān)系到計算機能否真正在我國得到普及應(yīng)用 [1]。 石河子大學(xué) 信息科學(xué)與技術(shù)學(xué)院畢業(yè)論文 課題名稱： 手寫體數(shù)字識別系統(tǒng)設(shè)計 學(xué)生姓名： 學(xué) 號： 學(xué) 院： 信息科學(xué)與技術(shù)學(xué)院 專業(yè)年級： 電子信息工程 2020 級 指導(dǎo)教師： 職 稱： 完成日期： 二 ○ 一一年六月十一日 摘要 I 手寫體數(shù)字識別系統(tǒng)設(shè)計 學(xué)生： 指導(dǎo)教師： [摘要 ] 隨著科學(xué)技術(shù)的迅速發(fā)展，在郵政編碼、統(tǒng)計報表、財務(wù)報表、銀行票據(jù)等處理大量字符信息錄入的場合，手寫數(shù)字識別系統(tǒng)的應(yīng)用需求越來越強烈，如何將數(shù)字方便、快速地輸入到 計算機中已成為關(guān)系到計算機技術(shù)普及的關(guān)鍵問題。本文設(shè)計實現(xiàn)了一個基于 Matlab 軟件的手寫體數(shù)字識別系統(tǒng)，采用模塊化設(shè)計方法， 編寫了攝像頭輸入、直接讀取圖片、寫字板輸入三個模塊，利用攝像頭等工具，將以文本形式存在的手寫體數(shù)字輸入進計算機，完成對手寫體數(shù)字圖片的采集，并設(shè)計了一種手寫數(shù)字識別方法，對手寫體數(shù)字圖像進行預(yù)處理、結(jié)構(gòu)特征提取、分類識別，最終以文本形式輸出數(shù)字，從而實現(xiàn)手寫體數(shù)字的識別。 手寫數(shù)字識別是光學(xué)字符識別技術(shù) (Optical Character Recognition， 簡稱OCR)的一個分支，它研究的對象是：如何利用電子計算機自動辨認人手寫在紙張上的阿拉伯數(shù)字。到目前為止，盡管人們在脫機手寫英文、漢字識別的研究中已取得很多可喜成就，但距實用還有一定距離。 字符識別處理的信息可分為兩大類：一類是文字信息 ， 處理的主要是用各國家、各民族的文字（如：漢字，英文等）書 寫或印刷的文本信息，目前在印刷體和聯(lián)機手寫方面技術(shù)已趨向成熟，并 且 推出了很多應(yīng)用系統(tǒng)；另一類是數(shù)據(jù)信息，主要是由阿拉伯數(shù)字及少量特殊符號組成的各種編號和統(tǒng)計數(shù)據(jù)，如：郵政編碼、統(tǒng)計報表、財務(wù)報表、銀行票據(jù)等等，處理這類信息的核心技術(shù)是手寫數(shù)字識別。因此，手寫數(shù)字的識別研究有著重大的現(xiàn)實意義，一旦研究成功并投入應(yīng)用，將產(chǎn)生巨大的社會和經(jīng)濟效益 [3]。在過去的四十年中，人們想出了很多辦法獲取手寫字符的關(guān)鍵特征。對前者，我們可以使用模板匹配、象素密度、矩、特征點、數(shù)學(xué)變換等技術(shù)。 石河子大學(xué)學(xué)士學(xué)位論文 2 多年的研究實踐表明，對于完全沒有限制的手寫數(shù)字，幾乎可以肯定：沒有一種簡單的方案能達到很高的識別率和識別精度。 本課題通過對 手寫體數(shù)字識別系統(tǒng) 的研究，介紹 了一種 手寫數(shù)字識別核心算法 。 手寫體數(shù)字識別的研究意義 手寫數(shù)字識別研究價值意義在于自然人機交互領(lǐng)域，提高人機交互的自然性和友好性。 手寫數(shù)字識別 的理論價值如下 [6]： （ 1） 阿拉伯數(shù)字是唯一的被世界各國通用的符號，對手寫數(shù)字識別的研究基本上與文化背景無關(guān)，這樣就為各國，各地區(qū)的研究工作者提供了一個施展才智的大舞臺。 （ 2） 由于數(shù)字識別的類別數(shù)較小，有助于做深入分析及驗證一些新的理論。 （ 4）手寫數(shù)字的識別方法很容易推廣到其它一些相關(guān)問題 ， 一 個直接的應(yīng)用是對英文這樣的拼音文字的識別。 課題研究現(xiàn)狀及發(fā)展趨勢 手寫數(shù)字識別有著重要的價值 ， IBM、 HP、日立、東芝、夏普、 NEC、理光和新加坡熱卡公司等國外公司都曾巨額投入手寫數(shù)字識別領(lǐng)域。此外，盡早建立反映中國人書寫習慣的、具有國家標準性質(zhì)的手寫數(shù)字樣本庫也是當務(wù)之 急。近年來在這類工作中采用 手寫第一章 引言 3 識別技術(shù) 已成為一種趨勢。目前國內(nèi)的大多數(shù)實用系統(tǒng)都要求用戶按指定規(guī)范在方格內(nèi)填寫。可以看出，這 種應(yīng)用 對識別核心算法的要求比較低，是目前國內(nèi)很多單位應(yīng)用開發(fā)的熱點 [7]。隨著我國經(jīng)濟的迅速發(fā)展，每天等待處理的財務(wù)、稅務(wù)報表、支票、付款單等越來越多。與上面提到的統(tǒng)計報表處理相比，在這個領(lǐng)域的應(yīng)用難度更大， 因為 對識別的精度要求更高 ，處理的表格種類更多等 ，這樣對識別及預(yù)處理的核心算法要求也提高了。在郵件的自動分揀中，手寫數(shù)字識別往往與光學(xué)條碼識別 (OBROptical Bar Reading)， 人工輔助識別等手段相結(jié)合 ,完成郵政編碼的閱讀。 課題整體結(jié)構(gòu) 我們的思路是利用 Matlab軟 件 建立一個手寫體數(shù)字識別系統(tǒng)，利用三種方法實現(xiàn)圖像輸入的功能，然后對輸入的圖像進行預(yù)處理，分割，結(jié)構(gòu)特征提取，分類識別等操作，最終識別出圖像上的數(shù)字，如圖 11。但事實上，一些測試結(jié)果表明，數(shù)字的正確識別率并不如印刷體漢字識別正確率高，甚至也不如聯(lián)機手寫體漢字識別率高，而只僅僅優(yōu)于脫機手寫體漢字識別。另外，在實際應(yīng)用中，對數(shù)字識別單字識別正確率的要求要比文字要苛刻得多。因此，用戶的要求不是單純的高正確率，更重要的是極低的、千分之一甚至萬分之一以下的誤識率。因此，研究高性能的手寫數(shù)字識別算法是一個有相當?shù)奶魬?zhàn)性的任務(wù) [8]。 （ 2） 攝像頭一個。 （ 2） Matlab軟 件 。普通人也可以彼此通過攝像頭在網(wǎng)絡(luò)進行有影像、有聲音的交談和溝通。 在本實驗中，我們主要 用它來進行手寫體數(shù)字圖像的輸入，即圖像的采集部分。模擬攝像頭捕捉到的視頻信號必須經(jīng)過特定的視頻捕捉卡將 模擬信號 轉(zhuǎn)換成數(shù)字模式，并加以壓縮后才可以轉(zhuǎn)換到計算機上運用。由于個人電腦的迅速普及，模擬攝像頭的整體成本較高等原因，現(xiàn)在電腦市場上的攝像頭基本以數(shù)字攝像頭為主，而數(shù)字攝像頭中又以使用新型 數(shù)據(jù)傳輸接口 的 USB 數(shù)字攝像頭為主 。 這種 攝像頭的工作原理大致為：景物通過鏡頭 (LENS)生成的 光學(xué) 圖像投射到圖像傳感器表面上，然后轉(zhuǎn)為電信號，經(jīng)過 A/D(模數(shù)轉(zhuǎn)換 )轉(zhuǎn)換后變?yōu)閿?shù)字圖像信號，再送到數(shù)字信號處理芯片 (DSP)中加工處理，再通過 USB 接口傳輸?shù)诫娔X中處理，通過顯示器就可以看到圖像 [10]。 另外， 視頻捕獲能力 也是用戶最為關(guān)心的功能之一， 目前攝像頭的視頻捕獲都是通過軟件來實現(xiàn)的， 在本實驗中，我們設(shè)置了根據(jù)秒數(shù)來自動截取圖片，這對電腦的要求非常高，即 CPU 的處理能力要足夠的快，其次對畫面 也有 要求， 不同大小 最大分辨率 下的畫面， 捕獲能力也不盡相同 ，我們選擇的這種 USB 數(shù)字攝像頭的捕獲能力一般，勉強能夠?qū)崿F(xiàn)我們對實驗的要求，如果想要更高的識別率，可以選擇更好些的攝像頭甚至是工控攝像頭 。 Matlab 將高性能的數(shù)值計算和可視化集成在一起，并提供了大量的內(nèi)置函數(shù)，從而被廣泛地應(yīng)用于科學(xué)計算、控制系統(tǒng)、信息處理等領(lǐng)域的分析、仿真和設(shè)計工作，而且利用 Matlab產(chǎn)品的開放式結(jié)構(gòu)，可以非常容易地對 Matlab 的功能進行擴充，從而在不斷深化對問題認識的同時，完善 Matlab 產(chǎn)品以提高產(chǎn)品自身的競爭力 [11]。 Matlab 的主要特色如下 [12]： （ 1）語言簡潔緊湊，使用方便靈活，庫函 數(shù)極其豐富； （ 2）運算符豐富； （ 3）既具有結(jié)構(gòu)化的控制語句（如 for 循環(huán)、 while 循環(huán)、 break 語句和 if 語句），又有面向?qū)ο缶幊痰奶匦裕? （ 4）語法限制不嚴格，程序設(shè)計自由度大； （ 5）程序的可移植性很好，基本上不做修改就可以在各種型號的計算機和操作系統(tǒng)上運行； （ 6）圖形功能強大； （ 7）包含功能強勁的工具箱。系統(tǒng)界面設(shè)計布局采用自頂向下的設(shè)計方法，即先設(shè)計主界 面再設(shè)計各個子界面。 第二章 開發(fā)運行環(huán)境 7 本課題避開了硬件系統(tǒng)的不足，巧妙的運用軟件來仿真硬件才能實現(xiàn)的實驗結(jié)果，大大降低了實驗設(shè)備要求，節(jié)約了人力和財力， 而且有很多的庫函數(shù)可以在實驗時直接調(diào)用，避免了用硬件做實驗的局限性。 石河子大學(xué)學(xué)士學(xué)位論文 8 第三章 手寫體數(shù)字識別系統(tǒng)構(gòu)成及原理 圖像處理基礎(chǔ)知識 圖像處理 (image processing)，是指用計算機對圖像進行分析，以達到所需結(jié)果的技術(shù) ， 又稱影像處理 ， 一般指 的是 數(shù)字圖像處理 [14]。圖像處理技術(shù)的主要內(nèi)容包括 圖像壓縮 ，增強和復(fù)原，匹配、描述和識別 這幾 個部分。 圖像數(shù)字化 指的是 通過取樣和量化過程將一個以自然形式存在的 圖像變換 為適合計算機處理的數(shù)字形式。圖像數(shù)字化需要專門的設(shè)備，常見的有各種電子的和光學(xué)的掃描設(shè)備，還有機電掃描設(shè)備和手工操作的數(shù)字化儀。 圖像編碼 是 對圖像信息編碼，以滿足傳輸和存儲的要求。 圖像增強的目標是改進圖片的質(zhì)量，例如增加對比度，去掉模糊和噪聲，修正幾何畸變等；圖像復(fù)原是在假定已知模糊或噪聲的模型時，試圖估計原圖像的一種技術(shù) 。通常采用把像素分入特定區(qū)域的區(qū)域法和尋求區(qū)域之間邊界的境界法。有時用固定的閾值不能得到滿意的分割，可根據(jù)局部的對比度調(diào)整閾值，這稱為自適應(yīng)閾值。這兩種方法都可以利 用圖像的紋理特性實現(xiàn)圖像分割。圖像匹配、描述和識別 是 對圖像進行比較和配準，通過提取圖像的特征及相互關(guān)系，得到圖像符號化的描述，再把它同模型比較，以確定其分類。 石河子大學(xué)學(xué)士學(xué)位論文 9 Matlab圖像處理是指計算機采用 Matlab處理圖形圖像的技術(shù)。此外， Matlab還支持由多幀圖像組成的圖像序列 [15]。索引圖像可把像素值直接映射為調(diào)色板數(shù)值。 索引圖像包括一個數(shù)據(jù)矩陣 A，一個顏色映射矩陣B。 B矩陣的每一行分別表示紅色、綠色和藍色的顏色值。像素顏色由數(shù)據(jù)矩陣 A作為索引指向矩陣 B進行索引。 Matlab中，一幅灰度圖像是一個數(shù)據(jù)矩陣 I，其中 I的數(shù)據(jù)均代表了在一定范圍內(nèi)的顏色灰度值。矩陣中的元素可以是雙精度的浮點數(shù)類型、 8位或 16位無符號的整數(shù)類型。但是在顯示灰度圖像時， Matlab仍然在后臺使用系統(tǒng)預(yù)定義的默認的灰度 顏色映射表。 與灰度圖像相同，二值圖像只需要一個數(shù)據(jù)矩陣，每個像素只取兩個灰度值。 （ 4） RGB圖像 RGB圖像，即真彩色圖像，在 Matlab中存儲為 nXmX3的數(shù)據(jù)矩陣。需要指出的是， RGB圖像不使用 Windows顏色映射表。圖像文件格式把 RGB圖像存儲為 24位的圖像，紅、綠、藍分別占 8位。 第三章 手寫體數(shù)字識別系統(tǒng)構(gòu)成及原理 10 手寫體數(shù)字識別系統(tǒng)構(gòu)成 手寫體數(shù)字識別系統(tǒng)結(jié)構(gòu)圖如圖 31所示。 手寫體數(shù)字識別系統(tǒng)原理 當今 手寫 體 數(shù)字識別的應(yīng)用需求越來越廣泛， 在 財務(wù)、稅務(wù)、金融 方面具有不可替代的作用，因此手寫體數(shù)字識別系統(tǒng)應(yīng)具有很高的識別正確率，對環(huán)境光照條件、手寫規(guī)范等因素的影響應(yīng)有較大的容閾，并且要求滿足實時性要求 [16]。 預(yù)處理 為了研究圖像內(nèi)容的識別，首先要對獲得的圖像信息進行預(yù)處理，濾去干擾、噪聲，當信息微弱無法辨識時，還須對圖像進行增強處理，顏色校正等，以便人、機分析 [17]。 （ 1） 計算數(shù)據(jù)大小 攝像頭輸入 寫字板 直接讀圖 預(yù)處理 （計算數(shù)據(jù)大小、 灰度、 全局闕值選取、 二值化、 刪除小面積圖形） 圖像分割 特征提取 分類識別 以 TXT 格式輸出 石河子大學(xué)學(xué)士學(xué)位論文 11 計算數(shù)據(jù)大小的函數(shù)為 size，函數(shù)公式以及具體解析如下： d = size(X) 返回數(shù)組 X 每一維的大小 。 m = size(X,dim) 返回 X 數(shù)組第 dim 維的大小 。 （ 2） 灰 度 灰度是指灰度圖的轉(zhuǎn)換，利用 rgb2gray 函數(shù)，將 RGB 圖形或色圖矩陣轉(zhuǎn)換成灰度圖 [18]。 I = rgb2gray(RGB) 將真彩色圖像 RGB 轉(zhuǎn)換成灰度圖像 I。 newmap = rgb2gray(map) 返回與色圖 map 相對應(yīng)的灰度色圖。輸出的圖像 I 的數(shù)據(jù)與輸入的圖像是相同類型的數(shù)據(jù)。 rgb2gray 測試： I = imread(39。)。 %將圖片轉(zhuǎn)為灰度圖并且保存到 J當中。 imshow(I) %顯示轉(zhuǎn)換前的彩色圖。 %打開新的作圖窗口。 %顯示轉(zhuǎn)換后的灰度圖 J。 函數(shù)公式以及具體解析如下： level = graythresh(I) 計算全局閾值 (level)，該閾值可以用在將強度圖像轉(zhuǎn)換為二進制圖像的函數(shù) im2bw 中。 函數(shù) graythresh 選擇使黑白像素類內(nèi)方差最小的閾值。函數(shù) graythresh 忽略 I 的所有非零虛部。效力矩陣是 [0 1]范圍內(nèi)的值，指示輸入圖像閾值選取的有效性。 （ 4） 二值化 將圖像轉(zhuǎn)換為基于閾值的二進制圖像的函數(shù)為 im2bw，函數(shù)公式以及具體解析如下： BW = im2bw(I， level) 將灰度圖像 I 轉(zhuǎn)換為二進制圖像。你指定 level 在 [0,1]之間， 不用管輸入圖像的等級。如果你不指定 level ，