【正文】 .............................................................................................................19 基于概率的 BAYES 決策 ............................................................................................20 基于最小錯誤率 BAYES 的手寫數(shù)字字符分類 ........................................................21 樣品均值 ..............................................................................................................21 協(xié)方差矩陣 ..........................................................................................................22 先驗概率 .............................................................................................................22 協(xié)方差矩陣的行列式 .........................................................................................22 協(xié)方差矩陣的逆矩陣 .........................................................................................23 判別函數(shù) .............................................................................................................24 基于最小風(fēng)險的 BAYES 分類的實現(xiàn) ........................................................................24 與最小錯誤 Bayes 決策的相同之處 .................................................................24 后驗概率 .............................................................................................................25 損失函數(shù) .............................................................................................................255 分類實驗與信息 ...............................................................................................................26 特征提取方法的軟件實現(xiàn) ........................................................................................26 截圖并說明仿真過程 ................................................................................................26 獲得實驗結(jié)果 ............................................................................................................28 分類結(jié)果分析與評價 ................................................................................................296 總 結(jié) .................................................................................................................................30致 謝 ..................................................................................................................................31參考文獻(xiàn) ..............................................................................................................................32附 錄 ..................................................................................................................................34附錄 1．編程代碼： .......................................................................................................34附錄 2．仿真部分截圖： ...............................................................................................391 緒 論 手寫數(shù)字特征提取與分析的背景與意義手寫數(shù)字特征提取與分析在學(xué)科上屬于模式識別和人工智能的范疇。在過去的四十年中，人們想出了很多辦法獲取手寫字符的關(guān)鍵特征。這些手段分兩大類：全局分析和結(jié)構(gòu)分析。對前者，我們可以使用模板匹配、象素密度、矩、特征點(diǎn)、數(shù)學(xué)變換等技術(shù)。這類的特征常常和統(tǒng)計分類方法一起使用。對后者，多半需要從字符的輪廓或骨架上提取字符形狀的基本特征，包括：圈、端點(diǎn)、節(jié)點(diǎn)、弧、突起、凹陷、筆畫 等等。與這些結(jié)構(gòu)特征配合使用的往往是句]1[法的分類方法。多年的研究實踐表明，對于完全沒有限制的手寫數(shù)字，幾乎可以肯定：沒有一種簡單的方案能達(dá)到很高的識別率和識別精度。因此，最近這方面的努力向著更為成熟、復(fù)雜、綜合的方向發(fā)展。一方面，研究工作者努力把新的知識運(yùn)用到預(yù)處理，特征提取，分類當(dāng)中，如：神經(jīng)網(wǎng)絡(luò)、數(shù)學(xué)形態(tài)學(xué)等。作者認(rèn)為，在手寫數(shù)字識別的研究中，Bayes 和多種方法的綜合是值得重視的方向。手寫數(shù)字特征提取與分析研究的理論意義：，對手寫數(shù)字識別的研究基本上與文化背景無關(guān)，這樣就為各國，各地區(qū)的研究工作者提供了一個施展才智的大舞臺。在這一領(lǐng)域大家可以探討，比較各種研究方法。較小，有助于做深入分析及驗證一些新的理論。的研究，并已取得了很多成果，但到目前為止機(jī)器的識別本領(lǐng)還無法與人的認(rèn)知能力相比，這仍是一個有難度的開放問題。的應(yīng)用是對英文這樣的拼音文字的識別。事實上，很多學(xué)者就是把數(shù)字和英文字母的識別 放]2[在一塊兒研究的。 手寫數(shù)字特征的識別技術(shù)簡介手寫數(shù)字特征的識別技術(shù)簡介如圖 所示，由數(shù)據(jù)獲取、預(yù)處理、特征提取、分類決策及Matlab 分類器設(shè)計五部分組成。一般分為上下兩部分。上部分完成未知類別的模式分類；下般部分屬于設(shè)計分類器的訓(xùn)練過程，利用樣品進(jìn)行訓(xùn)練，確定分類器的具體參數(shù)，完成分類器的2設(shè)計。而分類決策在識別的過程中起作用，對待識別樣品進(jìn)行決策分類 。]3[數(shù)據(jù)獲取 預(yù)處理 特征提取 分類決策 分類結(jié)果訓(xùn)練樣本輸入誤差檢驗預(yù)處理 確定判別函數(shù)特征提取改進(jìn)判別函數(shù)圖 模式識別的過程 現(xiàn)有的手寫特征提取的有關(guān)算法現(xiàn)有的手寫特征提取的算法有多種，最鄰近模版匹配法，基于 PCA 的模版匹配法，基于類中心的歐式距離法分類法，馬氏距離分類法，夾角余弦距離分類法，二值化的夾角余弦距離分類法，二值化的 Tanimoto 測度分類法，特征空間分類法，二值數(shù)據(jù)的貝葉斯分類法，最小錯誤概率的貝葉斯分類法，最小風(fēng)險的貝葉斯分類法，正太性分布函數(shù)的統(tǒng)計假設(shè)檢驗法，F(xiàn)isher 算法，LMSE 算法，勢函數(shù)法，基于核的 Fisher 法，BP 神經(jīng)網(wǎng)絡(luò)分類法，RBF 神級網(wǎng)絡(luò)分類法，Hopfield 神經(jīng)網(wǎng)絡(luò)分類法，自組織神經(jīng)網(wǎng)絡(luò)分類法，CPN 神級網(wǎng)絡(luò)分類法等等，還有各種現(xiàn)階段的新型算法。 手寫特征的典型應(yīng)用 手寫數(shù)字識別有著極為廣泛的應(yīng)用前景，這也正是它受到世界各國的研究工作者重視的一個主要原因。下面我們將介紹以手寫數(shù)字識別技術(shù)為基礎(chǔ)的典型應(yīng)用。 手寫數(shù)字識別在大規(guī)模數(shù)據(jù)統(tǒng)計中的應(yīng)用: 在大規(guī)模的數(shù)據(jù)統(tǒng)計(如:行業(yè)年檢、人口普查等)中，需要輸入大量的數(shù)據(jù)，以前完全要手工輸入，則需要耗費(fèi)大量的人力和物力。近年來在這類工作中采用 OCR 技術(shù)已成為一種趨勢。 因為在這種應(yīng)用中，數(shù)據(jù)的錄入是集中組織的，所以往往可以通過專門設(shè)計表格和對書寫施加限制以便于機(jī)器的自動識別。目前國內(nèi)的大多數(shù)實用系統(tǒng)都要求用戶按指定規(guī)范在方格內(nèi)填寫。另外，這些系統(tǒng)往往采用合適的用戶界面對識別結(jié)果做全面的檢查，最終保證結(jié)果正確無誤?？梢钥闯?，這是一類相對容易的應(yīng)用，對識別核心算法的要求比較低，是目前國內(nèi)很多3單位應(yīng)用開發(fā)的熱點(diǎn)。 手寫數(shù)字識別在財務(wù)、稅務(wù)、金融領(lǐng)域中的應(yīng)用: 財務(wù)、稅務(wù)、金融是手寫數(shù)字識別大有可為的又一領(lǐng)域。隨著我國經(jīng)濟(jì)的迅速發(fā)展，每天等待處理的財務(wù)、稅務(wù)報表、支票、付款單等越來越多。如果能把它們用計算機(jī)自動處理，無疑可以節(jié)約大量的時間、金錢和勞力。與上面提到的統(tǒng)計報表處理相比，在這個領(lǐng)域的應(yīng)用難度更大，原因有:1)對識別的精度要求更高。2)處理的表格往往不止一種，一個系統(tǒng)應(yīng)能智能地同時處理若干種表格。3)由于處理貫穿于整個日常工作之中，書寫應(yīng)盡量按一般習(xí)慣(如:不對書寫者的寫法做限定，書寫時允許寫連續(xù)的字串，而不是在固定的方格內(nèi)書寫)，這樣對識別及預(yù)處理的核心算法要求也提高了。 手寫數(shù)字識別在郵件分揀中的應(yīng)用:隨著人們生活水平的提高，經(jīng)濟(jì)活動的發(fā)展，通信聯(lián)系的需求使信函的互換量大幅度增加，我國函件業(yè)務(wù)量也在不斷增長，預(yù)計到 2022 年，一些大城市的中心郵局每天處理量將高達(dá)幾百萬件，業(yè)務(wù)量的急劇上升使得郵件的分揀自動化成為大勢所趨。在郵件的自動分揀中，手寫數(shù)字識別往往與光學(xué)條碼識別，人工輔助識別等手段相結(jié)合，完成郵政編碼的閱讀 。目前使用]4[量最大的 OVCS 分揀機(jī)的性能指標(biāo):OCR 拒分率 30%, OCR 分揀差錯率 %。 本文研究的內(nèi)容本次設(shè)計擬解決的主要問題是運(yùn)用 Matlab 的 Bayes 工具箱函數(shù)在系統(tǒng)實現(xiàn)的過程中面臨的核心技術(shù)，也就是圖像預(yù)處理和數(shù)字識別等 2 個模塊的 Matlab 程序的實現(xiàn)。本系統(tǒng)研究的基本內(nèi)容主要是從 Bayes 最小錯誤率和 Bayes 最小風(fēng)險仿真程序設(shè)計兩個主要分類入手，運(yùn)用 Bayes分離器各種學(xué)習(xí)算法技術(shù)來解決現(xiàn)實生活中經(jīng)常涉及到的印刷體數(shù)字字符 09 的識別問題。第二章主要寫了模式識別的基本概念和 Matlab 軟件的基本介紹，第三章主要寫了手寫數(shù)字的一些特征和手寫數(shù)字特征的提取方法，以及本論文選擇什么方法對手寫數(shù)字進(jìn)行特征的提取與選擇，第四章主要介紹了 Bayes 分類器，以及 2 種 Bayes 分類器決策方案的計算即：最小錯誤率 Bayes 和最小風(fēng)險 Bayes。第五章寫了 Bayes 分類器的仿真實驗及截圖說明。42 模式識別與 Matlab 的介紹 模式識別 模式識別的基本概念模式識別(Patten Recognition)就是機(jī)器識別或機(jī)器自動識別，目的在于讓機(jī)器自動識別事物。例如手寫數(shù)字識別，就是將手寫的數(shù)字分到具體的數(shù)字類別中。模式識別研究的內(nèi)容是利用計算機(jī)對客觀物體進(jìn)行分類，在錯誤概率最小的條件下，使識別的結(jié)果盡量與客觀物體相符合。讓機(jī)器判別事物的最基本方法就是計算，原則上講是對計算機(jī)要分析的事物與標(biāo)準(zhǔn)模板的相似程度進(jìn)行計算。例如要識別一個手寫數(shù)字，就要將它與 0 到 9 的模板進(jìn)行比較，看跟哪個模板最相似或最接近。 模式識別系統(tǒng)一個典型的模式識別系統(tǒng)如圖 所示，由數(shù)據(jù)獲取、預(yù)處理、特征提取、分類決策及分類器設(shè)計五部分組成。一般分為上下兩部分。上部分完成未知類別的模式分類；下般部分屬于設(shè)計分類器的訓(xùn)練過程，利用樣品進(jìn)行訓(xùn)練，確定分類器的具體參數(shù)，完成分類器的設(shè)計。而分類決策在識別的過程中起作用，對待識別樣品進(jìn)行決策分類。數(shù)據(jù)獲取 預(yù)處理 特征提取 分類決策 分類結(jié)果訓(xùn)練樣本輸入誤差檢驗預(yù)處理 確定判別函數(shù)特征提取改進(jìn)判別函數(shù)圖 模式識別的過程 相關(guān)值計算 1)均值5N 個樣品的均值可以表示為： [21]TnNjj xX),121???（其中 是第 i 個特征的平均值， 。ix ?jiix12)