【正文】 元輸出求實(shí)際輸出與目標(biāo)值的偏差ee滿足要求？計(jì)算隱層誤差單元求梯度誤差權(quán)值調(diào)整全部e滿足？結(jié)束Y NN Y 圖44 BP算法流程圖BP算法在數(shù)字識別中的應(yīng)用流程圖： 采樣數(shù)據(jù)輸入判斷語句映射關(guān)系初步的神經(jīng)網(wǎng)絡(luò)模型學(xué)習(xí)結(jié)束？學(xué)習(xí)樣本穩(wěn)態(tài)時(shí)的神經(jīng)網(wǎng)絡(luò)模型輸出判斷語句輸入屬于給定設(shè)計(jì)空間的新的輸入變量集 圖45 BP算法在數(shù)字識別中的應(yīng)用 BP神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)將要識別的目標(biāo)是從0到9的10個數(shù)字字符。每個字符被分成8*8的小塊進(jìn)行數(shù)字化，分別用一個向量來表示。10個含64個元素的輸入向量被定義為一個輸入向量矩陣，向量代表某個數(shù)字，其相應(yīng)有數(shù)的位置值為1，而其他位置值為0。共有兩類這樣的數(shù)據(jù)作為輸入:一類是在理想的狀態(tài)下的信號。另一類是隨機(jī)方式生成含有噪聲的信號。如圖46所示。圖46 理想信號（上） 含有噪音的信號（下）網(wǎng)絡(luò)通過輸出一個具有10個元素的輸出向量來區(qū)分這些數(shù)字字符，例如字符1對應(yīng)的向量，其第一個位置的元素值為1，而隨后位置的元素值都是0。確定好輸入輸出后可進(jìn)行網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)。第1層為輸入層，根據(jù)以待識別的數(shù)據(jù)分析可確定神經(jīng)網(wǎng)絡(luò)輸入層有64個節(jié)點(diǎn)。第2層為隱含層，一般依靠經(jīng)驗(yàn)和嘗試的方法來確定節(jié)點(diǎn)數(shù)目，第3層為輸出層，由目標(biāo)輸出為含有10個數(shù)據(jù)的向量可知該層有10個節(jié)點(diǎn)。選擇了開發(fā)環(huán)境就要設(shè)計(jì)網(wǎng)絡(luò)。設(shè)計(jì)訓(xùn)練一個神經(jīng)網(wǎng)絡(luò)能夠識別10個數(shù)字字母的網(wǎng)絡(luò)，意味著每當(dāng)給訓(xùn)練過的網(wǎng)絡(luò)一個表示某一數(shù)字的輸入時(shí)，網(wǎng)絡(luò)能夠正確地在輸出指出該數(shù)字，那么很顯然，該網(wǎng)絡(luò)記憶住了所有10個數(shù)字。神經(jīng)網(wǎng)絡(luò)的訓(xùn)練應(yīng)當(dāng)是有監(jiān)督地訓(xùn)練出輸入端的10組分別表示數(shù)字0到9的數(shù)組，能夠?qū)?yīng)出輸出端0到9的具體的位置。首先必須將每個數(shù)字進(jìn)行數(shù)字化處理，以便構(gòu)造輸入樣本。,但經(jīng)過大量的試驗(yàn)表明,這兩種編碼方式的抗干擾性能不佳。,對于數(shù)字0,可以編碼為:0011111000100010001000100010001000100010001000100010001000111110這樣很容易確定該BP網(wǎng)絡(luò)的輸入為64維.當(dāng)數(shù)字?jǐn)?shù)據(jù)混入噪聲時(shí),可以看作是對0,，要加入7%的噪聲,那就可以對4個0或者1進(jìn)行反轉(zhuǎn),翻轉(zhuǎn)哪一個這里是隨即的.經(jīng)過干擾后0的編碼為:0011111000100010001000100010011000100010001000100011101100111110圖中,斜體部分就是噪聲.另外一個很重要的需要考慮的因素是:所要設(shè)計(jì)的網(wǎng)絡(luò)應(yīng)當(dāng)具有抗干擾能力，即設(shè)計(jì)出的網(wǎng)絡(luò)應(yīng)當(dāng)能夠處理嗓聲。具有在由一定不規(guī)范的輸入情況下辨識出正確的數(shù)字輸入的能力。 之間變化的隨機(jī)值。,因?yàn)?9共10個數(shù)字， 個神經(jīng)元。遵循一般的，這里不在贅述。 BP神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)設(shè)計(jì)了BP神經(jīng)網(wǎng)絡(luò)，有64個輸入層，10個輸出層，激活函數(shù)使用Sigmoid函數(shù)。接下來就要確定網(wǎng)絡(luò)的具體參數(shù)以實(shí)現(xiàn)最終的結(jié)果。隱層神經(jīng)元數(shù)目的確定,是BP算法設(shè)計(jì)的關(guān)鍵, 一般來說,在做類似于函數(shù)逼近的課題時(shí),隱層的神經(jīng)元越多,，隱層神經(jīng)元的數(shù)目必須要適當(dāng)?shù)倪x取，即不能過多也不能過少，如果隱層的神經(jīng)元過多,一來會大大的加大訓(xùn)練時(shí)間，二來,雖然神經(jīng)元的增多可以更加精確的描述分類判別的空間的界限，但同時(shí)，也造成網(wǎng)絡(luò)的容錯能力下降。,神經(jīng)元數(shù)目過少的時(shí)候，當(dāng)隱層神經(jīng)元數(shù)目超過25的時(shí)候，網(wǎng)絡(luò)的訓(xùn)練時(shí)間將無法忍受，同時(shí)抗噪聲能力大大降低。當(dāng)神經(jīng)元數(shù)目低于5時(shí),系統(tǒng)誤差無法收斂到滿意的值,又造成識別率過低。 經(jīng)過反復(fù)的試驗(yàn)測定,對比,我認(rèn)為隱層的神經(jīng)元的數(shù)目為815為佳。小于8個神經(jīng)元的時(shí)候，網(wǎng)絡(luò)輸出誤差就太大了,大于15個神經(jīng)元的時(shí)候，識別率又過低。系統(tǒng)誤差是系統(tǒng)進(jìn)行訓(xùn)練的目標(biāo)。當(dāng)系統(tǒng)的輸出誤差小于這個允許的誤差的時(shí)候即停止訓(xùn)練。誤差選擇過大，將造成系統(tǒng)識別率過低。誤差選擇過小，會大大延長訓(xùn)練時(shí)間，是一種浪費(fèi)。這里，也要通過多次的比較分析得到最佳的允許誤差。訓(xùn)練步長的選擇也是BP網(wǎng)絡(luò)設(shè)計(jì)的關(guān)鍵所在. 訓(xùn)練步長過長,則可能造成算法無法收斂。步長過短,一來加大了訓(xùn)練時(shí)間，二來很容易陷入所謂的局部極小值。 識別系統(tǒng)運(yùn)行的結(jié)果本系統(tǒng)軟件是基于VC++，便于將數(shù)據(jù)的管理和顯示隔離開來，其界面如下圖47。能完成圖像預(yù)處理、訓(xùn)練網(wǎng)絡(luò)、字符識別等等。識別前先要確定歸一化的長度和寬度，還要設(shè)定BP訓(xùn)練網(wǎng)絡(luò)的參數(shù)，界面如圖449所示。圖46 識別的界面 圖47 歸一化界面 圖48 網(wǎng)絡(luò)參數(shù)設(shè)置框 系統(tǒng)設(shè)計(jì)中遇到的問題與結(jié)果分析數(shù)字圖像規(guī)格化中如何確定規(guī)格化后數(shù)字的長寬取值是一個重要的問題。若長寬取得過小，規(guī)則化后的字符圖像容易變形；相反取得過大，則使得后期的模板匹配和神經(jīng)網(wǎng)絡(luò)的特征提取量增加，另外長寬還要滿足一定的比例。在設(shè)計(jì)中我選擇的長寬比例為2：1。數(shù)字圖像識別網(wǎng)絡(luò)中如何確定網(wǎng)絡(luò)隱層個數(shù)也是一個重要的問題。隱層個數(shù)取的不對就可能訓(xùn)練不出來，導(dǎo)致識別結(jié)果也不正確。在設(shè)計(jì)中我選擇10個隱層不變。圖像的去噪濾波問題。噪聲在圖像中不可避免，整個系統(tǒng)中有幾次需要對圖像進(jìn)行降噪處理，例如二值化處理后，字符圖像切分之前的降噪處理等。針對不同的情況采用了不同降噪的方法，如二值化后為了消除大量的斑點(diǎn)噪聲而采用數(shù)學(xué)形態(tài)學(xué)的運(yùn)算一方面完成降噪處理另一方面有利于后期定位分割處理。參數(shù)的設(shè)置問題。識別結(jié)果總是不盡理想，由于參數(shù)設(shè)置的不同，結(jié)果總是有差異，經(jīng)總結(jié)設(shè)置的誤差越小，相關(guān)系數(shù)越小，訓(xùn)練樣本的次數(shù)越多，當(dāng)識別數(shù)字時(shí)的結(jié)果就越正確。當(dāng)系數(shù)設(shè)置不好時(shí)，如誤差過小，或相關(guān)系數(shù)過小，會導(dǎo)致訓(xùn)練時(shí)間過長或者網(wǎng)絡(luò)訓(xùn)練陷入死循環(huán)，訓(xùn)練不出來。由于這是一個10類數(shù)字區(qū)分問題,最終決定使用十個隱層，.訓(xùn)練網(wǎng)絡(luò)的問題。在數(shù)字識別時(shí)，要先訓(xùn)練網(wǎng)絡(luò)，但系統(tǒng)中網(wǎng)絡(luò)的訓(xùn)練不能一次到位，基本上訓(xùn)練一次網(wǎng)絡(luò)之后最進(jìn)的幾次識別精度比較高，當(dāng)識別幾次之后，精度就在不斷下降。這是一個未解決的問題。總之，這個系統(tǒng)的識別結(jié)果有的時(shí)候不是很穩(wěn)定，如不同的數(shù)字設(shè)置的參數(shù)就要不同，不能用同一個參數(shù)對所有的數(shù)字都達(dá)到很高的識別精度。但系統(tǒng)總的識別正確率在90%左右。這個系統(tǒng)還有很多不完善的地方，還有待于利用更好的算法進(jìn)行改進(jìn)。 系統(tǒng)設(shè)計(jì)的調(diào)試與心得這是我第一次采用面向?qū)ο缶幊?，心里感觸頗多，也第一次真正體會到VC++功能的強(qiáng)大，用戶界面設(shè)計(jì)簡單高效，強(qiáng)大的類庫支持，調(diào)試功能的強(qiáng)大，它采用斷點(diǎn)技術(shù)動態(tài)跟蹤程序的運(yùn)行，極大地方便了程序員及時(shí)了解內(nèi)存變化情況、變量值現(xiàn)況及每個語句對變量所產(chǎn)生的影響，其單步運(yùn)行方式便于程序員及時(shí)準(zhǔn)確的發(fā)現(xiàn)某些潛伏性的錯誤并現(xiàn)場更正。提高程序效率。程序的效率包括兩個方面一是時(shí)間效率，另一個是空間效率。程序的時(shí)間效率是指運(yùn)行速度，空間效率是指程序占用內(nèi)存或者外存的狀況。提高程序效率先要優(yōu)化數(shù)據(jù)結(jié)構(gòu)和算法，在優(yōu)化執(zhí)行代碼，在本程序中構(gòu)造CDib類封裝數(shù)據(jù)成員和成員函數(shù)使得操作DIB位圖簡捷明了。有時(shí)候時(shí)間效率和空間效率可能對立，此時(shí)應(yīng)當(dāng)分析哪個更為重要，做出適當(dāng)?shù)恼壑?。如有時(shí)需要多花費(fèi)些內(nèi)存來提高性能，同時(shí)不要一味地追求程序的效率，應(yīng)當(dāng)在滿足正確性、可靠性、健壯性、可讀性等質(zhì)量因素的前提下，設(shè)法提高程序的效率。編程的規(guī)范化。這包括命名和程序書寫的規(guī)范。命名規(guī)范是由于Windows的程序一般很長，容易忘記所有變量的含義，為了幫助記憶，Windows中有個約定叫做匈牙利表示法(Hungarian notation).該命名規(guī)則的主要思想是“在變量和函數(shù)名中加入前綴以增進(jìn)人們對程序的理解”。例如所有字符變量前均加ch前綴，若是整型變量則追加i的前綴。程序中不要出現(xiàn)標(biāo)識符完全相同的局部變量和全局變量，容易使人誤解等，也要盡量避免名字中出現(xiàn)數(shù)字編號。程序書寫版式雖然不會影響程序的功能，但會影響可讀性，程序的版式追求清晰、美觀，是程序風(fēng)格的重要構(gòu)成因素。面向?qū)ο蟪绦蛟O(shè)計(jì)的優(yōu)勢。C++是一種面向?qū)ο蟪绦蛘Z言主要有封裝性(Encapsulation)、繼承性(Inheritance)、多態(tài)性(Polymorphism)等特點(diǎn)。封裝把數(shù)據(jù)與操作結(jié)合成一體，使程序結(jié)構(gòu)更加緊湊，同時(shí)避免了數(shù)據(jù)紊亂帶來的調(diào)試與維護(hù)的困難。繼承增強(qiáng)了軟件的可擴(kuò)充性，并為代碼重用提供了強(qiáng)有力的手段。多態(tài)性使程序員在設(shè)計(jì)程序時(shí)可以對問題進(jìn)行更好的抽象，以設(shè)計(jì)出實(shí)用性和維護(hù)性俱佳的程序，這些都顯示了強(qiáng)大的優(yōu)越性。敢于嘗試。沒有任何一個程序員從剛開始設(shè)計(jì)程序時(shí)就萬事精通，程序完美無缺，都是在不斷修改錯誤的基礎(chǔ)上不斷進(jìn)步的。剛開始按照流程圖系統(tǒng)設(shè)計(jì)時(shí)，設(shè)計(jì)的切入點(diǎn)都找不到，將所有的東西都羅列起來，一團(tuán)亂麻，一切都由摸索開始的。先從小的程序做起，一點(diǎn)點(diǎn)的做大，思維就會越來越開闊。有時(shí)候一個錯誤會困擾我很長時(shí)間，只有不斷的想新方法去嘗試最終都會得到解決，經(jīng)驗(yàn)就在一次次克服錯誤中不斷豐富。第5章數(shù)字識別的發(fā)展與應(yīng)用數(shù)字識別有著極為廣泛的應(yīng)用前景，這也正是它受到世界各國的研究工作者重視的一個主要原因。下面我將介紹基于數(shù)字識別的應(yīng)用系統(tǒng)的特殊要求，以及一些以數(shù)字識別技術(shù)為基礎(chǔ)的典型應(yīng)用。 基于數(shù)字識別的應(yīng)用系統(tǒng)的特殊要求盡管數(shù)字識別與一般的文本(如:漢字，英文等)識別同屬于光學(xué)識別(OCR)的大范疇，從應(yīng)用的角度出發(fā)，數(shù)字識別系統(tǒng)有很多特殊的要求:識別精度要達(dá)到較高的水平在一般的文本識別中，信息的冗余較大，有充分的上下文信息，因而對識別的精度要求不是十分高9699%就足夠了。而在數(shù)字識別中，由于沒有上下文關(guān)系，數(shù)據(jù)中的每一位數(shù)字都至關(guān)重要(試想:在財(cái)務(wù)報(bào)表中，把40,000元認(rèn)成90,000元，從字符的角度僅認(rèn)錯了一個數(shù)字，但對用戶而言，這是一個絕對不能容許的錯誤)。%以上。前面己經(jīng)提到，高性能的自由數(shù)字識別是一個很困難的問題，至今為止還沒有什么方法能與人的辨識能力相比，那么在目前的技術(shù)水平下，為了達(dá)到高精度，必須滿足如下要求:（1）要求書寫者用規(guī)定的字型認(rèn)真填寫，避免使用某些容易造成混淆的變體。這個限制對用戶可能是很不方便的，因?yàn)檫@意味著書寫速度的降低和書寫習(xí)慣的改變，但從整體上，系統(tǒng)識別水平將有大幅度的提高，能很大程度上提高系統(tǒng)的運(yùn)行效率。（2）提高拒識率。通過提高拒識率就可以減低誤識率，直到達(dá)到指定的精度要求。當(dāng)然，拒識的增多意味著操作人員的介入的增加，這對用戶是極為不利的。（3）加入邏輯校驗(yàn)。在通信系統(tǒng)中，人們常通過加校驗(yàn)碼來保證數(shù)據(jù)的高質(zhì)量傳輸，常見的校驗(yàn)碼有:奇偶校驗(yàn)，漢明碼等。在基于數(shù)字的應(yīng)用系統(tǒng)中，我們也可以采用類似的方法。不過，這時(shí)校驗(yàn)方式應(yīng)盡量簡單，直觀，利于填寫人快速算出。對處理速度也有很高的要求數(shù)字識別面對的都是極其大量的數(shù)據(jù)報(bào)表，一般都要求達(dá)到每分鐘幾頁到幾十頁的處理能力(包括掃描到完成識別的全過程)。而眾所周知，處理速度與處理精度是一對矛盾，現(xiàn)在既要達(dá)到前面提到的高識別精度，又要有如此之高的速度，無疑增加了系統(tǒng)的設(shè)計(jì)難度，不過近年來，硬件水平提高很快，目前市場上己有較低價(jià)格，每分鐘可掃描1020頁的高性能掃描儀，微機(jī)的運(yùn)算速度飛快提高，這些都為高的處理速度定了堅(jiān)實(shí)的基礎(chǔ)。要能批量自動作業(yè)在一般的文本識別中，多是操作者一頁頁地送入文本，手工幫助機(jī)器進(jìn)行版面分割(機(jī)器的自動分割能力往往是十分有限的)后再開始識別，很難準(zhǔn)保證高質(zhì)量的批量自動識別，而在數(shù)字識別系統(tǒng)中這是一個必須做到而且應(yīng)能做到基本要求、原因如下:（1）如果每頁的處理都要人手工幫助完成，系統(tǒng)的綜合處理速度無法達(dá)到要求。（2）掃描儀的自動進(jìn)紙技術(shù)已經(jīng)十分成熟。（3）處理對象在很多情況下是版面完全相同的大批格，很容易作到欄目的自動提取。 數(shù)字識別的典型應(yīng)用數(shù)字識別在大規(guī)模數(shù)據(jù)統(tǒng)計(jì)中的應(yīng)用在大規(guī)模的數(shù)據(jù)統(tǒng)計(jì)(如:行業(yè)年檢、人口普查等)中，需要輸入大量的數(shù)據(jù)，以前完全要手工輸入，則需要耗費(fèi)大量的人力和物力。近年來在這類工作中采用OCR技術(shù)己成為一種趨勢。因?yàn)樵谶@種應(yīng)用中，數(shù)據(jù)的錄入是集中組織的，所以往往可以通過專門設(shè)計(jì)表格和對書寫施加限制以便于機(jī)器的自動識別。目前國內(nèi)的大多數(shù)實(shí)用系統(tǒng)都要求用戶按指定規(guī)范在方格內(nèi)填寫。另外，這些系統(tǒng)往往采用合適的用戶界面對識別的結(jié)果作全面的檢查，最終保證結(jié)果正確無誤。可以看出，這是一類相對容易的應(yīng)用，對識別核心算法的要求比較低，是目前國內(nèi)很多單位應(yīng)用開發(fā)的熱點(diǎn)。數(shù)字識別在財(cái)務(wù)、稅金、金融領(lǐng)域中的應(yīng)用財(cái)務(wù)、稅務(wù)、金融是數(shù)字識別大有可為的又一領(lǐng)域。隨著我國經(jīng)濟(jì)的迅速發(fā)展，每天等待處理的財(cái)務(wù)、稅務(wù)報(bào)表、支票、付款單等越來越多。、金錢和勞力。與上面提到的統(tǒng)計(jì)報(bào)表處理相比，在這個領(lǐng)域的應(yīng)用難度更大。原因有:1)識別的精度要求更高。2)處理的表格往往不止一種，一個系統(tǒng)應(yīng)能智能地同時(shí)處理若干種表格。3)由于處理貫穿于整個日常工作之中。書寫應(yīng)盡量按一般習(xí)慣(如:不對書寫者的寫法做限定，書寫時(shí)允許寫連續(xù)的字串，而不是在固定的方格內(nèi)書寫)，這樣對識別及預(yù)處理的核心算法要求也提高了。數(shù)字識別在郵件分揀中的應(yīng)用隨著人們生活水平的提高，經(jīng)濟(jì)活動的發(fā)展，通信聯(lián)系的需求使信函的互換量大幅度增加，雖然電子郵件被現(xiàn)代人廣泛使用，但我國函件業(yè)務(wù)量也還在不斷增長，一些大城市的中心郵局每天處理量將高達(dá)幾百萬件，業(yè)務(wù)量的急劇上升使得郵件的分揀自動化成為大勢所趨，在郵件的自動分揀中，數(shù)字識別往往與光學(xué)條碼識別，人工輔助識別等手段相結(jié)合，完成郵政編碼的閱讀?？偨Y(jié)這次長達(dá)三個