【文章內(nèi)容簡介】 其中陰影、傾斜和扭曲都會極大的降低 OCR 識別的準(zhǔn)確度。 文檔圖像的處理文檔圖像處理包含許多方面，下面對一些重要的技術(shù)做簡要說明。 圖像去色及二值化存儲在紙上的文檔，若要輸入計(jì)算機(jī)中，首先要通過掃描儀掃描成為數(shù)字圖像。它可以是彩色圖像，也可以是灰度圖像，或者是二值圖像，取決于掃描的具體過程。但一般文檔處理系統(tǒng)要處理的是灰度圖像，而且很多成熟的圖像處理算法和工具包也是針對灰度圖像的。在進(jìn)入識別階段時(shí)，識別引擎一般是針對二值圖像的。因此，我們必須對輸入的圖像進(jìn)行處理，將其二值化。圖像的二值化處理就是將圖像上的像素點(diǎn)的灰度值設(shè)置為 0 或 255，也就是將整個(gè)圖像呈現(xiàn)出明顯的黑白效果?！　?256 亮度等級的灰度圖像通過適當(dāng)?shù)拈y值選取而獲得仍然可以反映圖像整體和局部特征的二值化圖像。在數(shù)字圖像處理中，二值圖像占有非常重要的地位。首先，圖像的二值化有利于圖像的進(jìn)一步處理，使圖像變得簡單，且數(shù)據(jù)量減小，能凸顯出感興趣的目標(biāo)輪廓。其次，要進(jìn)行二值圖像的處理與分析，首先要把灰度圖像二值化，得到二值化圖像。在我們所研究的文檔圖像處理這一特定領(lǐng)域中，圖像的二值化一般是指將灰度圖像轉(zhuǎn)化為只包含黑、白兩個(gè)灰度的二值圖像。文檔圖像可以看作是由文字、背景、圖片三類對象組成，而我們最關(guān)心的是文字區(qū)域二值化后的結(jié)果。圖像的這種轉(zhuǎn)換必然會引起信息丟失，因此采用什么樣的算法能夠最大限度地保留識別時(shí)必需的信息（如字符的連通性），去掉不必要的背景信息和噪聲，并且執(zhí)行時(shí)間在實(shí)際可接受的范圍內(nèi)，是人們一直以來努力研究的問題。 傾斜檢測與校正文檔處理系統(tǒng)要求的處理對象是工整的文檔圖像，或者傾斜角度已知，否則許多對圖像的操作，例如投影分析，圖像分割等就無法進(jìn)行。顯然，掃描進(jìn)計(jì)算機(jī)的文檔圖像無蘇州大學(xué)本科生畢業(yè)設(shè)計(jì)（論文）7法保證一定是正的，因此需要利用傾斜檢測和校正的方法對其進(jìn)行處理。經(jīng)常采用的傾斜角度檢測的方法有：基于文本行的檢測方法，投影輪廓分析方法，和 Hough 變換方法等。 基于文本行的檢測可以用于已知文本行方向（水平或豎直）的文檔圖像，它利用了對圖像中連通體的分析。我們知道，連通體是一個(gè)灰度值相同的像素的集合，這個(gè)集合中任意兩個(gè)像素之間都是 8近鄰關(guān)系?？梢杂冒B通體內(nèi)像素的最小矩形來表示連通體，它描述了連通體的大小和位置信息。如果已知文本行方向，我們就可以將連通體合并成文本行，并用直線逼近。該直線的傾斜角即為文本行的傾斜角。對整幅圖像的文本行作同樣分析，選出出現(xiàn)頻率最高的角度，即可作為圖像的傾斜角。 投影操作也是一種基本的圖像處理方法。將圖像按一定方向作投影，可以得到在該方向坐標(biāo)軸上分布的波形，它描述了圖像沿該方向上的黑像素分布情況。如果圖像文本行是水平的，那么沿水平方向的投影波形將具有明顯的波峰和波谷。基于這一點(diǎn)，我們可以在候選傾斜角度范圍內(nèi)轉(zhuǎn)動(dòng)圖像，直至出現(xiàn)明顯的波峰和波谷為止，這時(shí)得到的角度就是傾斜角度。 Hough 變換方法是在傾斜檢測中最常使用的方法，它抗噪聲干擾的能力強(qiáng)，并且不受圖像間隙干擾。它的原理是將直線從圖像空間映射到參數(shù)空間。這樣就將原圖像中的直線映射到參數(shù)空間的一點(diǎn)，而原圖像中的一點(diǎn)則對應(yīng)著參數(shù)空間的一條正弦曲線。圖像空間中任意兩點(diǎn)所對應(yīng)的正弦曲線在參數(shù)空間將相交于一點(diǎn)，進(jìn)而， 通過的直線上的所有點(diǎn)所對應(yīng)的正弦曲線在參數(shù)空間都將相交于這一點(diǎn)?；谶@一點(diǎn)，我們將直線檢測問題轉(zhuǎn)化為參數(shù)空間尋找局部最大值的問題。以上是標(biāo)準(zhǔn) Hough 變換的基本思想。該方法適于文本行方向預(yù)先未知的情況。 版面結(jié)構(gòu)理解文檔圖像幾何結(jié)構(gòu)的理解也稱為版面拆解，它是文檔圖像分析中的一個(gè)重要問題。版面拆解的目的是生成一個(gè)描述文檔圖像的層次結(jié)構(gòu)：幾何結(jié)構(gòu)。它將圖像分割成為具有相同特性的區(qū)域，為下一步的區(qū)域識別和文字識別做好準(zhǔn)備。版面拆解的方法一般有如下三種： （BottomUp，也稱為數(shù)據(jù)驅(qū)動(dòng)）。這類方法利用圖像的局部信息，通過逐步將具有相同屬性的區(qū)域合并，得到對文檔版面的拆解。該方法能處理不同版面的文檔和具有一定傾斜的文檔，但是一般比較慢。 （TopDown ，也稱模型驅(qū)動(dòng)）。該方法從圖像全局出發(fā)，逐步對圖像進(jìn)行分割，最后得到圖像的幾何結(jié)構(gòu)。對 Manhattan 式的版面，該方法快速而且有效；但蘇州大學(xué)本科生畢業(yè)設(shè)計(jì)（論文）8是對復(fù)雜文檔效果欠佳。影響自頂向下方法有效性的因素包括文本行位置的隨意性，區(qū)域形狀的不規(guī)則性以及文檔圖像的傾斜等。 （Hybrid）則盡量綜合上述兩種方法的特點(diǎn)，使算法的性能和適應(yīng)性都得到提高。 扭曲文檔圖像的處理扭曲文檔圖像的恢復(fù)是當(dāng)今圖像處理的研究熱點(diǎn)之一，隨著更多學(xué)者的加入，目前已出現(xiàn)一些文檔圖像的扭曲恢復(fù)技術(shù)。這些技術(shù)大致劃分為兩類：基于 2D 文檔圖像分析的恢復(fù)技術(shù)和基于 3D 文檔模型重建的恢復(fù)技術(shù)。 基于 2D 文檔圖像分析基于 2D 文檔圖像分析的算法，摒棄對扭曲現(xiàn)象的幾何模擬，直接對文檔圖像進(jìn)行分析，包括傾斜度、文本行、字符或詞組特征，然后設(shè)計(jì)出一種不受文檔圖像以外因素影響的扭曲恢復(fù)技術(shù)。該算法不需要清楚的知道扭曲造成的原因。Wu 和 Agam 在其文獻(xiàn)[7]中提出一種方法，該方法在給定角度范圍內(nèi)通過最小化局部累積投影從而檢測和跟蹤單文檔圖像中彎曲的文本行。這種算法是從給定區(qū)域的左邊界（假設(shè)左邊界是接近垂直的并由人為保證）開始，逐漸跟蹤這些彎曲的文本行。這些文本行用于重建可用于恢復(fù)扭曲的目標(biāo)框架。在文獻(xiàn)[7]中這種算法被應(yīng)用于由數(shù)碼相機(jī)拍攝的低透率的文檔。他們沒有在文檔和相機(jī)的成像面的角度上加任何限制。另一方面，利用這種方法所呈現(xiàn)的結(jié)果仍然在文檔的扭曲區(qū)域存在文字的失真。Zhang 和 Tan 在文獻(xiàn)[8]中提出的算法，是通過光明區(qū)與從合訂本掃描的灰度級文檔圖像造成的陰影區(qū)之間的區(qū)別進(jìn)行彎曲檢測的。圖像扭曲的部分在陰影區(qū)，連接組件的文本行可用近似于二次方程的曲線描述。而在非陰影區(qū)域的文本行則可參考近似直線確定。陰影區(qū)中兩曲線的結(jié)合處的相對位置用以參照非陰影區(qū)域相應(yīng)的直線，上下垂直的移動(dòng)連接組件的曲線，直到其方向與兩曲線切線的平均角度相吻合。 基于 3D 文檔模型重建基于 3D 文檔模型重建的算法，主要從造成文檔扭曲的因素出發(fā)，包括文檔及其擺放角度、光源方向、圖像獲取設(shè)備特征等因素。通過綜合分析，嘗試找出文檔理想的 3D 模型從而對扭曲現(xiàn)象進(jìn)行模擬，再利用已有的數(shù)學(xué)知識進(jìn)行恢復(fù)。該算法的優(yōu)勢在于可利用已有知識，很好地模擬文檔扭曲的幾何模型。蘇州大學(xué)本科生畢業(yè)設(shè)計(jì)（論文）9在文獻(xiàn)[9]中， Cao et. 。他們的糾正算法僅局限于書形成的圓筒表面的母線平行于成像面的情況，即 3D 文檔模型成圓柱狀。Zhang et. [10]中提出了一種算法，可以恢復(fù)文檔扭曲。這種文檔扭曲在掃描較厚的合訂本時(shí)產(chǎn)生的，而且書的脊柱與掃描光線是平行的。可見，現(xiàn)有基于模型算法的局限就在于他們需要很多前提條件。目前還尚沒有一種幾何模型可以適用于任何形式下扭曲文檔圖像的識別與自動(dòng)恢復(fù)。 比較與分析基于分析的和模型的算法都能提高 OCR 的識別率。結(jié)果顯示，在第一類算法中糾正過的文本中剩余的彎曲率較高，但其邊界適應(yīng)性仍是明顯的優(yōu)勢。由于我們項(xiàng)目中的原始文檔經(jīng)常不可靠，外部因素不確定，加上數(shù)字化和處理文檔的過程可能處于分布式，因此第二類算法顯得不適用。 本章小結(jié)本章主要介紹了文檔圖像處理的相關(guān)知識，從文檔圖像的獲取及獲取中遇到的難題入手，介紹了文檔圖像的處理技術(shù)，進(jìn)而引申到扭曲文檔圖像的處理，并對現(xiàn)有扭曲文檔圖像的兩種恢復(fù)技術(shù)原理做了簡要說明。蘇州大學(xué)本科生畢業(yè)設(shè)計(jì)（論文）10第三章 2D 文檔圖像扭曲恢復(fù)的預(yù)處理本文提出的基于 2D 文檔圖像分析的扭曲恢復(fù)技術(shù)，整體分為三步：預(yù)處理、扭曲恢復(fù)和后處理。其中，預(yù)處理將在本章系統(tǒng)分析與設(shè)計(jì)之后進(jìn)行介紹；扭曲恢復(fù)是本文研究工作的創(chuàng)新點(diǎn)，將在第四章單獨(dú)進(jìn)行詳細(xì)介紹；后處理與最終的實(shí)驗(yàn)結(jié)果分析將在第五章中作說明。本章從扭曲恢復(fù)的前期工作著手，對該技術(shù)的流程與設(shè)計(jì)，以及圖像的預(yù)處理進(jìn)行詳細(xì)描述。 系統(tǒng)分析與設(shè)計(jì) 扭曲恢復(fù)技術(shù)流程文獻(xiàn)[23]對各種基于 2D 文檔圖像分析的方法進(jìn)行描述，然而這些方法處理的對象都是西文。眾所周知，中文和西文有著很大的區(qū)別，因此以上很多方法在處理扭曲的中文文檔時(shí)不實(shí)用。這里從當(dāng)前處理西文的方法出發(fā)，結(jié)合扭曲狀態(tài)下的中文特征，找出一種簡單有效的中文文檔扭曲恢復(fù)技術(shù)。技術(shù)流程如圖 31。圖 31 扭曲恢復(fù)技術(shù)的流程按照流程，輸入的各種扭曲文檔圖像，經(jīng)過若干處理后，輸出為扭曲校正后的圖像。下面圍繞各處理過程的用途進(jìn)行簡要說明。預(yù)處理蘇州大學(xué)本科生畢業(yè)設(shè)計(jì)（論文）11文檔圖像預(yù)處理，是將種類繁多的格式歸一化為程序易處理的位圖格式，且處理成為效果較好的二值化圖像，為其扭曲恢復(fù)做好準(zhǔn)備。過程中涉及到格式轉(zhuǎn)換，圖像去色及二值化，以及噪聲消除等。扭曲恢復(fù)在扭曲恢復(fù)中，我們首先對預(yù)處理后的二值化扭曲圖像進(jìn)行分析，采用相關(guān)的技術(shù)和算法對其中扭曲的文本進(jìn)行恢復(fù)，然后輸出。該步主要包含了字符和文本行標(biāo)識，曲線分割與傾斜校正，以及扭曲恢復(fù)等。后處理扭曲恢復(fù)后的圖像有明顯的信息丟失，后處理將最大限度的保存處理后的結(jié)果，并盡可能的進(jìn)行信息補(bǔ)充與恢復(fù)，主要包括斷筆的修復(fù)和背景色的載入。扭曲恢復(fù)技術(shù)的原理及具體實(shí)現(xiàn)在第三章至第五章中做了詳細(xì)描述。 需求分析與系統(tǒng)設(shè)計(jì)需求分析（1）目的:對扭曲的文檔圖像進(jìn)行一定的恢復(fù)。（2）范圍:通過照相、掃描、復(fù)印等獲取的扭曲的文檔圖像。（3）系統(tǒng)開發(fā)環(huán)境：操作系統(tǒng)：Window XP professional.開發(fā)環(huán)境及語言：Visual Studio 2022 、C系統(tǒng)設(shè)計(jì)（1）用戶界面設(shè)計(jì)圖 32 用戶界面（2）主菜單設(shè)計(jì)圖 33 主菜單界面蘇州大學(xué)本科生畢業(yè)設(shè)計(jì)（論文）12扭曲恢復(fù)處理的菜單主要包括預(yù)處理（Preprocessing）、扭曲恢復(fù)（Dewarping）、后處理（POstprocessing）以及過程（ProGress），如圖 3。 其中，預(yù)處理中包含了噪聲去除、圖像去色、和圖像二值化；扭曲恢復(fù)包括文本行與字符標(biāo)識、曲線分割與傾斜校正、字符平移；后處理則是斷筆修復(fù)及背景載入；過程主要對處理過程的結(jié)果進(jìn)行呈現(xiàn)，具體如圖 34。圖 34 過程菜單 文檔圖像預(yù)處理 圖像去色圖像去色就是將圖像的顏色信息去掉，轉(zhuǎn)換成灰度圖像。由于本課題選取了合理的開發(fā)環(huán)境，可以容易地將各種格式的圖像轉(zhuǎn)換為易于像素計(jì)算的位圖。然后利用公式（31），將彩圖轉(zhuǎn)換為灰度圖像。Gray = * Red + * Green + * Blue （31）實(shí)驗(yàn)表明，該方法灰度處理的效果較好，如圖 35圖 36。 (a) （b）圖 35 彩色圖像的灰度化：（a）處理前 （b）處理后蘇州大學(xué)本科生畢業(yè)設(shè)計(jì)（論文）13（a）（b）圖 36 文檔圖像的灰度化：（a）處理前 （b）處理后 噪聲消除圖像噪聲是干擾圖像正常顯示的無用信息，給圖像的處理帶來很大的麻煩。因此在圖像預(yù)處理中都會針對性的將噪聲消除。 噪聲消除的方法消除噪聲的經(jīng)典方法很多，下面簡要介紹其中的幾種：均值濾波器它是用一個(gè)有奇數(shù)點(diǎn)的滑動(dòng)窗口在圖像上滑動(dòng)，將窗口中心點(diǎn)對應(yīng)的圖像像素點(diǎn)的灰度值用窗口內(nèi)的各個(gè)點(diǎn)的灰度值的平均值代替，如果滑動(dòng)窗口規(guī)定了在取均值過程中窗口各個(gè)像素點(diǎn)所占的權(quán)重，也就是各個(gè)像素點(diǎn)的系數(shù)，這時(shí)候就稱為加權(quán)均值濾波。自適應(yīng)維納濾波器它能根據(jù)圖像的局部方差來調(diào)整濾波器的輸出，局部方差越大，濾波器的平滑作用越強(qiáng)。它的最終目標(biāo)是使恢復(fù)圖像 f^（x，y）與原始圖像 f（x，y）的均方誤差e2=E[（ f（x，y） f^ （x，y）） 2]最小。該方法的濾波效果比均值濾波器效果要好，對保留圖像的邊緣和其他高頻部分很有用，不過計(jì)算量較大。維納濾波器對具有白噪聲的圖像濾波效果最佳。中值濾波器它是一種常用的非線性平滑濾波器，其基本原理是把數(shù)字圖像或數(shù)字序列中一點(diǎn)的值用該點(diǎn)的一個(gè)領(lǐng)域中各點(diǎn)值的中值代換。其主要功能消除孤立的噪聲點(diǎn)，所以中值濾波蘇州大學(xué)本科生畢業(yè)設(shè)計(jì)（論文）14對于濾除圖像的椒鹽噪聲非常有效。中值濾波器可以做到既去除噪聲又能保護(hù)圖像的邊緣，從而獲得較滿意的復(fù)原效果，而且，在實(shí)際運(yùn)算過程中不需要圖像的統(tǒng)計(jì)特性，這也帶來不少方便，但對一些細(xì)節(jié)多，特別是點(diǎn)、線、尖頂細(xì)節(jié)較多的圖像不宜采用中值濾波的方法。 噪聲消除的實(shí)現(xiàn)我們采用了加權(quán)均值濾波器對噪聲進(jìn)行消除，參考公式（32）。其算法偽代碼如下：private Bitmap NoiseRemoving（） { for （int i = 0。 i W。 i++） //當(dāng)前圖像寬度為W，高度為H for （int j = 0。 j H。 j++） { 獲取當(dāng)前點(diǎn)的顏色cColor； 調(diào)用函數(shù)get33Paras（）獲取當(dāng)前點(diǎn)的均值aveGray與方差variance； if （variance != 0） //方差不為零 { 調(diào)用get33aveVariance（）獲取當(dāng)前點(diǎn)的均差A(yù)veVariance； dRGB = aveGray+（（varianceAveVa