【文章內(nèi)容簡介】 其中陰影、傾斜和扭曲都會極大的降低 OCR 識別的準確度。 文檔圖像的處理文檔圖像處理包含許多方面，下面對一些重要的技術做簡要說明。 圖像去色及二值化存儲在紙上的文檔，若要輸入計算機中，首先要通過掃描儀掃描成為數(shù)字圖像。它可以是彩色圖像，也可以是灰度圖像，或者是二值圖像，取決于掃描的具體過程。但一般文檔處理系統(tǒng)要處理的是灰度圖像，而且很多成熟的圖像處理算法和工具包也是針對灰度圖像的。在進入識別階段時，識別引擎一般是針對二值圖像的。因此，我們必須對輸入的圖像進行處理，將其二值化。圖像的二值化處理就是將圖像上的像素點的灰度值設置為 0 或 255，也就是將整個圖像呈現(xiàn)出明顯的黑白效果?！　?256 亮度等級的灰度圖像通過適當?shù)拈y值選取而獲得仍然可以反映圖像整體和局部特征的二值化圖像。在數(shù)字圖像處理中，二值圖像占有非常重要的地位。首先，圖像的二值化有利于圖像的進一步處理，使圖像變得簡單，且數(shù)據(jù)量減小，能凸顯出感興趣的目標輪廓。其次，要進行二值圖像的處理與分析，首先要把灰度圖像二值化，得到二值化圖像。在我們所研究的文檔圖像處理這一特定領域中，圖像的二值化一般是指將灰度圖像轉化為只包含黑、白兩個灰度的二值圖像。文檔圖像可以看作是由文字、背景、圖片三類對象組成，而我們最關心的是文字區(qū)域二值化后的結果。圖像的這種轉換必然會引起信息丟失，因此采用什么樣的算法能夠最大限度地保留識別時必需的信息（如字符的連通性），去掉不必要的背景信息和噪聲，并且執(zhí)行時間在實際可接受的范圍內(nèi)，是人們一直以來努力研究的問題。 傾斜檢測與校正文檔處理系統(tǒng)要求的處理對象是工整的文檔圖像，或者傾斜角度已知，否則許多對圖像的操作，例如投影分析，圖像分割等就無法進行。顯然，掃描進計算機的文檔圖像無蘇州大學本科生畢業(yè)設計（論文）7法保證一定是正的，因此需要利用傾斜檢測和校正的方法對其進行處理。經(jīng)常采用的傾斜角度檢測的方法有：基于文本行的檢測方法，投影輪廓分析方法，和 Hough 變換方法等。 基于文本行的檢測可以用于已知文本行方向（水平或豎直）的文檔圖像，它利用了對圖像中連通體的分析。我們知道，連通體是一個灰度值相同的像素的集合，這個集合中任意兩個像素之間都是 8近鄰關系?？梢杂冒B通體內(nèi)像素的最小矩形來表示連通體，它描述了連通體的大小和位置信息。如果已知文本行方向，我們就可以將連通體合并成文本行，并用直線逼近。該直線的傾斜角即為文本行的傾斜角。對整幅圖像的文本行作同樣分析，選出出現(xiàn)頻率最高的角度，即可作為圖像的傾斜角。 投影操作也是一種基本的圖像處理方法。將圖像按一定方向作投影，可以得到在該方向坐標軸上分布的波形，它描述了圖像沿該方向上的黑像素分布情況。如果圖像文本行是水平的，那么沿水平方向的投影波形將具有明顯的波峰和波谷?；谶@一點，我們可以在候選傾斜角度范圍內(nèi)轉動圖像，直至出現(xiàn)明顯的波峰和波谷為止，這時得到的角度就是傾斜角度。 Hough 變換方法是在傾斜檢測中最常使用的方法，它抗噪聲干擾的能力強，并且不受圖像間隙干擾。它的原理是將直線從圖像空間映射到參數(shù)空間。這樣就將原圖像中的直線映射到參數(shù)空間的一點，而原圖像中的一點則對應著參數(shù)空間的一條正弦曲線。圖像空間中任意兩點所對應的正弦曲線在參數(shù)空間將相交于一點，進而， 通過的直線上的所有點所對應的正弦曲線在參數(shù)空間都將相交于這一點?；谶@一點，我們將直線檢測問題轉化為參數(shù)空間尋找局部最大值的問題。以上是標準 Hough 變換的基本思想。該方法適于文本行方向預先未知的情況。 版面結構理解文檔圖像幾何結構的理解也稱為版面拆解，它是文檔圖像分析中的一個重要問題。版面拆解的目的是生成一個描述文檔圖像的層次結構：幾何結構。它將圖像分割成為具有相同特性的區(qū)域，為下一步的區(qū)域識別和文字識別做好準備。版面拆解的方法一般有如下三種： （BottomUp，也稱為數(shù)據(jù)驅(qū)動）。這類方法利用圖像的局部信息，通過逐步將具有相同屬性的區(qū)域合并，得到對文檔版面的拆解。該方法能處理不同版面的文檔和具有一定傾斜的文檔，但是一般比較慢。 （TopDown ，也稱模型驅(qū)動）。該方法從圖像全局出發(fā)，逐步對圖像進行分割，最后得到圖像的幾何結構。對 Manhattan 式的版面，該方法快速而且有效；但蘇州大學本科生畢業(yè)設計（論文）8是對復雜文檔效果欠佳。影響自頂向下方法有效性的因素包括文本行位置的隨意性，區(qū)域形狀的不規(guī)則性以及文檔圖像的傾斜等。 （Hybrid）則盡量綜合上述兩種方法的特點，使算法的性能和適應性都得到提高。 扭曲文檔圖像的處理扭曲文檔圖像的恢復是當今圖像處理的研究熱點之一，隨著更多學者的加入，目前已出現(xiàn)一些文檔圖像的扭曲恢復技術。這些技術大致劃分為兩類：基于 2D 文檔圖像分析的恢復技術和基于 3D 文檔模型重建的恢復技術。 基于 2D 文檔圖像分析基于 2D 文檔圖像分析的算法，摒棄對扭曲現(xiàn)象的幾何模擬，直接對文檔圖像進行分析，包括傾斜度、文本行、字符或詞組特征，然后設計出一種不受文檔圖像以外因素影響的扭曲恢復技術。該算法不需要清楚的知道扭曲造成的原因。Wu 和 Agam 在其文獻[7]中提出一種方法，該方法在給定角度范圍內(nèi)通過最小化局部累積投影從而檢測和跟蹤單文檔圖像中彎曲的文本行。這種算法是從給定區(qū)域的左邊界（假設左邊界是接近垂直的并由人為保證）開始，逐漸跟蹤這些彎曲的文本行。這些文本行用于重建可用于恢復扭曲的目標框架。在文獻[7]中這種算法被應用于由數(shù)碼相機拍攝的低透率的文檔。他們沒有在文檔和相機的成像面的角度上加任何限制。另一方面，利用這種方法所呈現(xiàn)的結果仍然在文檔的扭曲區(qū)域存在文字的失真。Zhang 和 Tan 在文獻[8]中提出的算法，是通過光明區(qū)與從合訂本掃描的灰度級文檔圖像造成的陰影區(qū)之間的區(qū)別進行彎曲檢測的。圖像扭曲的部分在陰影區(qū)，連接組件的文本行可用近似于二次方程的曲線描述。而在非陰影區(qū)域的文本行則可參考近似直線確定。陰影區(qū)中兩曲線的結合處的相對位置用以參照非陰影區(qū)域相應的直線，上下垂直的移動連接組件的曲線，直到其方向與兩曲線切線的平均角度相吻合。 基于 3D 文檔模型重建基于 3D 文檔模型重建的算法，主要從造成文檔扭曲的因素出發(fā)，包括文檔及其擺放角度、光源方向、圖像獲取設備特征等因素。通過綜合分析，嘗試找出文檔理想的 3D 模型從而對扭曲現(xiàn)象進行模擬，再利用已有的數(shù)學知識進行恢復。該算法的優(yōu)勢在于可利用已有知識，很好地模擬文檔扭曲的幾何模型。蘇州大學本科生畢業(yè)設計（論文）9在文獻[9]中， Cao et. 。他們的糾正算法僅局限于書形成的圓筒表面的母線平行于成像面的情況，即 3D 文檔模型成圓柱狀。Zhang et. [10]中提出了一種算法，可以恢復文檔扭曲。這種文檔扭曲在掃描較厚的合訂本時產(chǎn)生的，而且書的脊柱與掃描光線是平行的。可見，現(xiàn)有基于模型算法的局限就在于他們需要很多前提條件。目前還尚沒有一種幾何模型可以適用于任何形式下扭曲文檔圖像的識別與自動恢復。 比較與分析基于分析的和模型的算法都能提高 OCR 的識別率。結果顯示，在第一類算法中糾正過的文本中剩余的彎曲率較高，但其邊界適應性仍是明顯的優(yōu)勢。由于我們項目中的原始文檔經(jīng)常不可靠，外部因素不確定，加上數(shù)字化和處理文檔的過程可能處于分布式，因此第二類算法顯得不適用。 本章小結本章主要介紹了文檔圖像處理的相關知識，從文檔圖像的獲取及獲取中遇到的難題入手，介紹了文檔圖像的處理技術，進而引申到扭曲文檔圖像的處理，并對現(xiàn)有扭曲文檔圖像的兩種恢復技術原理做了簡要說明。蘇州大學本科生畢業(yè)設計（論文）10第三章 2D 文檔圖像扭曲恢復的預處理本文提出的基于 2D 文檔圖像分析的扭曲恢復技術，整體分為三步：預處理、扭曲恢復和后處理。其中，預處理將在本章系統(tǒng)分析與設計之后進行介紹；扭曲恢復是本文研究工作的創(chuàng)新點，將在第四章單獨進行詳細介紹；后處理與最終的實驗結果分析將在第五章中作說明。本章從扭曲恢復的前期工作著手，對該技術的流程與設計，以及圖像的預處理進行詳細描述。 系統(tǒng)分析與設計 扭曲恢復技術流程文獻[23]對各種基于 2D 文檔圖像分析的方法進行描述，然而這些方法處理的對象都是西文。眾所周知，中文和西文有著很大的區(qū)別，因此以上很多方法在處理扭曲的中文文檔時不實用。這里從當前處理西文的方法出發(fā)，結合扭曲狀態(tài)下的中文特征，找出一種簡單有效的中文文檔扭曲恢復技術。技術流程如圖 31。圖 31 扭曲恢復技術的流程按照流程，輸入的各種扭曲文檔圖像，經(jīng)過若干處理后，輸出為扭曲校正后的圖像。下面圍繞各處理過程的用途進行簡要說明。預處理蘇州大學本科生畢業(yè)設計（論文）11文檔圖像預處理，是將種類繁多的格式歸一化為程序易處理的位圖格式，且處理成為效果較好的二值化圖像，為其扭曲恢復做好準備。過程中涉及到格式轉換，圖像去色及二值化，以及噪聲消除等。扭曲恢復在扭曲恢復中，我們首先對預處理后的二值化扭曲圖像進行分析，采用相關的技術和算法對其中扭曲的文本進行恢復，然后輸出。該步主要包含了字符和文本行標識，曲線分割與傾斜校正，以及扭曲恢復等。后處理扭曲恢復后的圖像有明顯的信息丟失，后處理將最大限度的保存處理后的結果，并盡可能的進行信息補充與恢復，主要包括斷筆的修復和背景色的載入。扭曲恢復技術的原理及具體實現(xiàn)在第三章至第五章中做了詳細描述。 需求分析與系統(tǒng)設計需求分析（1）目的:對扭曲的文檔圖像進行一定的恢復。（2）范圍:通過照相、掃描、復印等獲取的扭曲的文檔圖像。（3）系統(tǒng)開發(fā)環(huán)境：操作系統(tǒng)：Window XP professional.開發(fā)環(huán)境及語言：Visual Studio 2022 、C系統(tǒng)設計（1）用戶界面設計圖 32 用戶界面（2）主菜單設計圖 33 主菜單界面蘇州大學本科生畢業(yè)設計（論文）12扭曲恢復處理的菜單主要包括預處理（Preprocessing）、扭曲恢復（Dewarping）、后處理（POstprocessing）以及過程（ProGress），如圖 3。 其中，預處理中包含了噪聲去除、圖像去色、和圖像二值化；扭曲恢復包括文本行與字符標識、曲線分割與傾斜校正、字符平移；后處理則是斷筆修復及背景載入；過程主要對處理過程的結果進行呈現(xiàn)，具體如圖 34。圖 34 過程菜單 文檔圖像預處理 圖像去色圖像去色就是將圖像的顏色信息去掉，轉換成灰度圖像。由于本課題選取了合理的開發(fā)環(huán)境，可以容易地將各種格式的圖像轉換為易于像素計算的位圖。然后利用公式（31），將彩圖轉換為灰度圖像。Gray = * Red + * Green + * Blue （31）實驗表明，該方法灰度處理的效果較好，如圖 35圖 36。 (a) （b）圖 35 彩色圖像的灰度化：（a）處理前 （b）處理后蘇州大學本科生畢業(yè)設計（論文）13（a）（b）圖 36 文檔圖像的灰度化：（a）處理前 （b）處理后 噪聲消除圖像噪聲是干擾圖像正常顯示的無用信息，給圖像的處理帶來很大的麻煩。因此在圖像預處理中都會針對性的將噪聲消除。 噪聲消除的方法消除噪聲的經(jīng)典方法很多，下面簡要介紹其中的幾種：均值濾波器它是用一個有奇數(shù)點的滑動窗口在圖像上滑動，將窗口中心點對應的圖像像素點的灰度值用窗口內(nèi)的各個點的灰度值的平均值代替，如果滑動窗口規(guī)定了在取均值過程中窗口各個像素點所占的權重，也就是各個像素點的系數(shù)，這時候就稱為加權均值濾波。自適應維納濾波器它能根據(jù)圖像的局部方差來調(diào)整濾波器的輸出，局部方差越大，濾波器的平滑作用越強。它的最終目標是使恢復圖像 f^（x，y）與原始圖像 f（x，y）的均方誤差e2=E[（ f（x，y） f^ （x，y）） 2]最小。該方法的濾波效果比均值濾波器效果要好，對保留圖像的邊緣和其他高頻部分很有用，不過計算量較大。維納濾波器對具有白噪聲的圖像濾波效果最佳。中值濾波器它是一種常用的非線性平滑濾波器，其基本原理是把數(shù)字圖像或數(shù)字序列中一點的值用該點的一個領域中各點值的中值代換。其主要功能消除孤立的噪聲點，所以中值濾波蘇州大學本科生畢業(yè)設計（論文）14對于濾除圖像的椒鹽噪聲非常有效。中值濾波器可以做到既去除噪聲又能保護圖像的邊緣，從而獲得較滿意的復原效果，而且，在實際運算過程中不需要圖像的統(tǒng)計特性，這也帶來不少方便，但對一些細節(jié)多，特別是點、線、尖頂細節(jié)較多的圖像不宜采用中值濾波的方法。 噪聲消除的實現(xiàn)我們采用了加權均值濾波器對噪聲進行消除，參考公式（32）。其算法偽代碼如下：private Bitmap NoiseRemoving（） { for （int i = 0。 i W。 i++） //當前圖像寬度為W，高度為H for （int j = 0。 j H。 j++） { 獲取當前點的顏色cColor； 調(diào)用函數(shù)get33Paras（）獲取當前點的均值aveGray與方差variance； if （variance != 0） //方差不為零 { 調(diào)用get33aveVariance（）獲取當前點的均差AveVariance； dRGB = aveGray+（（varianceAveVa