【文章內容簡介】 作，如 OCR 識別、 數(shù)字文檔的版面分析、格式處理以及文檔自動化都帶來極大困難，因此必須首先通過圖像矯正的方法對這種變形文檔進行圖像恢復。 在 2021 年的數(shù)字化項目中 ，德國代表哲學家 Nietzsche 在 Duisburg–Essen 大學對創(chuàng)作于 1865 至 1945 年的文本文檔做了數(shù)字轉換。這次轉化的過程既復雜又耗時。很蘇州大學本科生畢業(yè)設計（論文） 6 多文檔使用德國 哥特體 （ fraktur） 活字 技術印刷出來，而現(xiàn)在的 OCR 程序對 fraktur活字 識別不很理想，因此常常伴隨著人工修改。對于那些質量差一些的以原始 影印文件為主的文學來源，數(shù)字化過程則需要進一步的人工互動。其中 陰影、傾斜和扭曲都會極大的降低 OCR 識別的準確度。 文檔圖像的處理 文檔圖像處理包含許多方面， 下面對一些重要的技術做簡要說明。 圖像去色及二值化 存儲在紙上的文檔，若要輸入計算機中，首先要通過掃描儀掃描成為數(shù)字圖像。它可以是彩色圖像，也可以是灰度圖像，或者是二值圖像，取決于掃描的具體過程。但一般文檔處理系統(tǒng)要處理的是灰度圖像，而且很多成熟的圖像處理算法和工具包也是針對灰度圖像的。在進入識別階段時，識別引擎一般是針對二值圖像的。因此，我們必須對輸入的圖像進行處理，將其二值化。 圖像的二值化處理就是將圖像上的像素點的灰度值設置為 0 或 255，也就是 將 整個圖像呈現(xiàn)出明顯的黑白效果。 將 256 亮度等級的灰度圖像通過適當?shù)拈y值選取而獲得仍 然可以反映圖像整體和局部特征的二值化圖像。在數(shù)字圖像處理中，二值圖像占有非常重要的地位 。 首先，圖像的二值化有利于圖像的進一步處理，使圖像變得簡單，且數(shù)據(jù)量減小，能凸顯出感興趣的目標輪廓。其次，要進行二值圖像的處理與分析，首先要把灰度圖像二值化，得到二值化圖像。 在我們所研究的文檔圖像處理這一特定領域中，圖像的二值化一般是指將灰度圖像轉化為只包含黑、白兩個灰度的二值圖像。文檔圖像可以看作是由文字、背景、圖片三類對象組成，而我們最關心的是文字區(qū)域二值化后的結果。 圖像的這種轉換必然會引起信息丟失，因此采用什么樣 的算法能夠最大限度地保留識別時必需的信息（如字符的連通性），去掉不必要的背景信息和噪聲，并且執(zhí)行時間在實際可接受的范圍內，是人們一直以來努力研究的問題。 傾斜檢測與校正 文檔處理系統(tǒng)要求的處理對象是 工整 的文檔圖像，或者傾斜角度已知，否則許多對圖像的操作，例如投影分析，圖像分割等就無法進行。顯然，掃描進計算機的文檔圖像蘇州大學本科生畢業(yè)設計（論文） 7 無法保證一定是正的，因此需要利用傾斜檢測和校正的方法對其進行處理。經(jīng)常采用的傾斜角度檢測的方法有：基于文本行的檢測方法，投影輪廓分析方法，和 Hough 變換方法等。 基于文本行的檢測 可以用于已知文本行方向（水平或豎直）的文檔圖像， 它利用了對圖像中連通體的分析。我們知道，連通體是一個灰度值相同的像素的集合，這個集合中任意兩個像素之間都是 8近鄰關系?？梢杂冒B通體內像素的最小矩形來表示連通體，它描述了連通體的大小和位置信息。如果已知文本行方向，我們就可以將連通體合并成文本行，并用直線逼近。該直線的傾斜角即為文本行的傾斜角。對整幅圖像的文本行作同樣分析，選出出現(xiàn)頻率最高的角度，即可作為圖像的傾斜角。 投影操作也是一種基本的圖像處理方法。將圖像按一定方向作投影，可以得到在該方向坐標軸上 分布的波形，它描述了圖像沿該方向上的黑像素分布情況。如果圖像文本行是水平的，那么沿水平方向的投影波形將具有明顯的波峰和波谷?；谶@一點，我們可以在候選傾斜角度范圍內轉動圖像，直至出現(xiàn)明顯的波峰和波谷為止，這時得到的角度就是傾斜角度。 Hough 變換方法是在傾斜檢測中最常使用的方法，它抗噪聲干擾的能力強，并且不受圖像間隙干擾。它的原理是將直線從圖像空間映射到參數(shù)空間。這樣就將原圖像中的直線映射到參數(shù)空間的一點，而原圖像中的一點則對應著參數(shù)空間的一條正弦曲線。圖像空間中任意兩點所對應的正弦曲線在參數(shù)空間將相 交于一點，進而 ， 通過的直線上的所有點所對應的正弦曲線在參數(shù)空間都將相交于這一點?；谶@一點，我們將直線檢測問題轉化為參數(shù)空間尋找局部最大值的問題。以上是標準 Hough 變換的基本思想。該方法適 于文本行方向預先未知的情況。 版面結構理解 文檔圖像幾何結構的理解也稱為版面拆解，它是文檔圖像分析中的一個重要問題。版面拆解的目的是生成一個描述文檔圖像的層次結構：幾何結構。它將圖像分割成為具有相同特性的區(qū)域，為下一步的區(qū)域識別和文字識別做好準備。版面拆解的方法一般有如下三種： （ BottomUp，也稱為數(shù)據(jù)驅動 ） 。這類方法利用圖像的局部信息，通過逐步將具有相同屬性的區(qū)域合并，得到對文檔版面的拆解。該方法能處理不同版面的文檔和具有一定傾斜的文檔，但是一般比較慢。 （ TopDown，也稱模型驅動 ） 。該方法從圖像全局出發(fā)，逐步對圖像進行分割，最后得到圖像的幾何結構。對 Manhattan 式的版面，該方法快速而且有效；蘇州大學本科生畢業(yè)設計（論文） 8 但是對復雜文檔效果欠佳。影響自頂向下方法有效性的因素包括文本行位置的隨意性，區(qū)域形狀的不規(guī)則性以及文檔圖像的傾斜等。 （ Hybrid） 則盡量綜合上述兩種 方法的特點，使算法的性能和適應性都得到提高。 扭曲文檔圖像的處理 扭曲文檔圖像的恢復 是當今 圖像處理 的研究熱點之一，隨著更多學者的加入，目前已出現(xiàn)一些文檔圖像的扭曲恢復技術。這些技術大致劃分為兩類：基于 2D 文檔圖像分析的恢復技術和基于 3D 文檔模型 重建的恢復技術。 基于 2D 文檔圖像分析 基于 2D 文檔圖像分析的算法，摒棄對扭曲現(xiàn)象的幾何模擬，直接對文檔圖像進行分析，包括傾斜度、文本行、字符或詞組特征，然后設計出一種不受文檔圖像以外因素影響的扭曲恢復技術。該算法不需要清楚的知道扭曲造成的原因。 Wu 和 Agam 在其 文獻 [7]中提出一種方法，該方法在給定角度范圍內通過最小化局部累積投影從而檢測和跟蹤單文檔圖像中彎曲的文本行。這種算法是從給定區(qū)域的左邊界（假設左邊界是接近垂直的并由人為保證）開始，逐漸跟蹤這些彎曲的文本行。這些文本行用于重建可用于恢復扭曲的目標框架。在 文獻 [7]中這種算法被應用于由數(shù)碼相機拍攝的低透率的文檔。他們沒有在文檔和相機的成像面的角度上加任何限制。另一方面，利用這種方法所呈現(xiàn)的結果仍然在文檔的扭曲區(qū)域存在文字的失真。 Zhang 和 Tan 在 文獻 [8]中提出的算法，是通過光明區(qū)與從合訂 本掃描的灰度級文檔圖像造成的陰影區(qū)之間的區(qū)別進行彎曲檢測的。圖像扭曲的部分在陰影區(qū)，連接組件的文本行可用近似于二次方程的曲線描述。而在非陰影區(qū)域的文本行則可參考近似直線確定。陰影區(qū)中兩曲線的結合處的相對位置用以參照非陰影區(qū)域相應的直線，上下垂直的移動連接組件的曲線，直到其方向與兩曲線切線的平均角度相吻合。 基于 3D 文檔模型重建 基于 3D 文檔模型重建的算法，主要從造成文檔扭曲的因素出發(fā)，包括文檔及其擺放角度、光源方向、圖像獲取設備特征等因素。通過綜合分析，嘗試找出文檔理想的 3D模型從而對扭曲現(xiàn)象進行 模擬，再利用已有的數(shù)學知識進行恢復。該算法的優(yōu)勢在于 可利用已有知識 ，很好地 模擬文檔扭曲的幾何模型。 蘇州大學本科生畢業(yè)設計（論文） 9 在 文獻 [9]中， Cao et. 。他們的糾正算法僅局限于書形成的圓筒表面的母線平行于成像面的情況，即 3D 文檔模型 成圓柱狀。 Zhang et. 文獻 [10]中提出了一種算法，可以恢復文檔扭曲。這種文檔扭曲在掃描較厚的合訂本時產生的，而且書的脊柱與掃描光線是平行的?？梢?，現(xiàn)有基于模型算法的局限就在于他們需要很多前提條件。目前還尚沒有一種幾何模型 可以適用于任何形式下扭曲文檔圖像的識別與自動恢復。 比較與分析 基于分析的和模型的算法都能提高 OCR 的識別率。 結果顯示，在第一類算法中糾正過的文本中剩余的彎曲率較高，但其邊界適應性仍是明顯的優(yōu)勢。由于我們項目中的原始文檔經(jīng)常不可靠，外部因素不確定 ，加上數(shù)字化和處理文檔的過程可能處于分布式，因此第二類算法顯得 不適用。 本章小結 本章 主要介紹了文檔圖像處理的相關知識，從文檔圖像的獲取 及獲取中遇到的難題入手，介紹了文檔圖像的處理技術，進而引申到扭曲文檔圖像的處理，并對現(xiàn)有扭曲文檔圖像的兩種恢復技術 原理 做了簡要 說明 。 蘇州大學本科生畢業(yè)設計（論文） 10 第三章 2D 文檔圖像 扭曲恢復 的 預處理 本文提出的基于 2D 文檔圖像分析的扭曲恢復技術，整體分為三步：預處理、扭曲恢復和后處理。其中 ， 預處理將在本章 系統(tǒng)分析與設計之后進行介紹； 扭曲恢復是本文研究工作的創(chuàng)新點，將 在第四 章 單獨 進行詳細介紹 ； 后處理與最終的實驗結果分析將在第五章中作說明 。本章從扭曲恢復的前期工作著手，對該技術的流程與設計， 以及圖像的預處理進行 詳細 描述。 扭曲恢復技術 流程 文獻 [23]對各種基于 2D 文檔圖像分析的方法 進行描述，然而這些方法 處理 的對象都是西文。眾所周知，中文和西文有著很大的區(qū)別，因此以上很多方法在處理扭曲的中文文檔時不實用。這里 從 當前 處理西文的方法出發(fā)，結合扭曲 狀態(tài)下的中文特征，找出一種簡單有效的中文 文檔扭曲恢復技術。 技術 流程如圖 31。 圖 31 扭曲恢復技術的流程 按照流程，輸入的各種扭曲文檔圖像，經(jīng)過若干處理后，輸出為扭曲校正后的圖像。下面圍繞各處理過程的用途 進行簡要 說明。 預處理 蘇州大學本科生畢業(yè)設計（論文） 11 文檔圖像 預處理，是將種類繁多的格式歸一化為程序易處理的位圖格式，且處理成為效果較好的二值化圖像 ，為其扭曲恢復做好準備。過程中 涉及 到 格式轉換，圖像去 色及二值化，以及噪聲 消除等。 扭曲恢復 在扭曲恢復中，我們首先 對預處理后的二值化 扭曲 圖像進行分析，采用 相關的技術和算法對其中扭曲的文本進行恢復，然后輸出。該步 主要包含 了字符和文本行 標識，曲線分割與傾斜校正， 以 及扭曲恢復等。 后處理 扭曲恢復后的圖像有明顯的信息丟失，后處理將 最大限度的保存 處理 后 的結果，并盡可能的進行信息補充與恢復，主要包括 斷筆的修復和背景色 的 載入 。 扭曲恢復 技術的原理及 具體 實現(xiàn) 在第三章至第五章中做 了 詳細描述。 需求分析與 系統(tǒng) 設計 需求分析 （ 1）目的 :對 扭曲的文檔圖像進行一定的 恢復。 （ 2）范圍 :通過照相、掃描、復印等獲取的扭曲的文檔圖像。 （ 3）系統(tǒng) 開發(fā) 環(huán)境： 操作系統(tǒng)： Window XP professional. 開發(fā)環(huán)境及語言： Visual Studio 2021 、 C 系統(tǒng)設計 （ 1）用戶 界面設計 圖 32 用戶 界面 （ 2）主菜單設計 圖 33 主菜單界面 蘇州大學本科生畢業(yè)設計（論文） 12 扭曲恢復 處理 的 菜單主要包括預處理 （ Preprocessing） 、扭曲恢復 （ Dewarping） 、后處理 （ POstprocessing） 以及過程 （ ProGress） ，如圖 3。 其中，預處理中包含了 噪聲去 除、圖像去色 、 和圖像二值化；扭曲恢復包括文本行與字符標識、曲線分割與傾斜校正、字符平移；后處理則是斷筆修復及背景載入；過程主要對處理過程的結果進行呈現(xiàn)，具體 如圖 34。 圖 34 過程菜單 預處理 圖像去色 圖像去色就是將圖像的顏色信息去掉，轉換成灰度圖像。由于本課題選取了合理的開發(fā)環(huán)境，可以 容易地將各種格式的圖像轉換為易于像素計算的位圖。然后 利用 公式 （ 31） ，將彩圖轉換為灰度圖像 。 Gray = * Red + * Green + * Blue （ 31） 實驗表明，該方法灰度處理的效果較好，如圖 35圖 36。 (a) （ b） 圖 35 彩色圖像的灰度化： （ a） 處理前 （ b）處理后 蘇州大學本科生畢業(yè)設計（論文） 13 （ a） （ b） 圖 36 文檔圖像的灰度化： （ a） 處理前 （ b）處理后 噪聲消除 圖像噪聲是干擾圖像正常顯示的無用信息，給圖像的處理帶來很大的麻煩。因此在圖像預處理中都會針對性的將噪聲消除。 噪聲消除的方法 消除噪聲的經(jīng)典方法很多，下面簡要介紹其中的幾種： 均值濾波器 它是用一個有奇數(shù)點的滑動窗口在圖像上滑動，將窗口中心點對 應的圖像像素點的灰度值用窗口內的各個點的灰度值的平均值代替，如果滑動窗口規(guī)定了在取均值過程中窗口各個像素點所占的權重，也就是各個像素點的系數(shù)，這時候就稱為加權均值濾波。 自適應維納濾波器 它能根據(jù)圖像的局部方差來調整濾波器的輸出 ， 局部方差越大 ， 濾波器的平滑作用越強。它的最終目標是使恢復圖像 f^（ x， y） 與原始圖像 f（ x， y） 的均方誤差 e2=E[（ f（ x， y） f^ （ x， y）） 2]最小。該方法的濾波效果比均值濾波器效果要好 ， 對保留圖像的邊緣和其他高頻部分很有用 ， 不過計算量較大。維納濾波器對具有