【文章內(nèi)容簡(jiǎn)介】 作，如 OCR 識(shí)別、 數(shù)字文檔的版面分析、格式處理以及文檔自動(dòng)化都帶來(lái)極大困難，因此必須首先通過(guò)圖像矯正的方法對(duì)這種變形文檔進(jìn)行圖像恢復(fù)。 在 2021 年的數(shù)字化項(xiàng)目中 ，德國(guó)代表哲學(xué)家 Nietzsche 在 Duisburg–Essen 大學(xué)對(duì)創(chuàng)作于 1865 至 1945 年的文本文檔做了數(shù)字轉(zhuǎn)換。這次轉(zhuǎn)化的過(guò)程既復(fù)雜又耗時(shí)。很蘇州大學(xué)本科生畢業(yè)設(shè)計(jì)（論文） 6 多文檔使用德國(guó) 哥特體 （ fraktur） 活字 技術(shù)印刷出來(lái)，而現(xiàn)在的 OCR 程序?qū)?fraktur活字 識(shí)別不很理想，因此常常伴隨著人工修改。對(duì)于那些質(zhì)量差一些的以原始 影印文件為主的文學(xué)來(lái)源，數(shù)字化過(guò)程則需要進(jìn)一步的人工互動(dòng)。其中 陰影、傾斜和扭曲都會(huì)極大的降低 OCR 識(shí)別的準(zhǔn)確度。 文檔圖像的處理 文檔圖像處理包含許多方面， 下面對(duì)一些重要的技術(shù)做簡(jiǎn)要說(shuō)明。 圖像去色及二值化 存儲(chǔ)在紙上的文檔，若要輸入計(jì)算機(jī)中，首先要通過(guò)掃描儀掃描成為數(shù)字圖像。它可以是彩色圖像，也可以是灰度圖像，或者是二值圖像，取決于掃描的具體過(guò)程。但一般文檔處理系統(tǒng)要處理的是灰度圖像，而且很多成熟的圖像處理算法和工具包也是針對(duì)灰度圖像的。在進(jìn)入識(shí)別階段時(shí)，識(shí)別引擎一般是針對(duì)二值圖像的。因此，我們必須對(duì)輸入的圖像進(jìn)行處理，將其二值化。 圖像的二值化處理就是將圖像上的像素點(diǎn)的灰度值設(shè)置為 0 或 255，也就是 將 整個(gè)圖像呈現(xiàn)出明顯的黑白效果。 將 256 亮度等級(jí)的灰度圖像通過(guò)適當(dāng)?shù)拈y值選取而獲得仍 然可以反映圖像整體和局部特征的二值化圖像。在數(shù)字圖像處理中，二值圖像占有非常重要的地位 。 首先，圖像的二值化有利于圖像的進(jìn)一步處理，使圖像變得簡(jiǎn)單，且數(shù)據(jù)量減小，能凸顯出感興趣的目標(biāo)輪廓。其次，要進(jìn)行二值圖像的處理與分析，首先要把灰度圖像二值化，得到二值化圖像。 在我們所研究的文檔圖像處理這一特定領(lǐng)域中，圖像的二值化一般是指將灰度圖像轉(zhuǎn)化為只包含黑、白兩個(gè)灰度的二值圖像。文檔圖像可以看作是由文字、背景、圖片三類(lèi)對(duì)象組成，而我們最關(guān)心的是文字區(qū)域二值化后的結(jié)果。 圖像的這種轉(zhuǎn)換必然會(huì)引起信息丟失，因此采用什么樣 的算法能夠最大限度地保留識(shí)別時(shí)必需的信息（如字符的連通性），去掉不必要的背景信息和噪聲，并且執(zhí)行時(shí)間在實(shí)際可接受的范圍內(nèi)，是人們一直以來(lái)努力研究的問(wèn)題。 傾斜檢測(cè)與校正 文檔處理系統(tǒng)要求的處理對(duì)象是 工整 的文檔圖像，或者傾斜角度已知，否則許多對(duì)圖像的操作，例如投影分析，圖像分割等就無(wú)法進(jìn)行。顯然，掃描進(jìn)計(jì)算機(jī)的文檔圖像蘇州大學(xué)本科生畢業(yè)設(shè)計(jì)（論文） 7 無(wú)法保證一定是正的，因此需要利用傾斜檢測(cè)和校正的方法對(duì)其進(jìn)行處理。經(jīng)常采用的傾斜角度檢測(cè)的方法有：基于文本行的檢測(cè)方法，投影輪廓分析方法，和 Hough 變換方法等。 基于文本行的檢測(cè) 可以用于已知文本行方向（水平或豎直）的文檔圖像， 它利用了對(duì)圖像中連通體的分析。我們知道，連通體是一個(gè)灰度值相同的像素的集合，這個(gè)集合中任意兩個(gè)像素之間都是 8近鄰關(guān)系?？梢杂冒B通體內(nèi)像素的最小矩形來(lái)表示連通體，它描述了連通體的大小和位置信息。如果已知文本行方向，我們就可以將連通體合并成文本行，并用直線(xiàn)逼近。該直線(xiàn)的傾斜角即為文本行的傾斜角。對(duì)整幅圖像的文本行作同樣分析，選出出現(xiàn)頻率最高的角度，即可作為圖像的傾斜角。 投影操作也是一種基本的圖像處理方法。將圖像按一定方向作投影，可以得到在該方向坐標(biāo)軸上 分布的波形，它描述了圖像沿該方向上的黑像素分布情況。如果圖像文本行是水平的，那么沿水平方向的投影波形將具有明顯的波峰和波谷。基于這一點(diǎn)，我們可以在候選傾斜角度范圍內(nèi)轉(zhuǎn)動(dòng)圖像，直至出現(xiàn)明顯的波峰和波谷為止，這時(shí)得到的角度就是傾斜角度。 Hough 變換方法是在傾斜檢測(cè)中最常使用的方法，它抗噪聲干擾的能力強(qiáng)，并且不受圖像間隙干擾。它的原理是將直線(xiàn)從圖像空間映射到參數(shù)空間。這樣就將原圖像中的直線(xiàn)映射到參數(shù)空間的一點(diǎn)，而原圖像中的一點(diǎn)則對(duì)應(yīng)著參數(shù)空間的一條正弦曲線(xiàn)。圖像空間中任意兩點(diǎn)所對(duì)應(yīng)的正弦曲線(xiàn)在參數(shù)空間將相 交于一點(diǎn)，進(jìn)而 ， 通過(guò)的直線(xiàn)上的所有點(diǎn)所對(duì)應(yīng)的正弦曲線(xiàn)在參數(shù)空間都將相交于這一點(diǎn)?；谶@一點(diǎn)，我們將直線(xiàn)檢測(cè)問(wèn)題轉(zhuǎn)化為參數(shù)空間尋找局部最大值的問(wèn)題。以上是標(biāo)準(zhǔn) Hough 變換的基本思想。該方法適 于文本行方向預(yù)先未知的情況。 版面結(jié)構(gòu)理解 文檔圖像幾何結(jié)構(gòu)的理解也稱(chēng)為版面拆解，它是文檔圖像分析中的一個(gè)重要問(wèn)題。版面拆解的目的是生成一個(gè)描述文檔圖像的層次結(jié)構(gòu)：幾何結(jié)構(gòu)。它將圖像分割成為具有相同特性的區(qū)域，為下一步的區(qū)域識(shí)別和文字識(shí)別做好準(zhǔn)備。版面拆解的方法一般有如下三種： （ BottomUp，也稱(chēng)為數(shù)據(jù)驅(qū)動(dòng) ） 。這類(lèi)方法利用圖像的局部信息，通過(guò)逐步將具有相同屬性的區(qū)域合并，得到對(duì)文檔版面的拆解。該方法能處理不同版面的文檔和具有一定傾斜的文檔，但是一般比較慢。 （ TopDown，也稱(chēng)模型驅(qū)動(dòng) ） 。該方法從圖像全局出發(fā)，逐步對(duì)圖像進(jìn)行分割，最后得到圖像的幾何結(jié)構(gòu)。對(duì) Manhattan 式的版面，該方法快速而且有效；蘇州大學(xué)本科生畢業(yè)設(shè)計(jì)（論文） 8 但是對(duì)復(fù)雜文檔效果欠佳。影響自頂向下方法有效性的因素包括文本行位置的隨意性，區(qū)域形狀的不規(guī)則性以及文檔圖像的傾斜等。 （ Hybrid） 則盡量綜合上述兩種 方法的特點(diǎn)，使算法的性能和適應(yīng)性都得到提高。 扭曲文檔圖像的處理 扭曲文檔圖像的恢復(fù) 是當(dāng)今 圖像處理 的研究熱點(diǎn)之一，隨著更多學(xué)者的加入，目前已出現(xiàn)一些文檔圖像的扭曲恢復(fù)技術(shù)。這些技術(shù)大致劃分為兩類(lèi)：基于 2D 文檔圖像分析的恢復(fù)技術(shù)和基于 3D 文檔模型 重建的恢復(fù)技術(shù)。 基于 2D 文檔圖像分析 基于 2D 文檔圖像分析的算法，摒棄對(duì)扭曲現(xiàn)象的幾何模擬，直接對(duì)文檔圖像進(jìn)行分析，包括傾斜度、文本行、字符或詞組特征，然后設(shè)計(jì)出一種不受文檔圖像以外因素影響的扭曲恢復(fù)技術(shù)。該算法不需要清楚的知道扭曲造成的原因。 Wu 和 Agam 在其 文獻(xiàn) [7]中提出一種方法，該方法在給定角度范圍內(nèi)通過(guò)最小化局部累積投影從而檢測(cè)和跟蹤單文檔圖像中彎曲的文本行。這種算法是從給定區(qū)域的左邊界（假設(shè)左邊界是接近垂直的并由人為保證）開(kāi)始，逐漸跟蹤這些彎曲的文本行。這些文本行用于重建可用于恢復(fù)扭曲的目標(biāo)框架。在 文獻(xiàn) [7]中這種算法被應(yīng)用于由數(shù)碼相機(jī)拍攝的低透率的文檔。他們沒(méi)有在文檔和相機(jī)的成像面的角度上加任何限制。另一方面，利用這種方法所呈現(xiàn)的結(jié)果仍然在文檔的扭曲區(qū)域存在文字的失真。 Zhang 和 Tan 在 文獻(xiàn) [8]中提出的算法，是通過(guò)光明區(qū)與從合訂 本掃描的灰度級(jí)文檔圖像造成的陰影區(qū)之間的區(qū)別進(jìn)行彎曲檢測(cè)的。圖像扭曲的部分在陰影區(qū)，連接組件的文本行可用近似于二次方程的曲線(xiàn)描述。而在非陰影區(qū)域的文本行則可參考近似直線(xiàn)確定。陰影區(qū)中兩曲線(xiàn)的結(jié)合處的相對(duì)位置用以參照非陰影區(qū)域相應(yīng)的直線(xiàn)，上下垂直的移動(dòng)連接組件的曲線(xiàn)，直到其方向與兩曲線(xiàn)切線(xiàn)的平均角度相吻合。 基于 3D 文檔模型重建 基于 3D 文檔模型重建的算法，主要從造成文檔扭曲的因素出發(fā)，包括文檔及其擺放角度、光源方向、圖像獲取設(shè)備特征等因素。通過(guò)綜合分析，嘗試找出文檔理想的 3D模型從而對(duì)扭曲現(xiàn)象進(jìn)行 模擬，再利用已有的數(shù)學(xué)知識(shí)進(jìn)行恢復(fù)。該算法的優(yōu)勢(shì)在于 可利用已有知識(shí) ，很好地 模擬文檔扭曲的幾何模型。 蘇州大學(xué)本科生畢業(yè)設(shè)計(jì)（論文） 9 在 文獻(xiàn) [9]中， Cao et. 。他們的糾正算法僅局限于書(shū)形成的圓筒表面的母線(xiàn)平行于成像面的情況，即 3D 文檔模型 成圓柱狀。 Zhang et. 文獻(xiàn) [10]中提出了一種算法，可以恢復(fù)文檔扭曲。這種文檔扭曲在掃描較厚的合訂本時(shí)產(chǎn)生的，而且書(shū)的脊柱與掃描光線(xiàn)是平行的?？梢?jiàn)，現(xiàn)有基于模型算法的局限就在于他們需要很多前提條件。目前還尚沒(méi)有一種幾何模型 可以適用于任何形式下扭曲文檔圖像的識(shí)別與自動(dòng)恢復(fù)。 比較與分析 基于分析的和模型的算法都能提高 OCR 的識(shí)別率。 結(jié)果顯示，在第一類(lèi)算法中糾正過(guò)的文本中剩余的彎曲率較高，但其邊界適應(yīng)性仍是明顯的優(yōu)勢(shì)。由于我們項(xiàng)目中的原始文檔經(jīng)常不可靠，外部因素不確定 ，加上數(shù)字化和處理文檔的過(guò)程可能處于分布式，因此第二類(lèi)算法顯得 不適用。 本章小結(jié) 本章 主要介紹了文檔圖像處理的相關(guān)知識(shí)，從文檔圖像的獲取 及獲取中遇到的難題入手，介紹了文檔圖像的處理技術(shù)，進(jìn)而引申到扭曲文檔圖像的處理，并對(duì)現(xiàn)有扭曲文檔圖像的兩種恢復(fù)技術(shù) 原理 做了簡(jiǎn)要 說(shuō)明 。 蘇州大學(xué)本科生畢業(yè)設(shè)計(jì)（論文） 10 第三章 2D 文檔圖像 扭曲恢復(fù) 的 預(yù)處理 本文提出的基于 2D 文檔圖像分析的扭曲恢復(fù)技術(shù)，整體分為三步：預(yù)處理、扭曲恢復(fù)和后處理。其中 ， 預(yù)處理將在本章 系統(tǒng)分析與設(shè)計(jì)之后進(jìn)行介紹； 扭曲恢復(fù)是本文研究工作的創(chuàng)新點(diǎn)，將 在第四 章 單獨(dú) 進(jìn)行詳細(xì)介紹 ； 后處理與最終的實(shí)驗(yàn)結(jié)果分析將在第五章中作說(shuō)明 。本章從扭曲恢復(fù)的前期工作著手，對(duì)該技術(shù)的流程與設(shè)計(jì)， 以及圖像的預(yù)處理進(jìn)行 詳細(xì) 描述。 扭曲恢復(fù)技術(shù) 流程 文獻(xiàn) [23]對(duì)各種基于 2D 文檔圖像分析的方法 進(jìn)行描述，然而這些方法 處理 的對(duì)象都是西文。眾所周知，中文和西文有著很大的區(qū)別，因此以上很多方法在處理扭曲的中文文檔時(shí)不實(shí)用。這里 從 當(dāng)前 處理西文的方法出發(fā)，結(jié)合扭曲 狀態(tài)下的中文特征，找出一種簡(jiǎn)單有效的中文 文檔扭曲恢復(fù)技術(shù)。 技術(shù) 流程如圖 31。 圖 31 扭曲恢復(fù)技術(shù)的流程 按照流程，輸入的各種扭曲文檔圖像，經(jīng)過(guò)若干處理后，輸出為扭曲校正后的圖像。下面圍繞各處理過(guò)程的用途 進(jìn)行簡(jiǎn)要 說(shuō)明。 預(yù)處理 蘇州大學(xué)本科生畢業(yè)設(shè)計(jì)（論文） 11 文檔圖像 預(yù)處理，是將種類(lèi)繁多的格式歸一化為程序易處理的位圖格式，且處理成為效果較好的二值化圖像 ，為其扭曲恢復(fù)做好準(zhǔn)備。過(guò)程中 涉及 到 格式轉(zhuǎn)換，圖像去 色及二值化，以及噪聲 消除等。 扭曲恢復(fù) 在扭曲恢復(fù)中，我們首先 對(duì)預(yù)處理后的二值化 扭曲 圖像進(jìn)行分析，采用 相關(guān)的技術(shù)和算法對(duì)其中扭曲的文本進(jìn)行恢復(fù)，然后輸出。該步 主要包含 了字符和文本行 標(biāo)識(shí)，曲線(xiàn)分割與傾斜校正， 以 及扭曲恢復(fù)等。 后處理 扭曲恢復(fù)后的圖像有明顯的信息丟失，后處理將 最大限度的保存 處理 后 的結(jié)果，并盡可能的進(jìn)行信息補(bǔ)充與恢復(fù)，主要包括 斷筆的修復(fù)和背景色 的 載入 。 扭曲恢復(fù) 技術(shù)的原理及 具體 實(shí)現(xiàn) 在第三章至第五章中做 了 詳細(xì)描述。 需求分析與 系統(tǒng) 設(shè)計(jì) 需求分析 （ 1）目的 :對(duì) 扭曲的文檔圖像進(jìn)行一定的 恢復(fù)。 （ 2）范圍 :通過(guò)照相、掃描、復(fù)印等獲取的扭曲的文檔圖像。 （ 3）系統(tǒng) 開(kāi)發(fā) 環(huán)境： 操作系統(tǒng)： Window XP professional. 開(kāi)發(fā)環(huán)境及語(yǔ)言： Visual Studio 2021 、 C 系統(tǒng)設(shè)計(jì) （ 1）用戶(hù) 界面設(shè)計(jì) 圖 32 用戶(hù) 界面 （ 2）主菜單設(shè)計(jì) 圖 33 主菜單界面 蘇州大學(xué)本科生畢業(yè)設(shè)計(jì)（論文） 12 扭曲恢復(fù) 處理 的 菜單主要包括預(yù)處理 （ Preprocessing） 、扭曲恢復(fù) （ Dewarping） 、后處理 （ POstprocessing） 以及過(guò)程 （ ProGress） ，如圖 3。 其中，預(yù)處理中包含了 噪聲去 除、圖像去色 、 和圖像二值化；扭曲恢復(fù)包括文本行與字符標(biāo)識(shí)、曲線(xiàn)分割與傾斜校正、字符平移；后處理則是斷筆修復(fù)及背景載入；過(guò)程主要對(duì)處理過(guò)程的結(jié)果進(jìn)行呈現(xiàn)，具體 如圖 34。 圖 34 過(guò)程菜單 預(yù)處理 圖像去色 圖像去色就是將圖像的顏色信息去掉，轉(zhuǎn)換成灰度圖像。由于本課題選取了合理的開(kāi)發(fā)環(huán)境，可以 容易地將各種格式的圖像轉(zhuǎn)換為易于像素計(jì)算的位圖。然后 利用 公式 （ 31） ，將彩圖轉(zhuǎn)換為灰度圖像 。 Gray = * Red + * Green + * Blue （ 31） 實(shí)驗(yàn)表明，該方法灰度處理的效果較好，如圖 35圖 36。 (a) （ b） 圖 35 彩色圖像的灰度化： （ a） 處理前 （ b）處理后 蘇州大學(xué)本科生畢業(yè)設(shè)計(jì)（論文） 13 （ a） （ b） 圖 36 文檔圖像的灰度化： （ a） 處理前 （ b）處理后 噪聲消除 圖像噪聲是干擾圖像正常顯示的無(wú)用信息，給圖像的處理帶來(lái)很大的麻煩。因此在圖像預(yù)處理中都會(huì)針對(duì)性的將噪聲消除。 噪聲消除的方法 消除噪聲的經(jīng)典方法很多，下面簡(jiǎn)要介紹其中的幾種： 均值濾波器 它是用一個(gè)有奇數(shù)點(diǎn)的滑動(dòng)窗口在圖像上滑動(dòng)，將窗口中心點(diǎn)對(duì) 應(yīng)的圖像像素點(diǎn)的灰度值用窗口內(nèi)的各個(gè)點(diǎn)的灰度值的平均值代替，如果滑動(dòng)窗口規(guī)定了在取均值過(guò)程中窗口各個(gè)像素點(diǎn)所占的權(quán)重，也就是各個(gè)像素點(diǎn)的系數(shù)，這時(shí)候就稱(chēng)為加權(quán)均值濾波。 自適應(yīng)維納濾波器 它能根據(jù)圖像的局部方差來(lái)調(diào)整濾波器的輸出 ， 局部方差越大 ， 濾波器的平滑作用越強(qiáng)。它的最終目標(biāo)是使恢復(fù)圖像 f^（ x， y） 與原始圖像 f（ x， y） 的均方誤差 e2=E[（ f（ x， y） f^ （ x， y）） 2]最小。該方法的濾波效果比均值濾波器效果要好 ， 對(duì)保留圖像的邊緣和其他高頻部分很有用 ， 不過(guò)計(jì)算量較大。維納濾波器對(duì)具有