【正文】 彩色圖像中文本提取的算法研究畢業(yè)論文1 緒論隨著互聯(lián)網(wǎng)和多媒體技術(shù)的快速發(fā)展，世界進(jìn)入了一個(gè)嶄新的信息化時(shí)代。以圖像、動(dòng)畫、視頻為主要元素的各種多媒體信息構(gòu)成了信息傳播的主力。最近幾年以來隨著既有拍照功能的便攜式電子設(shè)備，比如智能手機(jī)，平板電腦等，隨著技術(shù)的不斷更新升級(jí)，人們急需一種方便的應(yīng)用程序來提取處理圖像中內(nèi)嵌的文本信息。這都使得彩色圖像下的文本的提取成為一個(gè)很有意義的研究課題。彩色圖像中的文本提取即為彩色圖像中文本定位，是很困難的問題。由于其廣泛的應(yīng)用領(lǐng)域越來越受到人們的重視。 因此，將圖像中的文本提取出來將便于不停國家，不同文化之間的交流。 隨著計(jì)算機(jī)技術(shù)、多媒體技術(shù)和通訊技術(shù)的發(fā)展，以圖像、聲音和視頻為主的多媒體信息的應(yīng)用越來越廣泛，圖像中的文本信息對(duì)檢索和瀏覽有十分重要的意義。在彩色圖像中，文本信息包含了豐富的高層語義信息[1]。文本可以作為圖像的內(nèi)容標(biāo)識(shí)和索引，是圖像內(nèi)容重要程度的判斷依據(jù)，例如出現(xiàn)醒目文字的幀，可以抽取出來作為對(duì)應(yīng)的圖像的代表幀。如果這些文字信息能自動(dòng)準(zhǔn)確的被檢測(cè)、分割、識(shí)別出來，則對(duì)圖像高層語義的自動(dòng)理解、索引和檢索是非常有價(jià)值的。隨著技術(shù)的不斷發(fā)展，人們對(duì)彩色圖像中文字提取進(jìn)行了廣泛的研究，并已有許多成熟的技術(shù)應(yīng)用在各個(gè)領(lǐng)域，如交通管理中的汽車牌照識(shí)別和港口貨物管理的集裝箱編碼識(shí)別等。但自然場(chǎng)景中的文本分割依然面臨著許多復(fù)雜的問題，主要原因是：(1)文字和其他自然景物混雜在一起，如樹、窗戶和房屋建筑等，背景復(fù)雜；(2)文字的顏色多種多樣；(3)文字的字體和大小復(fù)雜多變；(4)光照的變化等。因此從自然場(chǎng)景圖像中提取文本是一項(xiàng)極具挑戰(zhàn)性的工作。目前已有的文本區(qū)域提取方法大致可以分為四類:(1)基于邊緣的方法(2)基于紋理的方法(3)基于連通域的方法(4)基于學(xué)習(xí)的方法。在各種自然彩色圖像中，往往可以見到各種各樣的文字，這些文字一般和該圖像的語義內(nèi)容相關(guān)，或者提供了某種定位輔助信息。若能準(zhǔn)確的將這些文字信息定位出來，并進(jìn)行處理，使之能夠被傳統(tǒng)的OCR軟件識(shí)別并被轉(zhuǎn)化成為機(jī)器內(nèi)碼，結(jié)合自然語言處理，文本檢索，文本翻譯，語音合成等技術(shù)可以被應(yīng)用到各種領(lǐng)域?qū)崿F(xiàn)。針對(duì)圖像、視頻文本檢測(cè)和提取的研究，主要有以下算法：Rainer Lienhart[2]利用文字顏色的單一性、文本區(qū)域的大小約束、同一文本會(huì)在連續(xù)幾個(gè)視頻幀出現(xiàn)等特點(diǎn)，對(duì)文本進(jìn)行檢測(cè)和定位。首先對(duì)視頻幀使用分裂—合并算法，將視頻幀分解成顏色一致的連通元（connected ponent）。然后通過匹配算法，對(duì)連通元進(jìn)行多幀跟蹤，去除那些沒有連續(xù)多幀出現(xiàn)的連通元。最后通過對(duì)比度的分析，形狀分析等去除非文本的連通元。該算法要對(duì)每一個(gè)視頻幀進(jìn)行分裂合并算法，而且視頻中生成的連通元絕大部分都不會(huì)是文本，因此算法復(fù)雜度太高，系統(tǒng)效率低。Boon Lock Yeo[3]提出利用場(chǎng)景變化來檢測(cè)視頻文本的出現(xiàn)和消失。算法對(duì)相鄰兩個(gè)視頻幀取差值，在差值圖像中尋找高亮區(qū)域。這種算法只能提取高亮的視頻字幕，而不能提取非高亮度的字幕，而且也會(huì)受到較亮的物體的干擾。Byung[4]提出用字符的拓?fù)浣Y(jié)構(gòu)特征來提取字符文本區(qū)域，然后對(duì)視頻字幕區(qū)域進(jìn)行復(fù)原。該算法是基于單個(gè)視頻幀圖像的字幕提取，效果并不明顯。Marco Bertin{5]利用角點(diǎn)特征來進(jìn)行的視頻字幕檢測(cè)。這種算法實(shí)質(zhì)上類似于基于灰度邊緣的算法等。王辰等[6]等通過灰度邊緣檢測(cè)來定位文本區(qū)域。首先提取視頻幀的灰度邊緣，然后合并相鄰的邊緣，生成候選文本區(qū)域，最后用一些啟發(fā)式規(guī)則來去除虛假的文本區(qū)域。該算法不能提取灰度值和背景接近的文本。王勇等[7]提出一種基于邊緣點(diǎn)密度的視頻字幕自適應(yīng)檢測(cè)算法。采用基于邊緣檢測(cè)的方法，結(jié)合文字圖像區(qū)域本身的特點(diǎn)，在對(duì)原圖像進(jìn)行邊緣檢測(cè)和形態(tài)學(xué)膨脹后，對(duì)其在水平和垂直方向的邊緣密度投影采用一種自適應(yīng)的檢測(cè)算法，從而檢測(cè)得到字幕圖像區(qū)域。該算法的優(yōu)點(diǎn)是可以檢測(cè)出各種字體大小的文本行。但是算法不能提取灰度值和背景接近的文本。郭麗等[8]提出一種基于顏色邊緣點(diǎn)和游程平滑的視頻文本提取算法。黃曉東等[15]綜合應(yīng)用小波變換和顏色聚類技術(shù)來提取視頻幀中的字幕區(qū)域。首先，通過小波變換計(jì)算視頻中的局部能力特征，能量高的區(qū)域作為候選字幕區(qū)域。然后利用字幕顏色一致的特征，進(jìn)行鄰域顏色聚類算法，從背景中分離出字幕。最后利用字幕屬性特征消除噪聲。但是該算法容易受到顏色一致的物體的干擾。處理圖像的時(shí)間較長(zhǎng)。 課題的主要目標(biāo)就是在彩色圖像下提取文本信息，二值化分割進(jìn)而識(shí)別文字這一特定語義對(duì)象。在各種彩色圖像中，往往可以見到各種各樣的文字，這些文字一般和該圖像的語義內(nèi)容相關(guān)，或者提供了某種定位輔助信息。若能準(zhǔn)確的將這些文字信息定位出來，并進(jìn)行處理，使之能夠被傳統(tǒng)的OCR軟件識(shí)別并被轉(zhuǎn)化成為機(jī)器內(nèi)碼，結(jié)合自然語言處理，文本檢索，文本翻譯，語音合成等技術(shù)可以被應(yīng)用到各種應(yīng)用領(lǐng)域。對(duì)圖像中文字的提取首先確定包含文字的圖像區(qū)域，濾除非文本背景的干擾，把彩色圖像中的文本區(qū)域定位出來，這是文字提取工作中最難、最關(guān)鍵的環(huán)節(jié)，確定包含文字圖像的區(qū)域后，利用文本特征制定啟發(fā)式規(guī)則，濾除非文本區(qū)域，得到二值化文本字符，為了方便后面的文字抽取，在字符抽取前進(jìn)行一次文字區(qū)域圖像質(zhì)量的改善也很有必要，對(duì)文字提取后，最終采用OCR技術(shù)對(duì)字符進(jìn)行識(shí)別。論文從課題出發(fā)，第一章緒論中闡述了彩色圖像中文本信息提取的四種方式，然后比較對(duì)于不同場(chǎng)景和復(fù)雜背景各種方式的可操作性。并將完整的文字提取系統(tǒng)劃分為文字定位、文字分割和文字識(shí)別三個(gè)階段，指出前兩部分是本文所要解決的問題所在。第二章主要介紹了文本定位與提取方法綜述，簡(jiǎn)單的介紹文本提取原理，對(duì)文本粗提取與細(xì)提取的步驟進(jìn)行了闡述。第三章文本預(yù)處理，主要介紹了對(duì)文本的灰度化，直方均衡，和圖像降噪等等，使提取出來的圖像對(duì)后面的文本細(xì)定位做了準(zhǔn)備。第四章結(jié)合邊緣檢測(cè)和數(shù)學(xué)形態(tài)學(xué)特征對(duì)文字進(jìn)行定位，邊緣檢測(cè)算法中5種算子的比較，基于邊緣的圖像文本處理技術(shù)。應(yīng)用了基于彩色圖像的canny算子邊緣的方法。結(jié)合數(shù)學(xué)形態(tài)學(xué)中各種運(yùn)算做了文本細(xì)定位。第五章介紹文字分割典型的常見手法并且加以比較，針對(duì)彩色圖像中文本定位提取的問題，對(duì)文本區(qū)域進(jìn)行字符提取，成功提取出單個(gè)字符串。第六章展望與總結(jié)。2. 彩色圖像文本特征分析與提取人們識(shí)別文本的過程不是有規(guī)律的基于邏輯的思維方式，而是一種無規(guī)則的基于直覺的思維方式。目前電腦還達(dá)不到模擬人類直覺思維方式的水平,它只能利用大量的運(yùn)算來逼近人們的類比識(shí)別過程，因此某一些特定的數(shù)學(xué)運(yùn)算并不足以適應(yīng)多種情況下大的需要，并且對(duì)于圖像中的目標(biāo)文本而言，文本不單單以一種特定形式表現(xiàn)，而是根據(jù)不同的情況存在有不同的表現(xiàn)方式，比如顏色、梯度、紋理、邊緣等等。目前存在的很多圖像文本提取技術(shù)有很強(qiáng)的針對(duì)性，對(duì)于不同的文本特征。文本提取技術(shù)對(duì)應(yīng)文本特征具體實(shí)現(xiàn)方案基于連通分量的技術(shù)顏色、灰度值閾值化方法，顏色聚類，顏色量化基于邊緣的技術(shù)邊緣和梯度邊緣檢測(cè)算子基于紋理的技術(shù)紋理和梯度Kmean方法基于學(xué)習(xí)的技術(shù)像素灰度值、彩色梯度神經(jīng)網(wǎng)絡(luò)，支持向量機(jī)目前文字識(shí)別各種技術(shù)相對(duì)成熟并已經(jīng)投入實(shí)際應(yīng)用。相比之下，如何準(zhǔn)確的將文字區(qū)域提取出來目前還處于探索階段。其主要的難點(diǎn)在于:文本存在于復(fù)雜背景之中難以區(qū)分；文本存在嚴(yán)重的形變和幾何畸變；自然環(huán)境下由于照度的不均勻、陰影、反射等原因等造成的文本圖像的亮度變化。由于存在這些難點(diǎn)，才使得圖像文字提取成為一個(gè)值得深入研究的課題。通常情況下根據(jù)文本對(duì)象的存在形式將文本分為人工文本和場(chǎng)景文本。目前的研究主要集中于對(duì)人工文本的研究，而場(chǎng)景文本的研究剛剛起步。文本提取的研究思路主要集中于應(yīng)用各種圖像處理的方法將文字區(qū)域的邊角特征、色彩特征和紋理特征突出，然后根據(jù)一定的分類算法來劃分候選的區(qū)域，經(jīng)過進(jìn)一步的后處理來最終確定實(shí)際的文本區(qū)域。在本文將文本的定位、定位與提取、作為文本區(qū)域提取整體來討論，包含預(yù)處理、特征提取、分類(定位)、生成候選區(qū)域、文本區(qū)域提取幾個(gè)步驟來解決文本區(qū)域的準(zhǔn)確提取問題。在本文將文本的定位、定位與提取、作為文本區(qū)域提取整體來討論，包含預(yù)處理、特征提取、分類(定位)、生成候選區(qū)域、文本區(qū)域提取幾個(gè)步驟來解決文本區(qū)域的準(zhǔn)確提取問題。彩色圖像文本提取流程如下圖所示。字符識(shí)別圖像采集字符分割文字定位圖像預(yù)處理 彩色圖像文本提取 文本信息提取流程包含了文字定位、文字分割和光學(xué)字符識(shí)別(OCR)三個(gè)串聯(lián)的階段。本文主要介紹文字定位和文字分割。在第一部分圖像采集中，主要通過CCD 攝像頭與計(jì)算機(jī)的視頻捕捉卡直接相連來完成圖像采集。該部分功能可簡(jiǎn)單調(diào)用計(jì)算機(jī)視頻捕捉卡廠商提供的各種軟件開發(fā)包工具即可實(shí)現(xiàn)。彩色圖像中的文本提取的關(guān)鍵在于后四部分。首先要對(duì)采集到的圖像進(jìn)行預(yù)處理，而文本定位又決定其后的文本字符識(shí)別，因此文本域定位是關(guān)鍵，文本區(qū)域定位就是從包含整個(gè)圖像中找到文本所在區(qū)域的位置。目前，已經(jīng)提出了很多種方法，一個(gè)共同的出發(fā)點(diǎn)是：通過文本的特征來判斷區(qū)域，利用的文本特征主要包括：文本區(qū)域內(nèi)的邊緣灰度直方圖統(tǒng)計(jì)“特征”、文本的幾何特征、文本區(qū)域的灰度分布特征、文本區(qū)域水平或垂直投影特征、文本形狀特征和頻譜特征。 圖像預(yù)處理根據(jù)三基色原理，世界上任何色彩都可以由紅綠藍(lán)（RGB）三色不同比例的混合來表示，如果紅綠藍(lán)（RGB）三個(gè)信號(hào)分別由一個(gè)字節(jié)表示，則該圖像顏色位數(shù)就達(dá)到二十四位真彩，也就是說在二十四位真彩的數(shù)字圖像中每個(gè)像素點(diǎn)由三個(gè)字節(jié)來表示，根據(jù)數(shù)字圖像水平和垂直方向像素點(diǎn)數(shù)（即圖像分辨率）可計(jì)算出一幅圖像實(shí)際位圖大小。通常文字在字體、大小、顏色、對(duì)齊方式和排列方向上常常有很大的變化，文字背景復(fù)雜，圖像分辨率低，圖像噪聲高，而且很多系統(tǒng)在應(yīng)用上還要求算法有較高的處理速度，這些都使得從圖像中有效地提取出文字變得異常困難。但我們可以對(duì)圖像根據(jù)不同應(yīng)用特點(diǎn)進(jìn)行識(shí)別前的預(yù)處理