【正文】 像素灰度值、彩色梯度神經(jīng)網(wǎng)絡(luò)，支持向量機(jī)目前文字識(shí)別各種技術(shù)相對(duì)成熟并已經(jīng)投入實(shí)際應(yīng)用。第六章展望與總結(jié)。第四章結(jié)合邊緣檢測(cè)和數(shù)學(xué)形態(tài)學(xué)特征對(duì)文字進(jìn)行定位，邊緣檢測(cè)算法中5種算子的比較，基于邊緣的圖像文本處理技術(shù)。論文從課題出發(fā)，第一章緒論中闡述了彩色圖像中文本信息提取的四種方式，然后比較對(duì)于不同場(chǎng)景和復(fù)雜背景各種方式的可操作性。 課題的主要目標(biāo)就是在彩色圖像下提取文本信息，二值化分割進(jìn)而識(shí)別文字這一特定語(yǔ)義對(duì)象。然后利用字幕顏色一致的特征，進(jìn)行鄰域顏色聚類(lèi)算法，從背景中分離出字幕。但是算法不能提取灰度值和背景接近的文本。該算法不能提取灰度值和背景接近的文本。Marco Bertin{5]利用角點(diǎn)特征來(lái)進(jìn)行的視頻字幕檢測(cè)。算法對(duì)相鄰兩個(gè)視頻幀取差值，在差值圖像中尋找高亮區(qū)域。然后通過(guò)匹配算法，對(duì)連通元進(jìn)行多幀跟蹤，去除那些沒(méi)有連續(xù)多幀出現(xiàn)的連通元。在各種自然彩色圖像中，往往可以見(jiàn)到各種各樣的文字，這些文字一般和該圖像的語(yǔ)義內(nèi)容相關(guān)，或者提供了某種定位輔助信息。隨著技術(shù)的不斷發(fā)展，人們對(duì)彩色圖像中文字提取進(jìn)行了廣泛的研究，并已有許多成熟的技術(shù)應(yīng)用在各個(gè)領(lǐng)域，如交通管理中的汽車(chē)牌照識(shí)別和港口貨物管理的集裝箱編碼識(shí)別等。 隨著計(jì)算機(jī)技術(shù)、多媒體技術(shù)和通訊技術(shù)的發(fā)展，以圖像、聲音和視頻為主的多媒體信息的應(yīng)用越來(lái)越廣泛，圖像中的文本信息對(duì)檢索和瀏覽有十分重要的意義。這都使得彩色圖像下的文本的提取成為一個(gè)很有意義的研究課題。彩色圖像中文本提取的算法研究畢業(yè)論文1 緒論隨著互聯(lián)網(wǎng)和多媒體技術(shù)的快速發(fā)展，世界進(jìn)入了一個(gè)嶄新的信息化時(shí)代。彩色圖像中的文本提取即為彩色圖像中文本定位，是很困難的問(wèn)題。在彩色圖像中，文本信息包含了豐富的高層語(yǔ)義信息[1]。但自然場(chǎng)景中的文本分割依然面臨著許多復(fù)雜的問(wèn)題，主要原因是：(1)文字和其他自然景物混雜在一起，如樹(shù)、窗戶和房屋建筑等，背景復(fù)雜；(2)文字的顏色多種多樣；(3)文字的字體和大小復(fù)雜多變；(4)光照的變化等。若能準(zhǔn)確的將這些文字信息定位出來(lái)，并進(jìn)行處理，使之能夠被傳統(tǒng)的OCR軟件識(shí)別并被轉(zhuǎn)化成為機(jī)器內(nèi)碼，結(jié)合自然語(yǔ)言處理，文本檢索，文本翻譯，語(yǔ)音合成等技術(shù)可以被應(yīng)用到各種領(lǐng)域?qū)崿F(xiàn)。最后通過(guò)對(duì)比度的分析，形狀分析等去除非文本的連通元。這種算法只能提取高亮的視頻字幕，而不能提取非高亮度的字幕，而且也會(huì)受到較亮的物體的干擾。這種算法實(shí)質(zhì)上類(lèi)似于基于灰度邊緣的算法等。王勇等[7]提出一種基于邊緣點(diǎn)密度的視頻字幕自適應(yīng)檢測(cè)算法。郭麗等[8]提出一種基于顏色邊緣點(diǎn)和游程平滑的視頻文本提取算法。最后利用字幕屬性特征消除噪聲。在各種彩色圖像中，往往可以見(jiàn)到各種各樣的文字，這些文字一般和該圖像的語(yǔ)義內(nèi)容相關(guān)，或者提供了某種定位輔助信息。并將完整的文字提取系統(tǒng)劃分為文字定位、文字分割和文字識(shí)別三個(gè)階段，指出前兩部分是本文所要解決的問(wèn)題所在。應(yīng)用了基于彩色圖像的canny算子邊緣的方法。2. 彩色圖像文本特征分析與提取人們識(shí)別文本的過(guò)程不是有規(guī)律的基于邏輯的思維方式，而是一種無(wú)規(guī)則的基于直覺(jué)的思維方式。相比之下，如何準(zhǔn)確的將文字區(qū)域提取出來(lái)目前還處于探索階段。目前的研究主要集中于對(duì)人工文本的研究，而場(chǎng)景文本的研究剛剛起步。彩色圖像文本提取流程如下圖所示。該部分功能可簡(jiǎn)單調(diào)用計(jì)算機(jī)視頻捕捉卡廠商提供的各種軟件開(kāi)發(fā)包工具即可實(shí)現(xiàn)。 圖像預(yù)處理根據(jù)三基色原理，世界上任何色彩都可以由紅綠藍(lán)（RGB）三色不同比例的混合來(lái)表示，如果紅綠藍(lán)（RGB）三個(gè)信號(hào)分別由一個(gè)字節(jié)表示，則該圖像顏色位數(shù)就達(dá)到二十四位真彩，也就是說(shuō)在二十四位真彩的數(shù)字圖像中每個(gè)像素點(diǎn)由三個(gè)字節(jié)來(lái)表示，根據(jù)數(shù)字圖像水平和垂直方向像素點(diǎn)數(shù)（即圖像分辨率）可計(jì)算出一幅圖像實(shí)際位圖大小。目前已有不少學(xué)者在這方面進(jìn)行了研究。這些方法各有優(yōu)缺點(diǎn)，本文結(jié)合數(shù)學(xué)形態(tài)學(xué)的特征和邊緣檢測(cè)對(duì)文本進(jìn)行定位，對(duì)于提高文本定位準(zhǔn)確率提供更有利的保障。 文本粗定位由攝像機(jī)采集的彩色圖像首先轉(zhuǎn)化為灰度圖像，經(jīng)過(guò)灰度均衡變換、Canny邊緣強(qiáng)化，其邊緣得到了勾勒和加強(qiáng)。 文本細(xì)定位在獲得文本粗定位后，利用彩色圖像的彩色分割方法。文字分割的難點(diǎn)在于噪聲合字符粘連，斷裂對(duì)字符的影響。：本章主要介紹了目前彩色圖像中文本信息的提取流程，對(duì)各個(gè)步驟進(jìn)行了簡(jiǎn)單的概述。由于圖像受到種種條件的現(xiàn)實(shí)和干擾，圖像的灰度值往往與實(shí)際景物不完全平匹配，這將直接影響到圖像的后續(xù)處理，如果造成這種影響的原因主要是被攝物體遠(yuǎn)近不同，或是由于曝光不足而使得圖像灰度變化范圍變窄。 ()為避免浮點(diǎn)數(shù)計(jì)算，加快計(jì)算速度，叫以用式(2) 代替式(1)運(yùn)算。 ()一般有以下三種方法對(duì)彩色圖像進(jìn)行灰度化： 將彩色圖像中的三分量的亮度作為三個(gè)灰度圖像的灰度值，可根據(jù)應(yīng)用需要選取一種灰度圖像。 (a) 原圖 (b) 灰度化圖像圖 原圖像轉(zhuǎn)化為灰度化彩色圖像受到光照等影響，圖像的輸入、采集、處理的各個(gè)環(huán)節(jié)以及最終的輸出結(jié)果都會(huì)產(chǎn)生一定的影響,特別是在圖像的輸入、采集過(guò)程中,若輸入伴有較大噪聲,必定會(huì)對(duì)其后的處理以及最終的文字提取效果造成不利。 中值濾波中值濾波是基于排序統(tǒng)計(jì)理論的一種能有效抑制噪聲的非線性信號(hào)處理技術(shù)。當(dāng)窗口在圖像中上下左右進(jìn)行移動(dòng)后,利用中值濾波算法可以很好地對(duì)圖像進(jìn)行平滑處理?；叶戎狈綀D是圖像預(yù)處理涉及最廣泛的基本概念之一。這時(shí)可以對(duì)[0,1]區(qū)間內(nèi)的任意一個(gè)r值進(jìn)行如下變換： （）也就是說(shuō)，通過(guò)上述變換，每個(gè)原始圖像的像素值r都對(duì)應(yīng)產(chǎn)生一個(gè)s值。因?yàn)槭菃握{(diào)增加的，由數(shù)學(xué)分析可知，它的反函數(shù)也是單調(diào)函數(shù)。這種方法就是平滑處理。但我們可以對(duì)圖像根據(jù)不同應(yīng)用特點(diǎn)進(jìn)行識(shí)別前的預(yù)處理，盡最大可能提高文本正確識(shí)別率，這些圖像預(yù)處理包括圖像平滑、傾斜校正、灰度修正等。本文應(yīng)用基于邊緣的方法實(shí)現(xiàn)對(duì)文本的定位。其文本定位如下圖示： （a）原圖像 (b)梯度分割結(jié)果 圖像定位結(jié)果根據(jù)邊緣是圖像上灰度值的變化最為劇烈的地方,反映為數(shù)學(xué)表達(dá)就是函數(shù)梯度比較大的地方,因此邊緣檢測(cè)的思路主要集中在研究比較好的求導(dǎo)算子上面[12]。圖像檢測(cè),確定哪些點(diǎn)是邊緣點(diǎn)。下面介紹幾種經(jīng)典的邊緣檢測(cè)算子[13]。 Prewitt 算子 Prewitt算子類(lèi)似于Sobel算子,不同的是常系數(shù)c=l。取它們的平方和的開(kāi)方可以獲得性能更一致的全方位的響應(yīng)。依次用邊緣樣板去檢測(cè)圖像，與被檢測(cè)區(qū)域最為相似的樣板給出最大值。圖像的邊緣對(duì)應(yīng)著圖像灰度的不連續(xù)性。梯度是一個(gè)向量，?f 指出灰度變化的最快的方向和數(shù)量。其基本思想是:首先在一定范圍內(nèi)做平滑濾波，然后利用差分算子檢測(cè)在相應(yīng)尺度上的邊緣。Log邊緣檢測(cè)器的基本特征是： 平滑濾波器是高斯濾波器 增強(qiáng)步驟采用二階導(dǎo)數(shù)(二維拉普拉斯函數(shù)) 邊緣檢測(cè)判據(jù)是二階導(dǎo)數(shù)零交叉點(diǎn)并對(duì)應(yīng)一階導(dǎo)數(shù)的較大峰值 這種方法的特點(diǎn)是圖像首先與高斯濾波器進(jìn)行卷積，這一步既平滑了圖像又降低了噪聲，孤立的噪聲點(diǎn)和較小的結(jié)構(gòu)組織將被路濾除。Log算子的輸出是通過(guò)卷積運(yùn)算得到的： （） 根據(jù)卷積求導(dǎo)法有： （）一階導(dǎo)數(shù)的邊緣算子有時(shí)會(huì)導(dǎo)致檢測(cè)的邊緣點(diǎn)太多,檢測(cè)處的邊緣較粗。 Canny算子還有一個(gè)重要的邊緣檢測(cè)算子，即Canny算子，它是最優(yōu)的階梯型邊緣（step edge）檢測(cè)算子。（2）定位標(biāo)準(zhǔn)。Canny 邊緣檢測(cè)法是高斯函數(shù)的一階微分，它能在噪聲抑制和邊緣檢測(cè)之間取得較好的平衡[27]。 （）由此得到梯度的大小M和方向O: （）對(duì) Canny算子作如下說(shuō)明:1. 梯度進(jìn)行“非極大抑制”。這個(gè)過(guò)程叫做“非極大抑制”。（2）利用導(dǎo)數(shù)算子（如Prewitt算子、Sobel算子）找到圖像灰度沿兩個(gè)方向的導(dǎo)數(shù),并求出梯度的大小：（3）利用（2）的結(jié)果計(jì)算出梯度的方向：。（5）遍歷圖像。如果檢測(cè)結(jié)果在兩個(gè)閾值之間，則根據(jù)這個(gè)像素的鄰接像素有沒(méi)有超過(guò)高閾值的邊緣像素，如果有，則它就是邊緣，否則不是[17]。邊緣圖像的二值化是很重要的問(wèn)題,如果閾值太大可能會(huì)漏掉一些文本邊緣,而閾值太小則可能會(huì)使較多的非文本邊緣被當(dāng)作文本邊緣來(lái)處理,造成較多的誤檢。其基本思想是:根據(jù)原圖像目標(biāo)特征選取適合的結(jié)構(gòu)元素，利用結(jié)構(gòu)元素對(duì)原圖像進(jìn)行平移、交、并等運(yùn)算，然后將結(jié)果圖輸出。本文主要運(yùn)用其中的腐蝕、開(kāi)啟運(yùn)算對(duì)圖像進(jìn)行后續(xù)處理。腐蝕運(yùn)算的結(jié)果是沿大圓邊界向內(nèi)減少了r個(gè)象素的寬度，即直徑減少2r。A是由多個(gè)象素點(diǎn)連接成的圖像物體，結(jié)構(gòu)元素B是直角連接的三個(gè)象素。最后得到的圖象就是腐蝕運(yùn)算的結(jié)果。為了更好的理解開(kāi)運(yùn)算在圖像處理中的作用，現(xiàn)討論下面的等價(jià)方程 ()這個(gè)方程表明，B對(duì)A的開(kāi)運(yùn)算可由對(duì)所有可以填入A的B并集得到，A的所有比B小的部分都將舍去。本算法對(duì)彩色圖像中的文本提取具有較高的精確率和較快的運(yùn)算速度,取得了較好的綜合效果。將這些區(qū)域剪裁下來(lái)，就得到了原圖像的一系列子圖像，我們稱之為圖像文字塊，文字分割指的是從以上的圖像文字塊中將背景去除，得到只含文字信息的二值圖像，從這個(gè)意義上說(shuō)，文字分割也可以叫做圖像文字二值化[20]。這是考慮到在實(shí)用系統(tǒng)中，要求處理的速