【文章內(nèi)容簡(jiǎn)介】 cessing)，就是利用計(jì)算機(jī)對(duì)數(shù)字圖像進(jìn)行去除噪聲、增強(qiáng)、復(fù)原、分割、特征提取等理論、方法和技術(shù)，將原始資料清晰化，改善圖像的質(zhì)量，使人的肉眼可以看清這些圖像，從而得以保存和研究的目的。由于圖像處理是利用計(jì)算機(jī)硬件和軟件實(shí)現(xiàn)的．因此也被稱為汁算機(jī)圖像處理(puter image processing)。數(shù)字圖像處理一般有兩種基本的方法：一種方法是在圖像的空間域中處理，即在圖像空間中對(duì)圖像本身直接進(jìn)行各種處理優(yōu)化，達(dá)到改善圖像質(zhì)量的目的；另一種方法是把空間圖像進(jìn)行某些轉(zhuǎn)化，從空間域轉(zhuǎn)到頻率域中，再在頻率域中進(jìn)行各種處理，然后再變回到圖像的空間域，形成處理后的 象，從而達(dá)到改善圖像質(zhì)量的目的。去除噪聲：原始實(shí)體資料變?yōu)閿?shù)字網(wǎng)象在計(jì)算機(jī)中進(jìn)行處理的時(shí)候，可能會(huì)產(chǎn)生各種各樣的噪聲，這些噪聲可能是在進(jìn)行數(shù)字轉(zhuǎn)換過程中，因?yàn)檩斎朐O(shè)備的原因產(chǎn)生，也可能存對(duì)數(shù)字圖像的處理中產(chǎn)生，噪聲不一定是真實(shí)的聲音，可以理解為影響人的視覺器官或系統(tǒng)傳感器對(duì)所接收?qǐng)D像源信息進(jìn)行理解或分析的各種因索。不同原因產(chǎn)生的噪聲，其分布特性也不完全相同，根據(jù)噪聲和信號(hào)的關(guān)系可將其分為兩種形式：1)加性噪聲，此類噪聲與輸入圖像信號(hào)無關(guān)，含噪圖像表示為f(x，y)=g(x，y)+n(x，y)；2)乘性噪聲，此類噪聲與網(wǎng)象信號(hào)有關(guān)，含噪罔象表示為f(x，y)=g(x，y)+n(x，y)g(x，y)。噪聲對(duì)圖像處理 分重要，如果圖像伴有較大噪聲，它會(huì)直接影響到圖像處理的輸入、采集、處理的各個(gè)環(huán)節(jié)以及輸出的全過程甚至輸出錯(cuò)誤結(jié)果，因此，在進(jìn)行數(shù)字圖像處理的時(shí)候，首先需要對(duì)目標(biāo)圖像進(jìn)行去除噪聲的工作。圖像增強(qiáng)：很多歷史資料由于材質(zhì)和時(shí)間的原因，格幅圖片色澤偏晴，亮度范闈不足或非線性等因素造成對(duì)比度不足，影響觀看效果。結(jié)合人眼對(duì)灰度的感覺，如果相鄰兩個(gè)物體目標(biāo)灰度相差比較小，超過人眼對(duì)灰度差的感知能力，人眼就無法區(qū)分這不同的兩個(gè)物體，從而導(dǎo)致無法看清楚圖片，這就需要對(duì)圖片做出一些處理，使圖片的灰度差和整體色澤有所改善，以達(dá)到人眼觀看的效果。圖像處理的原始目的就是改善圖像，使看不清的目標(biāo)能夠看得清楚，因此，對(duì)數(shù)字圖像識(shí)別分析的全過程，都要求圖像得到改善以適應(yīng)人的肉眼，為了達(dá)到這個(gè)目的，首先需要去除噪聲之外，還需要分辨灰度細(xì)節(jié)。解決灰度的擴(kuò)展和圖像鮮明化問題圖像改善最常用的方法是圖像增強(qiáng)，圖像增強(qiáng)要改善圖像的視覺效果，把圖像處理成為適用于計(jì)算機(jī)分析或控制的某種形式．圖像增強(qiáng)按特定的需要突出圖像的某些信息，有時(shí)候削弱或除去某些不需要的信息的處理方法。以達(dá)到改善圖像的目的圖像增強(qiáng)行不能完全滿足原始圖像的一些視覺特性，為了達(dá)到圖像增強(qiáng)的效果，圖像往往會(huì)發(fā)生變化，產(chǎn)生畸變，但是人的肉眼的感覺不到，畸變后的圖像反而比原始圖像更加清晰，觀感也更舒服，因此，圖像增強(qiáng)不顧及原始圖像是否發(fā)生了畸變，只以符合肉眼觀感和找出特征為條件，圖像增強(qiáng)內(nèi)容包括：去除圖像噪聲，抽取圖像中某些目標(biāo)輪廓，圖像的勾邊處理，提取圖像中的特征等技術(shù)．首先就是對(duì)原圖像通過離散函數(shù)進(jìn)行直方圖處理。得到原圖像的直方圖后，根據(jù)均衡化的變換函數(shù)通過計(jì)算得到所需要的增強(qiáng)效果的圖像的直方圖，分析圖像增強(qiáng)的點(diǎn)處理、空間域?yàn)V波、頻域?yàn)V波、代數(shù)運(yùn)算。用直方圖均衡化的算法增強(qiáng)灰度圖像，達(dá)到了圖像增強(qiáng)的目的。圖像復(fù)原：有些圖像由于質(zhì)量變壞，導(dǎo)致圖像模糊不清，或圖像有干擾等現(xiàn)象，這種情況叫做圖像退化，根據(jù)圖像退化的原因建立一個(gè)退化模型，以該模型為基礎(chǔ)依據(jù)，運(yùn)動(dòng)各種反退化處理方法，使復(fù)原后的圖像符合某些要求和條件，圖像的質(zhì)量得到改善，這樣的方法叫做圖像復(fù)原。圖像復(fù)原和罔象增強(qiáng)的目的相似，都是為了改善圖像的視覺效果，令其符合人肉眼的視覺要求．但二者并不等同，圖像增強(qiáng)不考慮圖像畸變或退化的原，更多的依據(jù)主觀判斷利用各種技術(shù)進(jìn)行處理，達(dá)到增強(qiáng)圖像的視覺效果，滿足人視覺系統(tǒng)的要求，不用考慮增強(qiáng)后的圖像是否失真，只要滿足肉眼觀感就可以，而圖像復(fù)原是根據(jù)圖像產(chǎn)生畸變或退化的原因，建立相應(yīng)的數(shù)學(xué)模型，從畸變或退化的像信號(hào)巾提取所需的相關(guān)信息，并找出一種相應(yīng)的逆過程處理方法，從而恢復(fù)圖像的本來面貌。圖像復(fù)原的過程實(shí)際是設(shè)汁一個(gè)濾波器，從已經(jīng)退化的圖像中計(jì)算得到真實(shí)圖像的估計(jì)值，并國(guó)際預(yù)先規(guī)定的誤差準(zhǔn)則，使其最大程度的接近物體的原始真文圖像。圖像分割：圖像作為一個(gè)整體，有著十分豐富的內(nèi)容和色彩，我們所需要的目標(biāo)和背景與整幅圖像融為一體，不利于進(jìn)行圖像處理，因此，先將圖像劃分成若干個(gè)與物體目標(biāo)相對(duì)應(yīng)的區(qū)域，根據(jù)目標(biāo)和背景的；不同的目標(biāo)與背景進(jìn)行標(biāo)識(shí)、定位，將日標(biāo)從背景或其他偽目標(biāo)中分離處來，這種方法稱為圖像分割。圖像分割而成的區(qū)域所包含的信息包括了分區(qū)分割和對(duì)各分區(qū)的捕述，利用這些區(qū)域中所包含的部分特征，例如灰度差別、局部紋理差刖、彩色差別、局部統(tǒng)汁特征或局部區(qū)域的頻譜特征的差別等，可以用來區(qū)分整幅圖像不同的目標(biāo)物體，這些區(qū)域稱為感興趣區(qū)。因?yàn)槲覀兪抢糜袌D像信息中的部分特征去進(jìn)行區(qū)域分割，所以這樣的分割方法并不具有通用性。理論上來說，圖像分割有兩個(gè)原因，一是在圖像中，找出有代表性的物體的邊緣，利用邊緣信息把整幅圖像分割為各個(gè)感興趣區(qū)；一是從圖像中找“具有相似特征的物體區(qū)，將這些物體區(qū)的外輪廓作為邊緣，根據(jù)特征相似度的標(biāo)準(zhǔn)進(jìn)行分割；基于閩值的分割，這是一種最常剛的區(qū)域分割技術(shù)，閩值是用于區(qū)分不同目標(biāo)的灰度值。在圖像只有目標(biāo)和背景的情況下，只需選取單閾值分割，將圖像每個(gè)象素的灰度值和閾值比較，灰度值大于閾值的象素和灰度值小于閩值的象素分別歸類。如果圖像中有多個(gè)目標(biāo)，就需要選取多個(gè)閾值將各個(gè)目標(biāo)分丌，這種方法稱為多閾值分割。閾值分割的結(jié)果依賴于閥值的選取．確定閾值是閾值分割的基于區(qū)域的分割，有兩種基本形式：區(qū)域生長(zhǎng)和分裂合并。前者是從單象素出發(fā)，逐漸合并以形成所需的分割結(jié)果。后者是從整個(gè)圖像出發(fā)，逐漸分裂或合并以形成所需要的分割結(jié)果。與閾值方法不同，這類方法不但考慮了象素的相似性，還考慮了空間上的鄰接性，因此可以有效地消除孤立噪聲的干擾，具有很強(qiáng)的魯棒性。而且，無論是分裂還是合并，都能將分割深入達(dá)到象素級(jí)，因此可以保證較高的分割精度基于邊緣的分割，是利用不同區(qū)域圖像素灰度不連續(xù)的特點(diǎn)檢測(cè)出區(qū)域間的邊緣，從而實(shí)現(xiàn)圖像分割。邊界的象素灰度值變化往往比較劇烈 首先檢測(cè)圖像的邊緣點(diǎn)，在按一定策略連接成輪廓，從而構(gòu)成分割區(qū)域。雙目立體視覺技術(shù)是人們研究較多和最具實(shí)用價(jià)值的計(jì)算機(jī)立體視覺技術(shù)，它可用于實(shí)現(xiàn)雙目立體成像。立體視覺的開創(chuàng)性工作是從60年代中期開始的。美國(guó)的Mrr的Roberts完成的三維景物分析工作，把二維圖像分析推廣到三維，這標(biāo)志著立體視覺技術(shù)的誕生，并在隨后的20多年中迅速發(fā)展成為一門新興學(xué)科。特別是Marr創(chuàng)立的視覺計(jì)算理論對(duì)立體視覺的發(fā)展產(chǎn)生了巨大的影響，現(xiàn)已形成從圖像獲取到最終的景物可視表面重建的完整體系。經(jīng)過20多年的研究，立體視覺在機(jī)器人、航空測(cè)繪、軍事應(yīng)用、醫(yī)學(xué)診斷及工業(yè)檢測(cè)中的應(yīng)用越來越廣泛，在虛擬植物的可視化展現(xiàn)、機(jī)器視覺、多媒體教學(xué)、數(shù)字娛樂、產(chǎn)品外觀設(shè)計(jì)、雕刻與建筑、檢驗(yàn)醫(yī)學(xué)等領(lǐng)域也得到了應(yīng)用。研究方法從早期的以統(tǒng)計(jì)理論為基礎(chǔ)的相關(guān)匹配，發(fā)展到具有很強(qiáng)生理學(xué)背景的特征匹配，從串行到并行，從直接依賴于輸入信號(hào)的底層處理到依賴特征、結(jié)構(gòu)、關(guān)系和知識(shí)的高層次處理，性能不斷提高80年代，美國(guó)麻省理工學(xué)院人工智能實(shí)驗(yàn)室的Marr提出了一種視覺計(jì)算理論，其核心是從圖像中恢復(fù)物體的三維形狀，該計(jì)算理論可以描述視覺過程，所以其理論影響非常深遠(yuǎn)。Marr認(rèn)為：圖像處理是一種復(fù)雜的信息處理過程。它的輸入和輸出非常明確，目的性較強(qiáng)。他提出：人類視覺信息的處理過程需要有三個(gè)層次表達(dá)（圖32）。這三個(gè)層次分別為：要素圖、2．5維圖，以及三維模型。圖32 Marr計(jì)算視覺理論框架什么是雙眼視差（Disparity）一般情況下，當(dāng)人觀察一現(xiàn)實(shí)世界中某一物體的時(shí)候，每只眼睛的視網(wǎng)膜上各自形成一個(gè)獨(dú)立的影像，左眼看到物體的左邊多一些，右眼看到物體的右邊多些，同一物體在兩個(gè)視網(wǎng)膜上得到不同的影像，同一物體上某點(diǎn)落在左右兩眼視網(wǎng)膜上的位置是不同的，這種位置差就稱為雙眼視差。人之所以能有深度感知，就是因?yàn)橛辛诉@個(gè)視差，本文的工作主要就是根據(jù)人類雙眼對(duì)同一景物成像的視差原理來研究雙目視覺圖像的視差生成算法。單目立體視覺每幅數(shù)字圖像在計(jì)算機(jī)內(nèi)為MN數(shù)組，M行N列的圖像中的每一個(gè)元素(稱為像素，pixel)的數(shù)值即是圖像點(diǎn)的亮度。如下圖所示，在圖像上定義直角坐標(biāo)系u,v，每個(gè)像素的坐標(biāo)(u，v)分別是該像素在數(shù)組中的列數(shù)與行數(shù)。因此，(u，v)是以像素為單位的圖像坐標(biāo)系的坐標(biāo)。由于(u，v)只表示像素位于數(shù)組中的列數(shù)與行數(shù)，并沒有用物理單位表示出該像素在圖像中的位置，因而，需要再建立用物理單位(例如毫米)表示的圖像坐標(biāo)系。該坐標(biāo)系以圖像內(nèi)某一點(diǎn)口為原點(diǎn)，X軸與Y軸分別與u,v軸平行。在Z，Y坐標(biāo)系中，原點(diǎn)q定義在攝像機(jī)光軸與圖像平面的交點(diǎn)，該點(diǎn)一般位于圖像中心處，但由于攝像機(jī)制作的原因，也會(huì)有些偏離，若在u，v，坐標(biāo)系中的坐標(biāo)為(，)，每一個(gè)像素在z軸與y軸方向上的物理尺寸為,。則圖像中任意一個(gè)像素在兩個(gè)坐標(biāo)系下的坐標(biāo)有如下關(guān)系如圖33： （31）圖33 圖像坐標(biāo)系 （32）齊次坐標(biāo)和矩陣形式可將傷逝表示為： （33） （34）攝像機(jī)成像的幾何關(guān)系圖如下所示，其中O點(diǎn)稱為攝像機(jī)光心，軸和軸與圖像的x軸與y軸平行，軸為攝像機(jī)的光軸，它和圖像的平面是垂直的圖像平面和光軸之間有交點(diǎn)，就是圖像坐標(biāo)的原點(diǎn)，由點(diǎn)O與，組成的直角坐標(biāo)系稱為攝像機(jī)坐標(biāo)系，為攝像機(jī)焦距。由于攝像機(jī)課安裝在環(huán)境中的任意的位置同時(shí)還要選擇一個(gè)基準(zhǔn)坐標(biāo)系來描述攝像機(jī)的位置用來描述物體的位置圖34，稱該坐標(biāo)系為世界坐標(biāo)系，它由，軸組成。攝像機(jī)坐標(biāo)系與世界坐標(biāo)系之間的關(guān)系可以用旋轉(zhuǎn)矩陣R與平移向量t來描述。因此，空間中某一點(diǎn)P在世界坐標(biāo)系與攝像機(jī)坐標(biāo)系下的齊次坐標(biāo)如果分別是與，于是存在如下關(guān)系： （35）圖34 單目攝像機(jī)模型其中，R為3x3正交單位矩陣，t為三維平移向量，為44矩陣。如圖所示，空間任何一點(diǎn)P在圖像上的成像位置可以用針孔模型近似表示，即任何點(diǎn)P在圖像上的投影位置為P，它是光心0與P點(diǎn)的連線OP與圖像平面的交點(diǎn)，這種關(guān)系也稱為中心射影或透視投影。由比例關(guān)系有如下關(guān)系式： （36） （37）其中，(x，y)為p點(diǎn)的圖像坐標(biāo)，為空間點(diǎn)P在攝像機(jī)坐標(biāo)系下的坐標(biāo)。我們用齊次坐標(biāo)與矩陣表示上述透視投影關(guān)系： （38）將式()與()代入上式，我們得到以世界坐標(biāo)系表示的P點(diǎn)坐標(biāo)與其投影點(diǎn)P的坐標(biāo)（u，v）的關(guān)系： （39）其中，，M為3x4矩陣，稱為投影矩陣；完全由，，決定，由于，，只與攝像機(jī)內(nèi)部結(jié)構(gòu)有關(guān)，我們稱這些參數(shù)為攝像機(jī)內(nèi)部參數(shù)；完全由攝像機(jī)相對(duì)于世界坐標(biāo)的方位決定，稱為攝像機(jī)外部參數(shù)，確定某一攝像機(jī)的內(nèi)外參數(shù)，稱為攝像機(jī)標(biāo)定。由上式可見，若己知攝像機(jī)的內(nèi)外參數(shù)，當(dāng)然就已知了投影矩陣M。對(duì)于任何空間點(diǎn)P，如己知它的坐標(biāo)，就可求出它的圖像點(diǎn)P的位置(u，v)，這是因?yàn)樵谝阎狹與X時(shí)，式()給出了三個(gè)方程，在這三個(gè)方程中消去就可求出(u，v)。反過來，如果已知空間某點(diǎn)P的圖像點(diǎn)P的位置(u，v，)，即使已知攝像機(jī)內(nèi)外參數(shù)，X也不能唯一確定。因?yàn)樵谑?9中，M是3x4的不可逆矩陣，當(dāng)己知膨與(u，v)時(shí)，就可消去式39中三個(gè)方程中的Zc，進(jìn)而得到關(guān)于的兩個(gè)線性方程，由這兩個(gè)線性方程組成的方程即為射線0P的方程。也就是說，投影點(diǎn)為P的所有可能點(diǎn)均在該射線上，其物理意義可由圖看出，當(dāng)己知圖像點(diǎn)P時(shí)，由針孔模型，任何位于射線OP上的空間點(diǎn)的圖像點(diǎn)都是P點(diǎn)，因此，該空削點(diǎn)是不能唯一確定的。人能有深度感知，就是因?yàn)橛辛诉@個(gè)視差，再經(jīng)過大腦的加工形成的?；谝暡罾碚摰碾p目立體視覺，就是運(yùn)用兩個(gè)相同的攝像機(jī)對(duì)同一景物從不同位置成像，獲得景物的立體圖像對(duì)，通過各種算法匹配出相應(yīng)像點(diǎn)，從而計(jì)算出視差，然后采用基于三角測(cè)量的方法恢復(fù)深度信息?，F(xiàn)有的絕大多數(shù)雙目立體視覺系統(tǒng)均采用這項(xiàng)原理。圖36所示為用左、右(L、R表示)兩攝像機(jī)觀測(cè)同一景物時(shí)的情形。物體上的點(diǎn)P在L攝像機(jī)中的成像點(diǎn)為PL，它是通過從P點(diǎn)發(fā)出的光線經(jīng)過透鏡中心cL與圖像平面相交而形成的。相反地，若已知圖像平面上的一點(diǎn)PL和透鏡中心cL可唯一地確定一條射線PLCL。所有可成像在PL點(diǎn)的物體點(diǎn)必定在這條PLcL射線上。如果我們能找到同一物體點(diǎn)P在另一攝像機(jī)R中的成像點(diǎn)PR，那么根據(jù)第二個(gè)圖像點(diǎn)PR與相應(yīng)透鏡中心CR決定的第二條射線PRCR與PLCL的交點(diǎn)就可以確定物體點(diǎn)P的位置。因此，如果己知兩臺(tái)攝像機(jī)的幾何位置，并且攝像機(jī)是線性的，那么利用三角原理就可以計(jì)算物體在空間的位置。射線PLCL上各點(diǎn)在右攝像機(jī)圖像平面中的成像是一條直線，這條直線被稱為外極線(epipolar)。同理，PRCR上各點(diǎn)在左攝像機(jī)圖像平面中的成像也形成外極線。因此，如果已知空問點(diǎn)在一個(gè)圖像平面中的成像點(diǎn)要尋找在另一圖像平面中的對(duì)應(yīng)點(diǎn)時(shí)，只需沿此圖像平面中的外極線搜索即可。理想情況下，兩攝像機(jī)的光軸平行，并且攝像機(jī)的水平掃描線位于同一平面時(shí)(即理想的平行視點(diǎn)模型)，設(shè)P點(diǎn)在左、右圖像平面中成像點(diǎn)相對(duì)于坐標(biāo)原點(diǎn)OL和0R(OL和oR是左、右攝像機(jī)透鏡光軸與圖像平面的交點(diǎn))的距離分別為置,，則P點(diǎn)在左、右圖像平面中成像點(diǎn)位置差被稱為視差(disparity)。由圖35中幾何關(guān)系得圖35雙且立體視覺幾何模型圖36雙且立體視覺幾何模型（310）（311）由上兩式的： （312） （313）上式中f是透鏡的焦距，d是兩透鏡中心之間的距離(基線長(zhǎng)度)，當(dāng)攝像機(jī)的幾