【文章內(nèi)容簡(jiǎn)介】 的精度直接影響后面的立體匹配和深度信息計(jì)算的精度，所以應(yīng)采用合適的算法進(jìn)行攝像機(jī)的標(biāo)定。 攝像機(jī)坐標(biāo)系統(tǒng)雙目視覺(jué)測(cè)量系統(tǒng)中會(huì)用到三個(gè)坐標(biāo)系統(tǒng)，即世界坐標(biāo)系、攝像機(jī)坐標(biāo)系和圖像坐標(biāo)系，它們都遵守右手法則，定義分別如下[17]：………… 坐標(biāo)系間轉(zhuǎn)換關(guān)系世界坐標(biāo)系中的一點(diǎn)P可以通過(guò)旋轉(zhuǎn)和平移變換到攝像機(jī)坐標(biāo)系中，所以變換過(guò)程可由一個(gè)旋轉(zhuǎn)變換矩陣R和一個(gè)平移變換向量T來(lái)描述，R是一個(gè)正交旋轉(zhuǎn)矩陣，矩陣的元素和兩個(gè)坐標(biāo)系沿三個(gè)軸的旋轉(zhuǎn)角度有關(guān)，他們通稱為攝像機(jī)的外部參數(shù)。與分別是空間某一點(diǎn)P在攝像機(jī)坐標(biāo)系與世界坐標(biāo)系下的齊次坐標(biāo)，則轉(zhuǎn)換關(guān)系如下[14]：………… 攝像機(jī)模型由上節(jié)內(nèi)容可知，針孔模型是攝像機(jī)最基本的模型，它忽略了外界因素，如噪聲，攝像機(jī)畸變、環(huán)境等因素的影響，認(rèn)為空間物體點(diǎn)、光心、以及在圖像平面上的投影點(diǎn)是共線的。該模型主要由成像平面、光軸以及攝像機(jī)光心構(gòu)成。在實(shí)際環(huán)境中，由于各種因素的干擾，空間點(diǎn)、圖像點(diǎn)以及光心通常不在一條直線上，產(chǎn)生了畸變，所以還需要研究攝像機(jī)的非線性模型[21]?！? 系統(tǒng)標(biāo)定攝像機(jī)標(biāo)定是為了建立成像模型，確定攝像機(jī)的位置和屬性參數(shù)，以確定空間坐標(biāo)系中物體點(diǎn)同它的圖像點(diǎn)之間的對(duì)應(yīng)關(guān)系。雙目攝像機(jī)標(biāo)定通常先采用單攝像機(jī)的標(biāo)定方法，分別得到兩個(gè)攝像機(jī)的內(nèi)部參數(shù)(如有效焦距、主點(diǎn)坐標(biāo)、畸變系數(shù))，再確定兩臺(tái)攝像機(jī)之間的相對(duì)位置關(guān)系(如旋轉(zhuǎn)矩陣和平移矢量)[21]?！? 基于立體視覺(jué)的行李測(cè)量系統(tǒng)結(jié)構(gòu)設(shè)計(jì)本系統(tǒng)的設(shè)計(jì)目標(biāo)是實(shí)現(xiàn)對(duì)行李規(guī)格的測(cè)量，根據(jù)雙目視覺(jué)理論系統(tǒng)分五個(gè)部分實(shí)現(xiàn)：行李圖像獲取、攝像系統(tǒng)標(biāo)定、圖像預(yù)處理、行李特征點(diǎn)提取與匹配、行李三維信息獲取，如圖29所示?！?章 行李特征提取與立體匹配算法在基于雙目圖像的三維測(cè)量技術(shù)中，一般所采用的方法是通過(guò)特征點(diǎn)的提取、立體匹配，最后根據(jù)匹配對(duì)來(lái)計(jì)算空間物體的三維信息。在這個(gè)過(guò)程中，圖像特征點(diǎn)的提取是進(jìn)行后續(xù)工作的重點(diǎn)也是基礎(chǔ)，因?yàn)樗P(guān)系到立體匹配的準(zhǔn)確度和復(fù)雜度。常用的物體圖像特征有點(diǎn)特征、線特征、面特征等。其中，點(diǎn)特征因其可以準(zhǔn)確定位以及能夠提供更有效地三維信息而被廣泛采用。立體匹配是雙目視覺(jué)系統(tǒng)中重要的一步，它其實(shí)是一個(gè)多約束條件下的最佳搜索問(wèn)題，最后得到兩幅圖的視差，用來(lái)計(jì)算空間物體的三維信息。 圖像預(yù)處理在圖像預(yù)處理中，提取圖像中有意義的部分是關(guān)鍵的一步。在本論文環(huán)境中，通過(guò)圖像分割將行李目標(biāo)提取出來(lái)則是進(jìn)行后續(xù)工作的基礎(chǔ)，也是重要的一步。圖像預(yù)處理的優(yōu)劣直接關(guān)系到后面行李特征的提取及匹配的好壞?！? 行李特征點(diǎn)提取在雙目視覺(jué)測(cè)量系統(tǒng)中，特征提取的目的就是能夠?qū)⒈憩F(xiàn)目標(biāo)物體幾何形狀的線、角點(diǎn)、輪廓信息等提取出來(lái)。圖像的邊緣、角點(diǎn)包含了目標(biāo)物體的大量幾何信息，是描述物體的重要特征，而且對(duì)于物體幾何形狀的恢復(fù)具有很大的作用。圖像的邊緣是圖像灰度的微分，所以對(duì)外界環(huán)境的變化較為穩(wěn)定[31]。所以，根據(jù)本文行李規(guī)格測(cè)量的特點(diǎn)，可以通過(guò)對(duì)行李箱的邊緣、角點(diǎn)的檢測(cè)，實(shí)現(xiàn)對(duì)行李的特征提取。 邊緣算子圖像的邊緣在描述物體幾何形狀方面發(fā)揮著重要的作用，尤其是在雙目視覺(jué)測(cè)量系統(tǒng)中常被作為重要的特征進(jìn)行提取。物體圖像的邊緣點(diǎn)一般指的是小鄰域內(nèi)灰度變化最顯著的地方[32]。邊緣特征是一個(gè)矢量特征，具有幅值和方向兩個(gè)要素。一般情況，邊緣點(diǎn)水平方向的灰度變化緩慢，而垂直方向的灰度變化起伏較大。下面介紹幾種常用的邊緣算子?！? Canny檢測(cè)法Canny邊緣檢測(cè)方法，由于其邊緣檢測(cè)精度高、對(duì)噪聲有較好的抑制而被越來(lái)越廣泛的應(yīng)用在邊緣提取中。Canny邊緣檢測(cè)的主要思路是先將圖像和二維高斯函數(shù)卷積，進(jìn)行平滑去噪。二維高斯函數(shù)如下式[38]：………… Harris角點(diǎn)檢測(cè)在對(duì)物體幾何形狀的描述中，角點(diǎn)也是一個(gè)重要的特征。Harris角點(diǎn)算子因其計(jì)算量小，檢測(cè)效果良好而得到廣泛的應(yīng)用，該算子是關(guān)于圖像函數(shù)的一階微分算子?！? 行李立體匹配算法立體匹配問(wèn)題其實(shí)是一個(gè)多約束條件下的最優(yōu)搜索問(wèn)題。在行李二維圖像特征點(diǎn)提取之后，關(guān)鍵任務(wù)就是尋求左(右)圖像中的每個(gè)特征點(diǎn)在右(左)圖像中的對(duì)應(yīng)點(diǎn)，即立體匹配。立體匹配是立體視覺(jué)中最重要，也是最困難的步驟。因?yàn)楫?dāng)空間物體被投影為二維圖像時(shí)，同一物體點(diǎn)在不同視點(diǎn)下的圖像中會(huì)有很大的不同，而且由于場(chǎng)景中的諸多變化因素，如光照條件、噪聲干擾、物體幾何形狀和畸變及攝像機(jī)特性等，這些因素都只能被綜合到單一的圖像灰度值中，然而僅僅由灰度值確定對(duì)應(yīng)點(diǎn)是十分困難的。為了得到匹配對(duì)應(yīng)點(diǎn)，人們建立了許多約束：如外極線約束，一致性約束，唯一性約束，連續(xù)性約束，視差梯度約束等，這樣可以減少錯(cuò)誤匹配。 匹配約束準(zhǔn)則空間一點(diǎn)在左相機(jī)上的投影點(diǎn)和在右相機(jī)上的投影點(diǎn)位于同一條極線上，這樣可以大大縮小搜索空間。如圖31所示，I1和I2分別為左右兩臺(tái)攝像機(jī)的成像平面，CC2分別為左右攝像機(jī)光心，P為空間一點(diǎn)，p1與p2是其在左右兩幅圖像上的投影點(diǎn)，則ppP、CC2必在同一平面上。平面與I1和I2分別相交于l1和l2，ll2就被稱為極線。則p1在l1上，而且p2在l2上。所以通過(guò)這個(gè)規(guī)律，就可以尋找與左像點(diǎn)對(duì)應(yīng)的右像點(diǎn)[42]。………… 立體匹配方法在實(shí)際行李測(cè)量系統(tǒng)中，由于受到系統(tǒng)結(jié)構(gòu)、噪聲、畸變等外界因素的影響，將會(huì)給立體匹配帶來(lái)額外的負(fù)擔(dān)，所以需要設(shè)計(jì)準(zhǔn)確度高、穩(wěn)定好的匹配算法，保證匹配的精度。由于本文提取的是邊緣特征，匹配點(diǎn)較突出，對(duì)應(yīng)性會(huì)比較高。同時(shí)，本文設(shè)計(jì)的是基于特征的區(qū)域灰度匹配，具有較高的魯棒性。………… 基于行李邊緣特征的雙向匹配算法在本文的行李測(cè)量系統(tǒng)中，采用的是平行雙目視覺(jué)結(jié)構(gòu)，而且攝像機(jī)距離較近，所以采集到的左右行李圖像位置相差不是很大?！? 本章小結(jié)本章主要是在采集到行李圖像后，對(duì)其進(jìn)行預(yù)處理、特征提取以及立體匹配等各部分的算法研究。首先通過(guò)背景相減法以及形態(tài)學(xué)處理，去除背景，提取行李圖像；然后對(duì)能夠描述行李幾何形狀的邊緣特征進(jìn)行提取；最后，設(shè)計(jì)了基于特征的區(qū)域灰度的雙向匹配算法，保證了匹配的可靠性。第4章 行李三維信息提取及實(shí)驗(yàn)第4章 行李三維信息提取及實(shí)驗(yàn)在獲得了左右行李圖像的匹配點(diǎn)對(duì)之后，結(jié)合之前通過(guò)立體標(biāo)定得到的攝像機(jī)內(nèi)外參數(shù)，根據(jù)視差原理，就可以計(jì)算出行李的深度信息。本章主要討論進(jìn)行行李三維信息恢復(fù)的方法，并對(duì)不同的行李進(jìn)行了測(cè)量實(shí)驗(yàn)及結(jié)果分析。 行李三維信息的計(jì)算 最小二乘法首先，假定行李的任意邊緣點(diǎn)P在攝像機(jī)C1和C2上的投影點(diǎn)p1和p2已經(jīng)通過(guò)上一章的立體匹配算法得到，成為空間點(diǎn)P的匹配共軛對(duì)；而且兩個(gè)攝像機(jī)也已經(jīng)完成標(biāo)定，它們的投影矩陣分別是M1與M2，都是的矩陣，則根據(jù)第2章的攝像機(jī)模型有以下關(guān)系[48]：………… 中點(diǎn)法，空間的行李特征點(diǎn)應(yīng)是兩攝像機(jī)光心與左右像平面上投影點(diǎn)連線的交點(diǎn)，但這是在理想的情況下，實(shí)際上，由于攝像機(jī)成像環(huán)境、成像模型、標(biāo)定參數(shù)誤差等影響，這兩條直線未必相交于一點(diǎn)。所以實(shí)際算法當(dāng)中，一般取它們公垂線的中點(diǎn)來(lái)近似該點(diǎn)，這樣得到的誤差最小[49]?！? 三角法本文研究的基于雙目立體視覺(jué)的行李規(guī)格測(cè)量系統(tǒng)是基于平行光軸的雙目立體成像方式的，如圖42所示，兩攝像機(jī)內(nèi)部參數(shù)相同，而且它們的光軸互相平行，并且保持軸在一條直線上。由于攝像機(jī)光軸與圖像平面垂直，所以軸也是相互平行的，兩攝像機(jī)光心之間的距離，即基線長(zhǎng)度為。………… 行李規(guī)格測(cè)量實(shí)驗(yàn)本文采用雙目視覺(jué)測(cè)量結(jié)構(gòu)實(shí)現(xiàn)對(duì)行李規(guī)格的非接觸測(cè)量，并給出相應(yīng)的檢測(cè)結(jié)果。實(shí)驗(yàn)過(guò)程包括從系統(tǒng)的初始化到給出測(cè)量結(jié)果，以驗(yàn)證本文算法及整個(gè)測(cè)量系統(tǒng)的可行性、可靠性。 實(shí)驗(yàn)平臺(tái)及行李圖像采集實(shí)驗(yàn)的計(jì)算機(jī)平臺(tái)選擇XP 、內(nèi)存2G、500G硬盤和多USB接口，以保證多攝像機(jī)組成的雙目立體視覺(jué)測(cè)試系統(tǒng)快速、精確的完成測(cè)量任務(wù)。實(shí)驗(yàn)平臺(tái)是在課題組自主開(kāi)發(fā)的自助行李托運(yùn)樣機(jī)上進(jìn)行實(shí)驗(yàn)驗(yàn)證，如圖19所示。然后采用雙目視覺(jué)結(jié)構(gòu)采集行李圖像，如圖42所示。系統(tǒng)中兩臺(tái)攝像機(jī)平行放置，俯拍角度為12o，離傳送帶高度為50cm，基線長(zhǎng)度為14cm。CCD攝像機(jī)選擇日本W(wǎng)ATEC攝像機(jī)WAT241，鏡頭采用putar鏡頭，保證攝像機(jī)視野范圍能夠覆蓋整個(gè)檢測(cè)區(qū)。圖42自助行李系統(tǒng)的雙目視覺(jué)結(jié)構(gòu) 雙目視覺(jué)系統(tǒng)標(biāo)定雙目視覺(jué)測(cè)量硬件系統(tǒng)組建成功后，開(kāi)始進(jìn)行系統(tǒng)初始化工作，首先要做的就是進(jìn)行攝像機(jī)的立體標(biāo)定，來(lái)確定攝像機(jī)的內(nèi)、外部參數(shù)。，攝像機(jī)內(nèi)部參數(shù)為：表41 攝像機(jī)的內(nèi)部參數(shù)焦距主點(diǎn)(u0,v0)畸變系數(shù)(k1,k2)左右(,)(,)(,)(,)(,)(,)表42 攝像機(jī)的外部參數(shù)旋轉(zhuǎn)矩陣R平移矩陣T 行李規(guī)格測(cè)量步驟系統(tǒng)測(cè)量的前提條件是盡量使物體與兩個(gè)攝像機(jī)視線保持平行，也就是說(shuō)使物體成像不傾斜，測(cè)試系統(tǒng)的檢測(cè)過(guò)程如下：………… 實(shí)驗(yàn)結(jié)果及分析實(shí)際對(duì)行李進(jìn)行規(guī)格檢測(cè)時(shí)，需要知道行李的尺寸參數(shù)是否滿足航空公司托運(yùn)的要求，一般規(guī)定行李的三邊之和不能超過(guò)158cm，或者是體積不能超過(guò)100cm*60cm*40cm。所以，只要行李三條邊的尺寸小于規(guī)定值，則認(rèn)為行李的規(guī)格是允許托運(yùn)的。首先對(duì)白色行李箱進(jìn)行檢測(cè)，按照測(cè)量步驟將其放在