雙目視覺傳輸系統(tǒng)攝像機標定與立體匹配(編輯修改稿)
2025-09-01 04:09 本頁面
【文章內容簡介】 特征點提取，并求出攝像機的內外參數(shù)和畸變系數(shù)，最后對標定后的參數(shù)進行優(yōu)化求精[19]。至此，攝像機標定過程完成。立體匹配作為雙目視覺系統(tǒng)最重要也是最關鍵的一步，立體匹配的優(yōu)劣直接影響到后面進行三維重建的好壞[20]。在現(xiàn)實場景中，同一時間不同視點拍攝出的圖片受到光照，噪聲等干擾因素的影響，會產生很大的不同，從而導致增加了獲取高精度的匹配效果困難性。本文研究內容是基于區(qū)域立體匹配算法，通過兩種不同的算法思路實現(xiàn)，分別為：基于全局誤差能量最小化和基于線性區(qū)域生長[21]。兩種方式原理如下：在此算法中，我們利用模板匹配技術來得到圖像中每個像素點的誤差能量值，圖像中所有像素的誤差能量值便構成一個誤差能量矩陣。若雙目攝像機獲取的是彩色圖像則為三維矩陣，若為灰度圖像則為二維矩陣。本研究所采用圖像為彩色圖像，因此我們用分別用，表示Matlab通過imread函數(shù)讀取左右圖像的RGB值，其中，c取值為{1，2，3}分別表示R，G，B維度的值。當模板取值大小為的窗口，誤差能量值可下式求得： (214) 其中，是由圖像每個像素的誤差能量值組成的誤差能量矩陣；表示視差值。首先預定一個視差搜索范圍，再將每個像素的誤差能量值通過多次均值濾波器進行處理得到平均誤差能量矩陣；均值濾波器可以消除像素點之間RGB差值驟變導致的匹配誤差。并且通過均值濾波器還可以得到誤差能量整體變化趨勢。因此，該算法也可以稱為全局匹配算法。用大小的窗口進行匹配時，平均誤差能量矩陣可由下面公式表示： (215) 對每個差值進行反復的均值濾波器后，我們可以選取中最小的誤差2能量值作為像素點誤差值，因此這表示左右圖像結果立體匹配后的圖像視差矩陣。算法步驟如下：步驟1：在視差搜索范圍內計算得出誤差能量矩陣。(圖26)步驟2：在視差搜索范圍內對每一個視差矩陣進行多次平均濾波 (圖27)步驟3：在矩陣中為每一個像素找到最小視差量，將最小視差每個像素處的視差值定義為視差圖像。(圖27)圖26 計算能量矩陣原理圖 (a) (b)圖27 算深度圖示意圖 (a)通過均值濾波器(b)最小值搜索基于線性生長的立體匹配算法分為兩個部分：尋找基點發(fā)展區(qū)域和按照預定的規(guī)則進行區(qū)域生長。我們的規(guī)則是利用公式(1)點與臨近點的誤差能量值，當誤差能量值大于我們預先設計的閾值時，則重新找基點；當小于預先設計的閾值時，則進行區(qū)域生長。事實上，更準確的說該算法叫做視差值生長。在實際運算中為減少運算量，我們限定生長方向為線性水平方向。算法步驟如下：步驟1(根點選擇)：在圖像中選取一個不屬于任何生長區(qū)域的點并利用能量函數(shù)(式1)求取該點視差，將該點作為基點并作為區(qū)域視差初值，進行步驟2。若找不到任何一點比小則重復該步驟。步驟2（區(qū)域生長）：計算基點的緊鄰點的視差值，如果等于或小于初值，則將該點定義為區(qū)域點。否則將其定義為閑置點步驟3：重復步驟2對圖像的所有點進行計算，直到圖像中所有的點都被計算過，算法停止。所有的區(qū)域點組成的區(qū)域構成視差圖。圖28 生長匹配算法示意圖左右兩圖像深度和視差關系可由立體投影示意圖(29)表示，利用基本幾何計算可以得出深度和差異之間的關系如下： (216)圖像中像素點投影在物體表面的真實位置的空間立體坐標，按以下公式可用于計算后計算深度。 (217)圖29 立體投影示意為了獲得更平滑的深度圖，可在在計算深度之前使用窗口大小的中值濾波過濾不可靠的視差。通過設置平均誤差閾值來消除不可靠誤差估計我們通過視差圖的平均誤差值來定義獲得的視差圖的可靠度。 它可以表示為如下公式： (218)視差圖的誤差值可以如下表示： (219)視差圖包含一些不可靠的差異估計在對象邊界周圍大部分是由于圖像中的物體遮蔽。 這些可以通過觀察中的高誤差值來刪除不可靠的差異。 為了增加獲得的視差圖的可靠性，如(220)描述的簡單的閾值機制，可以在得到過程中過濾一些不可靠的差異估計。 (220)通過過濾一些不可靠的差異，將比的誤差能量估計更加精準。 在方程(220)中將差異設定為是指“無估計”狀態(tài)在計算中排除具有狀態(tài)的值。方程(218)中參數(shù)表示不是的誤差值的點數(shù)。是的誤差值。是用于決定視差估計的誤差值是不可靠的。 為了自動確定，我們使用以下公式： (221)在等式(218)中，是容忍公差系數(shù)，用于調整濾波的可靠性。 減少導致更可靠。然而，減少會由于消除了更多的差距點而削弱視差圖。 27 在本章中，首先，對雙目立體視覺系統(tǒng)就行了簡單介紹。其次，敘述了三大坐標系和兩種攝像機模型，并推導出了雙目視覺系統(tǒng)中的攝像機標定原理。最后，敘述基于全局誤差能量最小化和基于線性生長兩種區(qū)域匹配算法?？傊菊率菍z像機標定以及立體匹配過程進行了理論研究，下一章的實驗打下基礎。第三章 立體標定與匹配在本章實驗中的攝像機標定與立體匹配過程中均基于Matlab進行實驗仿真。攝像機標定原理是基于張正友棋盤標定發(fā)利用Matlab標定工具箱完成的，實驗14張圖片是采用雙目攝像機從不同角度進行拍攝的，首先，攝像機內參數(shù)是固定不變的，因此在對內參數(shù)標定后，利用已知的內參數(shù)實現(xiàn)對攝像機外參數(shù)的標定，至此，攝像機標定過程完成。立體匹配利用Matlab對基于全局誤差能量最小化立體匹配算法和基于線性生長立體匹配算法進行編程，對雙目攝像機拍攝的左右圖像進行立體匹配，進而求出空間中物體深度信息。以下以實現(xiàn)左圖像標定為例，步驟如下：下載Matlab標定工具箱[22]加載到Matlab工作目錄中，從middlebury[23]網(wǎng)站下載標定圖片，左右攝像機拍攝的圖片分別為14張，大小均為， 100mm為邊長的黑白棋盤格標圖，如圖31所示：圖31 ，20mm為邊長的棋盤格標定圖像運行calib_gui指令，按照工具箱的指令手動對每一幅靶標圖像選定靶標區(qū)域，然后提取角點。鼠標點擊設定棋盤格靶標的選定區(qū)域時，選取區(qū)域四邊與棋盤格靶標的網(wǎng)格線重合，重合度決定角點提取結果的準確度，正確選取結果如圖32所示，誤選如圖33所示： 圖32 合適的靶標選定區(qū)域與角點提取結果，(a) 靶標選定區(qū)域，(b) 角點提取結果如(a)圖所示標出了待提取角點的區(qū)域，圖(b)標出了角點提取區(qū)域中提取出的角點。如圖32中所示，圖(a)中的角點與十字標記位置有所偏差，但在十字標記位置附近；圖(b)中每個角點均在角點提取窗口區(qū)域。表示正確選取了靶標區(qū)域。圖34 錯誤的靶標選定區(qū)域與角點提取結果，(a) 靶標選定區(qū)域，(b) 角點提取結果如圖34(a)所示角點與十字標記位置存在明顯偏差，甚至個別角點遠離十字標記；圖(b)中很多角點在角點提取區(qū)域窗口之外。說明錯誤選取了靶標區(qū)域，不符合實驗要求。 內參數(shù)標定對每一幅靶標圖像正確提取角點后，在
環(huán)評公示相關推薦
鄂ICP備17016276號-1