【導(dǎo)讀】既給出了挑戰(zhàn)，又給研究人員提供了廣闊的研究平臺。然后依次闡述了移動機(jī)器人單目系統(tǒng)、雙目系統(tǒng)和全景系統(tǒng)的基本。原理，并且利用實(shí)例來具體說明基于這三種視覺系統(tǒng)的圖像處理方法。為提高定位的精確性和避免誤定位的發(fā)生，在基于里程計(jì)定。濾波對信息進(jìn)行融合，從而提高SLAM的魯棒性。芯片TMS320DM642為核心構(gòu)建雙通道視頻采集系統(tǒng)。利用高性能DSP芯片，滿足。光源照明、全景視覺觀測和人工編碼路標(biāo)相結(jié)合的室外機(jī)器人定位系統(tǒng)。通過近紅外光成像降低光照和陰影的影響，利用全景視覺獲取大范圍環(huán)境信息，依靠圖像處理算法識別路標(biāo)，最后用三角定位算法完成機(jī)器人定位。對于駕駛員來說，超過90%的信息來自于視覺。同樣，視覺系統(tǒng)是移動機(jī)器人系。統(tǒng)的重要組成部分之一，視覺傳感器也是機(jī)器人獲得周圍信息的感知器件。像增強(qiáng)、邊緣檢測、閾值分割、目標(biāo)識別、三維重建等幾乎機(jī)器視覺的各個方面。目前機(jī)器人視覺系統(tǒng)主要用于以下三方面。用視覺進(jìn)行產(chǎn)品的檢驗(yàn)，代替人的目檢。

　　

【正文】 路標(biāo)的提取。 目前常用的二值化方法是大津法，它能較穩(wěn)定的選出單幀圖像的自適應(yīng)閾值，完成圖像分割。但當(dāng)背景與目標(biāo)之間灰度相差不明顯時(shí)，二值化后的圖像中會出現(xiàn)無法忍受的大塊黑色區(qū)域，甚至?xí)霈F(xiàn)丟失整幅圖像信息的情況。同時(shí)它對噪聲和目標(biāo)的大小很敏感，而且僅對灰度直方圖為雙峰的圖像有較好的效果。受周圍環(huán)境的復(fù)雜性及光照變化所影響，攝像機(jī)在白天實(shí)驗(yàn)過程中采集到的圖像用大津法較難分割。本文采用一種改進(jìn)的大津法來選取二值化閾值，算法步驟如下： 1）由于目標(biāo)的灰度高于圖像的平均灰度，所以求出圖像 I(x, y)的平均灰度 T0作為二值化的閾值的下限； 2）計(jì)算 I(x, y)中灰度大于 T0的所有像素的灰度均值 T1，作為閾值的上限； 3）選取灰度 T(T0 T T1)，灰度在 T0到 T 之間的像素個數(shù)占 I(x, y)的比例為 w0，其平均灰度為 u0；灰度在 T到 T1之間的像素個數(shù)占 I(x, y)的比例為 w1，其平均灰度為 u1； I(x, y)的總平均灰度為 u，類間方差為 g。當(dāng) g = w0w1(u0 ? u1)2 為最大時(shí)， T 為最佳二值化閾值。 算法主要進(jìn)行邏輯判斷和簡 單的整數(shù)運(yùn)算，所以運(yùn)算速度快，不會影響系統(tǒng)實(shí)時(shí)性。 路標(biāo)跟蹤 為了節(jié)約系統(tǒng)資源，提高實(shí)時(shí)性，本文采用目標(biāo)跟蹤的方法。具體做法如下： 1）根據(jù)上一幀圖像中得到的路標(biāo)的坐標(biāo)，結(jié)合兩幀 之間的時(shí)間差，預(yù)估出當(dāng)前幀中路標(biāo)可能會出現(xiàn)的位置范圍； 2）在該范圍內(nèi)進(jìn)行查表展開、二值化等操作來完成識別； 3）判斷識別出的路標(biāo)個數(shù)是否與上一幀相符，若不相符，則重新進(jìn)行全圖識別。 由于預(yù)估出的范圍很小，所以系統(tǒng)實(shí)時(shí)性得到了提高。實(shí)際實(shí)驗(yàn)中，為了提高抗干擾能力，可以設(shè)置在連續(xù)一定幀內(nèi)路標(biāo)個數(shù)都小于第一幀的時(shí)， 才重新全圖識別。 三角定位 三角定位是已知 3 個路標(biāo)的全局坐標(biāo)以及在機(jī)器人局部坐標(biāo)系中的觀察角度來計(jì)算機(jī)器人在全局坐標(biāo)中的位置。其基本算法主要有相交圓法、 Newton Rapson 法和幾何三角法。 這里 采用相交圓法來實(shí)現(xiàn)機(jī)器人位姿和方向角的計(jì)算。 相交圓法是利用平面上 3 點(diǎn)確定一個圓，也就是每 2 個路標(biāo)和機(jī)器人位置確定一個圓， 3 個路標(biāo)就可以和機(jī)器人位置確定 2 個圓，而這 2 個圓的交點(diǎn)一個是其中一個路標(biāo)，另一個就是機(jī)器人的位置。定位實(shí)質(zhì)上是求解如下的非線性觀測方程： 其中 (xnl,ynl)為路標(biāo) n i的坐標(biāo)， τni為路標(biāo)相對于機(jī)器人當(dāng)前所處方向的方位角，(x,y)、θ為需要求解的機(jī)器人當(dāng)前的坐標(biāo)和方向角。 五、基于各種視覺系統(tǒng)的圖像處理方法分析及結(jié)論 基于 單目視覺 的圖像處理方法分析 在實(shí)驗(yàn)室內(nèi)對 單目視覺系統(tǒng) 的 移動機(jī)器人進(jìn)行 SIFT 算法 的 實(shí)驗(yàn)，讓機(jī)器人沿著邊長為 3m 的正方形行走，機(jī)器人行走路線與地圖創(chuàng)建的結(jié)果如圖 15 所示 ： 圖 15 SLAM 實(shí)驗(yàn)結(jié)果 對于圖 15 而言，地圖的創(chuàng)建主要分 3 個步驟： (1)用 SIFT 算法在 2 副不同視角的圖像中尋找匹配點(diǎn)，根據(jù)極線幾何原理，計(jì)算得到旋轉(zhuǎn)角度； (2)將這個角度與里程計(jì)的角度信息進(jìn)行融合，得到 1 個更接近實(shí)際的角度值； (3)把它與里程計(jì)的位移結(jié)合進(jìn)行自我定位，根據(jù) CCD 攝像頭獲得的特征點(diǎn)的信息，以及結(jié)合上述 2 個 步驟計(jì)算得到的結(jié)果，來實(shí)現(xiàn) SLAM。 由于里程計(jì)本身存在的缺陷，比如機(jī)器人行走過程中輪子打滑，就會產(chǎn)生實(shí)際移動距離和機(jī)器人內(nèi)部里程表數(shù)據(jù)不一致 。 因此，隨著時(shí)間的推移，里程計(jì)的累積誤差逐漸增大，從而導(dǎo)致自我定位與實(shí)際相差較大 。 將 CCD 攝像頭和里程計(jì)的信息進(jìn)行融合，盡可 能減少里程計(jì)產(chǎn)生的累積誤差，在此基礎(chǔ)上用擴(kuò)展卡爾曼濾波進(jìn)行地圖的創(chuàng)建及更新，實(shí)現(xiàn)了移動機(jī)器人的自主定位與地圖創(chuàng)建的算法建立與仿真 。 基于 雙 目視覺 的圖像處理方法分析 對實(shí)驗(yàn)室某一角落取景，立體匹配過程，如圖 16 所示 圖 16 立體匹配過程 從實(shí)驗(yàn)結(jié)果可以看出，未經(jīng)圖像分割之前，左右圖像提取的角點(diǎn)數(shù)較多，特別是地板上和物體表面上的線條紋理處檢測出角點(diǎn)數(shù)較多 ， 經(jīng)過圖像分割之后再對圖像進(jìn)行角點(diǎn)檢測 ， 檢測出的角點(diǎn)位置大部分都位于物體上紋理較強(qiáng)的區(qū)域，去除了地面上孤立的線條紋理處角點(diǎn)，有效地消除了冗余角點(diǎn)信息 。 從上述的圖片效果可以看出，由于特征點(diǎn)的匹配區(qū)域縮小到有用的障礙物區(qū)域中，從而提高了匹配速度和精度 按照式（ 10），分別計(jì)算圖 5（ i）所示 A、 B、 C 和 D 空間四點(diǎn)三維坐標(biāo)以及四點(diǎn)相對于左攝像機(jī)光心距離，如表 1 所示 。 因此，由 前面 的障礙物檢測原理可以判定 A 點(diǎn)為可行點(diǎn)， B、 C、 D 點(diǎn)均為不可行點(diǎn) 。 同時(shí)，可以知道四點(diǎn)離左攝像機(jī)坐標(biāo)系距離的關(guān)系為： A 點(diǎn)最近， B、 C、D 三點(diǎn)次之 。 為了驗(yàn)證系統(tǒng)的精度，以 左攝像機(jī)坐標(biāo)系為坐標(biāo)原點(diǎn)（即與世界坐標(biāo)系重合），分別計(jì)算空間點(diǎn) 之間的空間距離分別為 和 人工測量出 B 之間的距離分別為 730mm 和 527mm 可以看出，此立體視覺系統(tǒng)具有較好的測距精度，能夠滿足移動機(jī)器人障礙物檢測要求 。 基于 全景 視覺 的圖像處理方法分析 在全景視覺系統(tǒng)的應(yīng)用實(shí)例中， 設(shè)計(jì)了一種基于全景近紅外視覺的室外移動機(jī)器人定位系統(tǒng)，該系統(tǒng)利用近紅外全景視覺識別編碼路標(biāo)，進(jìn)而通過三角定位來計(jì)算當(dāng)前的位姿。 基于各種視覺系統(tǒng)的圖像處理方法 的 結(jié)論 移動機(jī)器人的單目視覺在已知對象的形狀和性質(zhì)或服從某些假定時(shí) ,雖然能夠從圖像 的 二維特征推導(dǎo)出三維信息 ,但一般情況下從單一圖像中是不可能直接得到三維環(huán)境信息 的。 相對于其他的視覺方法， 基于雙目視覺的 立體視覺是一種被動式的測量方法，具有隱蔽性好，測量快速、準(zhǔn)確等優(yōu)點(diǎn)，常用來檢測可疑障礙物的高度和距離 。針對移動機(jī)器人障礙物檢測精度不需要很高，而對實(shí)時(shí)性要求高的特點(diǎn)， 可以使用 一種基于圖像分割和立體視覺相結(jié)合的障礙物檢測方法，對于移動機(jī)器人了解周圍環(huán)境信息并做出及時(shí)的反映有著一定的幫助 。 需要指出的是，研究的 基于雙目視覺的 分割算法是針對室內(nèi)環(huán)境下的移動機(jī)器人，特別是對于格子狀的地面背景有著顯著的效果 。 但是， 由于室外環(huán)境下的路面以及背景較為復(fù)雜，使得閾值分割效果會比較不理想，另外各種干擾的增加等，所有這些 問題 都 有待 進(jìn)一步解決。 最后，參考全景視覺系統(tǒng)的實(shí)例可以知道：在全景視覺系統(tǒng)中采用 近紅外成像提高了視覺系統(tǒng)對室外白天和夜晚大范圍光照變化的魯棒性，全景攝像機(jī)可以獲得大范圍的路標(biāo)定向信息，改進(jìn)大津法和路標(biāo)跟蹤的應(yīng)用使得識別路標(biāo)更準(zhǔn)確、更快速，三角定位算法能夠精確的計(jì)算出機(jī)器人的世界坐標(biāo)，為機(jī)器人在特定區(qū)域進(jìn)行作業(yè)提 供保證。室外環(huán)境下移動機(jī)器人的定位實(shí)驗(yàn)結(jié)果表明，本系統(tǒng)具有較高的定位精度和良好的魯棒性 ，而且全景視覺可以讓人們獲取更大的視野場景。 參考文獻(xiàn) ，王孫安 .視覺伺服移動機(jī)器人中的圖像處理研究 [J].西安交通大學(xué)機(jī)械工程學(xué)院， 2021， 3。 .大規(guī)模不規(guī)則環(huán)境中的移動機(jī)器人定位與地圖構(gòu)建 [博士學(xué)位論文 ].上海交通大學(xué)， 2021， 6， 3。 ， 王學(xué)影 ， 趙萬生 ， 李彩花 .基于 Adept 機(jī)器人的視覺伺服控制系統(tǒng)[J].哈爾濱工業(yè)大學(xué) 深圳研究生院， 2021， 8。 ，石守東，洪小偉 . 基于 SIFT 算法的移動機(jī)器人同時(shí)定位與地圖創(chuàng)建 [J]. 寧波大學(xué) 信息科學(xué)與工程學(xué)院 ， 2021， 3。 ， 蔡自興 ， 鄒小兵 ， 段琢華 . 基于動態(tài)自適應(yīng)濾波的移動機(jī)器人障礙檢測 . 中南大學(xué)信息科學(xué)與工程學(xué)院 ， 2021， 5。 ， 尹怡欣 ， 謝仕義 . 基于改進(jìn)偽中值濾波器的道路圖像濾波算法 . 廣東海洋大學(xué) 海洋遙感與信息技術(shù)實(shí)驗(yàn)室 ， 2021， 6。 ， 王偉 ， 莊嚴(yán) ， 孫傳昱 . 基于幾何 拓?fù)鋸V域三維地圖和全向視覺的移動機(jī)器人自定位 .2021， 11。 ， 馬旭東 ， 戴先中 . 基于行為控制的半自主移動機(jī)器人系統(tǒng) .東南大學(xué)自動化所 。 ，馬頌德，李毅 .計(jì)算機(jī)視覺中攝像機(jī)定標(biāo)綜述 .中國科技大學(xué)，中國科學(xué)院自動化研究所， 2021， 1。 ，米林，周憶，徐宗俊 . 微尺寸視覺精密檢測系統(tǒng)設(shè)計(jì) .重慶大學(xué)機(jī)械學(xué)院 ， 2021， 12。 ， 高鵬 ， 楊靜宇 . 一種用于道路避障的雙目視覺圖像分割方法 . 南京理工大學(xué) 計(jì)算機(jī)系 。 ， 陳東 ， 王偉 ， 韓建達(dá) ， 王越超 . 移動機(jī)器人基于視覺室外自然場景理解的研究與進(jìn)展 。 . 移動式采摘機(jī)器人研究現(xiàn)狀與進(jìn)展 . 北方工業(yè)大學(xué)機(jī)械工程學(xué)院，2021， 3。 ，胡發(fā)煥 . 足球機(jī)器人視覺圖像的快速識別 . 北京科技大學(xué)機(jī)械工程學(xué)院 ， 2021， 9。 ， 朱齊丹 ， 許輝 . 移動機(jī)器人的視覺處理方法及實(shí)現(xiàn) .哈爾濱工程大學(xué)自動化學(xué) 院， 2021， 2。 ， 吳海彬 ， 李文錦 . 基于雙目視覺的移動機(jī)器人障礙物檢測研究 . 福州大學(xué)機(jī)械工程及自動化學(xué)院 ， 2021， 12。 ， 鄒偉 ， 鄭睿 . 基于視覺的移動機(jī)器人實(shí)時(shí)障礙檢測研究 . 中國科學(xué)院自動化研究所 。 .智 能移動機(jī)器人的視覺導(dǎo)航技術(shù) . [博士論文 ] . 浙江大學(xué)， 2021， 7。 ， 原魁 ， 劉俊承 . 移動機(jī)器人視覺導(dǎo)航控制研究 .中國科學(xué)院自動化研究所 。 ，羅元，鄭太雄 .移動機(jī)器人技術(shù)及其應(yīng)用 .電子工業(yè)出版社。 21. 張栩 .基于全景近紅外視覺的室外移動機(jī)器人定位系統(tǒng) .