【正文】 學(xué)校代碼 10497 學(xué)位論 文 中文題目： 基于地面特征識別的室內(nèi)機(jī)器人視覺導(dǎo)航 英文題 目： Visual Navigation based on Floor Feature Segmentation for Indoor Mobile Robot 研究生姓名： 杜 娟 指導(dǎo)教師：姓名 李文鋒 職稱 教 授 學(xué)位 博士 單 位名稱 物流工程學(xué)院 郵編 430063 申請學(xué)位級別 碩 士 學(xué)科專業(yè)名稱 機(jī)械電子工程 論文提交日期 論文答辯日期 學(xué)位授予單位 武漢理工大學(xué) 學(xué)位授予日期 答辯委員會主席 評閱人 2020 年 5 月 武漢理工大學(xué)碩士學(xué)位論文 I 摘 要 視覺信號具有 信號探測范圍寬、獲取信息豐富等優(yōu)點。隨著近幾年圖像處理技術(shù)以及計算機(jī)處理能力的飛速發(fā)展，視覺導(dǎo)航成為 機(jī)器人導(dǎo)航的主要發(fā)展方向 之一 。 機(jī)器人導(dǎo)航的任務(wù)之一就是避開障礙物。 本文結(jié)合國家自然科學(xué)基金和湖北省青年杰出人才基金項目的需求，提出了基于地面特征識別的室內(nèi)機(jī)器人視覺導(dǎo)航這一課題。 通過本課題的研究，得到如下的成果與結(jié)論： (1) 詳細(xì)分析了室內(nèi)環(huán)境中地面的角點、邊緣、顏色等特征，并且對這些特征的提取方法進(jìn)行了比較，最終選取顏色特征作為機(jī)器人視覺導(dǎo)航的陸標(biāo)； (2) 在已有圖像分割算法的基礎(chǔ)上，對彩色圖像分割算法進(jìn)行了一些研究，提出了一種基于圖像直方圖統(tǒng)計學(xué)、適合于室內(nèi)移動機(jī)器人識別可行 走區(qū)域和障礙物區(qū)域的彩色圖像分割方法； (3) 基于 DirectShow 技術(shù)，完成了機(jī)器人單目視覺系統(tǒng)的視頻圖像采集、視頻中每一幀圖像處理、視頻壓縮、存儲和 實時 回放，其中視頻壓縮可以選用多種壓縮方式。試驗結(jié)果說明本文系統(tǒng)能夠?qū)崟r檢測機(jī)器人室內(nèi)環(huán)境中的障礙物，完成了視覺導(dǎo)航的中的避障任務(wù)。其中視覺系統(tǒng)和移動機(jī)器人導(dǎo)航系統(tǒng)是智能移動機(jī) 器人實現(xiàn)智能化和完全自主的關(guān)鍵技術(shù)，也是目前該領(lǐng)域的研究熱點。 智能機(jī)器人的智能特征就在于它具有與外部世界 ——對象、環(huán)境和人相互協(xié)調(diào)的工作機(jī)能。機(jī)器人視覺系統(tǒng)正如人的眼睛一樣，是機(jī)器人感知局部環(huán)境的重要“器官”，同時依此感知的環(huán)境信息實現(xiàn)對機(jī)器人的導(dǎo)航。視覺信息能否正確、實時地處理直接關(guān)系到機(jī)器人行駛速度、路徑跟蹤以及對障礙物的避碰，對系統(tǒng)的實時性和魯棒性具有決定性的作用。 機(jī)器人導(dǎo)航的任務(wù)之一就是避開障礙物，所以機(jī)器人在行走過程中，要能夠區(qū)分 可 航行區(qū)域和障礙物區(qū)域 [25]。 目前移動機(jī)器人的導(dǎo)航大都采用基于視覺或有視覺參與的導(dǎo)航技術(shù) 。視覺導(dǎo)航的基本任務(wù) 包括 全局定位、道路跟蹤和障礙物檢測，其中每一部分都要以環(huán)境建模為基礎(chǔ)。 機(jī)器人的視覺導(dǎo)航需要有陸標(biāo)為依據(jù)。這些陸標(biāo)分成定位陸標(biāo)和導(dǎo)航陸標(biāo)。但是比如在人行道中行走，道路跟蹤和尋找入口的情況下，導(dǎo)航 陸標(biāo) 也同樣非常有用。 地面是機(jī)器人在室內(nèi)環(huán)境中導(dǎo)航的一個很重要的依據(jù)，地面上除了靜態(tài)的和動態(tài)的物體，剩下的就是地板。獲得地面信息的方法能分成兩類： 立體視覺方法和運動方法。在運動方法中，找到運動的物體是可行的，但是由于地面是沒有運動的，所以直接找到地面也很困難。 本課題研究的機(jī)器人所處的環(huán)境是室內(nèi)未知環(huán)境，將室內(nèi)地面作為機(jī)器人視覺導(dǎo)航的陸標(biāo)。正是利用了環(huán)境中地面的顏色特征，利用比較簡單的圖像處理算法分割彩色圖像，從而提高機(jī)器人導(dǎo)航的實時性、準(zhǔn)確性和魯棒性。第二代是自動型機(jī)器人，這種中級機(jī)器人所安裝的計算機(jī)， 可以接受人們事先輸入的程序，然后便按照程序反復(fù)進(jìn)行作業(yè)。隨著計算機(jī)技術(shù)和人工智能技術(shù)的飛速發(fā)展，使機(jī)器人在功能和技術(shù)層次上有了很大的提高，移動機(jī)器人和機(jī)器人的視覺和觸覺等技術(shù)就是典型的代表。 智能型機(jī)器人在沒有人的干預(yù)、無需對環(huán)境做任何規(guī)定和改變的條件下，有目的地移動和完成相應(yīng)任務(wù)。在自律式移動機(jī)器人 相關(guān)技術(shù)的研究中，導(dǎo)航技術(shù)是其研究核心，也是移動機(jī)器人實現(xiàn)智能化及完全自主的關(guān)鍵技術(shù)。能否正確、實時地處理視覺信息直接關(guān)系到機(jī)器人 武漢理工大學(xué)碩士學(xué)位論文 3 行駛速度、跟蹤效果以及對障礙物的避碰，對系統(tǒng)的實時性和魯棒性具有決定性作用，其處理技術(shù)是移動機(jī)器人研究中最關(guān)鍵的技術(shù)之一。 過去，由于圖像采集及處理的硬件設(shè)備運行速度低，利用 視覺系統(tǒng)感知環(huán)境引導(dǎo)機(jī)器人進(jìn)行跟蹤受到了很大限制。機(jī)器人視覺及其導(dǎo)航系統(tǒng)的研究已成為機(jī)器人研究領(lǐng)域最新的，也是最熱門的課題之一。 Shakey是在無質(zhì)感的地面上行走，障礙物可以通過對單色輸入圖像進(jìn)行邊緣檢測來檢測。障礙物的表面不能有反射并且表面的顏色都 是均勻統(tǒng)一的。 在 20 世紀(jì) 90 年代早期， Horswill 研發(fā)出了機(jī)器人 Polly。從此，它成為許多機(jī)器人研究的基礎(chǔ)。在機(jī)器人上放置的是單色照相機(jī)，分辨率為 64 48。因為分辨率大就需要很強(qiáng)的處理能力，而且會使得地面像素變暗。 Polly 上還安裝了碰撞及聲納傳感器，因此它不是完全依賴于視覺。 Frankie 用一個邊緣監(jiān)測器來識別障礙物。但是當(dāng)?shù)孛姹容^光滑發(fā)生反射時，它會將反射光作為障礙物。和簡單的運動檢測相似，這種算法將連續(xù)的彩色圖像相減來檢測障礙物。此外，這種算法假設(shè)機(jī)器人和障礙物中有一個處于運動中。 Lourakis和 Orphanoudakis對這些系統(tǒng)作了很詳細(xì)的總結(jié)。這種方法只將環(huán)境中的地面信息記錄下來，而不記錄 武漢理工大學(xué)碩士學(xué)位論文 4 地面上的物體。 . Boley[6]等研制的移動機(jī)器人利用車載攝像機(jī)和較少的傳感器通過 識別 陸標(biāo) 進(jìn)行導(dǎo)航 ， 比直接采用卡爾曼濾波器獲得了更好的實時性 ， 并有效抑制了噪聲 ； [7]等利用車載攝像機(jī)和超聲波傳感器研究了基于視覺導(dǎo)航系統(tǒng)中的避碰問題 ； C. Fermuller[8]等的研究表明 ： 利用車載攝像機(jī)將機(jī)器人的三維運動描述和景物的形狀描述用于解決機(jī)器人的導(dǎo)航問題具有較高的可靠性 ； [9]等對由車載攝像機(jī)構(gòu)成的移動機(jī)器人視覺閉環(huán)系統(tǒng)的研究表明 ， 這種控制方法對提高路徑跟蹤精度有較好效果。為提高導(dǎo)航系統(tǒng)的實時性和導(dǎo)航精度 ， 仍需研究更加合理的組合導(dǎo)航方式。 Stanley[11]提出了基于神經(jīng)網(wǎng)絡(luò)的機(jī)器人視覺導(dǎo)航技術(shù)。國際上備受矚目的機(jī)器人比賽，如 Robocup[13]也采用了視覺導(dǎo)航，其視覺子系統(tǒng)的輸入設(shè)備為一臺懸掛在球場上方的攝像機(jī)，拍攝的圖像經(jīng)電纜傳送到計算機(jī)主機(jī)。 從國內(nèi)的研究情況來看，國內(nèi)也研究了一些利用視覺進(jìn)行導(dǎo)航的機(jī)器人。如今具有自主導(dǎo)航和自動駕駛功能的智能車輛已初見端倪，如由一汽集團(tuán)和國防科技大學(xué)合作研制的紅旗 CA7460 自動駕駛轎車、由清華大學(xué)研制的THMR(TsingHua Mobile Robot)[15]系列 ，均都采用機(jī)器視覺、雷達(dá)或兩者的有機(jī)組合作為傳感手段。 THMRⅤ 利用視覺信息 對道路進(jìn)行檢測實現(xiàn)了自動駕駛和輔助駕駛。 圖 11 THMRⅤ 給移動機(jī)器人提供一個能適應(yīng)不同環(huán)境，且可適用于不同任務(wù)的視覺系統(tǒng)，是一項比較困難的工作。然而誰也不知道，這些方法中的哪一種最適合于某一給定的任務(wù)。而且，外界環(huán)境條件的動態(tài)特征，如光照變化，也對機(jī)器人的視覺系統(tǒng)提出更多更高的 要求。 分析現(xiàn)有機(jī)器視覺方法的不足 ， 參考人類視覺系統(tǒng)的機(jī)理 ， 認(rèn)為對有些應(yīng)用如視覺導(dǎo)航而言 ， 不必要完成高層識別和三維重構(gòu) ， 而只需獲得對環(huán)境或其中的物體一個足夠好的理解 。許多系統(tǒng)是針對某個特定的環(huán)境完成特殊的任務(wù)。本文共分為六章，具體內(nèi)容包括： 第一章：緒論，介紹本課題研究領(lǐng)域的背景及意義、發(fā)展過程、國內(nèi)外研 武漢理工大學(xué)碩士學(xué)位論文 6 究現(xiàn)狀及本論文的實現(xiàn)方案、研究內(nèi)容和結(jié)構(gòu)。 第三章：機(jī)器人視覺導(dǎo)航中的圖像處理技術(shù)，對機(jī)器人視覺導(dǎo)航中用到的圖像預(yù)處理、圖像分割和圖像壓縮存儲這三個方面的圖像處理技術(shù)做了一定的研究和對比，為提出適合于本文的圖 像分析算法提供了理論基礎(chǔ)。 第五章：室內(nèi)機(jī)器人實時障礙物檢測系統(tǒng)，主要介紹本系統(tǒng)的實現(xiàn)方案，包括開發(fā)系統(tǒng)的工具，系統(tǒng)實現(xiàn)的功能及運行界面，并給出了本文算法得到的障礙物檢測實例。 本章小結(jié) 本章在閱讀大量國內(nèi)外參考文獻(xiàn)的基礎(chǔ)上，對本課題研究領(lǐng) 域的背景及意義、發(fā)展過程及國內(nèi)外研究現(xiàn)狀做了詳細(xì)論述，并介紹了本論文的研究思路、研究內(nèi)容和結(jié)構(gòu)。這一代機(jī)器人沒有裝備任何傳感器，對環(huán)境沒有感知能力。目前商品化、實用化的機(jī)器人大多數(shù)是此類機(jī)器人。此種機(jī)器人 配備了簡單的內(nèi)、外部傳感器，能感知自身運行的速度、位置、姿態(tài)等物理量，并以這些信息的反饋構(gòu)成閉環(huán)控制，如配備簡易視覺、力覺傳感器等簡單的外部傳感器，因而具有部分適應(yīng)外部環(huán)境的能力。這一代機(jī)器人具有多種內(nèi)、外部傳感器組成的感覺系統(tǒng)，不僅可以感知內(nèi)部關(guān)節(jié)的運行速度、力的大小等參數(shù)，還可通過外部傳感器，如視覺傳感器、觸覺傳感器等，對外部環(huán)境信息進(jìn)行感知、提取、處理并做出適當(dāng)?shù)臎Q策，在結(jié)構(gòu)或半結(jié)構(gòu)化環(huán)境中自主完成某一項任務(wù)。 國際機(jī)器人研究在經(jīng)過了 80 年 代的低潮之后，呈現(xiàn)出復(fù)蘇和繼續(xù)發(fā)展的形勢，我國的機(jī)器人研究在國家“七五”、“八五”及“ 863”計劃的推動下也取得了很大進(jìn)展。 機(jī)器人的導(dǎo)航技術(shù)是智能型機(jī)器人自主完成任務(wù)的核心技術(shù)。這其中包括三個主要內(nèi)容：避障、定位和路徑規(guī)劃。 本章重點闡述機(jī)器人的視覺導(dǎo)航及其視覺系統(tǒng)。自主式移動機(jī)器人的目標(biāo)就是在沒有人的干預(yù)、無需對環(huán)境做任何規(guī)定和改變的條件下，有目的地移動和完成相應(yīng)任務(wù)。 移動機(jī)器人有多種導(dǎo)航方式，這些導(dǎo)航方式各有其特點，適合于不同的環(huán)境。隨著移動機(jī)器人的應(yīng)用領(lǐng)域日益廣泛，對移動機(jī)器人導(dǎo)航研究不斷提出新的課題，這將使移動機(jī)器人的導(dǎo)航研究不斷深入和發(fā)展，移動機(jī)器人也將擁 有更加廣泛的應(yīng)用前景。 移動機(jī)器人常見的導(dǎo)航方式主要有基于地下 /地表敷線、基于羅盤 /里程計、基于測距、基于 GPS 定位、基于視覺等的導(dǎo)航。 在機(jī)器人運動路徑上敷設(shè)金屬導(dǎo)線或色帶 ， 通過對金屬導(dǎo)線信號檢測或?qū)ι珟У臋z測確定機(jī)器人的位置和運動方向。 基于羅盤 /里程 計的導(dǎo)航。由于該方式用累計的算法推斷機(jī)器人的當(dāng)前位置 ， 誤差會不斷積累 ， 同時在一次定位失敗后系統(tǒng)自恢復(fù)能力較差 ， 需要定期修正系統(tǒng)偏差。 如 Mae 公司為自動駕駛車輛則開發(fā)了一種磁引導(dǎo)單元 ， 它是通過磁通門傳感器檢測磁帶來進(jìn)行車輛導(dǎo)航 。 基于測距的導(dǎo)航。目前主要有超聲波定位導(dǎo)航、激光定位導(dǎo)航、紅外定位導(dǎo)航。 GPS 是美國國防部研制的衛(wèi)星導(dǎo)航系統(tǒng)。 基于視覺的導(dǎo)航。由于圖像有較高分辨率 ， 環(huán)境信息完整 ， 符合人類的認(rèn)知習(xí)慣 ， 在機(jī)器人導(dǎo)航中得到廣泛關(guān)注。 視覺導(dǎo)航研究由于受到現(xiàn)有計算設(shè)備運算速度和存儲容量的限制而發(fā)展較慢，但隨著 近年來計算機(jī)、網(wǎng)絡(luò) 、圖像采集設(shè)備 和圖像處理技術(shù)發(fā)展的突飛猛進(jìn) ， 視覺導(dǎo)航也取得了很大的進(jìn)展。 視覺系統(tǒng)在導(dǎo)航研究中主要起到環(huán)境探測和辨識作用。本文主要完成的是室內(nèi)非結(jié)構(gòu)環(huán)境中的障礙物探測。人是通過眼、鼻、耳等五官和皮膚接收外界并通過神經(jīng)傳遞給大腦。智能機(jī)器人感知環(huán)境能力的大小取決于傳感器的數(shù)量、性能以及對多傳感器信息的綜合能力。 智能機(jī)器人的傳感器一般分為內(nèi)部傳感器和外部傳感器兩種。常用 武漢理工大學(xué)碩士學(xué)位論文 10 的外部傳感器有視覺傳感器、觸覺傳感器、接近覺傳感器、力覺傳感器和熱覺傳感器等。 表 21 常用于機(jī)器人上的傳感器 傳感器 優(yōu)點 缺點 聲納 (Sonar) 價格低廉，實現(xiàn)相對簡單 距離范圍小且精度不夠高，角度分辨率差，有死區(qū) 激光距離傳感器(LRF) 距離 大 (15m)，精度高 (1cm)，角度分辨 1186。大多數(shù)依靠從傳感器獲取范圍數(shù)據(jù)來進(jìn)行障礙物檢測。由于這些傳感器能夠測量障礙物到機(jī)器人的距離，所以非常適合進(jìn)行障礙物的檢測從而進(jìn)行避障。超聲波傳感器便宜，但是易產(chǎn)生鏡面反射并且角分辨率不高。立體視覺和光流的計算量非常大。這些物體的檢測需要很高的測量精度從而對標(biāo)定的要求很高。在室外環(huán)境中這是個很重要的問題，例如范圍傳感器就不能區(qū)分人行道和它旁邊的草坪。本文利用單目視覺傳感器所得到的彩色圖像，并且分析彩色圖像的顏色，來檢測室內(nèi)環(huán)境中的障礙物。 機(jī)器人視覺導(dǎo)航的發(fā)展 最近二十年來，機(jī)器人視覺導(dǎo)航有主要有兩個發(fā)展方向：基于視覺的室內(nèi)機(jī)器人導(dǎo)航和基于視覺 的室外機(jī)器人導(dǎo)航 [18]。例如， 20年前，機(jī)器人是不可能在 圖 21的走廊中行走的。在過去，由于由任何特征檢測器檢測出的特征數(shù)目非常多，所以處理復(fù)雜的攝像機(jī)圖像是非常困難的。但是現(xiàn)在，機(jī)器人 FINALE中使用了基于模型的框架，機(jī)器人僅僅只需檢查圖像中與模型特征相似的低層特征的那些位置。機(jī)器人 FINAL