【正文】 章 機(jī)器人視覺導(dǎo)航中的圖像處理技術(shù) 機(jī)器人視覺導(dǎo)航研究取得的巨大進(jìn)展得益于圖像處理技術(shù)的飛速發(fā)展。 通常數(shù)字圖像處理可以劃分為以下幾個(gè)主要部分：圖像的采集、量化、存儲(chǔ)、預(yù)處理、分割、特征提取、圖像的分類和表示、圖像識(shí)別、模型匹配、內(nèi)性解釋和理解等。目前數(shù)碼相機(jī)中廣泛使用的 CCD 和 CMOS 兩種圖像傳感器。隨著科學(xué)技術(shù)的發(fā)展，數(shù)字化設(shè)備應(yīng)用已較普及，并日益 向高速度、高分辨率、多功能、智能化方向發(fā)展。 圖像預(yù)處理 機(jī)器人視覺系統(tǒng)面向三維世界的景物，而實(shí)際大 部分還是針對(duì)二維圖像的處理。 圖像處理技術(shù)主要是對(duì)圖像進(jìn)行增強(qiáng)、改善或修改，為圖像分析做準(zhǔn)備。與此類似，假設(shè)有一幅城市的圖像，其中包含了足夠多的細(xì)節(jié)，例如街道、車輛和樹蔭。所以這里重點(diǎn)介紹圖像平滑處理。本章中介紹常用的鄰域平均、中值濾波方法。但是，鄰域平均法在去除噪聲的同時(shí)，也使圖像的邊緣和細(xì)節(jié)模糊，特別是半徑增大，這種模糊效應(yīng)更大。以一維中值濾波為例，說明中值濾波的工作原理。用 110 代替窗口中心位置處的像素 200。 中值濾波很容易擴(kuò)展到二維情況。其中均值平均法和中值濾波法都采用的是 3 3 矩形模板計(jì)算。圖像分析主要是對(duì)圖像中感興趣的目標(biāo)進(jìn)行檢測、提取和測量，分析的結(jié)果能為用戶提供描述目標(biāo)特征的 根據(jù) 。圖像分割的通用定義如下。 圖像分割大致可分為兩類。往往以區(qū)域?yàn)閷?duì)象的分割方法導(dǎo)致圖像的完全分割，而以邊緣為對(duì)象的分割導(dǎo)致圖像的不完全分割。 邊緣檢測 邊緣檢測是所有基于邊界的分割方法的第一步。實(shí)際上數(shù)字圖像中求導(dǎo)數(shù)是利用差分近似微分來進(jìn)行的。對(duì) xG 和 yG 各用 1 個(gè)模板，所以需要 2 個(gè)模板組合起來以構(gòu)成 1 個(gè)梯度算子。其中 Sobel 是效果比較好的一種。其中圖 (a)是原始圖像，圖(b)是用圖 32(c)中水平模板得到的水平梯度圖，它對(duì)垂直邊緣有較強(qiáng)的響應(yīng)，圖(c)是用圖 32(c)中垂直模板得到的水平梯度圖，它對(duì)水平邊緣有較強(qiáng)的響應(yīng)。 圖 34 拉普拉斯算子的模板 三、 Canny 邊緣檢測 1986 年 John Canny 提出了邊緣檢測的三條準(zhǔn)則，在此基礎(chǔ)上提出了 。這里對(duì)模板的基本要求是 對(duì)應(yīng)中心像素的系數(shù)應(yīng)是正的，而對(duì)應(yīng)中心像素鄰近像素的系數(shù)應(yīng)該是負(fù)的，且它們的和應(yīng)該是零，其模板見圖 34(a)和 (b)。在邊緣灰度值過渡比較尖銳且圖像種噪聲比較小時(shí)，梯度算子工作效果比較好。最簡單的梯度算子是 Robert 交叉算子，它的 2 個(gè) 2 2 模板 見圖 32(a)。 一、梯度算子 梯度對(duì)應(yīng)一階導(dǎo)數(shù)，梯度算子是一階導(dǎo)數(shù)算子。從本質(zhì)上來說，圖像邊緣是圖像局部特性小連續(xù)性 (灰度突變、顏色突變、紋理結(jié)構(gòu)突變等 )的反映，它標(biāo)志著一個(gè)區(qū)域的終結(jié)和另一個(gè)區(qū)域的開始。這兩類方法從兩個(gè)側(cè)面實(shí)現(xiàn)對(duì)圖像的分割，在實(shí)際 應(yīng)用中，不同的圖像可能適用于不同的方法。另一類是以物體邊界為對(duì)象進(jìn)行分割，一般來說物體的邊界具有復(fù)雜的形狀，從圖像中灰度變化直 接找出物體的邊界比較困難。 圖像分 割出來的區(qū)域需要具有均一性與連通性的特征。 從圖像中把景物提取出來的處理過程稱為圖像分割。但對(duì)于線、尖頂?shù)燃?xì)節(jié)多的圖像不宜采用中值濾波。一個(gè)二維的 M M 的中值濾波器比用 M 1 和 1 M 的兩個(gè)濾波器分別順序進(jìn)行垂直和水平處理更能 抑制 噪聲，但同時(shí)也 抑制了有用的信號(hào)。如果它是一個(gè)信號(hào)，則濾波后降低了分辨率。在進(jìn)行中值濾波時(shí)，通過移動(dòng)窗口，將窗口中心位置處的像素灰度值用窗口內(nèi)各像素灰度值的中值代替。 二、中值濾波法 一組按照大小順序排列的數(shù)組，中間位置上的數(shù)據(jù)稱之為中值。設(shè)有一幅 N N 的原始圖像 武漢理工大學(xué)碩士學(xué)位論文 20 ),( yxf ，經(jīng)過鄰域平均法處理后的圖像為 ),( yxg ，則 ??? Snm nmfMyxg ),( ),(1),( (31) 式中， M 為集合 S 內(nèi)的坐標(biāo)點(diǎn)的總數(shù)。圖像噪聲的來源有三個(gè)方面：一為光電、電磁轉(zhuǎn)換過程中引入的人為噪聲；二為 CCD 攝像機(jī)采集圖像的不穩(wěn)定性；三為自然起伏性噪聲，有物理量的不連續(xù)性或粒子性所引起，這類噪聲又可分成熱噪聲、散粒噪聲等。 在預(yù)處理中，輸入和輸出都是圖像，只是經(jīng)過預(yù)處理后，輸出圖像的質(zhì)量得到一定程度的改善，可達(dá) 到改善圖像的視覺效果或者更便于計(jì)算機(jī) (機(jī)器人 )對(duì)圖像分析、處理、理解和識(shí)別等處理的目的。舉例來說 ，假設(shè)獲得了一個(gè)正在移動(dòng)的物體的圖像，圖像可能不很清晰，這時(shí)希望在獲得物體的信息 (例如其特征、形狀、位置和方位等 )之前，減小或者去除圖像的模糊。為了提高智能機(jī)器人的視覺功能，增強(qiáng)機(jī)器人的分析和識(shí)別能力，以便做出正確的行動(dòng)規(guī)劃，需要對(duì)原始圖像中的噪聲、畸變給以去除和修正。目前應(yīng)用于機(jī)器人視頻采集的技術(shù)主要有以下三種：基于 VFW(Video For Windows)技術(shù)的視頻采集技術(shù)；基于 DirectShow 技術(shù)的視頻采集技術(shù)；基于視頻采集卡廠商提供的 SDK 的視頻采集技術(shù) [26]。圖像數(shù)字化器就是具有這種功能的設(shè)備。本章就從這幾個(gè)部分對(duì)圖像處理的算法進(jìn)行介紹，從而找到適合本系統(tǒng)的最好算法。即通過計(jì)算機(jī)，對(duì) 安裝在機(jī)器人頭部的攝像機(jī)輸入的二維連續(xù)圖像進(jìn)行處理和目標(biāo)識(shí)別，可以確定物體的位置、方向、屬性以及其他狀態(tài)等。其中視覺導(dǎo)航 具有信號(hào)探測范圍寬、獲取信息完整等優(yōu)點(diǎn) ，在圖像處理速度得到解決之后，視覺導(dǎo)航成為 未來機(jī)器人導(dǎo)航的一個(gè)主要發(fā)展方向。雖然各層次之間沒有明確的界限，但是這種劃分對(duì)于機(jī)器人視覺系統(tǒng)的固有處理過程加以分類提供了一種有用的結(jié)構(gòu)。 (3)機(jī)器人控制軟件。而在客戶機(jī)方面，由于Windows 操作系統(tǒng)的用戶友好性、易操作性、應(yīng)用程序設(shè)備獨(dú)立性、高性能內(nèi)存管理能力和兼容性強(qiáng)的特點(diǎn)，使得客戶機(jī)方面使用該操作系統(tǒng)成為可能。 軟件包括： (1)機(jī)器人系統(tǒng)軟件，選用不同類型的計(jì)算機(jī)，就有不同的操作系統(tǒng)和它所支撐的各種語言、數(shù)據(jù)庫等。 圖 25 視覺系統(tǒng)的組成 硬件由以下幾個(gè)部分組成： (1)視覺傳感器，即 CCD 或 CMOS 攝像機(jī)，有時(shí)也還包括超聲波傳感器和結(jié)構(gòu)光設(shè)備； (2)視頻信號(hào)數(shù)字化設(shè)備，即圖像采集卡，它的任務(wù)是把由攝像機(jī)輸出的全電視信號(hào)轉(zhuǎn)化成計(jì)算機(jī)方便使用的數(shù)字信號(hào)； (3)計(jì)算機(jī)及外設(shè)，根據(jù)系統(tǒng)的需要可以選用不同的計(jì)算機(jī)及其外設(shè)，來滿足機(jī)器人視覺信息處理及機(jī)器人控制的需要。也由此形成了一門新的學(xué)科 ——機(jī) 器視覺。 基于視覺的機(jī)器人導(dǎo)航的實(shí)現(xiàn)需要給機(jī)器人裝備視覺系統(tǒng)，本節(jié)主要介紹機(jī)器人的視覺系統(tǒng)。智能機(jī)器人的智能特征就在于它具有與外部 世界 ——對(duì)象、環(huán)境和人相互協(xié)調(diào)的工作機(jī)能。輸入的圖像中的紅泥土就是機(jī)器人的可行走區(qū)域。處理這樣的室外圖像比較復(fù)雜，關(guān)鍵是要盡可能尋找與光照條件無關(guān)的特征。 武漢理工大學(xué)碩士學(xué)位論文 13 圖 23 NAVLAB 分析灰度圖像來確定道路邊界 Urban Bergquist 在他的碩士畢業(yè) 論文 [3]中，實(shí)現(xiàn)了一個(gè)利用顏色信息將室外場景分割成航行區(qū)域和非航行區(qū)域的實(shí)時(shí)系統(tǒng)。從 1986年開始的由 Chevy van變成 NAVLAB1，直到今天的 Navlab9和 10(用于地下公共汽車中 )， CMU和同伴們開發(fā)了在高速公路上導(dǎo)航的一系列系統(tǒng)。場景圖像序列通過計(jì)算平面的單映性來確定平面的對(duì)應(yīng)關(guān)系。文章假設(shè)地面上的物體與地面成一定的角度，通過計(jì)算物體平面的法線來分割場景中的各個(gè)物體。在機(jī)器人 NEURO－ NAV和 FUZZY－ NAV中都有應(yīng)用?！跋嗨啤钡某潭扔蓹C(jī)器人位置的不確定性決定。但是現(xiàn)在這已經(jīng)不算是一個(gè)很大的難題了。其輸入和輸出的都是室內(nèi)環(huán)境圖像序列。范圍傳感器也不能區(qū)分不同的地面。激光測距儀和雷達(dá)的分辨率要好一些，但是更復(fù)雜并且很昂貴。通常用在基于范圍的障礙物檢測系統(tǒng)中的傳感器包括超聲波傳感器，激光測距儀，雷達(dá)，立體視覺等。 應(yīng)用到移動(dòng)機(jī)器人上常用的傳感器 (尤其是針對(duì)避障，目標(biāo)識(shí)別和地圖創(chuàng)建等 )列于表 21 中，并比較了其優(yōu)缺點(diǎn)。智能型機(jī)器人中的傳感器就相當(dāng)于機(jī)器人的“五官”和皮膚，它們組成機(jī)器人的感知系統(tǒng)，以適應(yīng)工作對(duì)象的復(fù)雜性。 智能機(jī)器人導(dǎo)航中的傳感器 智能機(jī)器人的研究都是以人或動(dòng)物作為模仿對(duì)象。 加之 視覺導(dǎo)航方式具有信號(hào)探測范圍寬、獲取信息完整等優(yōu)點(diǎn) ，在圖像處理速度得到解決之后，視覺導(dǎo)航仍將是 未來機(jī)器人導(dǎo)航的一個(gè)主要發(fā)展方向。機(jī)器人平臺(tái)的圖像采集系統(tǒng)獲取機(jī)器人當(dāng)前狀態(tài)下的環(huán)境信息 ， 通過對(duì)環(huán)境圖像分析確定環(huán)境對(duì)象和機(jī)器人在環(huán)境中的位置。 基于 GPS 的定位導(dǎo)航。 中國科學(xué)院沈陽自動(dòng)化研究所已生產(chǎn)出基于磁導(dǎo)航的多代機(jī)器人 武漢理工大學(xué)碩士學(xué)位論文 9 產(chǎn)品 。通過羅盤對(duì)地磁的檢測確定機(jī)器人方位 ， 與里程計(jì)結(jié)合推斷機(jī)器人的當(dāng)前位置。 基于地下 /地表敷線的導(dǎo)航方式 。移動(dòng)機(jī)器人的研究是多種學(xué)科的集成和應(yīng)用。 機(jī)器人的導(dǎo)航技術(shù) 自主式移動(dòng)機(jī)器人 是一種具有高度自 規(guī)劃、自組織、自適應(yīng)能力，適合于在復(fù)雜的非結(jié)構(gòu)化環(huán)境中工作的機(jī)器人。 移動(dòng)機(jī)器人導(dǎo)航是指 移動(dòng)機(jī)器人按照預(yù)先給出的任務(wù)命令，根據(jù)已知信息做出路徑規(guī)劃，并在行進(jìn)過程中，不斷感知周圍的局部環(huán)境信息，自主地做出決策，調(diào)整自身位姿，引導(dǎo)自身安全行駛或跟蹤已經(jīng)路徑到達(dá)目標(biāo)位置。目前，智能機(jī)器人尚處于研究和發(fā)展階段。 (2) 感覺型機(jī)器人。 武漢理工大學(xué)碩士學(xué)位論文 7 第 2 章 機(jī)器人的視覺導(dǎo)航系統(tǒng) 從 20 世紀(jì) 50 年代后期開始，機(jī)器人技術(shù)取得了突飛猛進(jìn)的發(fā)展，其發(fā)展過程大致經(jīng)歷了三個(gè)階段 [16]： (1) 示教再現(xiàn)型機(jī)器人，這是第一代機(jī)器人。 第四章：室內(nèi)地面分割的圖像處理算法，較為詳細(xì)地介紹本課題中室內(nèi)機(jī)器人識(shí)別地面及地面上障礙物的圖像處理算法，包括室內(nèi)環(huán)境中特征的選取和分析、彩色圖像的顏色空間及其分割等。 本文內(nèi)容與結(jié)構(gòu) 本文的主要任務(wù)是采集室內(nèi)環(huán)境的序列圖像，利用室內(nèi)環(huán)境的地面特征分析圖像序列，將環(huán)境圖像分割為只有可行走區(qū)域和障礙物區(qū)域的二值 圖像序列，從而讓機(jī)器人識(shí)別室內(nèi)的障礙物完成機(jī)器人導(dǎo)航的避障功能，同時(shí)將圖像序列壓縮存儲(chǔ)在計(jì)算機(jī)中。因此視覺系統(tǒng)的實(shí)現(xiàn)，應(yīng)該是計(jì)算量小而滿足實(shí)時(shí)性要求，同時(shí)對(duì)光照和其它一些能了解的變化具有很強(qiáng)的魯棒性?，F(xiàn)在，已經(jīng)有很多基于彩色圖像分割和跟蹤的方法可用于給移動(dòng)機(jī)器人提供視覺感知功能。 THMR 智能機(jī)器人已經(jīng)研制到了第五代，如圖 11。此外，最新出現(xiàn)的網(wǎng)絡(luò)機(jī)器人可對(duì)機(jī)器人進(jìn)行遙控操縱，如 文獻(xiàn) [14]介紹了名為 Xavier 的機(jī)器人，在機(jī)器人上裝有多種傳感器，如激光探測器、聲納、車輪編碼器和彩色攝像機(jī)，并裝有揚(yáng)聲器和語言測試系統(tǒng)，機(jī)器人能夠完成現(xiàn)場任務(wù)和網(wǎng)絡(luò)任務(wù)。 Trahanias[10]利用視覺探測陸標(biāo)來完成機(jī)器人導(dǎo)航，其中陸標(biāo)不是事先定義的人工陸標(biāo)，而是在學(xué)習(xí)階段自動(dòng)抽取的自然坐標(biāo)。 在視覺導(dǎo)航方式中 ， 目前國內(nèi)外應(yīng)用比較多的是采用在機(jī)器人上安裝車載攝像機(jī)的基于局部視覺的導(dǎo)航方式 [1]。盡管在地面表面非常粗糙的時(shí)候， Turk和 Marra研究的算法不能起作用，但是立體視覺和光流系統(tǒng)卻能很好的發(fā)揮作用。 Turk和 Marra研究出了一種利用顏色信息而不是邊緣信息來檢測道路上障礙物的算法。 Horswill 繼續(xù)開發(fā)了第二代機(jī)器人稱為 Frankie。盡管這個(gè)分辨率比較小，但是它證明了有時(shí)太多的信息實(shí)際上也不利。 Polly 的導(dǎo)航用了與 Shakey 類似的方法，但是它能在真實(shí)的環(huán)境中移動(dòng)。但是 Shakey能行走的環(huán)境需要人工專門設(shè)置。近年來，隨著科學(xué)技術(shù)的發(fā)展，視頻設(shè)備及計(jì)算機(jī)硬件運(yùn)行速度得到了很大提高，越來越多的研究者們投入到視覺導(dǎo)航領(lǐng)域中。 對(duì)于移動(dòng)機(jī)器人而言，機(jī)器人視覺系統(tǒng)正如人的眼睛一樣，是機(jī)器人感知局部環(huán)境的重要“感官”。由于這些技術(shù)的發(fā)展，推動(dòng)了機(jī)器人概念的延伸。 國內(nèi)外現(xiàn)狀及發(fā)展趨勢 按照機(jī)器人的功能，機(jī)器人已經(jīng)發(fā)展到了第三代：第一代是操縱型機(jī)器人，只能按照人的操作運(yùn)行，因而大都需要手控或遙控。這樣就出現(xiàn)了一些用視覺信息如角點(diǎn)，顏色和紋理或平面法線來檢測地面的方法。地面上沒有障礙物的區(qū)域就是機(jī)器人的可行走區(qū)域。以前的很多工作只是基于定位 陸標(biāo) ，因?yàn)樗鼈優(yōu)閷ふ艺_路徑提供了重要的依據(jù)。 因?yàn)榄h(huán)境為機(jī)器人導(dǎo)航提供了很充分的信息。隨著計(jì)算機(jī)和圖像處理技術(shù)的迅猛發(fā)展，機(jī)器人視覺導(dǎo)航也不斷地得到發(fā)展。機(jī)器人 視覺信息主要指二維彩色 CCD 攝像機(jī)信息，在有些系統(tǒng)中還包括三維激光雷達(dá)采集的信息。本文所研究的“基于地面特征識(shí)別的室內(nèi)機(jī)器人視覺導(dǎo)航”對(duì)于室內(nèi)非結(jié)構(gòu)化環(huán)境中機(jī)器人檢測已經(jīng)存在的 (即靜止的 )和突然出現(xiàn)的(即運(yùn)動(dòng)的 )障礙物研究具有理論意義和實(shí)用價(jià)值。 本文在 Visual C++集成開發(fā)環(huán)境中基于 OpenCV 和 DirectShow 視頻采集技術(shù)編程實(shí)現(xiàn)了系統(tǒng)的功能。這樣，機(jī)器人在行走過程中，要充分利用環(huán)境中的特征來識(shí)別航行區(qū)域和障礙物區(qū)域。 （申請工學(xué)碩士學(xué)位論文） 基于地面特征識(shí)別的 室內(nèi)機(jī)器人視覺導(dǎo)航 培養(yǎng)單位： 物流工程學(xué)院 學(xué)科專業(yè)：機(jī)械電子工程 研 究 生： 杜 娟