【正文】 (a) (b) (c) 圖 33 Sobel 算子梯度圖 1 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 1 1 1 1 2 2 1 1 1 1 1 1 武漢理工大學(xué)碩士學(xué)位論文 25 二、拉普拉斯算子 拉普 拉斯 (Laplacian)算子是一種二階導(dǎo)數(shù)算子，對一個連續(xù)函數(shù) ),( yxf ，它在位置 ),( yx 的拉普拉斯值定義如下： 22222y fx ff ??????? (34) 在數(shù)字圖像中，計(jì)算函數(shù)的拉普拉斯值也可借助各種模板實(shí)現(xiàn)。根據(jù)模板的大小，其中元素 (系數(shù) )值的不同，人們已提出了許多種不同的算子。兩個具有不同灰度值的相鄰區(qū)域之間總存在邊緣。一類是以區(qū)域?yàn)閷ο筮M(jìn)行分割，它根據(jù)圖像的灰度、色彩、圖像的灰度值或色彩變換得到的特征的相似性來劃分圖像空間， 武漢理工大學(xué)碩士學(xué)位論文 23 通過把同一灰度級或相同組織結(jié)構(gòu)的像素通過聚集形成區(qū)域，這類方法將依賴于相似性準(zhǔn)則的選取。圖像分析是機(jī)器人視覺中的一個重要的組成部分，它主要包括圖像分割、目標(biāo)的表達(dá)和描述等內(nèi)容。二維窗口的形式可以是正方形、近似圓形或十字形。首先要設(shè)計(jì)一個含有奇數(shù)個像素的窗口作為中值濾波器。 一、鄰域平均法 鄰域平均法是一種簡單的空域平滑技術(shù)。如果不消除那些無用的細(xì)節(jié)信息 (除了邊緣以外 )，也很難從中提取出有用的信息。由光學(xué)成像系統(tǒng)生成的二維圖像，包含各種各樣的 隨機(jī) 噪聲和畸變。將圖像轉(zhuǎn)化為數(shù)字形式是數(shù)字圖像處理的一個先決條件。圖像處理的重要分支“計(jì)算機(jī)視覺”，則為機(jī)器人提供了“視覺”。再根據(jù)實(shí)現(xiàn)上述各種過程所涉及的方法及技術(shù)的復(fù)雜性輸出或顯示 圖像的獲取 初始人機(jī)交互 圖像輸入 數(shù)字化 預(yù)處理 特征提取 圖像分割 圖像識別 結(jié)果輸出 圖像從處理或分析 武漢理工大學(xué)碩士學(xué)位論文 17 將他們歸類，可分為三個處理層次：底層視覺處理、中層視覺處理和高層視覺處理。這是因?yàn)?Linux 本身所具有的開放型、穩(wěn)定性、高效 性和強(qiáng)大的網(wǎng)絡(luò)功能并且是公開源碼的自由軟件。系統(tǒng)由兩大部分組成，即硬件和軟件兩個部分。這種能力將不僅使機(jī)器能感知三維環(huán)境中物體的幾何信息，包括它的形狀、位置、姿態(tài)、運(yùn)動等，而且能對它們進(jìn)行描述、存儲、識別與理解。其分割的方法是采集這三種物體的樣本塊，用前反饋神經(jīng)網(wǎng)絡(luò)的方法來識別場景。這次試驗(yàn)從匹茲堡到賓夕法尼亞，到圣地亞哥，最后到加利福尼亞，全程共 2,849英里，而 Navlab5自動行走了 98%(油門和剎車由人來操作 )。文中處理的是序列圖像。拓?fù)浔硎灸芤龑?dǎo)機(jī)器人在什么樣的空間中選擇什么樣的神經(jīng)網(wǎng)絡(luò)。例如， 20年前，機(jī)器人是不可能在 圖 21的走廊中行走的。這些物體的檢測需要很高的測量精度從而對標(biāo)定的要求很高。大多數(shù)依靠從傳感器獲取范圍數(shù)據(jù)來進(jìn)行障礙物檢測。智能機(jī)器人感知環(huán)境能力的大小取決于傳感器的數(shù)量、性能以及對多傳感器信息的綜合能力。 視覺導(dǎo)航研究由于受到現(xiàn)有計(jì)算設(shè)備運(yùn)算速度和存儲容量的限制而發(fā)展較慢，但隨著 近年來計(jì)算機(jī)、網(wǎng)絡(luò) 、圖像采集設(shè)備 和圖像處理技術(shù)發(fā)展的突飛猛進(jìn) ， 視覺導(dǎo)航也取得了很大的進(jìn)展。目前主要有超聲波定位導(dǎo)航、激光定位導(dǎo)航、紅外定位導(dǎo)航。 基于羅盤 /里程 計(jì)的導(dǎo)航。 移動機(jī)器人有多種導(dǎo)航方式，這些導(dǎo)航方式各有其特點(diǎn)，適合于不同的環(huán)境。 機(jī)器人的導(dǎo)航技術(shù)是智能型機(jī)器人自主完成任務(wù)的核心技術(shù)。目前商品化、實(shí)用化的機(jī)器人大多數(shù)是此類機(jī)器人。 第三章：機(jī)器人視覺導(dǎo)航中的圖像處理技術(shù)，對機(jī)器人視覺導(dǎo)航中用到的圖像預(yù)處理、圖像分割和圖像壓縮存儲這三個方面的圖像處理技術(shù)做了一定的研究和對比，為提出適合于本文的圖 像分析算法提供了理論基礎(chǔ)。而且，外界環(huán)境條件的動態(tài)特征，如光照變化，也對機(jī)器人的視覺系統(tǒng)提出更多更高的 要求。如今具有自主導(dǎo)航和自動駕駛功能的智能車輛已初見端倪，如由一汽集團(tuán)和國防科技大學(xué)合作研制的紅旗 CA7460 自動駕駛轎車、由清華大學(xué)研制的THMR(TsingHua Mobile Robot)[15]系列 ，均都采用機(jī)器視覺、雷達(dá)或兩者的有機(jī)組合作為傳感手段。為提高導(dǎo)航系統(tǒng)的實(shí)時性和導(dǎo)航精度 ， 仍需研究更加合理的組合導(dǎo)航方式。此外，這種算法假設(shè)機(jī)器人和障礙物中有一個處于運(yùn)動中。 Polly 上還安裝了碰撞及聲納傳感器，因此它不是完全依賴于視覺。 在 20 世紀(jì) 90 年代早期， Horswill 研發(fā)出了機(jī)器人 Polly。 過去，由于圖像采集及處理的硬件設(shè)備運(yùn)行速度低，利用 視覺系統(tǒng)感知環(huán)境引導(dǎo)機(jī)器人進(jìn)行跟蹤受到了很大限制。隨著計(jì)算機(jī)技術(shù)和人工智能技術(shù)的飛速發(fā)展，使機(jī)器人在功能和技術(shù)層次上有了很大的提高，移動機(jī)器人和機(jī)器人的視覺和觸覺等技術(shù)就是典型的代表。在運(yùn)動方法中，找到運(yùn)動的物體是可行的，但是由于地面是沒有運(yùn)動的，所以直接找到地面也很困難。這些陸標(biāo)分成定位陸標(biāo)和導(dǎo)航陸標(biāo)。 機(jī)器人導(dǎo)航的任務(wù)之一就是避開障礙物，所以機(jī)器人在行走過程中，要能夠區(qū)分 可 航行區(qū)域和障礙物區(qū)域 [25]。其中視覺系統(tǒng)和移動機(jī)器人導(dǎo)航系統(tǒng)是智能移動機(jī) 器人實(shí)現(xiàn)智能化和完全自主的關(guān)鍵技術(shù)，也是目前該領(lǐng)域的研究熱點(diǎn)。 機(jī)器人導(dǎo)航的任務(wù)之一就是避開障礙物。這樣，機(jī)器人在行走過程中，要充分利用環(huán)境中的特征來識別航行區(qū)域和障礙物區(qū)域。本文所研究的“基于地面特征識別的室內(nèi)機(jī)器人視覺導(dǎo)航”對于室內(nèi)非結(jié)構(gòu)化環(huán)境中機(jī)器人檢測已經(jīng)存在的 (即靜止的 )和突然出現(xiàn)的(即運(yùn)動的 )障礙物研究具有理論意義和實(shí)用價值。隨著計(jì)算機(jī)和圖像處理技術(shù)的迅猛發(fā)展，機(jī)器人視覺導(dǎo)航也不斷地得到發(fā)展。以前的很多工作只是基于定位 陸標(biāo) ，因?yàn)樗鼈優(yōu)閷ふ艺_路徑提供了重要的依據(jù)。這樣就出現(xiàn)了一些用視覺信息如角點(diǎn)，顏色和紋理或平面法線來檢測地面的方法。由于這些技術(shù)的發(fā)展，推動了機(jī)器人概念的延伸。近年來，隨著科學(xué)技術(shù)的發(fā)展，視頻設(shè)備及計(jì)算機(jī)硬件運(yùn)行速度得到了很大提高，越來越多的研究者們投入到視覺導(dǎo)航領(lǐng)域中。 Polly 的導(dǎo)航用了與 Shakey 類似的方法，但是它能在真實(shí)的環(huán)境中移動。 Horswill 繼續(xù)開發(fā)了第二代機(jī)器人稱為 Frankie。盡管在地面表面非常粗糙的時候， Turk和 Marra研究的算法不能起作用，但是立體視覺和光流系統(tǒng)卻能很好的發(fā)揮作用。 Trahanias[10]利用視覺探測陸標(biāo)來完成機(jī)器人導(dǎo)航，其中陸標(biāo)不是事先定義的人工陸標(biāo)，而是在學(xué)習(xí)階段自動抽取的自然坐標(biāo)。 THMR 智能機(jī)器人已經(jīng)研制到了第五代，如圖 11。因此視覺系統(tǒng)的實(shí)現(xiàn)，應(yīng)該是計(jì)算量小而滿足實(shí)時性要求，同時對光照和其它一些能了解的變化具有很強(qiáng)的魯棒性。 第四章：室內(nèi)地面分割的圖像處理算法，較為詳細(xì)地介紹本課題中室內(nèi)機(jī)器人識別地面及地面上障礙物的圖像處理算法，包括室內(nèi)環(huán)境中特征的選取和分析、彩色圖像的顏色空間及其分割等。 (2) 感覺型機(jī)器人。 移動機(jī)器人導(dǎo)航是指 移動機(jī)器人按照預(yù)先給出的任務(wù)命令，根據(jù)已知信息做出路徑規(guī)劃，并在行進(jìn)過程中，不斷感知周圍的局部環(huán)境信息，自主地做出決策，調(diào)整自身位姿，引導(dǎo)自身安全行駛或跟蹤已經(jīng)路徑到達(dá)目標(biāo)位置。移動機(jī)器人的研究是多種學(xué)科的集成和應(yīng)用。通過羅盤對地磁的檢測確定機(jī)器人方位 ， 與里程計(jì)結(jié)合推斷機(jī)器人的當(dāng)前位置。 基于 GPS 的定位導(dǎo)航。 加之 視覺導(dǎo)航方式具有信號探測范圍寬、獲取信息完整等優(yōu)點(diǎn) ，在圖像處理速度得到解決之后，視覺導(dǎo)航仍將是 未來機(jī)器人導(dǎo)航的一個主要發(fā)展方向。智能型機(jī)器人中的傳感器就相當(dāng)于機(jī)器人的“五官”和皮膚，它們組成機(jī)器人的感知系統(tǒng)，以適應(yīng)工作對象的復(fù)雜性。通常用在基于范圍的障礙物檢測系統(tǒng)中的傳感器包括超聲波傳感器，激光測距儀，雷達(dá)，立體視覺等。范圍傳感器也不能區(qū)分不同的地面。但是現(xiàn)在這已經(jīng)不算是一個很大的難題了。在機(jī)器人 NEURO－ NAV和 FUZZY－ NAV中都有應(yīng)用。場景圖像序列通過計(jì)算平面的單映性來確定平面的對應(yīng)關(guān)系。 武漢理工大學(xué)碩士學(xué)位論文 13 圖 23 NAVLAB 分析灰度圖像來確定道路邊界 Urban Bergquist 在他的碩士畢業(yè) 論文 [3]中，實(shí)現(xiàn)了一個利用顏色信息將室外場景分割成航行區(qū)域和非航行區(qū)域的實(shí)時系統(tǒng)。輸入的圖像中的紅泥土就是機(jī)器人的可行走區(qū)域。 基于視覺的機(jī)器人導(dǎo)航的實(shí)現(xiàn)需要給機(jī)器人裝備視覺系統(tǒng)，本節(jié)主要介紹機(jī)器人的視覺系統(tǒng)。 圖 25 視覺系統(tǒng)的組成 硬件由以下幾個部分組成： (1)視覺傳感器，即 CCD 或 CMOS 攝像機(jī)，有時也還包括超聲波傳感器和結(jié)構(gòu)光設(shè)備； (2)視頻信號數(shù)字化設(shè)備，即圖像采集卡，它的任務(wù)是把由攝像機(jī)輸出的全電視信號轉(zhuǎn)化成計(jì)算機(jī)方便使用的數(shù)字信號； (3)計(jì)算機(jī)及外設(shè)，根據(jù)系統(tǒng)的需要可以選用不同的計(jì)算機(jī)及其外設(shè)，來滿足機(jī)器人視覺信息處理及機(jī)器人控制的需要。而在客戶機(jī)方面，由于Windows 操作系統(tǒng)的用戶友好性、易操作性、應(yīng)用程序設(shè)備獨(dú)立性、高性能內(nèi)存管理能力和兼容性強(qiáng)的特點(diǎn)，使得客戶機(jī)方面使用該操作系統(tǒng)成為可能。雖然各層次之間沒有明確的界限，但是這種劃分對于機(jī)器人視覺系統(tǒng)的固有處理過程加以分類提供了一種有用的結(jié)構(gòu)。即通過計(jì)算機(jī)，對 安裝在機(jī)器人頭部的攝像機(jī)輸入的二維連續(xù)圖像進(jìn)行處理和目標(biāo)識別，可以確定物體的位置、方向、屬性以及其他狀態(tài)等。圖像數(shù)字化器就是具有這種功能的設(shè)備。為了提高智能機(jī)器人的視覺功能，增強(qiáng)機(jī)器人的分析和識別能力，以便做出正確的行動規(guī)劃，需要對原始圖像中的噪聲、畸變給以去除和修正。 在預(yù)處理中，輸入和輸出都是圖像，只是經(jīng)過預(yù)處理后，輸出圖像的質(zhì)量得到一定程度的改善，可達(dá) 到改善圖像的視覺效果或者更便于計(jì)算機(jī) (機(jī)器人 )對圖像分析、處理、理解和識別等處理的目的。設(shè)有一幅 N N 的原始圖像 武漢理工大學(xué)碩士學(xué)位論文 20 ),( yxf ，經(jīng)過鄰域平均法處理后的圖像為 ),( yxg ，則 ??? Snm nmfMyxg ),( ),(1),( (31) 式中， M 為集合 S 內(nèi)的坐標(biāo)點(diǎn)的總數(shù)。在進(jìn)行中值濾波時，通過移動窗口，將窗口中心位置處的像素灰度值用窗口內(nèi)各像素灰度值的中值代替。一個二維的 M M 的中值濾波器比用 M 1 和 1 M 的兩個濾波器分別順序進(jìn)行垂直和水平處理更能 抑制 噪聲，但同時也 抑制了有用的信號。 從圖像中把景物提取出來的處理過程稱為圖像分割。另一類是以物體邊界為對象進(jìn)行分割，一般來說物體的邊界具有復(fù)雜的形狀，從圖像中灰度變化直 接找出物體的邊界比較困難。從本質(zhì)上來說，圖像邊緣是圖像局部特性小連續(xù)性 (灰度突變、顏色突變、紋理結(jié)構(gòu)突變等 )的反映，它標(biāo)志著一個區(qū)域的終結(jié)和另一個區(qū)域的開始。最簡單的梯度算子是 Robert 交叉算子，它的 2 個 2 2 模板 見圖 32(a)。這里對模板的基本要求是 對應(yīng)中心像素的系數(shù)應(yīng)是正的，而對應(yīng)中心像素鄰近像素的系數(shù)應(yīng)該是負(fù)的，且它們的和應(yīng)該是零，其模板見圖 34(a)和 (b)。其中圖 (a)是原始圖像，圖(b)是用圖 32(c)中水平模板得到的水平梯度圖，它對垂直邊緣有較強(qiáng)的響應(yīng)，圖(c)是用圖 32(c)中垂直模板得到的水平梯度圖，它對水平邊緣有較強(qiáng)的響應(yīng)。對 xG 和 yG 各用 1 個模板，所以需要 2 個模板組合起來以構(gòu)成 1 個梯度算子。 邊緣檢測 邊緣檢測是所有基于邊界的分割方法的第一步。 圖像分割大致可分為兩類。圖像分析主要是對圖像中感興趣的目標(biāo)進(jìn)行檢測、提取和測量，分析的結(jié)果能為用戶提供描述目標(biāo)特征的 根據(jù) 。 中值濾波很容易擴(kuò)展到二維情況。以一維中值濾波為例，說明中值濾波的工作原理。本章中介紹常用的鄰域平均、中值濾波方法。與此類似，假設(shè)有一幅城市的圖像，其中包含了足夠多的細(xì)節(jié)，例如街道、車輛和樹蔭。 圖像預(yù)處理 機(jī)器人視覺系統(tǒng)面向三維世界的景物，而實(shí)際大 部分還是針對二維圖像的處理。目前數(shù)碼相機(jī)中廣泛使用的 CCD 和 CMOS 兩種圖像傳感器。 武漢理工大學(xué)碩士學(xué)位論文 18 第 3 章 機(jī)器人視覺導(dǎo)航中的圖像處理技術(shù) 機(jī)器人視覺導(dǎo)航研究取得的巨大進(jìn)展得益于圖像處理技術(shù)的飛速發(fā)展。 圖 26 視覺系統(tǒng)工作流程圖 機(jī)器人視覺可以看作從三維環(huán)境的圖像中抽取、描述和解釋信息的過程，它可以劃分為以下幾個主要部分：圖像的采集 、量化、存儲、變換、編碼、分割、特征提取、圖像數(shù)據(jù)庫的建立、圖像的分類和表示、圖像識別、模型匹配、內(nèi)性解釋和理解等等。采用運(yùn)行 Linux 操作系統(tǒng)作為機(jī)器人控制器開發(fā)平臺是目前智能機(jī)器人技術(shù)和產(chǎn)業(yè)發(fā)展的方向和趨勢。 一般移動機(jī)器人的視覺系統(tǒng)的總體結(jié)構(gòu)如 圖 25 所示。 機(jī)器人視覺的研究目標(biāo)是使機(jī)器人系統(tǒng)中的計(jì)算機(jī)具有通過二維圖像認(rèn)