【文章內(nèi)容簡(jiǎn)介】 重而道遠(yuǎn)。本文提出了一種障礙物檢測(cè)的方法，在收獲機(jī)器人障礙物檢測(cè)方面做了一些基礎(chǔ)性的研究。 國內(nèi)研究現(xiàn)狀國內(nèi)利用機(jī)器視覺技術(shù)在農(nóng)業(yè)收獲機(jī)器人方面的研究起步較晚。1997年，吉林工業(yè)大學(xué)的楊秀坤等[23]提出利用計(jì)算機(jī)視覺對(duì)果實(shí)表面缺陷進(jìn)行檢測(cè)的方法。該方法首先對(duì)果實(shí)圖像進(jìn)行濾波、增強(qiáng)等預(yù)處理，然后根據(jù)像素顏色值，利用自適應(yīng)特征聚類神經(jīng)網(wǎng)絡(luò)和模糊加權(quán)決策樹相結(jié)合的方法對(duì)果實(shí)表面缺陷進(jìn)行檢測(cè)。實(shí)驗(yàn)結(jié)果認(rèn)為該方法優(yōu)于傳統(tǒng)的檢測(cè)方法。2001年，南京農(nóng)業(yè)大學(xué)的張瑞合等[24]對(duì)自然環(huán)境下番茄的識(shí)別與定位進(jìn)行了研究，他們根據(jù)顏色特征識(shí)別番茄，利用雙目立體視覺從兩幅二維圖像中恢復(fù)出番茄的三維空間坐標(biāo)，實(shí)驗(yàn)結(jié)果認(rèn)為當(dāng)目標(biāo)距離為300～400mm時(shí)，深度誤差可以控制在3％～4％。2002年，中國農(nóng)業(yè)大學(xué)的孫明等[25]提出利用計(jì)算機(jī)視覺識(shí)別蘿卜幼苗。該方法首先突出圖像中各像素的綠色顏色分量，然后結(jié)合亮度信息，采用最大方差自動(dòng)取閾值等方法識(shí)別目標(biāo)。2005年，江蘇大學(xué)的蔡健榮等[26]將RGB顏色空間轉(zhuǎn)換到球形HIS顏色系統(tǒng)，并利用Otsu算法自動(dòng)獲取分割閾值，以成熟的西紅柿為對(duì)象，根據(jù)水果的顏色信息和形態(tài)信息能夠識(shí)別出成熟水果，但對(duì)有遮擋或果實(shí)重疊的情況研究較少。綜上所述，國內(nèi)對(duì)機(jī)器視覺在農(nóng)產(chǎn)品收獲和加工中的應(yīng)用進(jìn)行了大量的研究，但和國外仍存在一定差距，特別是在農(nóng)產(chǎn)品收獲應(yīng)用方面，國內(nèi)的研究很有限。為了趕超國外先進(jìn)水平，早日實(shí)現(xiàn)我國農(nóng)業(yè)生產(chǎn)自動(dòng)化，必須進(jìn)一步開展廣泛和深入的研究。 研究?jī)?nèi)容和方法根據(jù)國內(nèi)外研究狀況，基于雙目立體視覺對(duì)自然環(huán)境下植株上的果實(shí)和障礙物進(jìn)行識(shí)別并確定其位置的構(gòu)想是可行的，本研究以柑橘為研究對(duì)象，以兩個(gè)光軸平行的同型號(hào)CCD攝像頭構(gòu)成雙目立體視覺系統(tǒng)，對(duì)大棚和田間生長(zhǎng)的成熟柑橘分別在不同時(shí)間、不同天氣下進(jìn)行圖像采集，基于VC++，運(yùn)用相關(guān)的圖像處理算法及空間測(cè)距理論，對(duì)處理結(jié)果進(jìn)行分析和計(jì)算，從而達(dá)到識(shí)別和定位的目的。本研究的主要內(nèi)容如下： 柑橘果實(shí)定位選擇合適的顏色系統(tǒng)，對(duì)圖像中目標(biāo)和背景進(jìn)行合理分割，研究受環(huán)境影響較小的分割方法；對(duì)分割出的圖像目標(biāo)區(qū)域，采用有效的特征識(shí)別方法，力求準(zhǔn)確快速提取目標(biāo)區(qū)域特征，為立體匹配和空間定位做準(zhǔn)備；使用正確的立體匹配方法對(duì)左右圖像的果實(shí)區(qū)域進(jìn)行匹配，根據(jù)匹配的結(jié)果計(jì)算果實(shí)的空間位置，將計(jì)算的結(jié)果同實(shí)際位置相比較，從而調(diào)整相應(yīng)算法，以達(dá)到準(zhǔn)確定位。 障礙物檢測(cè)主要步驟和果實(shí)定位相同，根據(jù)柑橘收獲機(jī)器人機(jī)械手自動(dòng)采摘過程中遇到的樹枝等主要障礙物的特點(diǎn)，研究對(duì)于障礙物的分割和提取方法，針對(duì)樹枝的多樣性的特點(diǎn)，研究有效的特征提取、立體匹配和三維重建方法恢復(fù)樹枝三維信息，本文提出了相應(yīng)的解決方案。 本章小結(jié)本章首先介紹了研究的目的和意義，然后對(duì)國內(nèi)外研究情況做了介紹，最后簡(jiǎn)要的提出了本研究的主要內(nèi)容。第二章 雙目立體視覺系統(tǒng)簡(jiǎn)介眾所周知，人們從外界環(huán)境獲取的信息中，80%來自于視覺，其他來自于觸覺、聽覺、嗅覺等感覺器官。當(dāng)人的眼睛從自己周圍的環(huán)境獲取大量信息，并傳入大腦后，由大腦根據(jù)知識(shí)或經(jīng)驗(yàn)，對(duì)信息進(jìn)行加工、推理等處理工作，最后識(shí)別、理解周圍環(huán)境，包括環(huán)境內(nèi)的對(duì)象物，如物體間的相對(duì)位置、形狀、大小、顏色、紋理、運(yùn)動(dòng)還是靜止等。計(jì)算機(jī)視覺就是用計(jì)算機(jī)模擬人眼的視覺功能，從圖像或圖像序列中提取信息，對(duì)客觀世界的三維景物和物體進(jìn)行形態(tài)和運(yùn)動(dòng)識(shí)別。計(jì)算機(jī)視覺研究的目的之一就是要尋找人類視覺規(guī)律，從而開發(fā)出從圖像輸入到自然景物分析的圖像理解系統(tǒng)。目前許多計(jì)算機(jī)視覺專家都是在馬爾(Marr)創(chuàng)立的視覺計(jì)算理論框架下探索。美國麻省理工學(xué)院人工智能實(shí)驗(yàn)室的馬爾教授認(rèn)為，視覺可分為三個(gè)階段，第一階段是早期視覺，其目的是抽取觀察者周圍景物表面的物理特性，如距離、表面方向、材料特性(反射、顏色、紋理)等，具體來說包括邊緣檢測(cè)、雙目立體匹配、由陰影確定形狀、由紋理確定形狀、光流計(jì)算等；第二階段是二維半簡(jiǎn)圖或本征圖像，它是在以觀察者為中心的坐標(biāo)系中描述表面的各種特性，根據(jù)這些描述可以重建物體邊界、按表面和體積分割景物，但在以觀察者為中心的坐標(biāo)系中只能得到可見表面的描述，得不到遮擋表面的描述，故稱二維半簡(jiǎn)圖；第三階段是二維模型，視覺信息處理的最后一個(gè)層次，是用二維半簡(jiǎn)圖中得到的表面信息建立適用于視覺識(shí)別的三維形狀描述，這個(gè)描述應(yīng)該與觀察者的視角無關(guān)，也就是在以物體為中心的坐標(biāo)系中，以各種符號(hào)關(guān)系和幾何結(jié)構(gòu)描述物體的三維結(jié)構(gòu)和空間關(guān)系。 盡管馬爾視覺計(jì)算理論在解決具體問題時(shí)遇到了困難，但可以說，計(jì)算機(jī)視覺有了長(zhǎng)足的發(fā)展，其主流是沿著馬爾所指出的方向取得的。根據(jù)以上的馬爾視覺理論，可以將計(jì)算機(jī)視覺分為二維視覺和三維也就是立體視覺。二維視覺是把輸入圖像轉(zhuǎn)換成具有所希望特性的另一幅圖像，例如濾波、銳化、圖像相加等；或者提取圖像的某些特征，例如邊緣提取、圖象分割等。立體視覺研究最多的是馬爾提出的雙目立體視覺，由于立體視覺很多處理要以二維視覺為基礎(chǔ)，如圖象分割、特征提取等。因此，可以認(rèn)為立體視覺的研究包括了對(duì)二維視覺信息的研究，這里主要介紹雙目立體視覺。雙目立體視覺是計(jì)算機(jī)視覺的一個(gè)重要分支，它由不同位置的兩臺(tái)或者一臺(tái)攝像機(jī)經(jīng)過移動(dòng)或旋轉(zhuǎn)拍攝同一幅場(chǎng)景，通過計(jì)算空間點(diǎn)在兩幅圖像中視差，獲得該點(diǎn)的三維坐標(biāo)值。馬爾提出了一種視覺計(jì)算理論并應(yīng)用在雙眼匹配上，使兩張有視差的平面圖產(chǎn)生有深度的立體圖形，奠定了雙目立體視覺發(fā)展的理論基礎(chǔ)。相比其他類的體視方法，如透鏡板三維成像、投影式三維顯示、全息照相術(shù)等，雙目體視直接模擬人類雙眼處理景物的方式，可靠簡(jiǎn)便，在許多領(lǐng)域均極具應(yīng)用價(jià)值，如微操作系統(tǒng)的位姿檢測(cè)與控制、機(jī)器人導(dǎo)航與航測(cè)、三維測(cè)量學(xué)及虛擬現(xiàn)實(shí)等[27]。雙目體視技術(shù)的實(shí)現(xiàn)可分為以下步驟：圖像獲取、攝像機(jī)標(biāo)定、特征提取、圖像匹配和三維重建，下面對(duì)各個(gè)步驟作簡(jiǎn)要介紹。圖像獲取，雙目體視的圖像獲取是由不同位置的兩臺(tái)或者一臺(tái)攝像機(jī)(CCD)經(jīng)過移動(dòng)或旋轉(zhuǎn)拍攝同一幅場(chǎng)景，獲取立體圖像對(duì)，兩CCD平行放置或者成50176。到80176。之間的夾角。攝像機(jī)的標(biāo)定，對(duì)雙目體視而言，CCD攝像機(jī)、數(shù)碼相機(jī)是利用計(jì)算機(jī)技術(shù)對(duì)物理世界進(jìn)行重建前的基本測(cè)量工具，對(duì)它們的標(biāo)定是實(shí)現(xiàn)立體視覺基本而又關(guān)鍵的一步。通常先采用單攝像機(jī)的標(biāo)定方法，分別得到兩個(gè)攝像機(jī)的內(nèi)、外參數(shù)，再通過同一世界坐標(biāo)中的一組定標(biāo)點(diǎn)來建立兩個(gè)攝像機(jī)之間的位置關(guān)系。特征點(diǎn)提取，立體像對(duì)中需要提取的特征點(diǎn)應(yīng)滿足以下要求：與傳感器類型及抽取特征所用技術(shù)等相適應(yīng)，具有足夠的魯棒性和一致性。在進(jìn)行特征點(diǎn)像的坐標(biāo)提取前，需對(duì)獲取的圖像進(jìn)行預(yù)處理，因?yàn)樵趫D像獲取過程中，存在一系列的噪聲源，通過此處理可顯著改進(jìn)圖像質(zhì)量，使圖像中特征點(diǎn)更加突出。立體匹配，立體匹配是雙目體視中最關(guān)鍵、困難的一步。與普通的圖像配準(zhǔn)不同，立體像對(duì)之間的差異是由攝像時(shí)觀察點(diǎn)的不同引起的，而不是由其它如景物本身的變化、運(yùn)動(dòng)所引起的。根據(jù)匹配基元的不同，立體匹配可分為區(qū)域匹配、特征匹配和相位匹配三大類。三維重建，在得到空間任一點(diǎn)在兩個(gè)圖像中的對(duì)應(yīng)坐標(biāo)和兩攝像機(jī)參數(shù)矩陣的條件下，即可進(jìn)行空間點(diǎn)的重建。通過建立以該點(diǎn)的世界坐標(biāo)為未知數(shù)的4個(gè)線性方程，可以用最小二乘法求解得該點(diǎn)的世界坐標(biāo)。實(shí)際重建通常采用外極線約束法。空間點(diǎn)、兩攝像機(jī)的光心這三點(diǎn)組成的平面分別與兩個(gè)成像平面的交線稱為該空間點(diǎn)在這兩個(gè)成像平面中的極線。一旦兩攝像機(jī)的內(nèi)外參數(shù)確定，就可通過兩個(gè)成像平面上的極線的約束關(guān)系建立對(duì)應(yīng)點(diǎn)之間的關(guān)系，并由此聯(lián)立方程，求得圖像點(diǎn)的世界坐標(biāo)值。對(duì)圖像的全像素的三維重建目前僅能針對(duì)某一具體目標(biāo)，計(jì)算量大且效果不明顯，因此通常使用提取圖像中目標(biāo)區(qū)域的特征，通過對(duì)圖像對(duì)中區(qū)域特征的處理達(dá)到目標(biāo)三維重建的目的。本研究選用雙目立體視覺系統(tǒng)主要基于以下考慮：1)計(jì)算結(jié)果精度較高。[28]，可以達(dá)到要求；2)計(jì)算相對(duì)簡(jiǎn)單。由于雙目立體視覺系統(tǒng)中雙攝像機(jī)的參數(shù)彼此一致，光軸相互平行且垂直于基線(baseline通過兩攝像機(jī)光心的直線)，構(gòu)成一共極性(epipolar)結(jié)構(gòu)，這樣可以縮小對(duì)應(yīng)的搜索空間，只在水平方向存在視差(XlXr),從而簡(jiǎn)化了立體視覺中的匹配過程；3)價(jià)格比較便宜。雙目立體視覺系統(tǒng)不需要對(duì)光源做特殊控制，相比其它主動(dòng)的測(cè)距方法，它不需要專門的主動(dòng)光照射裝置，通常在自然光或一定環(huán)境光照明的條件下，由相距一定距離的兩個(gè)攝像機(jī)各自攝取目標(biāo)的圖像，找出空間物點(diǎn)在兩個(gè)圖像中的對(duì)應(yīng)點(diǎn)，就能得到點(diǎn)的距離信息。且系統(tǒng)的硬件組成比較簡(jiǎn)單，不需要昂貴的設(shè)備。 硬件組成 根據(jù)以上原理，本研究將兩個(gè)同型號(hào)的CCD攝像機(jī)平行安裝在攝像機(jī)架上，兩攝像機(jī)通過USB接口與同一臺(tái)電腦相連接構(gòu)成雙目立體視覺系統(tǒng)，如圖21所示，該系統(tǒng)的硬件部分主要由兩個(gè)相同型號(hào)的CCD攝像機(jī)、鏡頭、云臺(tái)（支架）、激光測(cè)距儀和計(jì)算機(jī)等設(shè)備構(gòu)成。CCD攝像頭用于圖像采集，激光測(cè)距儀用于精確測(cè)距進(jìn)行標(biāo)定和驗(yàn)證，計(jì)算機(jī)用于圖像處理。在本研究中，圖像采集主要在自然環(huán)境下進(jìn)行，沒有采用人工照明。圖21 機(jī)器視覺系統(tǒng)裝置示意圖 Image of devices of puter vision system在前期圖像識(shí)別研究中，為了圖像采集方便，使用數(shù)碼相機(jī)代替CCD攝像頭，在不同的天氣情況(晴天、陰天)和拍攝條件下(順光、逆光)對(duì)田間和盆景柑桔進(jìn)行圖像采集，后期的果實(shí)匹配和空間定位研究，利用雙目立體視覺采集圖像進(jìn)行匹配實(shí)驗(yàn)，確定柑橘和障礙物的空間位置。本研究硬件系統(tǒng)各部分介紹如下：數(shù)碼相機(jī)：nikon990數(shù)碼相機(jī)(最大分辨率：2048153位深：真彩24位、圖像格式：BMP)；CCD：美國Lumenera公司Lu075C型攝像頭(所采集圖像的有效尺寸：640480、最大幀頻率：60fps、與電腦的連接方式：USB接口)；鏡頭：日本Computar公司M0814MP和M1214MP兩種型號(hào)攝像頭(每種型號(hào)各兩個(gè)，焦距分別為8mm和12mm)；計(jì)算機(jī)：CPU為AMD公司Athlon(tm)64 Processor 3000+()型兼容機(jī)；激光測(cè)距儀：德國喜利得(Hilti)公司的PD 30 laser range meter；采集地點(diǎn)：鎮(zhèn)江市江心洲果林場(chǎng)（大田）、計(jì)算機(jī)視覺研究室（室內(nèi)）；采集時(shí)間：2007年1011月份，2008年1011月份。攝像頭支架為普通的攝像機(jī)支架，可調(diào)節(jié)攝像頭高度和拍攝角度，調(diào)節(jié)方式為手動(dòng)調(diào)節(jié)(自動(dòng)的調(diào)節(jié)支架正在開發(fā)中)，攝像頭安裝在有機(jī)玻璃板上，玻璃板上開有兩條窄槽可使兩攝像頭的基線長(zhǎng)度在6cm25cm之間調(diào)整。 相關(guān)圖像處理軟件果實(shí)定位及障礙物檢測(cè)所用算法在Microsoft VC++。 本章小結(jié)本章主要介紹了雙目立體視覺系統(tǒng)的原理、組成，同時(shí)介紹了本研究所用的硬件組成、軟件平臺(tái)及圖像采集的時(shí)間、地點(diǎn)、環(huán)境及方式。第三章 成熟柑橘果實(shí)定位 利用機(jī)器視覺進(jìn)行圖像識(shí)別，首先要選擇合適的特征，把要識(shí)別的目標(biāo)與背景區(qū)分開，然后運(yùn)用一些合適的分割方法，達(dá)到去除背景，識(shí)別目標(biāo)的目的?；跈C(jī)器視覺識(shí)別果實(shí)可劃分兩類：一是根據(jù)顏色或者灰度特征分割圖像、尋找果實(shí)；二是在圖像采集時(shí)使用濾波片或其它設(shè)備獲取較為簡(jiǎn)單的圖像，再根據(jù)形狀特征尋找果實(shí)[29,30]。圖像識(shí)別中所用的圖像是在自然光下采集得到，采集的地點(diǎn)分為田間和室內(nèi)，采集的時(shí)間段有上午、中午、下午，采集時(shí)的天氣情況有晴天、多云、陰天，采集的方式有順光和逆光等。圖像中的成熟柑橘為識(shí)別目標(biāo)，其余的都視為背景。圖像采集時(shí)，沒有對(duì)自然生長(zhǎng)的植物做特殊處理，因此背景極為復(fù)雜，背景中有柑橘植株上的葉子、莖、透過枝葉的天空和土壤、用于支持植株的木桿或者繩線等，其中葉子又有綠色和枯黃兩種，而圖像采集主要是在自然光下進(jìn)行，光照對(duì)采集到的圖像質(zhì)量有很大影響。光照太強(qiáng)會(huì)導(dǎo)致圖像失真，圖像上柑橘與背景區(qū)別不明顯，從而導(dǎo)致錯(cuò)誤的識(shí)別結(jié)果；光照太弱也會(huì)造成采集到的圖像上信息區(qū)分不明顯，同樣會(huì)造成錯(cuò)誤識(shí)別或降低識(shí)別精度。為了減少錯(cuò)誤識(shí)別和提高識(shí)別精度，本研究中在特征選擇和圖像處理方法上給以足夠重視，充分考慮各種情況，力求達(dá)到最佳效果。在目標(biāo)特征提取時(shí)，對(duì)于柑橘圖像中容易出現(xiàn)的遮擋和重疊等情況，本文對(duì)比了多種不同的特征識(shí)別方法，力求達(dá)到滿意的識(shí)別效果。 計(jì)算機(jī)視覺中的顏色表示人們可以根據(jù)顏色識(shí)別不同的物體或者物體的不同部分，但是顏色究竟是什么、如何準(zhǔn)確的鑒定、表示或者顯示顏色，卻不是一個(gè)簡(jiǎn)單的問題。大約60多年前，科學(xué)家們開始研究這些問題，并逐漸形成一門新的學(xué)科——色度學(xué)。色度學(xué)發(fā)展到現(xiàn)在，已經(jīng)出現(xiàn)了十多種用于表示顏色的模型，如RGB、HIS、HSV、YCbCr(亦稱YUV)、L*a*b*等，依據(jù)這些顏色模型，可以在不同領(lǐng)域方便的鑒定、使用顏色?？梢姽獾牟ㄩL(zhǎng)在400nm700nm，當(dāng)光譜采樣限制到三個(gè)人類視覺系統(tǒng)敏感的紅、綠、藍(lán)光波段時(shí)，對(duì)這三個(gè)光譜帶的光能量進(jìn)行采樣，就可以得到一幅彩色圖像。國際照明委員會(huì)(CIE)規(guī)定以700nm(紅)、(綠)、(藍(lán))三個(gè)色光為三基色(如圖31所示)。RGB模型是根據(jù)三基色原理建立起來的，是基本的顏色表示模型，其他的顏色表示模型都可通過RGB模型轉(zhuǎn)化得到。本研究中使用了目前數(shù)字圖像通常使用的RGB和HIS顏色系統(tǒng)。400nm700nm紅外光可見光區(qū)紫外光780nm圖31 三基色及其波長(zhǎng) Image of tricolor and their wavelengthRGB顏色模型是最常見的一種顏色空間(如圖32所示)。自然界的各種顏色都可以由紅(R)、綠(G)和藍(lán)(B)三基色加權(quán)混合而成，絕大多數(shù)彩色成像設(shè)備也采用該格式。RGB顏色系統(tǒng)是在三基色學(xué)說下建立起來的顏色系統(tǒng)。它通過改變?nèi)臄?shù)量，混合出其他各種顏色，可以用顏色方程()表示混合后的顏色： ()式中，C表示混合后的顏色；≡表示視覺上的相等，(R)、(G)、(B)表示紅、綠、藍(lán)三基色，R、G、B分別表示三基色的數(shù)量。所有的顏色，包括黑白系列的各種灰度、各種色調(diào)與飽和度的彩色，都可以用紅、綠、藍(lán)三原色混合而成，三原色的數(shù)量為三刺激值，這樣的色度學(xué)系