【正文】 垛和卸垛工業(yè)機(jī)器人 我國(guó)在基于機(jī)器視覺(jué)的工業(yè)機(jī)器人方面的研究狀況我國(guó)對(duì)計(jì)算機(jī)視覺(jué)的研究真正開(kāi)始是在改革開(kāi)放之后，并且在學(xué)術(shù)上迅速追趕國(guó)際水平，但作為工業(yè)視覺(jué)系統(tǒng)，必須有它的應(yīng)用市場(chǎng)，才能得以發(fā)展。該系統(tǒng)裝配有兩個(gè)M430iA 機(jī)器人手臂和可視跟蹤功能的食品、藥品操作系統(tǒng)，它的每只手臂每分鐘可以精確的撿起 120 件物品且可以每天 24 小時(shí)不間斷的工作。澳大利亞 Western 大學(xué)研制的 Australia’s Telerobot，它是一個(gè)帶有攝像機(jī)的具有六個(gè)自由度的工業(yè)機(jī)器人，用戶(hù)可以控制拍攝靜態(tài)圖像并對(duì)圖像進(jìn)行處理，生成空間位置，通過(guò)不斷拍攝和更新圖像得到空間位置后，通過(guò)對(duì)位置信息的處理實(shí)現(xiàn)了基于空間坐標(biāo)系的積木塊的擺設(shè)。此外，加拿大、比利時(shí)等國(guó)，在圖像采集、圖像處理等方面都具有豐富的經(jīng)驗(yàn)。日立中央研究所研制的具有自主控制功能的智能機(jī)器人，可以用來(lái)完成按圖裝配產(chǎn)品的作業(yè)。通用汽車(chē)公司開(kāi)發(fā)出可以在噪聲環(huán)境下工作的機(jī)器人視覺(jué)系統(tǒng)。以美國(guó)國(guó)家科學(xué)基金委員會(huì)為中心的實(shí)用視覺(jué)系統(tǒng)的研究飛速發(fā)展。美國(guó)在這方面開(kāi)展的較早，在20世紀(jì)70年代，美國(guó)GM公司試制了能識(shí)別傳送帶上機(jī)械零件的視覺(jué)檢查系統(tǒng)。70年代中期，麻省理工學(xué)院（MIT）人工智能（AI）實(shí)驗(yàn)室正式開(kāi)設(shè)“機(jī)器視覺(jué)”課，同時(shí)，MIT的AI實(shí)驗(yàn)室吸引了國(guó)際上許多知名學(xué)者參與機(jī)器視覺(jué)的理論、算法、系統(tǒng)設(shè)計(jì)的研究。60年代機(jī)器人產(chǎn)品正式問(wèn)世，機(jī)器人技術(shù)開(kāi)始形成。60 年代，Roberts 通過(guò)計(jì)算機(jī)程序從數(shù)字圖像中提取出諸如立方體、楔形體、棱柱體等多面體的三維結(jié)構(gòu)，并對(duì)物體形狀及物體的空間關(guān)系進(jìn)行描述。它將使傳統(tǒng)的工業(yè)生產(chǎn)面貌發(fā)生巨大變化，對(duì)人類(lèi)社會(huì)的生活和生產(chǎn)產(chǎn)生深遠(yuǎn)的影響。由于具有以上這些優(yōu)點(diǎn)，基于視覺(jué)的智能機(jī)器人具有廣闊的發(fā)展空間。視覺(jué)是人類(lèi)觀察世界和認(rèn)知世界的重要手段。但是我們知道很多情況下特別是流水線的場(chǎng)合工件的位姿常常是不固定的，實(shí)際目標(biāo)物體的位姿與理想目標(biāo)物體位姿總是有偏差的，這種偏差哪怕很小就會(huì)導(dǎo)致機(jī)器人操作任務(wù)的失敗。機(jī)器人技術(shù)的內(nèi)涵已變?yōu)椤办`活應(yīng)用機(jī)器人技術(shù)的、具有實(shí)在動(dòng)作功能的智能化系統(tǒng)。在機(jī)器人基礎(chǔ)技術(shù)和關(guān)鍵技術(shù)方面都取得了巨大進(jìn)展，科技成果已經(jīng)在實(shí)際工作中得到轉(zhuǎn)化。這些產(chǎn)品代表著當(dāng)今世界工業(yè)機(jī)器人的最高水平。工業(yè)機(jī)器人在生產(chǎn)中主要有機(jī)器人工作單元和機(jī)器人工作生產(chǎn)線這兩種應(yīng)用方式，并且在國(guó)外，機(jī)器人工作生產(chǎn)線已經(jīng)成為工業(yè)機(jī)器人主要的應(yīng)用方式?！毖邪l(fā)工業(yè)機(jī)器人的初衷是為了使工人能夠從單調(diào)重復(fù)作業(yè)、危險(xiǎn)惡劣環(huán)境作業(yè)中解脫出來(lái)，但近些年來(lái)，工廠和企業(yè)引進(jìn)工業(yè)機(jī)器人的主要目的則更多地是為了提高生產(chǎn)效率和保證產(chǎn)品質(zhì)量?；跈C(jī)器視覺(jué)的工件識(shí)別和定位文獻(xiàn)綜述1. 前言 工業(yè)機(jī)器人的現(xiàn)狀與發(fā)展趨勢(shì) 機(jī)器人作為一種最典型的應(yīng)用范圍廣、技術(shù)附加值高的數(shù)字控制裝備，在現(xiàn)代先進(jìn)生產(chǎn)制造業(yè)中發(fā)揮的作用越來(lái)越重要，機(jī)器人技術(shù)的發(fā)展將會(huì)對(duì)未來(lái)生產(chǎn)和社會(huì)發(fā)展起到強(qiáng)有力的推動(dòng)作用。因?yàn)闄C(jī)器人的使用壽命很長(zhǎng)，大都在 10 年以上，并且可以全天后不間斷的保持連續(xù)、高效地工作狀態(tài)，因此被廣泛應(yīng)用于各行各業(yè)，主要進(jìn)行焊接、裝配、搬運(yùn)、加工、噴涂、碼垛等復(fù)雜作業(yè)。以機(jī)器人為核心的自動(dòng)化生產(chǎn)線適應(yīng)了現(xiàn)代制造業(yè)多品種、少批量的柔性生產(chǎn)發(fā)展方向，具有廣闊的市場(chǎng)發(fā)展前景和強(qiáng)勁生命力，已開(kāi)發(fā)出多種面向汽車(chē)、電氣機(jī)械等行業(yè)的自動(dòng)化成套裝備和生產(chǎn)線產(chǎn)品。我國(guó)的工業(yè)機(jī)器人前期發(fā)展比較緩慢。以沈陽(yáng)新松機(jī)器人為代表的國(guó)內(nèi)機(jī)器人自主品牌已迅速崛起并逐步縮小與國(guó)際品牌的技術(shù)差距。”目前，工業(yè)機(jī)器人技術(shù)正在向智能機(jī)器和智能系統(tǒng)的方向發(fā)展，其發(fā)展趨勢(shì)主要為：結(jié)構(gòu)的模塊化和可重構(gòu)化；控制技術(shù)的開(kāi)放化、PC 化和網(wǎng)絡(luò)化；伺服驅(qū)動(dòng)技術(shù)的數(shù)字化和分散化；多傳感器融合技術(shù)的實(shí)用化；工作環(huán)境設(shè)計(jì)的優(yōu)化和作業(yè)的柔性化以及系統(tǒng)的網(wǎng)絡(luò)化和智能化等方面。這種由于環(huán)境的變化而導(dǎo)致機(jī)器人不能很好地完成任務(wù)的情況極大地限制了機(jī)器人的實(shí)際應(yīng)用范圍。據(jù)統(tǒng)計(jì)表明，人類(lèi)從外部世界獲得的信息約有 80％的信息是通過(guò)視覺(jué)或視覺(jué)傳感器而獲取的，這既說(shuō)明了視覺(jué)信息量大，也表明了人類(lèi)對(duì)視覺(jué)信息有較高的利用率，同時(shí)也體現(xiàn)了人類(lèi)視覺(jué)功能的重要性。因而使用視覺(jué)來(lái)提高機(jī)器人的智能水平，具有重要的現(xiàn)實(shí)意義和研究?jī)r(jià)值。目前國(guó)內(nèi)外都在競(jìng)相開(kāi)展有關(guān)機(jī)器人視覺(jué)的基礎(chǔ)理論、基本技術(shù)以及應(yīng)用方面的研究工作。Roberts的研究工作開(kāi)創(chuàng)了以理解三維場(chǎng)景為目的的三維機(jī)器視覺(jué)的研究。1961年MIT的Lincoln實(shí)驗(yàn)室開(kāi)始把一個(gè)配有接觸傳感器的遙控操縱器的從動(dòng)部分與一臺(tái)計(jì)算機(jī)連接起來(lái)，這樣形成的機(jī)器人可以憑觸覺(jué)感知物體的狀態(tài)。David Marr教授應(yīng)邀于1973年到該實(shí)驗(yàn)室領(lǐng)導(dǎo)一個(gè)以博士生為主體的研究小組。到了80年代，由于微處理器的普及，各行業(yè)對(duì)視覺(jué)系統(tǒng)都表現(xiàn)出了極大的興趣。在日本的國(guó)家產(chǎn)業(yè)政策中，也把大力發(fā)展實(shí)用視覺(jué)系統(tǒng)放在了首要地位，進(jìn)入90年代以后，在電子、汽車(chē)、制藥、食品等高效、勞動(dòng)密集的生產(chǎn)線上，工業(yè)視覺(jué)系統(tǒng)已是不可缺少的一部分，起到了人眼所不能起的作用，有力地保證了產(chǎn)品質(zhì)量。Adept 公司是全球知名的工業(yè)機(jī)器人制造公司，它在研制第一代機(jī)器人的時(shí)候就考慮了加入視覺(jué)系統(tǒng)，因此在二十幾年的發(fā)展過(guò)程中，獲得了豐富的經(jīng)驗(yàn)和比較成熟的技術(shù)，使得其成為美國(guó)最大的工業(yè)機(jī)器人制造公司。德國(guó)Siemens 公司在工業(yè)圖像處理方面擁有超過(guò) 20 年的經(jīng)驗(yàn)積累，SIMATIC VIDEOMAT 是第一個(gè)高性能的單色和彩色圖像處理系統(tǒng)，并成為SIMATIC自動(dòng)化系統(tǒng)中極重要的產(chǎn)品。 國(guó)外機(jī)器人制造商生產(chǎn)的視覺(jué)工業(yè)機(jī)器人產(chǎn)品伴隨著科技的進(jìn)步和生產(chǎn)技術(shù)的發(fā)展，基于機(jī)器視覺(jué)技術(shù)的工業(yè)機(jī)器人的研究越來(lái)越得到廣泛的關(guān)注，并且已經(jīng)出現(xiàn)一大批科技成果，并在實(shí)際生產(chǎn)中得到了很好的應(yīng)用。歐寶、保時(shí)捷等知名品牌汽車(chē)的生產(chǎn)線，使用了 12 臺(tái)攝像機(jī)進(jìn)行模式識(shí)別和 3D 定位，可以對(duì)車(chē)身進(jìn)行高精度的密封生產(chǎn)。瑞典 ABB 公司最新推出的“第二代”拾取機(jī)器人 FlexPicker IRB360（圖 所示），擁有有效載荷更大、操作速度更快、占地面積更小等優(yōu)勢(shì)，在簡(jiǎn)單有效的 2D 視覺(jué)的幫助下，可以以高達(dá) 2 次/秒的速度快速撿取傳送帶上的物品。改革開(kāi)放后，視覺(jué)系統(tǒng)檢查往往被忽略，這是造成產(chǎn)品不穩(wěn)定的因素之一。北京航空航天大學(xué)孟偲等人提出一種基于手眼視覺(jué)的測(cè)量與定位方法，可以判斷未知目標(biāo)物體是否可抓持以及為進(jìn)行抓持規(guī)劃提供有效依據(jù)。華中理工大學(xué)劉延林研究了在零件設(shè)計(jì)信息指導(dǎo)下，利用 CCD 攝像機(jī)獲取的工件毛坯圖像識(shí)別工件毛坯及其安裝狀態(tài)，但其實(shí)驗(yàn)系統(tǒng)識(shí)別精度不夠高，實(shí)驗(yàn)方案在實(shí)際自動(dòng)加工中也欠實(shí)用。這些新的理論和算法都為視覺(jué)系統(tǒng)在柔性制造系統(tǒng)中的應(yīng)用打下了很好的基礎(chǔ)。因此，研究機(jī)器視覺(jué)和機(jī)器人相結(jié)合的技術(shù)，無(wú)論從理論上看，還是從實(shí)際出發(fā)，都有其深入系統(tǒng)地研究的必要性。采集過(guò)程可簡(jiǎn)單描述為在光源提供照明的條件下，數(shù)字?jǐn)z像機(jī)拍攝目標(biāo)物體并將其轉(zhuǎn)化為圖像信號(hào)，最后通過(guò)圖像采集卡傳輸給圖像處理部分，如圖 21 所示。圖 21 圖像采集過(guò)程框圖 圖 22 圖像預(yù)處理和邊緣特征提取過(guò)程框圖 圖像獲取圖像獲取也就是圖像的數(shù)字化過(guò)程，即將圖像采集到計(jì)算機(jī)中的過(guò)程。因?yàn)橛?jì)算機(jī)只能處理數(shù)字而不是圖片，所以一幅圖像在用計(jì)算機(jī)進(jìn)行處理前必須先轉(zhuǎn)化為數(shù)字形式。所謂量化就是將每個(gè)像素的亮暗程度用一個(gè)整數(shù)值來(lái)表示，即像素的灰度離散化。 圖像的灰度化由攝像機(jī)和采集卡獲取的圖像是彩色圖像，而我們知道彩色圖像色彩豐富，包含信息量大，圖像處理速度較慢。在數(shù)字化的圖像中，若R、G、B量化的程度越細(xì)，則圖像的色彩越豐富，對(duì)圖像的描述就越精確。但是當(dāng)圖像的三基色比例相差較大時(shí)，此時(shí)從三路采集的灰度圖像的信息量相差較大。由于人的視覺(jué)系統(tǒng)對(duì)彩色色度的感覺(jué)和亮度的敏感性是不同的，因此產(chǎn)生了不同的彩色空間表示。最簡(jiǎn)單的灰度圖像是 01 灰度圖像，即：每一點(diǎn)的灰度值只有 2 級(jí)，0、1 在視覺(jué)上就是黑和白，沒(méi)有中間過(guò)渡顏色。 對(duì)比度增強(qiáng)在圖片中經(jīng)常會(huì)出現(xiàn)對(duì)比度不夠的情況，這可能是由于圖片記錄裝置的動(dòng)態(tài)范圍大小所致，也可能是由于攝像過(guò)程中的原先曝光不足所造成的。對(duì)比度增強(qiáng)又叫點(diǎn)運(yùn)算，一般用來(lái)擴(kuò)大圖像的灰度范圍。比較典型的是線性變換。其中（1）、（2）比較常用。]，線性變換的原理示意圖如圖 所示，計(jì)算公式如式（）所示。 線性變換前后的圖像對(duì)比b． 直方圖均衡化灰度直方圖反映了數(shù)字圖像中每一灰度級(jí)與其出現(xiàn)像素頻率間的統(tǒng)計(jì)關(guān)系。 直方圖均衡化是通過(guò)對(duì)原圖像進(jìn)行某種變換，使原圖像的灰度直方圖修正為均勻布的直方圖的一種方法。圖像中比較常見(jiàn)的噪聲有椒鹽噪聲、高斯噪聲等。顯然，由于圖像邊緣信息也屬于高頻信息，因此在減少隨機(jī)噪聲影響的同時(shí)，平滑過(guò)程將會(huì)導(dǎo)致邊緣模糊化。圖像平滑濾波的方法主要有空域法和頻域法兩大類(lèi)。同一模式的權(quán)重因子可以作用在每一個(gè)窗口內(nèi)，也就意味著線性濾波器是空間不變的，這樣就可以使用卷積模板來(lái)實(shí)現(xiàn)濾波。假定有一幅N N個(gè)像素的圖像 f ( x , y )，平滑后得到的圖像為g(x,y),則有：g(x,y)=其中 x ,y = 0,1,2, , N? 1；S 是( x ,y)點(diǎn)鄰域中點(diǎn)的坐標(biāo)的集合，不包括( x ,y)。b． 中值濾波中值濾波是一種非線性濾波技術(shù)，由于實(shí)際計(jì)算過(guò)程中并不需要圖像的統(tǒng)計(jì)特性，所以比較方便。一維的情況下，中值濾波器是一個(gè)含有奇數(shù)個(gè)像素的窗口。如果 200 是一個(gè)噪聲的尖峰，則將被濾除。在實(shí)際使用中，窗口的尺寸一般是先試用長(zhǎng)度為3的窗口對(duì)信號(hào)進(jìn)行處理，若無(wú)明顯信號(hào)損失，再把窗口延長(zhǎng)到 5，對(duì)原圖作中值濾波，直到既有較好的噪聲濾除的效果，又不過(guò)分損害圖像細(xì)節(jié)為止。一般33 模板中值濾波效果要比 55模板中值濾波效果好。這種函數(shù)的表達(dá)式為：其中，σ 是高斯函數(shù)的均方差，它控制著平滑效果。高斯卷積模板對(duì)圖像高頻噪聲有較好的抑制作用，同時(shí)又使得圖像特征變得模糊，且隨著σ 值增大，模糊程度越大。它主要存在于目標(biāo)與目標(biāo)、目標(biāo)與背景、區(qū)域與區(qū)域之間，是圖像分割、紋理特征提取和形狀特征提取等圖像分析的重要基礎(chǔ)。邊緣檢測(cè)的方法國(guó)內(nèi)外研究的比較多，各種成熟的算法也有很多，如 Sobel算子、Prewitt 算子、Canny 算子等，這些算子各有優(yōu)缺點(diǎn)。b．Sobel 算子Sobel 算子對(duì)灰度漸變和噪聲較多的圖像處理得較好。h1= h2=Sobel 算子通常用于水平和垂直邊緣的一個(gè)簡(jiǎn)單檢測(cè)子，如果h1的響應(yīng)是y，h2的響應(yīng)是x，則我們可以根據(jù)下式得出強(qiáng)度（幅值）：，且方向是。GX= GY=d． Log 算子在介紹 Log 算子之前，先介紹拉普拉斯算子。這里對(duì)模板的基本要求是對(duì)應(yīng)中心像素的系數(shù)應(yīng)是負(fù)的，而對(duì)應(yīng)中心像素鄰近像素的系數(shù)應(yīng)是正的，且它們的和應(yīng)該為零。e． Canny 算子Canny算子是由高斯函數(shù)的一階導(dǎo)數(shù)構(gòu)成的，是對(duì)信噪比與定位之乘積的最優(yōu)化逼近算子。 平滑后數(shù)據(jù)陣列 S [i , j ]使用一階導(dǎo)數(shù)算子來(lái)增強(qiáng)圖像空間的邊緣信息，得到 x ,y偏導(dǎo)數(shù)的兩個(gè)陣列 P[ i , j ]， S [i , j ]，然后計(jì)算其幅值和方向角，如式： 幅值圖像陣列 M [i , j ]的值越大，其對(duì)應(yīng)的圖像梯度值也越大，這還不足以確定物體的邊緣。這一過(guò)程可以把 M [i , j ]寬屋脊帶細(xì)化成只有一個(gè)像素點(diǎn)寬的圖像 N [i , j ]。3. 基于圖像匹配的工件識(shí)別 引言通過(guò)圖像預(yù)處理和邊緣特征提取等有效圖像處理后得到了零件的二值化邊緣，這些邊緣除了噪聲點(diǎn)和偽邊緣點(diǎn)外，基本上組成一個(gè)一個(gè)的目標(biāo)區(qū)域。 圖像識(shí)別的一般流程，如圖 所示，由模型庫(kù)、圖像信息獲取、圖像預(yù)處理、特征檢測(cè)器和匹配、分類(lèi)組成。由于原始圖像存在著許多噪聲和畸變，所以預(yù)處理的目的去除干擾、噪聲及差異，將原始圖像變成適合于計(jì)算機(jī)進(jìn)行特征提取的形式。 圖像識(shí)別的一般方法及存在的問(wèn)題 圖像識(shí)別的方法很多，大體上可以歸納為：統(tǒng)計(jì)圖像識(shí)別、結(jié)構(gòu)圖像識(shí)別、模糊集圖像識(shí)別、圖像匹配識(shí)別。常用的方法有：歸一化互相關(guān)算法、基于統(tǒng)計(jì)矩的匹配方法、基于 FFT（頻率域）的頻域相關(guān)算法，包括相位相關(guān)和功率譜相關(guān)算法、矩匹配、灰度投影算法等。通常使用的特征有：邊緣、骨架線條、角點(diǎn)等物體的形狀特征