【正文】 相當(dāng)?shù)碾y度，是機(jī)器人領(lǐng)域中具有挑戰(zhàn)性的課題。 總之，智能機(jī)器人視覺(jué)伺服控制的研究，是一個(gè)具有重要理論意義和廣闊的工業(yè)應(yīng)用前景的基礎(chǔ)性研究課題。早期的“ static look then move”模型本身并不具有實(shí)際意義，但卻為機(jī)器人視覺(jué)伺服的研究奠定了基礎(chǔ)。 近年來(lái)，隨著圖像處理器件和計(jì)算機(jī)性能的不斷提高，機(jī)器人視覺(jué)技術(shù)也取得了長(zhǎng)足的進(jìn)步，視覺(jué)伺服獲得了迅猛的發(fā)展。 (1)眼固定型 ：攝像機(jī)固定在機(jī)器人空間中某個(gè)位置，如正上方或斜側(cè)方等，具有固定的圖像分辨率，并可同時(shí)獲得機(jī)械 臂及其工作環(huán)境的全局圖像信息，便于將視覺(jué)系統(tǒng)集成到控制中。但是，攝像機(jī)的運(yùn)動(dòng)容易造成圖像模糊，給圖像特征的準(zhǔn)確提取帶來(lái)一定的困難。 (1)單閉環(huán)系統(tǒng)（ direct visual servoing） (見(jiàn)圖 11)：取消了關(guān)節(jié)伺服控制器和關(guān)節(jié)位置反饋回路，其功能由視覺(jué)伺服控制器取代。 圖 11 單閉環(huán)視覺(jué)伺服系統(tǒng) (2)雙閉環(huán)系統(tǒng)（ look and move） (見(jiàn)圖 12)：其中內(nèi)環(huán)為關(guān)節(jié)伺服控制，可實(shí)現(xiàn)高速率采樣，通過(guò)關(guān)節(jié)位置反饋來(lái)穩(wěn)定機(jī)器人，從而獲得近似 線性的機(jī)器人對(duì)象特征。本文所討論的機(jī)器人系統(tǒng)也采用這種控制方式。該方式的控制精度在很大程度依賴(lài)于目標(biāo)位姿的估計(jì)精度，但位姿估計(jì)與手眼系統(tǒng)參數(shù)標(biāo)定密切相關(guān)，因此要保證這一估計(jì)過(guò)程的準(zhǔn)確度是十分困難的。 3)將位姿估計(jì)問(wèn)題從機(jī)器人視覺(jué)控制器設(shè)計(jì)問(wèn)題中分離出來(lái)，首先根據(jù)從各種傳感器得到的信息計(jì)算出目標(biāo)相對(duì)于機(jī)器人末端執(zhí)行器的位姿，然后在此基礎(chǔ)上進(jìn)行機(jī)器人控制器的設(shè)計(jì)。 2)對(duì)系統(tǒng)標(biāo)定誤差敏感。對(duì)于抓取靜止目標(biāo)的任務(wù)，該誤差僅是機(jī)械手圖像特征的函數(shù)；若是跟蹤運(yùn)動(dòng)目標(biāo)，誤差同時(shí)還是運(yùn)動(dòng)目標(biāo)圖像特征的函數(shù)。許多機(jī)器人視覺(jué)伺服系統(tǒng)利用了這個(gè)優(yōu)點(diǎn)，例如將之應(yīng)用于圖像平面軌跡跟蹤 【 7】 。 3)跟蹤過(guò)程中圖像雅可比矩陣可能存在奇異值，使系統(tǒng)不穩(wěn)定。 這種伺服結(jié)構(gòu)的主要不足之處是： 1)需要在線實(shí)時(shí)計(jì)算圖像間的單應(yīng)性矩陣并對(duì)其進(jìn)行 分解，算法復(fù)雜、計(jì)算量比較大。文獻(xiàn) 【 10】通過(guò)數(shù)學(xué)分析與仿真研究指出 :對(duì)于固定安裝的攝象機(jī)系統(tǒng)，基于位置與基于圖象的控制方式具有相同的跟蹤結(jié)果。 早期視覺(jué)伺服中用到的多是簡(jiǎn)單的局部幾何特征，如點(diǎn)、線、圓圈、矩形、區(qū)域面積等以及它們的組合特征。于是全局圖像特征開(kāi)始被 應(yīng)用于視覺(jué)控制，常用的全局特征有特征向量、幾何矩、傅立葉描述 等。如特征點(diǎn)、線段、面積、質(zhì)心和高階矩等等。換句話說(shuō)目標(biāo)位姿的變化和圖像特征的變化要滿足一一映射。其中手眼關(guān)系的標(biāo)定精度對(duì)系統(tǒng)最終控制性能的影響尤為明顯。由于以下原因，這種基于標(biāo)定的機(jī)器人視覺(jué)伺服方法受到了很大限制： (1)由于多種因素的影響，即使理論上精度很高的標(biāo)定算法在實(shí)際中也難以得到控制和系統(tǒng)性能所要求的模型； (2)系統(tǒng)的標(biāo)定結(jié)果只有在標(biāo)定條件成立時(shí)才有效。 無(wú)標(biāo)定方法是人們?cè)谘芯繖C(jī)器人視覺(jué)伺服過(guò)程中，為了克服基于標(biāo)定方法的弊端而提出的。根據(jù)所使用的描述系統(tǒng)非線性模型以及解決未建模動(dòng)態(tài)的方法的不同，現(xiàn)有無(wú)標(biāo)定視覺(jué)伺服的研究方法大致可分為以下三類(lèi)：基于圖像雅可比矩陣的方法，神經(jīng)網(wǎng)絡(luò)擬合手眼關(guān)系方法和 ADRC 系統(tǒng)未建模動(dòng)態(tài)補(bǔ)償方法。神經(jīng)網(wǎng)絡(luò)能夠比較準(zhǔn)確的擬合機(jī)器人手眼之間的非線性映射關(guān)系，但它的缺點(diǎn)是必須進(jìn)行大量的樣本學(xué)習(xí)，并不能顯示出其相對(duì)于傳統(tǒng)有標(biāo)定方法的優(yōu)越性。動(dòng)態(tài)任務(wù)環(huán)境對(duì)手眼系統(tǒng)的視覺(jué)處理速度，算法的效率 等提出了更高的要求，目前這方面的研究還處于起步階段。分析了圖像雅可比矩陣的定義 、 特點(diǎn) ，攝像機(jī)模型，機(jī)器人模型 以及其在 MATLAB 環(huán)境下基于眼在手和眼固定 兩種配置 的仿真。 第四章介紹了機(jī)器人視覺(jué)伺服實(shí)驗(yàn)系統(tǒng)，給出了整個(gè)系統(tǒng)的結(jié)構(gòu)及工作流程，逐一分析了各個(gè)子系統(tǒng)的功能以及具體的設(shè)計(jì)實(shí)現(xiàn) ，并給出實(shí)驗(yàn)結(jié)果。 其定義如下： rrJf i ?? ?? )( ? ?? ? ? ?? ? ? ?1111f r f rrr mfrJ i rf r f rkkrr mmn???????????????????????????? ? 式中， mfR? 為圖像特征參數(shù)矢量， nrR? 為機(jī)械手在任務(wù)空間中 坐標(biāo)參數(shù)。對(duì)于這樣的系統(tǒng)，我們可以建立如下的微分映射關(guān)系： rr J q?? 式中， pqR? 為 p 自由度機(jī)器人關(guān)節(jié)運(yùn)動(dòng)速度向量，與其對(duì)應(yīng)的機(jī)器人任務(wù)空間速度為 r 。 下面具體說(shuō)明眼在手和眼固定情況下的圖像雅 可 比矩陣： 眼在手?jǐn)z像機(jī)觀察二維運(yùn)動(dòng)的圖像雅克比矩陣 假定一個(gè) 6DOF 機(jī)器人手眼系統(tǒng)，機(jī)器人末端執(zhí)行器相對(duì)于攝像機(jī)坐標(biāo)系作旋轉(zhuǎn)運(yùn)動(dòng) []c x y zw w w?? 和平移運(yùn)動(dòng) []c x y zT T T T? 。定義 手爪 在機(jī)器人基坐標(biāo)系的 x ， y 坐標(biāo)為機(jī)器人運(yùn)動(dòng)空間坐標(biāo) ( ) [ ( ) ( ) ]g g g Tbbp t x t y t? ,同時(shí)定義手爪在固定攝像機(jī)圖像平面的投影位置為系統(tǒng)的圖像特征空間 ( ) [ ( ) ( ) ]gTggf t u t v t? 。為方便起見(jiàn)，將其寫(xiě)成齊次變換形式： ???????????????????????????????????101000000001 zyxffyxz cccc (23) 根據(jù) p 點(diǎn)在像素坐標(biāo)系坐標(biāo) ),( vu 與圖像 坐標(biāo)系坐標(biāo) ),( yx 的關(guān)系： 西安理工大學(xué)本科生畢業(yè)設(shè)計(jì)（論文） 13 ?????????????????????????????????????11001001100yxvdyudxvu 式 (23)可以寫(xiě)為 ?????????????????????????????????????????????????????????????????????????111100100 000012100zyxMzyxMMzyxtRvuvuzwwwwwwwwwTyxc (24) 其中， dxfX ??， dyfy ??， dx ， dy 是圖像中任意一個(gè)像素在 x ， y 軸上的實(shí)際物理尺寸， ),( 00 vu 是原點(diǎn) 1O 在 u ， v 坐標(biāo)系中的坐標(biāo)。 機(jī)器人模型 機(jī)器人有運(yùn)動(dòng)學(xué)和動(dòng)力學(xué) [14]。在末端執(zhí)行器的廣義運(yùn)動(dòng)速度X? 為已知的情況下，各關(guān)節(jié)運(yùn)動(dòng)速度可由下式給出： XJq q ?? ?? ?)( (27) 白蕾：工業(yè)機(jī) 器人視覺(jué)伺服 14 其中， ?)(qJ 為機(jī)器人雅可比矩陣的廣義逆。 視覺(jué)控制器的設(shè)計(jì) 根據(jù)機(jī)器人和視覺(jué)系統(tǒng)的性能及具體任務(wù)的復(fù)雜性不同，視覺(jué)控制器的設(shè)計(jì)方法也不同，典型的設(shè)計(jì)方法有經(jīng)典 PID 控制器、狀態(tài)空間方法和任務(wù)函數(shù)法。對(duì)于基于圖像的視覺(jué)伺服控制系統(tǒng)，誤差信號(hào)是在圖像空間表示的，而機(jī)器人的控制輸入要求是在笛卡兒空間或關(guān)節(jié)空間，因此控制器的作用方式有兩種，第一種 是 直接在圖像平面設(shè)計(jì)視覺(jué)控制器，然后將得到的控制量乘以圖像雅可比矩陣的逆，從而得到笛卡兒空間中的控制量 (即相對(duì)位姿增量 )，或乘以圖像雅可比矩陣的逆再乘以機(jī)器人雅可比矩陣從而得到關(guān)節(jié)空 間中的控制量 (即關(guān)節(jié)速度 )。圖中，“ fkine”，“ jacob”， “ ijacob”，“相機(jī)模型”以及“圖像雅可比矩陣”等模塊都是由Matlab Function 模塊調(diào)用相關(guān)的“ .m”函數(shù)然后創(chuàng)建 Subsystem（子系統(tǒng)） 而形成的。 P 控制器的參數(shù)為 K=。 仿真結(jié)果如下圖所示： 215 220 225 230245250255260265270275眼固定圖像平面手爪定位曲線y方向 單位：像素x 方向 單位：像素機(jī)器人手爪運(yùn)動(dòng)軌跡目標(biāo)點(diǎn) 圖 23 手爪在圖像平面上的運(yùn)動(dòng)軌跡 (眼固定 ) 白蕾：工業(yè)機(jī) 器人視覺(jué)伺服 16 0 5 10 15 20 25050100150200250300350圖像平面定位誤差曲線圖像平面誤差 單位：像素 單位：采樣時(shí)刻 圖 24 圖像平面 定位 誤差曲線 (眼固定 ) 0 5 10 15 20 25 2 5 0 2 0 0 1 5 0 1 0 0 5 0050100150200250x,y方向跟蹤誤差 單位：像素 單位：采樣時(shí)刻x 方向定位誤差y 方向定位誤差 圖 25 x， y 方向 定位 誤差（眼固定） 眼在手 (見(jiàn)圖 26) 圖 26 眼在手模型 仿真參數(shù)設(shè)置如下：攝像機(jī)的內(nèi)參數(shù)為 [8e3 80e3 80e3 256 256]。 實(shí)驗(yàn)最后的得到的誤差為 E=（ pixel）。而眼在手 機(jī)器人運(yùn)動(dòng)過(guò)程中，可能會(huì)發(fā)生圖像特征遮蓋現(xiàn)象，觀察靈活性差。 Kalman 濾波是kalman()于 1960年提出的從與被提取信號(hào)有關(guān)的觀測(cè)量中通過(guò)算法估計(jì)出所需信號(hào)的一種濾波算法，是一種最優(yōu)估計(jì)方法。 Kalman 意義下的濾波問(wèn)題實(shí)際上就是相當(dāng)于誤差方差最小的狀態(tài)估計(jì)。 西安理工大學(xué)本科生畢業(yè)設(shè)計(jì)（論文） 19 設(shè)隨機(jī)線性離散系統(tǒng)采用如下?tīng)顟B(tài)方程表示為： ( 1) ( ) ( )x k Ax k k?? ? ? (31) ( ) ( ) ( )y k Cx k v k?? (32) 式中， nxR? 為系統(tǒng)的狀態(tài)向量， myR? 是系統(tǒng)的觀測(cè)序列， ? 是 n 維系統(tǒng)過(guò)程噪聲序列， v 是 m 維觀測(cè)噪聲序列，矩陣 A 是系統(tǒng)的 nn? 維狀態(tài)轉(zhuǎn)移矩陣， C 是 mn? 維噪聲輸入矩陣。而且這種方法經(jīng)過(guò)修正后，還可用來(lái)進(jìn)行狀態(tài)空間參數(shù)模型參數(shù)的估計(jì)。仿真時(shí)間為 3s，原始信號(hào)及帶有噪聲的原始信號(hào)、原始信號(hào)及濾波后的信號(hào)和誤差協(xié)方差的變化分別如圖所示 ： 0 0 . 5 1 1 . 5 2 2 . 5 3 0 . 200 . 20 . 40 . 60 . 811 . 21 . 4t im e ( s )yideal signal。在應(yīng)用此矩陣建立圖像反饋控制器時(shí)，為保證控制性能，有必要對(duì)其進(jìn)行實(shí)時(shí)的辨識(shí)。 由雅可比矩陣的定義 ,有 ( 1 ) ( ) ( ) ( )g g ggf k f k J k p k? ? ? ?? (39) 白蕾：工業(yè)機(jī) 器人視覺(jué)伺服 22 寫(xiě)成如下?tīng)顟B(tài)方程： ( 1) ( ) ( )x k x k k?? ? ? ( ) ( 1 ) ( ) ( ) ( ) ( )ggy k f k f k C k x k v k? ? ? ? ? ? 其中 ()k? ， ()vk 分別為狀態(tài)噪聲和圖像觀察噪聲，假定為高斯白噪聲。 ?(0)x 采用如下如下方法獲得： 在初始位置任意給定兩步線性無(wú)關(guān)的試探運(yùn)動(dòng) 12,ggpp??，而在固定攝 像機(jī)中觀察到手爪相應(yīng)的圖像特征變化為 12,ggff??，從而獲得初始 J 矩陣的估計(jì)值為： 11 2 1 2? ( 0 ) [ ] [ ]g g g ggJ f f p p ?? ? ? ? ? (315) 然后用 ?(0)gJ 構(gòu)成 ?(0)x 。外環(huán)為視覺(jué)控制器，以較低的采樣速率完成關(guān)節(jié)角設(shè)定。 仿真模型如下圖所示： 圖 36 基于 kalman 濾波的機(jī)器人眼固定模型 在固定目標(biāo)定位實(shí)驗(yàn)中， Kalman 濾波估計(jì)算法中的 R? 、 vR ，分別取為 ， ，P 矩陣的初始值可取 5(0) 10 mnPI? (sI 意為 s 維單位陣 )。實(shí)驗(yàn)最后的得到的誤差為 E=（ pixel）。圖 41 所示的系統(tǒng)中CCD 攝像頭固定 在 機(jī)器人斜上方，可同時(shí)觀察目標(biāo)和手爪運(yùn)動(dòng)。其中視覺(jué)控制量是根據(jù)視覺(jué)信息處理子系統(tǒng)得到的圖象反饋信息計(jì)算得到的。其主要參數(shù)如表 41 所示，其中 6 個(gè)軸的定義如圖 42 所示。