【正文】 誤差 單位：像素 單位：采樣時(shí)刻 圖 24 圖像平面 定位 誤差曲線 (眼固定 ) 0 5 10 15 20 25 2 5 0 2 0 0 1 5 0 1 0 0 5 0050100150200250x,y方向跟蹤誤差 單位：像素 單位：采樣時(shí)刻x 方向定位誤差y 方向定位誤差 圖 25 x， y方向 定位 誤差（眼固定） 眼在手 (見(jiàn)圖 26) 圖 26 眼在手模型 仿真參數(shù)設(shè)置如下：攝像機(jī)的內(nèi)參數(shù)為 [8e3 80e3 80e3 256 256]。而眼在手 機(jī)器人運(yùn)動(dòng)過(guò)程中，可能會(huì)發(fā)生圖像特征遮蓋現(xiàn)象，觀察靈活性差。 Kalman 意義下的濾波問(wèn)題實(shí)際上就是相當(dāng)于誤差方差最小的狀態(tài)估計(jì)。而且這種方法經(jīng)過(guò)修正后，還可用來(lái)進(jìn)行狀態(tài)空間參數(shù)模型參數(shù)的估計(jì)。在應(yīng)用此矩陣建立圖像反饋控制器時(shí)，為保證控制性能，有必要對(duì)其進(jìn)行實(shí)時(shí)的辨識(shí)。 ?(0)x 采用如下如下方法獲得： 在初始位置任意給定兩步線性無(wú)關(guān)的試探運(yùn)動(dòng) 12,ggpp??，而在固定攝像機(jī)中觀察到手爪相應(yīng)的圖像特征變化為 12,ggff??，從而獲得初始 J 矩陣的估計(jì)值為： 11 2 1 2? ( 0 ) [ ] [ ]g g g ggJ f f p p ?? ? ? ? ? (315) 然后用 ?(0)gJ 構(gòu)成 ?(0)x 。 仿真模型如下圖所示： 圖 36 基于 kalman 濾波的機(jī)器人眼固定模型 在固定目標(biāo)定位實(shí)驗(yàn)中， Kalman 濾波估計(jì)算法中的 R? 、 vR ，分別取為 ， ，P矩陣的初始值可取 5(0) 10 mnPI? ( sI 意為 s 維單位陣 )。圖 41 所示的系統(tǒng)中CCD 攝像頭固定 在 機(jī)器人斜上方，可同時(shí)觀察目標(biāo)和手爪運(yùn)動(dòng)。其主要參數(shù)如表 41 所示，其中 6 個(gè)軸的定義如圖 42所示。 白蕾：工業(yè)機(jī)器人視覺(jué)伺服 28 MOTOMANCOM32 軟件提供的通信協(xié)議有兩種： RS232C 或 TCP/IP。為實(shí)現(xiàn)直線運(yùn)動(dòng)，運(yùn)動(dòng)時(shí)機(jī)器人各關(guān)節(jié)按照要求以不同的速度運(yùn)動(dòng)，這就需要進(jìn)行大量的坐標(biāo)變換運(yùn)算和機(jī)器人逆運(yùn)動(dòng)學(xué)求解，因此，直線運(yùn)動(dòng)比關(guān)節(jié)插值運(yùn)動(dòng)慢得多。 圖 43 MVPCIV3A 結(jié)構(gòu) 圖 由于采用 PCI 總線結(jié)構(gòu)，圖像數(shù)據(jù)可以實(shí)時(shí)存儲(chǔ)到計(jì)算機(jī)內(nèi)存中，并在屏幕上顯示。 視覺(jué)信息處理子系統(tǒng) 視覺(jué)信息處理子系統(tǒng) 主要由 CCD 攝像機(jī)、圖像采集設(shè)備和計(jì)算機(jī)組成，其相關(guān)配置如下： a. CCD 攝像機(jī) 可供機(jī)器人視覺(jué)系統(tǒng)選用的攝像機(jī)包括攝像管和 CCD。 實(shí)驗(yàn)中相關(guān)參數(shù)的設(shè)置如下： 通信端口號(hào)： COM2 波特率： 9600（最大） 奇偶校驗(yàn)：偶校驗(yàn) 數(shù)據(jù)位長(zhǎng)度： 8位 停止位： 1位 MOTOMAN 型機(jī)器人編程采用三種坐標(biāo)系對(duì)末端執(zhí)行器進(jìn)行位置和姿態(tài)標(biāo)定 ,分別是基坐標(biāo)系 (World Coordinates)、工具坐標(biāo)系 (Tool Coordinates)和關(guān)節(jié)坐標(biāo)系 (Joint Coordinates)。根據(jù)圖像反饋信息計(jì)算出來(lái)的視覺(jué)控制量即為了減小機(jī)器人手爪和目標(biāo)之間的距離機(jī)器人應(yīng)運(yùn)動(dòng)的位姿增量就是通過(guò) MOTOMANCOM32軟件所提供的機(jī)器人控制接口函數(shù)傳送給機(jī)器人控制器的。整個(gè)視覺(jué)伺服系統(tǒng)可以分為 機(jī)器人 控制子系統(tǒng)和視覺(jué)信息處理子系統(tǒng)兩部分組成。手爪在圖像平面坐標(biāo) 0f =[ ]，1f =[ ]， 2f =[ ]， 1gf? =1f 0f =[ ] 2gf? = 2f 1f =[ ],則初始 J 矩陣的估計(jì)值為： 11 2 1 2 0 . 0 0 5 8 0 . 0 5 1 5? ( 0 ) [ ] [ ] 1 . 0 0 0 4 * [ ]1 . 9 5 9 0 5 . 0 4 9 8g g g gJ f f p p e?? ? ? ? ? ? ? 視覺(jué)控制器 坐標(biāo)變換與軌跡規(guī)劃 機(jī)器人控制器 機(jī)器人 ? dX ? 目標(biāo)點(diǎn) df X 0p 圖像采集 圖像處理 白蕾：工業(yè)機(jī)器人視覺(jué)伺服 24 所以在 該定位實(shí)驗(yàn)中， T?x( 0) =1 .0e +0 04* [ 058 0. 051 5 1 .95 90 4 98]。其中內(nèi)環(huán)為關(guān)節(jié)伺服控制，通過(guò)關(guān)節(jié)位置反饋來(lái)實(shí)現(xiàn)機(jī)器人 軌跡跟蹤控制。定義觀察參數(shù)向量 x 為一個(gè) 4 維向量，包含雅可比矩陣 gJ 的所有元素。如下圖所示： 白蕾：工業(yè)機(jī)器人視覺(jué)伺服 20 圖 31 kalman 濾波原理圖 基于 kalman 濾波原理的 信號(hào)濾波 仿真 【 17] 設(shè)對(duì)象為二階傳遞函數(shù)：2133() 25pGs ss? ? 取采樣時(shí)間為 1ms，采用 Z 變換將對(duì)象離散化，并描述為離散狀態(tài)方程的形式： ( 1 ) ( ) ( ( ) ( ) )x k Ax k B u k w k? ? ? ? ( ) ( )y k Cx k? 帶有測(cè)量噪聲的被控對(duì)象輸出為： ( ) ( ) ( )vy k Cx k v k?? 式中， 1 .0 0 0 0 0 0 0 0 .0 0 0 9 8 7 60 .0 0 0 0 0 0 0 0 .9 7 5 3 0 9 9A ??? ????， 0. 00 659 ??? ????， [1,0]C? ， [0]D? 設(shè)控制干擾信號(hào) ()wk 和測(cè)量噪聲信號(hào) ()vk 幅值均為 的白噪聲信號(hào)，輸入信號(hào)幅值為 、頻率為 的正弦信號(hào)。 Kalman 濾波將狀態(tài)方程的概念引入到隨機(jī)估計(jì)理論中，把信號(hào)過(guò)程視為白噪聲作用下的一個(gè)線性系統(tǒng)輸出，用狀態(tài)方程來(lái)描述這種輸入 — 輸出關(guān)系，估計(jì)過(guò)程中利用系統(tǒng)狀態(tài)方程﹑觀測(cè)方程和白噪聲激勵(lì)的統(tǒng)計(jì)特性形成濾波算法，由于所用的信息都是時(shí)域內(nèi)的量，所以不但可以對(duì)平穩(wěn)的一維隨機(jī)過(guò)程進(jìn)行估計(jì)，也可以對(duì)非平穩(wěn)的﹑多維隨機(jī)過(guò)程進(jìn)行估計(jì)。對(duì)于確定性信號(hào)，可根據(jù)頻率特性，通過(guò)設(shè)計(jì)各種濾波器，如低通濾波器、高通濾波器、帶通濾波器和帶阻濾波器等，使有用信號(hào)無(wú)衰減的通過(guò)而干擾信號(hào)得到抑制。設(shè)定 期望的目標(biāo) 為 [2 ]，即圖像坐標(biāo)為 [250 250]； 手爪西安理工大學(xué)本科生畢業(yè)設(shè)計(jì)（論文） 17 初始位置為 q =[ ]，在世界坐標(biāo)系下的起始位置為 [ 0 0]，即圖像坐標(biāo)為 [ ]。圖像平面大小為 [0 511 0 511]。 PID 控制是最經(jīng)典的控制器設(shè)計(jì)方法，被廣泛地應(yīng)用在機(jī)器人視覺(jué)伺服控制系統(tǒng)中。機(jī)器人雅克比矩陣 pJ 通常是指從關(guān)節(jié)空間向操作空間運(yùn)動(dòng)速度的廣義傳動(dòng)比，即 qJXV q ?? ??? 式中， X? 為末端執(zhí)行器在操作空間中的廣義運(yùn)動(dòng)速度， q? 為關(guān)節(jié)速度。 整理上式可得 ： 1 1 3 1 1 2 3 22 1 3 1 2 2 3 21 g g g gg g g g g gcr u r r u rJr v r r v rz???????? ???? 由此可以看出，在跟蹤過(guò)程中， 手爪 運(yùn)動(dòng)引起 gcz ， gu ， gv 的變化，并引起 gJ 矩陣的改變。 白蕾：工業(yè)機(jī)器人視覺(jué)伺服 10 ? ? ? ?? ? ? ?1111r r r rqr prJ r qf r f rnnrr p????????????? ??????????????? 通過(guò)視 覺(jué)投影映射變換，可以給出機(jī)器人關(guān)節(jié)運(yùn)動(dòng)與相應(yīng)的圖像特征運(yùn)動(dòng)之間的關(guān)系，即 i i rf J r J J q? ? ? ? 由此，我們可以建立從圖像特征空間到機(jī)器人關(guān)節(jié)運(yùn)動(dòng)空間的映射模型如下 ： f J q?? 此式中 irJ JJ? ，為整個(gè)系統(tǒng)的圖像雅 可 比矩陣。 西安理工大學(xué)本科生畢業(yè)設(shè)計(jì)（論文） 9 2 基于 標(biāo)定技術(shù)的機(jī)器人 視覺(jué)伺服 圖像雅可比矩陣模型簡(jiǎn)介 圖像雅 可 比矩陣是目前在機(jī)器人手眼協(xié)調(diào)研究領(lǐng)域使用最為廣泛的一類方法 [12]。構(gòu)建了 MOTOMAN— SV3XL 型六自由度工業(yè)機(jī)器人無(wú)標(biāo)定視覺(jué)伺服實(shí)驗(yàn)平臺(tái)，完成了基于 kalman 濾波的機(jī)器人無(wú)標(biāo)定視覺(jué)伺服定位實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明該方法能很好的定位到目標(biāo)。如 Yoshimi 和 利用試探運(yùn)動(dòng)估計(jì)當(dāng)前的圖像雅可比矩陣，完成二維平面上插軸入孔的任務(wù) [11]。在這樣的情況下，雖然可以采取分區(qū)域標(biāo)定的辦法，但這又是以增加系統(tǒng)操作復(fù)雜度 為代價(jià)的； (4)在某些特定環(huán)境下是難以對(duì)攝像機(jī)進(jìn)行標(biāo)定的，如在一些危險(xiǎn)的或?qū)θ梭w有害的工作環(huán)境中。 總之，在機(jī)器人視覺(jué)伺服控制中，圖像特征的選擇不僅要考慮圖像識(shí)別問(wèn)題，還要考慮控制問(wèn)題，應(yīng)針對(duì)具體的任務(wù)、環(huán)境、系統(tǒng)的軟硬件性能，在時(shí)間、復(fù)雜性和系統(tǒng)的穩(wěn)定性之間進(jìn)行權(quán)衡。 圖像特征的選取往往因系統(tǒng)而異，目的是使整個(gè)系統(tǒng)便于分析和設(shè)計(jì)。 圖像特征的選取 視覺(jué)伺服的性能依賴于控制回路中所用的圖像特征。這種混合的視覺(jué)伺服方法繼承了基于位置和基于圖像視覺(jué)伺服的優(yōu)點(diǎn)，既保證了對(duì)于標(biāo)定誤差的魯棒性以及不依賴于笛卡兒空間模型的特點(diǎn)，又避免了直接估計(jì)深度信息。 基于圖象的視覺(jué)伺服的主要特點(diǎn)是： 1)不需要對(duì)機(jī)器人進(jìn)行位姿估計(jì)。 這種伺服結(jié)構(gòu)還存在以下不足之處： 1)不能在圖象空間中進(jìn)行軌跡控制。 (1)基于位置的視覺(jué)伺服 (又稱 3D視覺(jué)伺服 )：其反饋信號(hào)在三維任務(wù)空間中以直角坐標(biāo)形式定義 【 5】 (如圖 13)。然而，由于機(jī)器人系統(tǒng)和視覺(jué)系統(tǒng)固有的非線性特性，西安理工大學(xué)本科生畢業(yè)設(shè)計(jì)（論文） 3 視覺(jué)伺服控制器的設(shè)計(jì)成為一大難題。 (2)眼在手上：攝像機(jī)固定在機(jī)器人終端操作器上，隨手爪的運(yùn)動(dòng)而運(yùn)動(dòng)，不存在圖像特征遮蓋問(wèn)題。 1994 年 Hager 研究了手眼分離配置下，任意放置的雙攝像機(jī)組成立體視覺(jué)監(jiān)控機(jī)器人抓取物體的手眼協(xié)調(diào)系統(tǒng) 【 3】 。以上優(yōu)點(diǎn)決定了機(jī)器人視覺(jué)伺服在較短的時(shí)間里成為機(jī)器人研究領(lǐng)域中的熱點(diǎn)之一并在工業(yè)生產(chǎn)、海洋探測(cè)等眾多領(lǐng)域得到了成功的應(yīng)用。但 隨著傳感器技術(shù)、計(jì)算機(jī)技術(shù)、電子技術(shù)以及人工智能技術(shù)的發(fā)展，人們已不再滿足于只能在固定的已知環(huán)境中按照程序設(shè)定的功能完成重復(fù)作業(yè)的機(jī)器人，紛紛開(kāi)始研究具有高度靈活性、環(huán)境適應(yīng)能力強(qiáng)的智能型機(jī)器人。 畢業(yè)設(shè) 計(jì)（ 論 文） 題 目 工業(yè)機(jī)器人視覺(jué)伺服 專 業(yè) 自 動(dòng) 化 班 級(jí) 自 064 班 學(xué) 生 白 蕾 指導(dǎo)教師 辛 菁 2021 年白蕾：工業(yè)機(jī)器人視覺(jué)伺服 摘 要 機(jī)器人視覺(jué)伺服 是 利用從圖像 中提取的視覺(jué)信息 — 視覺(jué)特征，進(jìn)行機(jī)器人末端執(zhí)行器的位置閉環(huán)控制 。 關(guān)鍵 詞 ： MOTOMANSV3XL 工業(yè)機(jī)器人、圖像雅可比矩陣、 Kalman 濾波 、無(wú)標(biāo)定視覺(jué)伺服 西安理工大學(xué)本科生畢業(yè)設(shè)計(jì)（論文） Abstract Robot visual servoing Is to use visual informationvisual features, which are extracted from the images, to plete robot endposition closedloop control. Robot visual servoing research is the fusion of some degree of expertise in several area,such as realtime image processing, robot kinematics,robot dynamics, control theory, puter technology ,realtime putation and so on. It is a important subject in the research field of puter vision. First,I studied visual servoing robot, which based on the calibration technique and derived the relationship between eye and hand— image jacobian simulated the eyeinhand and the eyefixed robot visual servoing under MATLAB. Simulation results show that this method can well positioned to ta