【正文】 ......... 47 采摘機器人樣機試驗 .............................................................................................................. 47 總結(jié)和展望 ............................................................................................................................. 49 參考文獻 ......................................................................................................................................... 51 致 謝 ............................................................................................................................................ 54 附 錄 ............................................................................................................................................ 55 附錄 1 基于 OPENCV的張正友標定算法程序（部分） ................................................................... 55 附錄 2 DSP 的主程序和圖像采集程序（部分） ................................................................................ 58 附錄 3 圖像裁剪程序 ....................................................................................................................... 61 附錄 4 圖像閾值分割程序 ............................................................................................................... 62 附錄 5 中值濾波程序 ....................................................................................................................... 63 附錄 6 索貝爾邊緣檢測程序 ............................................................................................................ 64 附錄 7 番茄果實圓周上特征點獲取的程序（部分） ......................................................................... 65 附錄 8 計算番茄果實的圓心和半徑的算法（部分） ......................................................................... 67 附錄 9 番茄果實的空間 三維坐標定位的算法（部分） ..................................................................... 69 附錄 10 上位機 TMS320DM642的串行通訊寄存器配置及串行通訊程序 .......................................... 73 附錄 11 下位機 MSP430F149的串行通訊程序 ................................................................................. 76 附錄 12 下位機對番茄果實定位和采摘的算法（部分） .................................................................... 78 I 基于圖像處理的番茄采摘機器人的設(shè)計 摘 要 目前的番茄采摘基本上都是 依賴于人工作業(yè) 而導致勞動力 成本高 、 勞動強度 大 ， 而 現(xiàn)有的采摘機器人的研究基本上都是停留在理論層面 ， 而 極個別物化的成果 都是基于計算機 ， 從 而導致 系統(tǒng)體積過大、功耗高和成本高。為解決以上問題， 本文提出并 開發(fā)了一套基于 DSP 的 番茄采摘機器人 。本文的主要貢獻為： （ 1） 提出利用 DSP 代替計算機實現(xiàn)番茄圖像的采集、處理和果實的空間三維定位，并進行了驗證； （ 2） 提出一種采摘機械手降維的方法，解決了機器人建模復(fù)雜且實現(xiàn)困難的問題，并結(jié)合三維滑臺實現(xiàn)并完成了 對 空間中 番茄的準確抓取 和采摘的功能 。 本 系統(tǒng)的研發(fā)對于提高番茄的采摘效率，減少勞動力、降低農(nóng)民 的勞動強度和采摘成本具有重要的實際 意義 ，也為精準農(nóng)業(yè)的發(fā)展提供了一種新的思路和方法 。其內(nèi)部 含有豐富的蛋白質(zhì)、維生素，以及胡蘿卜素等 營養(yǎng)物質(zhì) 。 據(jù)不完全統(tǒng)計，全世界番茄 總產(chǎn)量 約為 5000 萬噸 /年，而我國則占到了約 700 萬噸 /年 [4]。目前 ，番茄 采摘 主要 依賴于人工作業(yè) ，由果農(nóng)直接將番茄從植株上采摘下來 。 同時 ，當前我國 人口老齡化 嚴重， 農(nóng)業(yè)勞動人口因為“進城”而驟減 [5]。 因此， 進行 番茄 采摘作業(yè) 自動化 的研究 對于社會 具有重要的 現(xiàn)實意義 [6]。 雖然目前已有學者進行 基于機器視覺 方面 的研究，但 其目前的研究基本上是停留在某一方面理論層次的研究 ，如單純的雙目定位、機械手采摘路徑優(yōu)化等，而進行實際應(yīng)用開發(fā)的研究特別少。 因此，開發(fā)一套 基于 DSP 的 低功耗、小體積、 低成本的番茄采摘機器人， 對 提高 番茄采摘勞動生產(chǎn)率、降低農(nóng)民的勞動強度和采摘成本， 提高我國 精準農(nóng)業(yè) 設(shè)施 的現(xiàn)代化和智能化水平、加快農(nóng)業(yè)科學進步具有重要的現(xiàn)實 意義。 機器 視覺已有 二三十 年 的發(fā)展歷史，其功能 及適用范圍 隨著 當今 科技的 快速 發(fā)展 而 不斷 應(yīng)用和 完善。 比如美國、荷蘭、 以色列 等 西方國家 在此領(lǐng)域有較為 成熟 的發(fā)展 [715]。 1994 年，英國 Silsoe 研究院 的科學家 從圖像識 別出發(fā)， 研制 出 了蘑菇采摘機器人，該機器人可以通過圖像處理自動測量 并判斷 蘑菇的大小和空間三維坐標 ， 進而選擇性的進行采摘 工作 [1920]。 該機器人使用 攝像頭 采集圖像，經(jīng)過圖像處理后， 識別 出成熟 的 番茄， 使用采摘機械手實現(xiàn)對果實的準確采摘 [2122]。該機器人 利用黑白圖像處理的方法進行甜瓜的識別和空間定位。經(jīng)過 實驗 驗證，該采摘機器人 可以自主完成大部分的甜瓜識別 及采摘工作 [23]。 2020 年，中國農(nóng)業(yè)大學 的 張鐵中等人 通過 色彩空間參照表 ，提出了 適用于水果采摘機器人視覺系統(tǒng)果實目標提取的圖像分割算法。 2020 年濰坊學院的宋鍵等人 根據(jù) 茄子生長的 空間分布信息， 采用 了 基于直方圖的固定閾值法 實現(xiàn)了對 灰度圖像進行 小區(qū)域 分割 ， 完成了 對茄子果實的輪廓、質(zhì)心等參數(shù)的判斷 。 2020 年河北農(nóng)業(yè)大學的 司永勝等人 通過 對不同光照情況下拍攝的蘋果圖像進行識別 ，利用歸一化的紅綠色差 算法 獲得蘋果 了 輪廓圖像。 同時， 采用隨機圓環(huán)法 ， 實現(xiàn)了 準確地提取果實的圓心 和 半徑 參數(shù)[3536]。試驗結(jié)果證明，該方法大大 減少 了蘋果采摘機器人采摘過程處理時間， 而且識別率也 較之前的方法 有 所 改善 [3738]。 本 設(shè)計的 主要 研究內(nèi)容如下： 對采摘 機器人的總體硬件 方案進行 選擇和設(shè)計 系統(tǒng)硬件主要包括數(shù)字信號處理器型號的選擇、攝像機型號的選取、控制器的選擇以及其 它 硬件電路的選型和設(shè)計。 同時，需要 選擇合適的采摘機械手并對采摘手的采摘頭 進行改裝設(shè)計，選擇合適的舵機驅(qū)動器并利用 下位機 控制器實現(xiàn)對采摘機械手對果實的抓取和釋放。 獲取雙目攝像機的內(nèi) 參數(shù) 和外參數(shù) 由于攝像機標定 的結(jié)果 是立體視覺的前提， 它 決定了后續(xù) 番茄果實空間 三維定位的精確度。 利用 DSP 控制雙目攝像機進行圖像 采集 并 對采集的圖像進行 二值化處理、邊緣處理、中值 濾波 等預(yù)處理 操作 通過利用 DSP 實現(xiàn)對視頻解碼芯片和視頻編碼芯片的控制 ， 從而實現(xiàn)對視頻采集后的輸入解碼和編碼輸出 控制 ，然后 DSP 可以對采集后圖像進行 預(yù)處理，包括 圖像的 閾值分割、索貝爾邊緣處理、中值 濾波 等 操作，為后續(xù)的 空間 三維定位奠定基礎(chǔ)。 控制器能與 DSP 通訊并根據(jù) 接收到的 數(shù)據(jù)實現(xiàn)對三維滑臺和 采摘 機械手的控制 ，從而 實現(xiàn)對番茄果實的精確定位、抓取和采摘 下位機 控制器 MSP430F149 能通過串口接收來自 DSP 的三維坐標信息及采摘信息，并能將 番茄果實的空間三維坐標轉(zhuǎn)化為采摘機械手的空間三維坐標。 青島農(nóng)業(yè)大學機電工程學院本科畢業(yè)設(shè)計（論文） 5 2 采摘機器人硬件 系統(tǒng) 設(shè)計 系統(tǒng)整體方案設(shè)計 本設(shè)計中，基于圖像處理的采摘機器人主要包括上位機模塊和下位機模塊。 下位機模塊主要包括： MSP430F149 主控模塊、電源模塊、串行通訊模塊、三維滑臺、采摘機械手、傳感器模塊 、滑臺驅(qū)動器、舵機驅(qū)動器 和燈光補償模塊等。上位機中的圖像采集模塊采 集待采 摘區(qū)域的圖像后，通過視頻解碼模塊將視頻的模擬信號轉(zhuǎn)換為數(shù)字信號 送入TMS320DM642 圖像處理模塊， TMS320DM642 圖像處理模塊 一方面 通過對數(shù)字信號進行處理和分析， 實現(xiàn) 對番茄果實進行提取輪廓、形心位置 確定 、立體匹配和計算番茄果實的三維空間坐標等 處理 和 將計算后的 數(shù)字信號傳輸至視頻編碼模塊，視頻編碼模塊將處理后的 番茄果實的圖像再次轉(zhuǎn)換為模擬信號并送至顯示器進行顯示以便開發(fā)人員調(diào)試；另一方面， TMS320DM642 圖像處理模塊將計算出的番茄果實的空間三維坐標的數(shù)據(jù)通過串行通訊發(fā)送至下位機 MSP430F149 主控模塊。 下位機中的 MSP430F149 主控模塊 通過串行通訊口接收到來自 TMS320DM642 發(fā)送的番茄果實三維空間坐標數(shù)據(jù)后提取坐標的有效值，然后 通過滑臺驅(qū)動器驅(qū)動三維滑臺運動至帶采摘番茄果實的正前方位置， 然后 ， MSP430F149 主控模塊 控制 舵機驅(qū)動器驅(qū)動 采摘機械手對番茄果實進行準確抓取和采摘，最后將番茄果實送入集果箱中。 燈光補償模塊能夠使 使 TMS320DM642 圖像處理模塊更好的對外界的圖像進行處理，減少外界光源對系統(tǒng)的 干擾 。 青島農(nóng)業(yè)大學機電工程學院本科畢業(yè)設(shè)計（論文） 6 R S 2 3 2T M S 3 2 0 D M 6 4 2圖 像 處 理 模 塊電源模塊 圖 像 采 集M S P 4 3 0 F 1 4 9主 控 模 塊顯 示 器電 源 模 塊 燈 光 補 償 滑 臺 驅(qū) 動 器 舵 機 驅(qū) 動 器視 頻 解 碼 視 頻 編 碼 碰 撞 檢 測 壓 力 檢 測 三 維 滑 臺 采 摘 機 械 手上 位 機 部 分下 位 機 部 分 圖 21 番茄采摘機器人的整體 結(jié)構(gòu)框圖 基于圖像處理的采摘機器人的設(shè)計流程圖如圖 22所示。其中，硬件搭建還包括 DSP與 MSP430F149之間的 串行通訊，數(shù)字圖像采集中還包括將采集的模擬信號轉(zhuǎn)換為數(shù)字信號送入 DSP中 等 [39]。 由于攝像機在生產(chǎn)時的 工藝 問題 ， 很容易 造成 兩個攝像機的 參數(shù)不同，如基線長度、CMOS 面積大小和畸變系數(shù) ，因此需要在后續(xù)的軟件設(shè)計中需要對其內(nèi)外參數(shù)進行測定。 圖像處理核 心芯片的選型 在當 前的圖像處理領(lǐng)域，基于下位機硬件的器件主要有 FPGA、 ARM、 DSP 以及 ARM與 DSP 組合的平臺。 方案二： ARM(Advanced RISC Machines)，一般用在控制領(lǐng)域和嵌入式領(lǐng)域， 比較擅長做時序控制類、嵌入式類的工作， 不適合做大容量的數(shù)字計算工作。另外數(shù)字信號處理器具有體積小、功能強、成本低等特點，并且有的具有專用的協(xié)處理器用于圖像的處理工作。 綜合以上 方案 ，我們采用 TMS320DM642 作為圖像處理的核心芯片。 TMS320DM642 芯片 可以 提供三種最高主頻： 500M、 600M 和 720M，其相應(yīng)的指令周期為： 2ns、 和 。 因為使 用的 是 C64x 內(nèi)核，因此 其 具備了 128kbit 的 L1P 高速程序緩存，128kbit 的 L1D 高速數(shù)據(jù)緩存， 2Mkbit 的 L2 高速聯(lián)合緩存 的片內(nèi)外設(shè)。 青島農(nóng)業(yè)大學