【文章內(nèi)容簡介】 長 [3334]。 2020 年河北農(nóng)業(yè)大學的 司永勝等人 通過 對不同光照情況下拍攝的蘋果圖像進行識別 ，利用歸一化的紅綠色差 算法 獲得蘋果 了 輪廓圖像。 實驗結(jié)果 證明 ： 該 識別算法 的 準確 識別青島農(nóng)業(yè)大學機電工程學院本科畢業(yè)設(shè)計（論文） 3 率 可以 達 到 90%以上 。 同時， 采用隨機圓環(huán)法 ， 實現(xiàn)了 準確地提取果實的圓心 和 半徑 參數(shù)[3536]。 2020 年常州大學的呂繼東等人 為了 縮短 系統(tǒng)對圖像 識別的時間， 提高蘋果果實的識別率， 利用動態(tài)閾值分割的方法，通過 改進的去均值歸一化積 法實現(xiàn) 了 快速 跟蹤 目標果實，并進行了不同閾值分割方法 下 果實識別的 對比 性 試驗 。試驗結(jié)果證明，該方法大大 減少 了蘋果采摘機器人采摘過程處理時間， 而且識別率也 較之前的方法 有 所 改善 [3738]。 主要研究內(nèi)容 本文主要是 通過 利用 DSP控制 雙目攝像機采集圖像， 并 經(jīng)過二值化、 濾波處理、索貝爾邊緣處 理、形心確定、特征點匹配、三維重建等步驟實現(xiàn)對番茄的空間三維定位 ， 然后將番茄果實的空間三維坐標等參數(shù)傳送至下位機，下位機進而 通過 控制三維 滑臺和采摘機械手實現(xiàn)對番茄的抓取和采摘工作 。 本 設(shè)計的 主要 研究內(nèi)容如下： 對采摘 機器人的總體硬件 方案進行 選擇和設(shè)計 系統(tǒng)硬件主要包括數(shù)字信號處理器型號的選擇、攝像機型號的選取、控制器的選擇以及其 它 硬件電路的選型和設(shè)計。 本設(shè)計還 對三維滑臺類型和長度進行選取并組裝，選取合適的驅(qū)動器及配套的驅(qū)動電源，利用控制器實現(xiàn)對滑臺的控制。 同時，需要 選擇合適的采摘機械手并對采摘手的采摘頭 進行改裝設(shè)計，選擇合適的舵機驅(qū)動器并利用 下位機 控制器實現(xiàn)對采摘機械手對果實的抓取和釋放。 同時，本設(shè)計還需對滑臺限位傳感器和采摘機械手接觸傳感器進行選型和設(shè)計等。 獲取雙目攝像機的內(nèi) 參數(shù) 和外參數(shù) 由于攝像機標定 的結(jié)果 是立體視覺的前提， 它 決定了后續(xù) 番茄果實空間 三維定位的精確度。雙目 攝像機 標定 主要是通過兩攝像機對外界的標定板進行拍攝 若干幅 圖片后，通過利用 C++編寫的 上位機 標定程序計算出攝像機各自的內(nèi)外參數(shù)的過程。 利用 DSP 控制雙目攝像機進行圖像 采集 并 對采集的圖像進行 二值化處理、邊緣處理、中值 濾波 等預(yù)處理 操作 通過利用 DSP 實現(xiàn)對視頻解碼芯片和視頻編碼芯片的控制 ， 從而實現(xiàn)對視頻采集后的輸入解碼和編碼輸出 控制 ，然后 DSP 可以對采集后圖像進行 預(yù)處理，包括 圖像的 閾值分割、索貝爾邊緣處理、中值 濾波 等 操作，為后續(xù)的 空間 三維定位奠定基礎(chǔ)。 青島農(nóng)業(yè)大學機電工程學院本科畢業(yè)設(shè)計（論文） 4 利用 DSP 實現(xiàn)對特征點的 匹 配 、三維重建，并 能簡單的進行三維坐標的計算并 將計算結(jié)果 輸送至 控制器 利用 DSP 對左右兩個攝像機采集后的圖像 視頻 進行 初步處理后確定番茄果實的特征點、 形心等參數(shù)，找到相對應(yīng)的匹配 點，并根據(jù)上述步驟中攝像機標定得到的內(nèi)外參數(shù) ，利用 雙目定位數(shù)學模型，根據(jù) 三維重 建初步計算番茄的空間三維坐標，并 能通過串行通訊將其 傳送 到下位機控制器 。 控制器能與 DSP 通訊并根據(jù) 接收到的 數(shù)據(jù)實現(xiàn)對三維滑臺和 采摘 機械手的控制 ，從而 實現(xiàn)對番茄果實的精確定位、抓取和采摘 下位機 控制器 MSP430F149 能通過串口接收來自 DSP 的三維坐標信息及采摘信息，并能將 番茄果實的空間三維坐標轉(zhuǎn)化為采摘機械手的空間三維坐標。同時，下位機 控制器 能根據(jù)接收的 番茄果實空間 三維坐標數(shù)據(jù)控制三維滑臺工作，使得三維滑臺移動到待采摘的番茄正前方， 然后 下位機 控制器 可以 控制采摘機械手實現(xiàn)對番茄的 抓取和 采摘工作，最后將番 茄送入集果箱。 青島農(nóng)業(yè)大學機電工程學院本科畢業(yè)設(shè)計（論文） 5 2 采摘機器人硬件 系統(tǒng) 設(shè)計 系統(tǒng)整體方案設(shè)計 本設(shè)計中，基于圖像處理的采摘機器人主要包括上位機模塊和下位機模塊。 上位機模塊主要包括： TMS320DM642 圖像處理模塊、圖像采集模塊、視頻解碼模塊、電源模塊、視頻編碼模塊、顯示模塊和串行通訊模塊等。 下位機模塊主要包括： MSP430F149 主控模塊、電源模塊、串行通訊模塊、三維滑臺、采摘機械手、傳感器模塊 、滑臺驅(qū)動器、舵機驅(qū)動器 和燈光補償模塊等。 上位機和下位機主要通過 RS232 串行通訊模塊進行數(shù)據(jù)的傳輸。上位機中的圖像采集模塊采 集待采 摘區(qū)域的圖像后，通過視頻解碼模塊將視頻的模擬信號轉(zhuǎn)換為數(shù)字信號 送入TMS320DM642 圖像處理模塊， TMS320DM642 圖像處理模塊 一方面 通過對數(shù)字信號進行處理和分析， 實現(xiàn) 對番茄果實進行提取輪廓、形心位置 確定 、立體匹配和計算番茄果實的三維空間坐標等 處理 和 將計算后的 數(shù)字信號傳輸至視頻編碼模塊，視頻編碼模塊將處理后的 番茄果實的圖像再次轉(zhuǎn)換為模擬信號并送至顯示器進行顯示以便開發(fā)人員調(diào)試；另一方面， TMS320DM642 圖像處理模塊將計算出的番茄果實的空間三維坐標的數(shù)據(jù)通過串行通訊發(fā)送至下位機 MSP430F149 主控模塊。 在這個過程中，電源模塊為上位機整個子模塊提供電能。 下位機中的 MSP430F149 主控模塊 通過串行通訊口接收到來自 TMS320DM642 發(fā)送的番茄果實三維空間坐標數(shù)據(jù)后提取坐標的有效值，然后 通過滑臺驅(qū)動器驅(qū)動三維滑臺運動至帶采摘番茄果實的正前方位置， 然后 ， MSP430F149 主控模塊 控制 舵機驅(qū)動器驅(qū)動 采摘機械手對番茄果實進行準確抓取和采摘，最后將番茄果實送入集果箱中。在整個下位機工作過程中，電源模塊為下位機的整套系統(tǒng)提供電能，同時碰撞傳感器和觸碰傳感器實時檢測三維滑臺是否到達端點，觸碰傳感 器實時檢測采摘機械手在對番茄果實進行抓取時，機械手的兩個手掌是否已經(jīng)接觸到番茄果實。 燈光補償模塊能夠使 使 TMS320DM642 圖像處理模塊更好的對外界的圖像進行處理，減少外界光源對系統(tǒng)的 干擾 。 本設(shè)計的番茄采摘機器人的整體 結(jié)構(gòu)框圖如圖 21。 青島農(nóng)業(yè)大學機電工程學院本科畢業(yè)設(shè)計（論文） 6 R S 2 3 2T M S 3 2 0 D M 6 4 2圖 像 處 理 模 塊電源模塊 圖 像 采 集M S P 4 3 0 F 1 4 9主 控 模 塊顯 示 器電 源 模 塊 燈 光 補 償 滑 臺 驅(qū) 動 器 舵 機 驅(qū) 動 器視 頻 解 碼 視 頻 編 碼 碰 撞 檢 測 壓 力 檢 測 三 維 滑 臺 采 摘 機 械 手上 位 機 部 分下 位 機 部 分 圖 21 番茄采摘機器人的整體 結(jié)構(gòu)框圖 基于圖像處理的采摘機器人的設(shè)計流程圖如圖 22所示。 主要 步驟 包括上下位機的硬件搭建、雙目攝像機內(nèi)外參數(shù)的標定等。其中，硬件搭建還包括 DSP與 MSP430F149之間的 串行通訊，數(shù)字圖像采集中還包括將采集的模擬信號轉(zhuǎn)換為數(shù)字信號送入 DSP中 等 [39]。 上 下 位 機 硬 件 搭 建數(shù) 字 圖 像 采 集雙 目 攝 像 機 標 定圖 像 二 值 化 處 理圖 像 中 值 濾 波圖 像 索 貝 爾 邊 緣 處 理圖 像 特 征 點 確 定番 茄 果 實 立 體 匹 配番 茄 果 實 三 維 坐 標 計 算采 摘 機 械 手 動 作 和 定 位番 茄 果 實 抓 取 和 采 摘結(jié) 束 一 次 采 摘 工 作采 摘 機 器 人 調(diào) 研 和 立 題 圖 22 基于圖像處理的采摘機器人的設(shè)計 流程圖 青島農(nóng)業(yè)大學機電工程學院本科畢業(yè)設(shè)計（論文） 7 雙目立體 攝像機 的 選型 攝像機的參數(shù)決定了后續(xù)圖像處理的精度，考慮到性能和價格兩方面因素，本設(shè)計 選用索尼生產(chǎn)的 MJW 短槍攝像機，該攝像機采用了最新的 DSP 數(shù)字處理技術(shù)， CCD 尺寸為1/3 英寸，有效像素 PAL： 720576(440K)， NTSC： 769494(380K)，具有自動白平衡 (AWB)和增益補償控 制 (AGC)功能 。 由于攝像機在生產(chǎn)時的 工藝 問題 ， 很容易 造成 兩個攝像機的 參數(shù)不同，如基線長度、CMOS 面積大小和畸變系數(shù) ，因此需要在后續(xù)的軟件設(shè)計中需要對其內(nèi)外參數(shù)進行測定。另外，由于該攝像機可以變焦，因此在 進行 圖像處理前需要 對攝像機的鏡頭進行測試， 即將攝像機的焦距調(diào)整到合適的位置，使之采集的圖像清晰 ，便于后續(xù)圖像的處理工作 。 圖像處理核 心芯片的選型 在當 前的圖像處理領(lǐng)域，基于下位機硬件的器件主要有 FPGA、 ARM、 DSP 以及 ARM與 DSP 組合的平臺。 方案一： FPGA（現(xiàn)場可編程門陣列），采用硬件 邏輯描述作為開發(fā)語言， 器件本身的運行速度較快，但是 對開發(fā)人員的專業(yè)知識要求過高，而且程序移植較為困難。 方案二： ARM(Advanced RISC Machines)，一般用在控制領(lǐng)域和嵌入式領(lǐng)域， 比較擅長做時序控制類、嵌入式類的工作， 不適合做大容量的數(shù)字計算工作。 方案三： DSP(Digital Signal Processor)，即：數(shù)字信號處理器，它一般適用于做 數(shù)字信號處理運算 方面的工作 ， 而且實時性較好。另外數(shù)字信號處理器具有體積小、功能強、成本低等特點，并且有的具有專用的協(xié)處理器用于圖像的處理工作。 DSP 芯片內(nèi)部采用 的是哈弗結(jié)構(gòu)，也就是程序和數(shù)據(jù)分開管理的方式 ， 從而使得程序處理效率較高。 綜合以上 方案 ，我們采用 TMS320DM642 作為圖像處理的核心芯片。 TMS320DM642是 美國 TI 公司專門為視頻處理 領(lǐng)域設(shè)計的芯片， 它具有 強大的計算能力和豐富的片內(nèi)設(shè)備 ，因此 成為多種視頻 和圖像 處理應(yīng)用的首選。 TMS320DM642 芯片 可以 提供三種最高主頻： 500M、 600M 和 720M，其相應(yīng)的指令周期為： 2ns、 和 。 而且，其 本身 就 有 8 個處理單元， 在滿負荷運行時可以 完成 8 個指令 /周期 。 因為使 用的 是 C64x 內(nèi)核，因此 其 具備了 128kbit 的 L1P 高速程序緩存，128kbit 的 L1D 高速數(shù)據(jù)緩存， 2Mkbit 的 L2 高速聯(lián)合緩存 的片內(nèi)外設(shè)。 它具有 64 個獨立的 EDMA 通道 ，可以很方便的實現(xiàn)與外界數(shù)據(jù)的快遞交換。 青島農(nóng)業(yè)大學機電工程學院本科畢業(yè)設(shè)計（論文） 8 圖像處理核心芯片 TMS320DM642 主要包括時鐘系統(tǒng)、電源供電電路、復位電路、視頻解碼電路、視頻編碼電路以及串口通訊電路等。 下面我們 一一 介紹： 時鐘電路： TMS320DM642 有多個時鐘源來滿足不同的內(nèi)核和外設(shè)的需求，它通過 時鐘芯片提供了六個不同頻率的 時鐘源，分別是： 50M 的 TMS320DM642 時鐘 ， 25M 的 以太網(wǎng)芯片時鐘 ，100M 的 SDRAM 時鐘 ， 20M 的 異步通訊芯 片時鐘 ， 的看門狗時鐘 ， 的 視頻解碼芯片時鐘 ， 27M 的 視頻編碼芯片時鐘。 TMS320DM642 的內(nèi)核可以工作在 600MHz頻率上， 甚至 超頻后能在 720MHz 的頻率上 工作 ， 但是 DSP 的 外部頻率 只有 50MHz。 因此， 我們 可以 通過 時鐘鎖相電路 (PLL)來獲得倍頻， 再 通過分頻獲得多種不同頻率 的時鐘 供 DSP 的片內(nèi)外設(shè)使用。 TMS320DM642 時鐘電路 圖 如圖 23 所示： VDDOUTPNCGNDY150MHzVDDOUTPNCGNDY2133MHz10uF/16VC1C210mHL1BLM41P750SPT+GND33R1F50MHz10uF/16VC3C410mHL2BLM41P750SPT+GND33R2F133MHzVDDOUTPNCGNDY310uF/16VC5C610mHL3BLM41P750SPT+GND33R3 圖 23 TMS320DM642 時 鐘電路 圖 青島農(nóng)業(yè)大學機電工程學院本科畢業(yè)設(shè)計（論文） 9 電源供電電路 ： TMS320DM642 要求 系統(tǒng)必須 為其 提供 伏和 伏 電壓值 的 電源 。其中 ， CPU 內(nèi)核 工作在 伏，而且， DSP 內(nèi)核對供電電源的穩(wěn)定性和可靠性要求很高。 DSP 在進行工作時，特別是圖像處理時，主頻可以達到最高的 720MHz，此時 CPU內(nèi)核消耗的能量起伏非常大 ， 而且 隨運算量變化 的幅度變化急劇，很可能在短時間內(nèi)達到安倍級。 因此， CPU內(nèi)核 對它的供電部分 具有很高的要求和限制 。但是因為 轉(zhuǎn)換效率 的問題， 一般 選擇可以承受較大電流的開關(guān)電源 。開關(guān)電源 具有最大的特點是：即使外界的負載變化很大 ， 其 依舊能輸出紋波系數(shù)較小的電壓，一般情況下 可以滿足 高速 DSP 這種對輸入電壓有 較高要求的處理器 。 TMS320DM642 的外設(shè)工作在 ，這個電壓的要求相對沒有那么嚴格，因此可以通過開關(guān)電源或 一般的 穩(wěn)壓電路提供。 TMS320DM642 對電源的具體要求如 表 21 所示。