【文章內容簡介】 長 [3334]。 2020 年河北農業(yè)大學的 司永勝等人 通過 對不同光照情況下拍攝的蘋果圖像進行識別 ，利用歸一化的紅綠色差 算法 獲得蘋果 了 輪廓圖像。 實驗結果 證明 ： 該 識別算法 的 準確 識別青島農業(yè)大學機電工程學院本科畢業(yè)設計（論文） 3 率 可以 達 到 90%以上 。 同時， 采用隨機圓環(huán)法 ， 實現(xiàn)了 準確地提取果實的圓心 和 半徑 參數[3536]。 2020 年常州大學的呂繼東等人 為了 縮短 系統(tǒng)對圖像 識別的時間， 提高蘋果果實的識別率， 利用動態(tài)閾值分割的方法，通過 改進的去均值歸一化積 法實現(xiàn) 了 快速 跟蹤 目標果實，并進行了不同閾值分割方法 下 果實識別的 對比 性 試驗 。試驗結果證明，該方法大大 減少 了蘋果采摘機器人采摘過程處理時間， 而且識別率也 較之前的方法 有 所 改善 [3738]。 主要研究內容 本文主要是 通過 利用 DSP控制 雙目攝像機采集圖像， 并 經過二值化、 濾波處理、索貝爾邊緣處 理、形心確定、特征點匹配、三維重建等步驟實現(xiàn)對番茄的空間三維定位 ， 然后將番茄果實的空間三維坐標等參數傳送至下位機，下位機進而 通過 控制三維 滑臺和采摘機械手實現(xiàn)對番茄的抓取和采摘工作 。 本 設計的 主要 研究內容如下： 對采摘 機器人的總體硬件 方案進行 選擇和設計 系統(tǒng)硬件主要包括數字信號處理器型號的選擇、攝像機型號的選取、控制器的選擇以及其 它 硬件電路的選型和設計。 本設計還 對三維滑臺類型和長度進行選取并組裝，選取合適的驅動器及配套的驅動電源，利用控制器實現(xiàn)對滑臺的控制。 同時，需要 選擇合適的采摘機械手并對采摘手的采摘頭 進行改裝設計，選擇合適的舵機驅動器并利用 下位機 控制器實現(xiàn)對采摘機械手對果實的抓取和釋放。 同時，本設計還需對滑臺限位傳感器和采摘機械手接觸傳感器進行選型和設計等。 獲取雙目攝像機的內 參數 和外參數 由于攝像機標定 的結果 是立體視覺的前提， 它 決定了后續(xù) 番茄果實空間 三維定位的精確度。雙目 攝像機 標定 主要是通過兩攝像機對外界的標定板進行拍攝 若干幅 圖片后，通過利用 C++編寫的 上位機 標定程序計算出攝像機各自的內外參數的過程。 利用 DSP 控制雙目攝像機進行圖像 采集 并 對采集的圖像進行 二值化處理、邊緣處理、中值 濾波 等預處理 操作 通過利用 DSP 實現(xiàn)對視頻解碼芯片和視頻編碼芯片的控制 ， 從而實現(xiàn)對視頻采集后的輸入解碼和編碼輸出 控制 ，然后 DSP 可以對采集后圖像進行 預處理，包括 圖像的 閾值分割、索貝爾邊緣處理、中值 濾波 等 操作，為后續(xù)的 空間 三維定位奠定基礎。 青島農業(yè)大學機電工程學院本科畢業(yè)設計（論文） 4 利用 DSP 實現(xiàn)對特征點的 匹 配 、三維重建，并 能簡單的進行三維坐標的計算并 將計算結果 輸送至 控制器 利用 DSP 對左右兩個攝像機采集后的圖像 視頻 進行 初步處理后確定番茄果實的特征點、 形心等參數，找到相對應的匹配 點，并根據上述步驟中攝像機標定得到的內外參數 ，利用 雙目定位數學模型，根據 三維重 建初步計算番茄的空間三維坐標，并 能通過串行通訊將其 傳送 到下位機控制器 。 控制器能與 DSP 通訊并根據 接收到的 數據實現(xiàn)對三維滑臺和 采摘 機械手的控制 ，從而 實現(xiàn)對番茄果實的精確定位、抓取和采摘 下位機 控制器 MSP430F149 能通過串口接收來自 DSP 的三維坐標信息及采摘信息，并能將 番茄果實的空間三維坐標轉化為采摘機械手的空間三維坐標。同時，下位機 控制器 能根據接收的 番茄果實空間 三維坐標數據控制三維滑臺工作，使得三維滑臺移動到待采摘的番茄正前方， 然后 下位機 控制器 可以 控制采摘機械手實現(xiàn)對番茄的 抓取和 采摘工作，最后將番 茄送入集果箱。 青島農業(yè)大學機電工程學院本科畢業(yè)設計（論文） 5 2 采摘機器人硬件 系統(tǒng) 設計 系統(tǒng)整體方案設計 本設計中，基于圖像處理的采摘機器人主要包括上位機模塊和下位機模塊。 上位機模塊主要包括： TMS320DM642 圖像處理模塊、圖像采集模塊、視頻解碼模塊、電源模塊、視頻編碼模塊、顯示模塊和串行通訊模塊等。 下位機模塊主要包括： MSP430F149 主控模塊、電源模塊、串行通訊模塊、三維滑臺、采摘機械手、傳感器模塊 、滑臺驅動器、舵機驅動器 和燈光補償模塊等。 上位機和下位機主要通過 RS232 串行通訊模塊進行數據的傳輸。上位機中的圖像采集模塊采 集待采 摘區(qū)域的圖像后，通過視頻解碼模塊將視頻的模擬信號轉換為數字信號 送入TMS320DM642 圖像處理模塊， TMS320DM642 圖像處理模塊 一方面 通過對數字信號進行處理和分析， 實現(xiàn) 對番茄果實進行提取輪廓、形心位置 確定 、立體匹配和計算番茄果實的三維空間坐標等 處理 和 將計算后的 數字信號傳輸至視頻編碼模塊，視頻編碼模塊將處理后的 番茄果實的圖像再次轉換為模擬信號并送至顯示器進行顯示以便開發(fā)人員調試；另一方面， TMS320DM642 圖像處理模塊將計算出的番茄果實的空間三維坐標的數據通過串行通訊發(fā)送至下位機 MSP430F149 主控模塊。 在這個過程中，電源模塊為上位機整個子模塊提供電能。 下位機中的 MSP430F149 主控模塊 通過串行通訊口接收到來自 TMS320DM642 發(fā)送的番茄果實三維空間坐標數據后提取坐標的有效值，然后 通過滑臺驅動器驅動三維滑臺運動至帶采摘番茄果實的正前方位置， 然后 ， MSP430F149 主控模塊 控制 舵機驅動器驅動 采摘機械手對番茄果實進行準確抓取和采摘，最后將番茄果實送入集果箱中。在整個下位機工作過程中，電源模塊為下位機的整套系統(tǒng)提供電能，同時碰撞傳感器和觸碰傳感器實時檢測三維滑臺是否到達端點，觸碰傳感 器實時檢測采摘機械手在對番茄果實進行抓取時，機械手的兩個手掌是否已經接觸到番茄果實。 燈光補償模塊能夠使 使 TMS320DM642 圖像處理模塊更好的對外界的圖像進行處理，減少外界光源對系統(tǒng)的 干擾 。 本設計的番茄采摘機器人的整體 結構框圖如圖 21。 青島農業(yè)大學機電工程學院本科畢業(yè)設計（論文） 6 R S 2 3 2T M S 3 2 0 D M 6 4 2圖 像 處 理 模 塊電源模塊 圖 像 采 集M S P 4 3 0 F 1 4 9主 控 模 塊顯 示 器電 源 模 塊 燈 光 補 償 滑 臺 驅 動 器 舵 機 驅 動 器視 頻 解 碼 視 頻 編 碼 碰 撞 檢 測 壓 力 檢 測 三 維 滑 臺 采 摘 機 械 手上 位 機 部 分下 位 機 部 分 圖 21 番茄采摘機器人的整體 結構框圖 基于圖像處理的采摘機器人的設計流程圖如圖 22所示。 主要 步驟 包括上下位機的硬件搭建、雙目攝像機內外參數的標定等。其中，硬件搭建還包括 DSP與 MSP430F149之間的 串行通訊，數字圖像采集中還包括將采集的模擬信號轉換為數字信號送入 DSP中 等 [39]。 上 下 位 機 硬 件 搭 建數 字 圖 像 采 集雙 目 攝 像 機 標 定圖 像 二 值 化 處 理圖 像 中 值 濾 波圖 像 索 貝 爾 邊 緣 處 理圖 像 特 征 點 確 定番 茄 果 實 立 體 匹 配番 茄 果 實 三 維 坐 標 計 算采 摘 機 械 手 動 作 和 定 位番 茄 果 實 抓 取 和 采 摘結 束 一 次 采 摘 工 作采 摘 機 器 人 調 研 和 立 題 圖 22 基于圖像處理的采摘機器人的設計 流程圖 青島農業(yè)大學機電工程學院本科畢業(yè)設計（論文） 7 雙目立體 攝像機 的 選型 攝像機的參數決定了后續(xù)圖像處理的精度，考慮到性能和價格兩方面因素，本設計 選用索尼生產的 MJW 短槍攝像機，該攝像機采用了最新的 DSP 數字處理技術， CCD 尺寸為1/3 英寸，有效像素 PAL： 720576(440K)， NTSC： 769494(380K)，具有自動白平衡 (AWB)和增益補償控 制 (AGC)功能 。 由于攝像機在生產時的 工藝 問題 ， 很容易 造成 兩個攝像機的 參數不同，如基線長度、CMOS 面積大小和畸變系數 ，因此需要在后續(xù)的軟件設計中需要對其內外參數進行測定。另外，由于該攝像機可以變焦，因此在 進行 圖像處理前需要 對攝像機的鏡頭進行測試， 即將攝像機的焦距調整到合適的位置，使之采集的圖像清晰 ，便于后續(xù)圖像的處理工作 。 圖像處理核 心芯片的選型 在當 前的圖像處理領域，基于下位機硬件的器件主要有 FPGA、 ARM、 DSP 以及 ARM與 DSP 組合的平臺。 方案一： FPGA（現(xiàn)場可編程門陣列），采用硬件 邏輯描述作為開發(fā)語言， 器件本身的運行速度較快，但是 對開發(fā)人員的專業(yè)知識要求過高，而且程序移植較為困難。 方案二： ARM(Advanced RISC Machines)，一般用在控制領域和嵌入式領域， 比較擅長做時序控制類、嵌入式類的工作， 不適合做大容量的數字計算工作。 方案三： DSP(Digital Signal Processor)，即：數字信號處理器，它一般適用于做 數字信號處理運算 方面的工作 ， 而且實時性較好。另外數字信號處理器具有體積小、功能強、成本低等特點，并且有的具有專用的協(xié)處理器用于圖像的處理工作。 DSP 芯片內部采用 的是哈弗結構，也就是程序和數據分開管理的方式 ， 從而使得程序處理效率較高。 綜合以上 方案 ，我們采用 TMS320DM642 作為圖像處理的核心芯片。 TMS320DM642是 美國 TI 公司專門為視頻處理 領域設計的芯片， 它具有 強大的計算能力和豐富的片內設備 ，因此 成為多種視頻 和圖像 處理應用的首選。 TMS320DM642 芯片 可以 提供三種最高主頻： 500M、 600M 和 720M，其相應的指令周期為： 2ns、 和 。 而且，其 本身 就 有 8 個處理單元， 在滿負荷運行時可以 完成 8 個指令 /周期 。 因為使 用的 是 C64x 內核，因此 其 具備了 128kbit 的 L1P 高速程序緩存，128kbit 的 L1D 高速數據緩存， 2Mkbit 的 L2 高速聯(lián)合緩存 的片內外設。 它具有 64 個獨立的 EDMA 通道 ，可以很方便的實現(xiàn)與外界數據的快遞交換。 青島農業(yè)大學機電工程學院本科畢業(yè)設計（論文） 8 圖像處理核心芯片 TMS320DM642 主要包括時鐘系統(tǒng)、電源供電電路、復位電路、視頻解碼電路、視頻編碼電路以及串口通訊電路等。 下面我們 一一 介紹： 時鐘電路： TMS320DM642 有多個時鐘源來滿足不同的內核和外設的需求，它通過 時鐘芯片提供了六個不同頻率的 時鐘源，分別是： 50M 的 TMS320DM642 時鐘 ， 25M 的 以太網芯片時鐘 ，100M 的 SDRAM 時鐘 ， 20M 的 異步通訊芯 片時鐘 ， 的看門狗時鐘 ， 的 視頻解碼芯片時鐘 ， 27M 的 視頻編碼芯片時鐘。 TMS320DM642 的內核可以工作在 600MHz頻率上， 甚至 超頻后能在 720MHz 的頻率上 工作 ， 但是 DSP 的 外部頻率 只有 50MHz。 因此， 我們 可以 通過 時鐘鎖相電路 (PLL)來獲得倍頻， 再 通過分頻獲得多種不同頻率 的時鐘 供 DSP 的片內外設使用。 TMS320DM642 時鐘電路 圖 如圖 23 所示： VDDOUTPNCGNDY150MHzVDDOUTPNCGNDY2133MHz10uF/16VC1C210mHL1BLM41P750SPT+GND33R1F50MHz10uF/16VC3C410mHL2BLM41P750SPT+GND33R2F133MHzVDDOUTPNCGNDY310uF/16VC5C610mHL3BLM41P750SPT+GND33R3 圖 23 TMS320DM642 時 鐘電路 圖 青島農業(yè)大學機電工程學院本科畢業(yè)設計（論文） 9 電源供電電路 ： TMS320DM642 要求 系統(tǒng)必須 為其 提供 伏和 伏 電壓值 的 電源 。其中 ， CPU 內核 工作在 伏，而且， DSP 內核對供電電源的穩(wěn)定性和可靠性要求很高。 DSP 在進行工作時，特別是圖像處理時，主頻可以達到最高的 720MHz，此時 CPU內核消耗的能量起伏非常大 ， 而且 隨運算量變化 的幅度變化急劇，很可能在短時間內達到安倍級。 因此， CPU內核 對它的供電部分 具有很高的要求和限制 。但是因為 轉換效率 的問題， 一般 選擇可以承受較大電流的開關電源 。開關電源 具有最大的特點是：即使外界的負載變化很大 ， 其 依舊能輸出紋波系數較小的電壓，一般情況下 可以滿足 高速 DSP 這種對輸入電壓有 較高要求的處理器 。 TMS320DM642 的外設工作在 ，這個電壓的要求相對沒有那么嚴格，因此可以通過開關電源或 一般的 穩(wěn)壓電路提供。 TMS320DM642 對電源的具體要求如 表 21 所示。