【文章內(nèi)容簡(jiǎn)介】 色彩空間參照表，提出了適用于水果采摘機(jī)器人視覺(jué)系統(tǒng)果實(shí)目標(biāo)提取的圖像分割算法。通過(guò)對(duì)比試驗(yàn)發(fā)現(xiàn)，采用該算法分別對(duì)草莓和西紅柿等果實(shí)的圖像在 Lab、HSV、YCbCr 色彩模型下進(jìn)行實(shí)驗(yàn)，取得了理想的效果 [3132]。2022 年濰坊學(xué)院的宋鍵等人根據(jù)茄子生長(zhǎng)的空間分布信息，采用了基于直方圖的固定閾值法實(shí)現(xiàn)了對(duì)灰度圖像進(jìn)行小區(qū)域分割，完成了對(duì)茄子果實(shí)的輪廓、質(zhì)心等參數(shù)的判斷。試驗(yàn)證明，該方法對(duì)茄子等作物的識(shí)別率較高，而且系統(tǒng)本身工作穩(wěn)定，但是缺點(diǎn)是耗時(shí)過(guò)長(zhǎng) [3334]。2022 年河北農(nóng)業(yè)大學(xué)的司永勝等人通過(guò)對(duì)不同光照情況下拍攝的蘋(píng)果圖像進(jìn)行識(shí)別，利用歸一化的紅綠色差算法獲得蘋(píng)果了輪廓圖像。實(shí)驗(yàn)結(jié)果證明：該識(shí)別算法的準(zhǔn)確識(shí)青島農(nóng)業(yè)大學(xué)機(jī)電工程學(xué)院本科畢業(yè)設(shè)計(jì)（論文）3別率可以達(dá)到 90%以上。同時(shí)，采用隨機(jī)圓環(huán)法，實(shí)現(xiàn)了準(zhǔn)確地提取果實(shí)的圓心和半徑參數(shù) [3536]。2022 年常州大學(xué)的呂繼東等人為了縮短系統(tǒng)對(duì)圖像識(shí)別的時(shí)間，提高蘋(píng)果果實(shí)的識(shí)別率，利用動(dòng)態(tài)閾值分割的方法，通過(guò)改進(jìn)的去均值歸一化積法實(shí)現(xiàn)了快速跟蹤目標(biāo)果實(shí)，并進(jìn)行了不同閾值分割方法下果實(shí)識(shí)別的對(duì)比性試驗(yàn)。試驗(yàn)結(jié)果證明，該方法大大減少了蘋(píng)果采摘機(jī)器人采摘過(guò)程處理時(shí)間，而且識(shí)別率也較之前的方法有所改善 [3738]。 主要研究?jī)?nèi)容本文主要是通過(guò)利用DSP控制雙目攝像機(jī)采集圖像，并經(jīng)過(guò)二值化、濾波處理、索貝爾邊緣處理、形心確定、特征點(diǎn)匹配、三維重建等步驟實(shí)現(xiàn)對(duì)番茄的空間三維定位，然后將番茄果實(shí)的空間三維坐標(biāo)等參數(shù)傳送至下位機(jī)，下位機(jī)進(jìn)而通過(guò)控制三維滑臺(tái)和采摘機(jī)械手實(shí)現(xiàn)對(duì)番茄的抓取和采摘工作。本設(shè)計(jì)的主要研究?jī)?nèi)容如下：對(duì)采摘機(jī)器人的總體硬件方案進(jìn)行選擇和設(shè)計(jì)系統(tǒng)硬件主要包括數(shù)字信號(hào)處理器型號(hào)的選擇、攝像機(jī)型號(hào)的選取、控制器的選擇以及其它硬件電路的選型和設(shè)計(jì)。本設(shè)計(jì)還對(duì)三維滑臺(tái)類型和長(zhǎng)度進(jìn)行選取并組裝，選取合適的驅(qū)動(dòng)器及配套的驅(qū)動(dòng)電源，利用控制器實(shí)現(xiàn)對(duì)滑臺(tái)的控制。同時(shí)，需要選擇合適的采摘機(jī)械手并對(duì)采摘手的采摘頭進(jìn)行改裝設(shè)計(jì)，選擇合適的舵機(jī)驅(qū)動(dòng)器并利用下位機(jī)控制器實(shí)現(xiàn)對(duì)采摘機(jī)械手對(duì)果實(shí)的抓取和釋放。同時(shí)，本設(shè)計(jì)還需對(duì)滑臺(tái)限位傳感器和采摘機(jī)械手接觸傳感器進(jìn)行選型和設(shè)計(jì)等。獲取雙目攝像機(jī)的內(nèi)參數(shù)和外參數(shù)由于攝像機(jī)標(biāo)定的結(jié)果是立體視覺(jué)的前提，它決定了后續(xù)番茄果實(shí)空間三維定位的精確度。雙目攝像機(jī)標(biāo)定主要是通過(guò)兩攝像機(jī)對(duì)外界的標(biāo)定板進(jìn)行拍攝若干幅圖片后，通過(guò)利用 C++編寫(xiě)的上位機(jī)標(biāo)定程序計(jì)算出攝像機(jī)各自的內(nèi)外參數(shù)的過(guò)程。利用 DSP 控制雙目攝像機(jī)進(jìn)行圖像采集并對(duì)采集的圖像進(jìn)行二值化處理、邊緣處理、中值濾波等預(yù)處理操作通過(guò)利用 DSP 實(shí)現(xiàn)對(duì)視頻解碼芯片和視頻編碼芯片的控制，從而實(shí)現(xiàn)對(duì)視頻采集后的輸入解碼和編碼輸出控制，然后 DSP 可以對(duì)采集后圖像進(jìn)行預(yù)處理，包括圖像的閾值分割、索貝爾邊緣處理、中值濾波等操作，為后續(xù)的空間三維定位奠定基礎(chǔ)。青島農(nóng)業(yè)大學(xué)機(jī)電工程學(xué)院本科畢業(yè)設(shè)計(jì)（論文）4利用 DSP 實(shí)現(xiàn)對(duì)特征點(diǎn)的匹配、三維重建，并能簡(jiǎn)單的進(jìn)行三維坐標(biāo)的計(jì)算并將計(jì)算結(jié)果輸送至控制器利用 DSP 對(duì)左右兩個(gè)攝像機(jī)采集后的圖像視頻進(jìn)行初步處理后確定番茄果實(shí)的特征點(diǎn)、形心等參數(shù)，找到相對(duì)應(yīng)的匹配點(diǎn)，并根據(jù)上述步驟中攝像機(jī)標(biāo)定得到的內(nèi)外參數(shù)，利用雙目定位數(shù)學(xué)模型，根據(jù)三維重建初步計(jì)算番茄的空間三維坐標(biāo)，并能通過(guò)串行通訊將其傳送到下位機(jī)控制器?？刂破髂芘c DSP 通訊并根據(jù)接收到的數(shù)據(jù)實(shí)現(xiàn)對(duì)三維滑臺(tái)和采摘機(jī)械手的控制，從而實(shí)現(xiàn)對(duì)番茄果實(shí)的精確定位、抓取和采摘下位機(jī)控制器 MSP430F149 能通過(guò)串口接收來(lái)自 DSP 的三維坐標(biāo)信息及采摘信息，并能將番茄果實(shí)的空間三維坐標(biāo)轉(zhuǎn)化為采摘機(jī)械手的空間三維坐標(biāo)。同時(shí)，下位機(jī)控制器能根據(jù)接收的番茄果實(shí)空間三維坐標(biāo)數(shù)據(jù)控制三維滑臺(tái)工作，使得三維滑臺(tái)移動(dòng)到待采摘的番茄正前方，然后下位機(jī)控制器可以控制采摘機(jī)械手實(shí)現(xiàn)對(duì)番茄的抓取和采摘工作，最后將番茄送入集果箱。青島農(nóng)業(yè)大學(xué)機(jī)電工程學(xué)院本科畢業(yè)設(shè)計(jì)（論文）52 采摘機(jī)器人硬件系統(tǒng)設(shè)計(jì) 系統(tǒng)整體方案設(shè)計(jì)本設(shè)計(jì)中，基于圖像處理的采摘機(jī)器人主要包括上位機(jī)模塊和下位機(jī)模塊。上位機(jī)模塊主要包括：TMS320DM642 圖像處理模塊、圖像采集模塊、視頻解碼模塊、電源模塊、視頻編碼模塊、顯示模塊和串行通訊模塊等。下位機(jī)模塊主要包括：MSP430F149 主控模塊、電源模塊、串行通訊模塊、三維滑臺(tái)、采摘機(jī)械手、傳感器模塊、滑臺(tái)驅(qū)動(dòng)器、舵機(jī)驅(qū)動(dòng)器和燈光補(bǔ)償模塊等。上位機(jī)和下位機(jī)主要通過(guò) RS232 串行通訊模塊進(jìn)行數(shù)據(jù)的傳輸。上位機(jī)中的圖像采集模塊采集待采摘區(qū)域的圖像后，通過(guò)視頻解碼模塊將視頻的模擬信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)送入 TMS320DM642 圖像處理模塊， TMS320DM642 圖像處理模塊一方面通過(guò)對(duì)數(shù)字信號(hào)進(jìn)行處理和分析，實(shí)現(xiàn)對(duì)番茄果實(shí)進(jìn)行提取輪廓、形心位置確定、立體匹配和計(jì)算番茄果實(shí)的三維空間坐標(biāo)等處理和將計(jì)算后的數(shù)字信號(hào)傳輸至視頻編碼模塊，視頻編碼模塊將處理后的番茄果實(shí)的圖像再次轉(zhuǎn)換為模擬信號(hào)并送至顯示器進(jìn)行顯示以便開(kāi)發(fā)人員調(diào)試；另一方面，TMS320DM642 圖像處理模塊將計(jì)算出的番茄果實(shí)的空間三維坐標(biāo)的數(shù)據(jù)通過(guò)串行通訊發(fā)送至下位機(jī) MSP430F149 主控模塊。在這個(gè)過(guò)程中，電源模塊為上位機(jī)整個(gè)子模塊提供電能。下位機(jī)中的 MSP430F149 主控模塊通過(guò)串行通訊口接收到來(lái)自 TMS320DM642 發(fā)送的番茄果實(shí)三維空間坐標(biāo)數(shù)據(jù)后提取坐標(biāo)的有效值，然后通過(guò)滑臺(tái)驅(qū)動(dòng)器驅(qū)動(dòng)三維滑臺(tái)運(yùn)動(dòng)至帶采摘番茄果實(shí)的正前方位置，然后，MSP430F149 主控模塊控制舵機(jī)驅(qū)動(dòng)器驅(qū)動(dòng)采摘機(jī)械手對(duì)番茄果實(shí)進(jìn)行準(zhǔn)確抓取和采摘，最后將番茄果實(shí)送入集果箱中。在整個(gè)下位機(jī)工作過(guò)程中，電源模塊為下位機(jī)的整套系統(tǒng)提供電能，同時(shí)碰撞傳感器和觸碰傳感器實(shí)時(shí)檢測(cè)三維滑臺(tái)是否到達(dá)端點(diǎn)，觸碰傳感器實(shí)時(shí)檢測(cè)采摘機(jī)械手在對(duì)番茄果實(shí)進(jìn)行抓取時(shí)，機(jī)械手的兩個(gè)手掌是否已經(jīng)接觸到番茄果實(shí)。燈光補(bǔ)償模塊能夠使使TMS320DM642 圖像處理模塊更好的對(duì)外界的圖像進(jìn)行處理，減少外界光源對(duì)系統(tǒng)的干擾。本設(shè)計(jì)的番茄采摘機(jī)器人的整體結(jié)構(gòu)框圖如圖 21。青島農(nóng)業(yè)大學(xué)機(jī)電工程學(xué)院本科畢業(yè)設(shè)計(jì)（論文）6R S 2 3 2T M S 3 2 0 D M 6 4 2圖像處理模塊電源模塊 圖像采集M S P 4 3 0 F 1 4 9主控模塊顯示器電源模塊 燈光補(bǔ)償 滑臺(tái)驅(qū)動(dòng)器 舵機(jī)驅(qū)動(dòng)器視頻解碼 視頻編碼 碰撞檢測(cè) 壓力檢測(cè) 三維滑臺(tái) 采摘機(jī)械手上位機(jī)部分下位機(jī)部分圖 21 番茄采摘機(jī)器人的整體結(jié)構(gòu)框圖基于圖像處理的采摘機(jī)器人的設(shè)計(jì)流程圖如圖22所示。主要步驟包括上下位機(jī)的硬件搭建、雙目攝像機(jī)內(nèi)外參數(shù)的標(biāo)定等。其中，硬件搭建還包括DSP與MSP430F149 之間的串行通訊，數(shù)字圖像采集中還包括將采集的模擬信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)送入DSP中等 [39]。上下位機(jī)硬件搭建數(shù)字圖像采集雙目攝像機(jī)標(biāo)定圖像二值化處理圖像中值濾波圖像索貝爾邊緣處理圖像特征點(diǎn)確定番茄果實(shí)立體匹配番茄果實(shí)三維坐標(biāo)計(jì)算采摘機(jī)械手動(dòng)作和定位番茄果實(shí)抓取和采摘結(jié)束一次采摘工作采摘機(jī)器人調(diào)研和立題圖22 基于圖像處理的采摘機(jī)器人的設(shè)計(jì)流程圖青島農(nóng)業(yè)大學(xué)機(jī)電工程學(xué)院本科畢業(yè)設(shè)計(jì)（論文）7 雙目立體攝像機(jī)的選型攝像機(jī)的參數(shù)決定了后續(xù)圖像處理的精度，考慮到性能和價(jià)格兩方面因素，本設(shè)計(jì)選用索尼生產(chǎn)的 MJW 短槍攝像機(jī)，該攝像機(jī)采用了最新的 DSP 數(shù)字處理技術(shù)，CCD 尺寸為 1/3 英寸，有效像素 PAL：720576(440K)，NTSC：769494(380K)，具有自動(dòng)白平衡(AWB)和增益補(bǔ)償控制 (AGC)功能。由于攝像機(jī)在生產(chǎn)時(shí)的工藝問(wèn)題，很容易造成兩個(gè)攝像機(jī)的參數(shù)不同，如基線長(zhǎng)度、CMOS 面積大小和畸變系數(shù)，因此需要在后續(xù)的軟件設(shè)計(jì)中需要對(duì)其內(nèi)外參數(shù)進(jìn)行測(cè)定。另外，由于該攝像機(jī)可以變焦，因此在進(jìn)行圖像處理前需要對(duì)攝像機(jī)的鏡頭進(jìn)行測(cè)試，即將攝像機(jī)的焦距調(diào)整到合適的位置，使之采集的圖像清晰，便于后續(xù)圖像的處理工作。 圖像處理核心芯片的選型在當(dāng)前的圖像處理領(lǐng)域，基于下位機(jī)硬件的器件主要有 FPGA、ARM、DSP 以及ARM 與 DSP 組合的平臺(tái)。方案一：FPGA（現(xiàn)場(chǎng)可編程門(mén)陣列），采用硬件邏輯描述作為開(kāi)發(fā)語(yǔ)言，器件本身的運(yùn)行速度較快，但是對(duì)開(kāi)發(fā)人員的專業(yè)知識(shí)要求過(guò)高，而且程序移植較為困難。方案二：ARM(Advanced RISC Machines)，一般用在控制領(lǐng)域和嵌入式領(lǐng)域，比較擅長(zhǎng)做時(shí)序控制類、嵌入式類的工作，不適合做大容量的數(shù)字計(jì)算工作。方案三：DSP(Digital Signal Processor)，即：數(shù)字信號(hào)處理器，它一般適用于做數(shù)字信號(hào)處理運(yùn)算方面的工作，而且實(shí)時(shí)性較好。另外數(shù)字信號(hào)處理器具有體積小、功能強(qiáng)、成本低等特點(diǎn)，并且有的具有專用的協(xié)處理器用于圖像的處理工作。DSP 芯片內(nèi)部采用的是哈弗結(jié)構(gòu)，也就是程序和數(shù)據(jù)分開(kāi)管理的方式，從而使得程序處理效率較高。綜合以上方案，我們采用 TMS320DM642 作為圖像處理的核心芯片。TMS320DM642是美國(guó) TI 公司專門(mén)為視頻處理領(lǐng)域設(shè)計(jì)的芯片，它具有強(qiáng)大的計(jì)算能力和豐富的片內(nèi)設(shè)備，因此成為多種視頻和圖像處理應(yīng)用的首選。TMS320DM642 芯片可以提供三種最高主頻： 500M、600M 和 720M，其相應(yīng)的指令周期為：2ns、 和 。而且，其本身就有 8 個(gè)處理單元，在滿負(fù)荷運(yùn)行時(shí)可以完成 8 個(gè)指令/周期。因?yàn)槭褂玫氖?C64x 內(nèi)核，因此其具備了 128kbit 的 L1P 高速程序緩存，128kbit 的 L1D 高速數(shù)據(jù)緩存，2Mkbit 的 L2 高速聯(lián)合緩存的片內(nèi)外設(shè)。它具有 64 個(gè)獨(dú)立的 EDMA 通道，可以很方便的實(shí)現(xiàn)與外界數(shù)據(jù)的快遞交換。青島農(nóng)業(yè)大學(xué)機(jī)電工程學(xué)院本科畢業(yè)設(shè)計(jì)（論文）8圖像處理核心芯片 TMS320DM642 主要包括時(shí)鐘系統(tǒng)、電源供電電路、復(fù)位電路、視頻解碼電路、視頻編碼電路以及串口通訊電路等。下面我們一一介紹：時(shí)鐘電路：TMS320DM642 有多個(gè)時(shí)鐘源來(lái)滿足不同的內(nèi)核和外設(shè)的需求，它通過(guò)時(shí)鐘芯片提供了六個(gè)不同頻率的時(shí)鐘源，分別是：50M 的 TMS320DM642 時(shí)鐘，25M 的以太網(wǎng)芯片時(shí)鐘，100M 的 SDRAM 時(shí)鐘，20M 的異步通訊芯片時(shí)鐘， 的看門(mén)狗時(shí)鐘， 的視頻解碼芯片時(shí)鐘，27M 的視頻編碼芯片時(shí)鐘。TMS320DM642 的內(nèi)核可以工作在 600MHz 頻率上，甚至超頻后能在 720MHz 的頻率上工作，但是 DSP 的外部頻率只有 50MHz。因此，我們可以通過(guò)時(shí)鐘鎖相電路(PLL)來(lái)獲得倍頻，再通過(guò)分頻獲得多種不同頻率的時(shí)鐘供 DSP 的片內(nèi)外設(shè)使用。TMS320DM642 時(shí)鐘電路圖如圖 23 所示： VDOUTPNCGY150MHz23uF/+R圖 23 TMS320DM642 時(shí)鐘電路圖青島農(nóng)業(yè)大學(xué)機(jī)電工程學(xué)院本科畢業(yè)設(shè)計(jì)（論文）9電源供電電路：TMS320DM642 要求系統(tǒng)必須為其提供 伏和 伏電壓值的電源。其中，CPU 內(nèi)核工作在 伏，而且，DSP 內(nèi)核對(duì)供電電源的穩(wěn)定性和可靠性要求很高。DSP 在進(jìn)行工作時(shí)，特別是圖像處理時(shí)，主頻可以達(dá)到最高的 720MHz，此時(shí) CPU 內(nèi)核消耗的能量起伏非常大，而且隨運(yùn)算量變化的幅度變化急劇，很可能在短時(shí)間內(nèi)達(dá)到安倍級(jí)。因此，CPU 內(nèi)核對(duì)它的供電部分具有很高的要求和限制。但是因?yàn)檗D(zhuǎn)換效率的問(wèn)題，一般選擇可以承受較大電流的開(kāi)關(guān)電源。開(kāi)關(guān)電源具有最大的特點(diǎn)是：即使外界的負(fù)載變化很大，其依舊能輸出紋波系數(shù)較小的電壓，一般情況下可以滿足高速 DSP 這種對(duì)輸入電壓有較高要求的處理器。TMS320DM642 的外設(shè)工作在 電壓，這個(gè)電壓的要求相對(duì)沒(méi)有那么嚴(yán)格，因此可以通過(guò)開(kāi)關(guān)電源或一般的穩(wěn)壓電路提供。TMS320DM642 對(duì)電源的具體要求如表 21 所示。表 21 TMS320DM642 對(duì)電源的具體要求參數(shù)C P U 核心電壓 C V D D ( V )最小值 典型值 最大值外圍電壓 D V D D ( V )參數(shù)C P U 核供電電流 ( m A )外圍 I / O 供電電流 ( m A )1 . 3 63 . 1 48 9 02 1 01 . 43 . 31 . 4 43 . 4 6出現(xiàn)該電流值的條件C P U 核心電壓 C V D D 為 1 . 4 V , 且 D M 6 4 2工作在 6 0 0 M H z 時(shí)的時(shí)鐘頻率外圍電壓 D V D D 為 3 . 3 V , 且 D M 6 4 2 工作在 6 0 0 M H z 時(shí)的時(shí)鐘頻率電流值TMS320DM642 電源供電電路圖如圖 24 所示：青島農(nóng)業(yè)大學(xué)機(jī)電工程學(xué)院本科畢業(yè)設(shè)計(jì)（論文）10VIN156PGD2wrA4H0987BOT3SECMWR/圖 24 TMS320DM642 電源供電電路圖復(fù)位電路：TMS320DM642 不僅對(duì)電壓和電流有一定要求，對(duì)復(fù)位信號(hào)也有要求。它要求復(fù)位信號(hào)必須具備一定時(shí)間的低電平和跳變周期。本設(shè)計(jì)中選用的是 TPS382333，該芯片所搭建的復(fù)位電路較為簡(jiǎn)單：系統(tǒng)上電后，該芯片首先檢測(cè)電源的電壓，如果正常，則給出復(fù)位信號(hào)，DSP 開(kāi)始正常啟動(dòng)。TMS320DM642 復(fù)位電路圖如