【正文】 結(jié)果表明，使用 基于 FPGA 硬件處理圖像數(shù)據(jù)不僅能夠獲得很好的處理效果，達到較高的工作頻率，處理速度也 遠遠高于軟件法處理圖像 。紡織行業(yè)采用圖像處理技術(shù)檢測紡織品疵點以及紋理、圖案特征。人工地震波形圖處理技術(shù)可用于地質(zhì)結(jié)構(gòu)分析、化石燃料資源勘探。這些發(fā)展都使得圖像處理技術(shù)廣泛的應(yīng)用于科學研究、工農(nóng)業(yè)生產(chǎn)、資源的遙感探測、醫(yī)療衛(wèi)生、空間探測等各個領(lǐng)域。為達到實時的要求，現(xiàn)在的圖像處理器除采用 高性能的主處理器外，同時還采用多處理器并行結(jié)構(gòu)。 2020 年 5 月，富士通研究所與富士通前沿科技公司共同推出了“富士通服務(wù)機器人” ,其中 3 維圖像處理 LSI 使用美國 XILINX 約有 500 萬個門陣列的 FPGA 開發(fā)而成，該 FPGA 的工作頻率為 提高了處理速度，因此可以在行走進程中進行視覺識別 . 國內(nèi)的實時圖像處理技術(shù)雖然起步較晚，也取得了可喜的成就。 同濟大學超大規(guī)模集成電路研究所 研制成功了基于 FPGA 的 編解碼器，清華大學研制了 GIEB 微機高速圖像處理系統(tǒng)。 90 年代系統(tǒng)發(fā)展到成熟階段，從最 初的模擬視頻跟蹤展到了現(xiàn)在的數(shù)字視頻跟蹤器，從最初的簡單被動跟蹤走向了多功能張樂 ： 基于 FPGA 的實時圖像處理研究 6 自適應(yīng)跟蹤，從單目標單軌跡相關(guān)跟蹤走向了多目標多航跡跟蹤。在高速智能化 的圖像信息處理平臺上實現(xiàn)系統(tǒng)，并通過軟件使系統(tǒng)具有綜合的智能決策能力、很高的實時性、多種環(huán)境適應(yīng)能力，以及良好的兼容性、可擴展性、可移植性。由于兩者數(shù)據(jù)交換速度較慢，使系統(tǒng)性能受到限制。 (4)通用 DSP 芯片實現(xiàn)。 (6)用 DSP 十 FPGA/ASIC 實現(xiàn)。基于專用壓縮芯片的方式實現(xiàn)簡單、技術(shù)成熟可靠、成木低，一般情況 下 速度快，但靈活性差，無法滿足用戶靈活多樣的要求。因此， FPGA 技術(shù)被越來越廣泛地運用在圖像處理領(lǐng) 域 。針對實際問題的特點，提出了解決方案，并簡述了系統(tǒng)的各功能模塊。 第四章 講述了本文中的軟件設(shè)計流程，包括軟件程序的設(shè)計，并對采集的圖像進行了處理，并給出了所需要的圖像算法，最后給出了設(shè)計的結(jié)果。 FPGA 是一類稱為現(xiàn)場可編程邏輯（ field programmablelogic， FPL）器件中的一員。 系統(tǒng)框圖如圖 22。為解決海量存儲問題主要研究數(shù)據(jù)壓縮、圖像格式技術(shù)等。因此，圖像輸出也是圖像處理的重要內(nèi)容之一。 張樂 ： 基于 FPGA 的實時圖像處理研究 10 基于 FPGA 數(shù)字圖像處理平臺 嵌入式數(shù)字 圖像處理的全部過程主要依賴于兩個方 面，一是數(shù)字圖像的獲取，另一個 是數(shù) 字 圖像處理技術(shù)。 黑白電視的圖像信號是攜帶著一行行、一場場景物信 息的電信號。按照信號幅度正比于亮度人小的原則畫出一行的信號波形如圖 23(b)所示。為了方便起見，有如下規(guī)定 :若圖像越亮，信號電平越高，則稱為正極性圖像信號。水平方向的掃描同 步稱為水平同步，也稱為行同步，垂直方向的掃描同步稱為垂直同步，也稱為場同步，兩種同步混合在一起成為復(fù)合同步。按時間順序?qū)⑿邢[脈沖序列和場消隱脈沖序列組合在一起稱為復(fù)合消隱脈沖，如圖 24 所示。 在視頻的 A/D 轉(zhuǎn)換部分，我使用了 Philips 公司的視頻解碼芯片SAA7113H。 7113 內(nèi)部具有一系列寄存器 ,可以配置為不同的參數(shù) ,對色度、亮度等的控制都是通過對相應(yīng)寄存器改寫不同的值 ,寄存器的讀寫需要通過 I2C 總線進行。 2． 電源模塊 電 源模塊的設(shè)計是依照 系統(tǒng)其它部分的電源要求決定的，因此在系統(tǒng)其它部分芯片的選型上應(yīng)該考慮電源的要求， 芯片的電壓要求應(yīng)該盡量一致，以簡化電源的設(shè)計 。本文設(shè)計的顯示控制器就是用 Verilog HDL語言描述，基于 FPGA 而實現(xiàn)的。 圖 31 EP2C35 核心開發(fā)板原理圖 對應(yīng)的管腳分配原理圖 西安理工大學本科生畢業(yè)設(shè)計（論文） 17 圖 32 EP2C35 管腳 原理圖 外圍硬件 設(shè)計 該 基于 FPGA 的 圖像采集 系統(tǒng) 的電路 設(shè)計。 該 基于 FPGA 的 圖像采集 系統(tǒng) 的電路 設(shè)計。 該圖像采集系統(tǒng)主要由模擬視頻信號解碼模塊， I2C 控制接口模塊，采樣控制模塊， SDRAM 存儲控制模塊。 該系統(tǒng)可以實現(xiàn) 由隔行 掃描圖像 到逐行圖像的轉(zhuǎn)化 及存儲 。對視頻信號進行同步分離可以采用分離元件也可以采用專用的視頻解碼芯片。主要功能特點如下： ，并可以進行內(nèi)部模擬信號源選擇，如4CVBS, 2Y/C 或者 1xY /C 和 2CVBS； 2．對所選的 CVBS(或 Y/C)通道可編程實現(xiàn)靜態(tài)增益控制或者自動增益控制，且有兩個內(nèi)置的模擬抗混疊濾波器； 50Hz 和 60Hz 場頻視頻信號，在 PAL 和 NTSC 制式間自動切換。經(jīng)過處理后的亮度信號一路送到色度信號處理電路經(jīng)過綜合處理后產(chǎn)生 Y, U, V 信號，再經(jīng)過格式化后從 16 位的 VPO 輸出 ；另一路進入同步分離電路，并經(jīng)數(shù)字 PLL 產(chǎn)生行、場同步信號 HS 和 VS，同時 PLL 驅(qū)動時鐘發(fā)生電路產(chǎn)生與 HS 鎖定的時鐘信號 LLC。 Y 信號也被送到色度信號處理器，經(jīng)過延時補償與梳狀濾波后的 YUV 信號一起進入 RGB 變換矩陣以產(chǎn)生 RGB 信號，然后通過格式選擇器由 VPO 輸出。 SAA7113 的電路圖如圖所示： 張樂 ： 基于 FPGA 的實時圖像處理研究 22 模塊在 Verilog 編程語言 的控制 下 ，把 SAA7113H 輸出的一幀灰度數(shù)字視頻圖像數(shù)據(jù)進行奇偶場的分開存儲， 接收從 7113 輸出的 8 位數(shù)據(jù) ,達到隔行到逐行的圖像轉(zhuǎn)換，與此同時，通過 控制行采集數(shù)和列采集數(shù)，滿足 800*600、 60Hz 的分辨率的要求 。所有接到 I2C 總線設(shè)備上的串行數(shù)據(jù) SDA 都接到總線的 SDA 上，各設(shè)備的時鐘線 SCL 接到總線的 SCL 上?？偩€空閑時，因各設(shè)備都是開漏輸出，上拉電阻 R使 SDA 和 SCL 線都保持高電平。另外，總線上允許連接的設(shè)備數(shù)以其電容量不超過 400pF 為限。 圖 35 起始位和停止位時序關(guān)系 總線的運行（數(shù)據(jù)傳輸）由主機控制。主機和張樂 ： 基于 FPGA 的實時圖像處理研究 24 從機的數(shù)據(jù)傳送，可以由主機發(fā)送數(shù)據(jù)到從機，也可以由從機發(fā)到主機。如果相同，該器件即認為自己被主控器尋址，而作為被控接收器或被控發(fā)送器則取決于 R/W 位。首先由主機發(fā)出啟動信號 “ S”（ SDA 在 SCL 高電平期間由高電平跳變?yōu)榈碗娖?） ，然后由主機發(fā)送一個字節(jié)的數(shù)據(jù)。除了第一字節(jié)是通用呼叫地址或七 位從機地址之外，第二字節(jié)開始即數(shù)據(jù)字節(jié)。多臺設(shè)備之間時鐘信號的同步過程稱為同步化。 I2C 總線的響應(yīng)如圖 3－ 7 所示： 張樂 ： 基于 FPGA 的實時圖像處理研究 26 圖 37 I2C 總線的響應(yīng) 數(shù)據(jù)傳送具有應(yīng)答是必須的。 I2C 模塊 作為 SAA7113H 寄存器初始配置的整體控制模塊。另一種稱為動態(tài) RAM， DRAM保留數(shù)據(jù)的時間很短，速度也比 SRAM 慢，不過它還是比任何的 ROM都要快，但從價格上來說 DRAM 相比 SRAM 要便宜很多，計算機內(nèi)存就是 DRAM 的。 SDRAM，同步的 DRAM，即數(shù)據(jù)的讀寫需要時鐘來同步。這一點與動態(tài) RAM 不同， DRAM 需要進行周期性的刷新操作。目前高速緩沖主要有雙口RAM、 FIFO 緩沖 和 乒乓 緩 等幾種方案。 FIFO 即先進先出存儲器，也是一種專門用來做總線緩沖的特殊存儲器。 寫時鐘信號 讀時鐘信號 DATA DATA 圖 313 FIFO 緩沖方案 數(shù)字視頻處理系統(tǒng)中 ,視頻數(shù)據(jù)的流量非常大且對系統(tǒng)的實時性要求較高 ,因此系統(tǒng)必須采用高速且需建立快速有序的視頻數(shù)據(jù)輸入輸出而 乒乓緩存結(jié)構(gòu) 正是 為恒速的視頻編解碼與變速的圖像處理過程之間提供適應(yīng)通道 的 乒乓緩存結(jié)構(gòu)是將輸人數(shù)據(jù)流通過輸數(shù) 據(jù)選擇單元等時地將數(shù)據(jù)流分配到兩個數(shù)據(jù)緩 存區(qū) 。乒乓操作實際上使數(shù)據(jù)流通過“輸入數(shù)據(jù)選擇單元”，等時的將數(shù)據(jù)流等時分配到兩個數(shù)據(jù)緩沖模塊。乒乓操作常常應(yīng)用于流水線式算法，完成數(shù)據(jù)的無縫緩沖與處理。 FIFO 可以進行雙端操作 ,但是數(shù)據(jù)必須先進先出 ， 不能進行隨機性的訪問 ， 從容量大小來 看雙口 RAM 比 FIFO 要大一些，但總的來說這兩種緩沖結(jié)構(gòu)的存 儲容量還是相對較小，對高速圖像處理系統(tǒng)而言，還不是特別適合。 VGA 接口是一種 D 型接口，上面共有 15 針，分成三排，每排五個。在經(jīng)過 D/A 和 A/D2 次轉(zhuǎn)換后，不可避免地造成了一些圖像細節(jié)的損失。QuartusⅡ軟件含有 FPGA 和 CPLD 設(shè)計所有階段的解決方案。視頻輸出包括初始化顯示設(shè)備和顯示圖像函數(shù)。d0， clk = clkin。 wire [7:0] r_ram_wdb， [10:0] r_ram_wab， [10:0] r_ram_wab ，[7:0] qd,r_ram_wdb_test， qck， H_sig， V_sig， r_req， r_ack，r_ram_wen。 wire start_send， [8:0] s_ram_wab， [31:0] s_ram_wdb， [2:0] cmd， cmdack， [20:0] addr， [31:0] datain， [31:0] dataout， vsync_vga,vsync。 sdr_sdram sdr_sdram1(.CLK (clk), .RESET_N(rst), .ADDR (addr), .CMD (cmd), .CMDACK (cmdack), .DATAIN (datain), .DATAOUT(dataout), .SA (sa), .BA (ba), .CS_N (cs_n), .CKE (cke), .RAS_N (ras_n), .CAS_N (cas_n), .WE_N (we_n), .DQ (dq) )。 wire [7:0] pixel_R, pixel_G, pixel_B。 //產(chǎn)生 VGA 的時序，分辨率 800 600,60Hz 掃描 vga_out vga_out0( .rst(rst), .clk40m(clk40m), .hsync(H_sig_vga), .vsync(V_sig_vga), .blank(qfv_vga), .blank_NTSC(blank_NTSC), .blank_PAL(blank_PAL) )。將 RGB 格式圖像復(fù)原的常見方法有雙線性插值和邊緣檢測等方法。采用 YUV 色彩空間的重要性是它的亮度信號 Y 和色度信號 U、 V 是分離的。 在 DM355 處理器中，視頻處理子系統(tǒng)中的圖像管道系統(tǒng)可以完成Bayer 格式到 YCrCb 4:2:2 格式的轉(zhuǎn)換，并不需要過多的軟件干預(yù)?，F(xiàn)有的處理算法千門萬類，基于傳統(tǒng)處理算法的改進算法張樂 ： 基于 FPGA 的實時圖像處理研究 40 不斷涌現(xiàn)，圖像處理算法的分類也多種多樣。 從算法所用的數(shù)學依據(jù)可分為：基于代數(shù)的方法，如反約束、約束圖像復(fù)原法、最小二乘法、去卷積法、高階相關(guān)；基于幾何和集合論的方法如形態(tài)學濾波、模版匹配； 基于正交變換的處理如傅立葉變換、 DCT變換、沃爾什變換、哈爾變換、斜矩陣與斜變換、小波變換；基于概率統(tǒng)計學的處理如各種排序統(tǒng)計濾波、基于直方圖的算法。區(qū)域內(nèi)的象素一般具有灰度相似性，而在區(qū)域之間的邊界上一般具有灰度不連續(xù)性。還有一種常用的方法是最大精準則灰度門限法，其 基本思想是選擇最佳分割灰度的門限。背景和目標之間的類間方差越大 ， 說明構(gòu)成圖像的兩部分的差別越大 ， 當部分目標錯分為背景或部分背景錯分為目標都會導(dǎo)致兩部分差別變小。 張樂 ： 基于 FPGA 的實時圖像處理研究 42 圖 4 處理的灰度圖截圖 5 總結(jié) 圖像。 從統(tǒng)計意義上說，方差是表示數(shù)據(jù)分布不均衡性的統(tǒng)計量，要通過閾值 對兩類問題進行分割，適當?shù)拈撝凳沟脙深悢?shù)據(jù)間的方差越大越好，表明該閾值將兩類不同的問題分開了，同時希望屬于同一類問題的數(shù)據(jù)之間的方差越小越好，表明同一類問題具有相似性。 在本文中使用最大類間方差法作為對圖像二值化的方法。 在本文的系統(tǒng)中， 考慮邊緣特征受噪聲影響較大，而區(qū)域特征受噪聲影響要小得多，使用灰度門限法進行區(qū)域分割較簡單。彩色圖像轉(zhuǎn)換為灰度圖像的公式為： gray=*R+*G+*B 可以依靠 mesure_card_top 頂層程序中的 sdram控制器 模塊得到 YUV格式數(shù)據(jù)，再提取 Y 分量。 從處理的目的可分為：圖像壓縮、圖像增強、圖像分割、目標識別、目標跟蹤。 在我們進行圖像算法處理中，如果需要將 YCrCb 格式數(shù)據(jù)轉(zhuǎn)換為RGB 格式，這個轉(zhuǎn)換過程關(guān)系為： ?????????????