【正文】 和功能的 擴(kuò)展。這就使得快速準(zhǔn) 確地進(jìn)行圖像處理變得越來(lái)越重要。 隨著以計(jì)算機(jī)和計(jì)算機(jī)技術(shù)為核心的信息科學(xué)的發(fā)展，圖像處理在通訊，醫(yī)學(xué)，氣象，航空航天及教育等領(lǐng)域發(fā)揮著越來(lái)越重要的作用。因?yàn)閿?shù)字?jǐn)z像機(jī)、模擬像機(jī)以及普通監(jiān)視器的廣泛應(yīng)用，所以，如何設(shè)計(jì)一個(gè)廣泛適用的、并能將圖像正確地顯示在普通監(jiān)視器上的圖像處理系統(tǒng)十分重要。由該系統(tǒng)得到 分辨率 800600,60H z 的 圖像 。近年來(lái)， FPGA 技術(shù)的發(fā)展不斷將數(shù)字信號(hào)處理領(lǐng)域的理論研究成果應(yīng)用到實(shí)際系統(tǒng)中，并且推動(dòng)了新的理論和應(yīng) 用領(lǐng)域的發(fā)展，對(duì)圖像處理等領(lǐng)域的技術(shù)發(fā)展也起到了十分重要的作用。而且，通過(guò)視頻獲得的視頻圖像信息往往比通過(guò)聽覺(jué)獲取的音頻信息具有更大的信息量。 用 FPGA 的好處是接口電路設(shè)計(jì)簡(jiǎn)單；并且 FPGA 有很高的并行處理能力。 張樂(lè) ： 基于 FPGA 的實(shí)時(shí)圖像處理研究 2 圖 11 圖像處理 系統(tǒng)框圖 系統(tǒng)分為 四 個(gè)部分：圖像采集，邏輯控制，圖像存儲(chǔ)以及圖像 輸出 。 無(wú)論是通過(guò) 視頻解碼器獲得的數(shù) 字 視頻數(shù)據(jù) 還是直接得到的數(shù)字視頻信號(hào)，都 具有非常大的數(shù)據(jù)量和很高 的數(shù)據(jù)率， 這就為圖像的實(shí)時(shí)傳輸提出了要求。例如存儲(chǔ)一幅圖像，大容量和快速的圖像存儲(chǔ)器是必不可少的。結(jié)果可以是最后處理完的圖像，也可以是圖像處理的其他形式數(shù)據(jù)結(jié)果。 本文以 FPGA 為平臺(tái)，使用 Verilog HDL 硬件描述語(yǔ)言設(shè)計(jì)并實(shí)現(xiàn)了 圖像二值化 、 最大類間方差法 等圖像處理算法。 張樂(lè) ： 基于 FPGA 的實(shí)時(shí)圖像處理研究 4 1 緒論 研究背景及意義 圖像處理技術(shù)應(yīng)用的領(lǐng)域十分廣泛，從民用領(lǐng)域如機(jī)器人視覺(jué)、資源探測(cè)、天氣預(yù)報(bào)和各種醫(yī)學(xué)圖像分析，到軍用領(lǐng)域如導(dǎo)彈的精確制導(dǎo)、戰(zhàn)場(chǎng)的動(dòng)態(tài)分析，都利用了實(shí)時(shí)圖像信號(hào)處理技術(shù)。公共安 全領(lǐng)域用圖像處理技術(shù)指紋識(shí)別以及人像識(shí)別。隨著當(dāng)代電子技術(shù)的發(fā)展，圖像處理技術(shù)的應(yīng)用越來(lái)越廣泛，要求也越來(lái)越高。 本課題的主要任務(wù)是：在我所自行研制 FPGA 的高速實(shí)時(shí)圖像處理平臺(tái)上，進(jìn)行圖像處理算法的研究和實(shí)現(xiàn)。如美國(guó) Thinking Machine 公司 87 年開始生產(chǎn)的 CM2 連接機(jī)，用了 65536 個(gè)處理器，處理器之間用超立方體結(jié)構(gòu)相連，也可組成網(wǎng)形結(jié)構(gòu)。 89年浙江大學(xué)研制了模塊化的實(shí)時(shí)圖像處理系統(tǒng) ZRIPI， 93 年用 LOGIC 公司的 VLSI 芯片又研制出了改進(jìn)型系統(tǒng) ZRIPII。 電視成像跟蹤系統(tǒng)屬于實(shí)時(shí)圖像處理的一個(gè)分支，也是始于 60 年代。美國(guó)LawrenceLivermore 國(guó)家實(shí)驗(yàn)室 1989 年研制的“大視場(chǎng)相機(jī)多目標(biāo)跟蹤系統(tǒng)”，整個(gè)多目標(biāo) ACE 處理器完全用硬件完成，實(shí)時(shí)性好，但是造 價(jià)高、靈活性差。圖像處理系統(tǒng)的實(shí)現(xiàn)方法一般有以下幾種（參考 文獻(xiàn) [2]）： (1)通用計(jì)算機(jī)軟件實(shí)現(xiàn)。 (3)單片機(jī)實(shí)現(xiàn)。普遍采用哈佛總線結(jié)構(gòu)或超哈佛總線結(jié)構(gòu)，內(nèi) 部有多個(gè)運(yùn)算單元，使用流水線結(jié)構(gòu)，具有良好的并行特性，并有專門設(shè)計(jì)的適合于數(shù)字信號(hào)處理的指令系統(tǒng)。結(jié)構(gòu)靈活、通用性強(qiáng)、處理效率高、開發(fā)周期短、易于維護(hù)和擴(kuò)展。采用 DSP 的方式實(shí)現(xiàn)，其 數(shù)據(jù)的處理 能力 較強(qiáng)，但是 DSP 的外設(shè)不夠 豐富，并且在圖像采集中和 CMOS 或 CCD 電路有繁復(fù)的接口電路設(shè)計(jì) 。 我所需要設(shè)計(jì)的是一個(gè)基于 FPGA 能夠針對(duì)各種圖像信號(hào)進(jìn)行處理的圖像處理系統(tǒng)。 第二章介紹了本文中系統(tǒng)的各個(gè)功能模塊在設(shè)計(jì)方案時(shí)的形成，并介紹了與本文相關(guān)的部分理論知識(shí)。 第五章為本文的總結(jié)。 FPL 被定義為含有現(xiàn)場(chǎng)可反復(fù)使用的小規(guī)模邏輯模塊和單元可編程器件。 圖 像 輸 入 圖 像 處 理 數(shù) 據(jù) 輸 出數(shù) 據(jù) 存 儲(chǔ) 圖 22 圖像處理系統(tǒng)框圖 圖像信息的獲取就是要把圖像轉(zhuǎn)換成適合輸入 到 計(jì)算機(jī)或數(shù)字 設(shè)備的數(shù)字信號(hào)， 其 過(guò)程主要包括 采集 圖像、光電轉(zhuǎn)換及數(shù)字化等幾個(gè)步驟。 圖像信息內(nèi)部傳送多采用 DMA 技術(shù) （ Direct Memory Access） 以解決速度和 CPU 開銷問(wèn)題 。目前主要的圖像顯示設(shè) 備 是 CRT 和 LCD。 所以圖像傳感器和處理器的選擇會(huì)直接影響到最終成果的優(yōu)劣。電子束掃描將一幅圖像的亮度分布進(jìn)行像素分解，使之轉(zhuǎn)變成按逐行逐場(chǎng)時(shí)間順序排列的電信號(hào)。 因?yàn)閳D像亮度只有正值而無(wú)負(fù)值，所以圖像信號(hào)也是單極性的。反之若信號(hào)電平隨著圖像亮度的增加而降低，則稱為負(fù)極性圖像信號(hào)。 西安理工大學(xué)本科生畢業(yè)設(shè)計(jì)（論文） 11 (a) HTi tOHTi tO (b) (c) 圖 23 垂直條圖像信號(hào) 前面已經(jīng)提到，在電視掃描中有行正程、行逆程、場(chǎng)正程、場(chǎng)逆程。我國(guó)廣播電視規(guī)定 ： 行消隱脈寬為 12 s? ，場(chǎng)消隱脈寬為 ： ssH ?? 1 6 1 21225 ?? 。 SAA7113 是飛利浦公司視頻解碼系列芯片的一種 ,非常具有代表性 ,在很多視頻產(chǎn)品如電視卡、 MPEG MPEG4 中都有應(yīng)用 。 系統(tǒng)其它模塊的設(shè)計(jì) 1．存儲(chǔ)器 SDRAM 具有存儲(chǔ)量大的優(yōu)勢(shì)，但本 系統(tǒng)中 乒乓緩存機(jī)制 主要 采用SRAM。本系統(tǒng)主要需求的電源為 與 。該系統(tǒng)硬件框圖如圖 26 所 。 主要包括 視頻 A/D 轉(zhuǎn)化 芯片 SAA7113H、 采 樣 控制器 下 、 存儲(chǔ) 芯片 SDRAM。 主要包括 視頻 A/D 轉(zhuǎn)化 芯片 SAA7113H、 采 樣 控制器 下 、 存儲(chǔ) 芯片 SRAM。 SAA7113H 芯片把從 CCD采集來(lái)的模擬 視頻信號(hào) 轉(zhuǎn)化成 Y U V =4 2 2 格式 的數(shù)字圖像信號(hào) 。 圖像采集 系統(tǒng)框架 如圖 3－ 3 所示： 圖 33 圖像采集系統(tǒng)框架 電源模塊 本系統(tǒng)主要需求的電源為 與 。本系統(tǒng)中采用 Philips 公司的可編程視頻解碼器 。 可對(duì)下列制式的視頻信號(hào)進(jìn)行亮度和色度處理： PAL BGHI, PAL N，聯(lián)合 PALN, PALM, NTSC M. NTSC N, NTSC 4. 43, NTSCJapan和 SECAM； 4. VPO 總線輸出標(biāo)準(zhǔn) ITU656 YUV4:2:2 格式的數(shù)字視頻； 的晶振； CI2 總線，最高速率可達(dá) 400kbit/s； 內(nèi)部結(jié)構(gòu)如圖 39 所示。 色度信號(hào)處理電路的工作過(guò)程通常是 。 SAA7113 有 256 個(gè)內(nèi)部寄存器 (Subaddress00H～ FFH)， 其中 00H 芯片版本信息寄存器是只讀的。 在場(chǎng)同步信號(hào)有效期（高電平）內(nèi)，輸出行同步信號(hào)，從而就可以依照前面所講的讀出 每一行的數(shù)據(jù)，最終得到整幅的圖像數(shù)據(jù)。典型的 I2C 總線結(jié)構(gòu)如圖 34 所示。任一設(shè)備輸出的低電平都將使相應(yīng)的總線信號(hào)線變低，也就是說(shuō)：各設(shè)備的 SDA 是 “ 與 ” 關(guān)系， SCL 也是 “ 與 ”關(guān)系。 在 I2C 總線傳輸過(guò)程中，將兩種特定的情況定義為開始和停止條件：當(dāng) SCL 保持 “ 高 ” 時(shí)， SDA 由 “ 高 ” 變?yōu)?“ 低 ” 為開始條件；當(dāng) SCL保持 “ 高 ” 且 SDA 由 “ 低 ” 變?yōu)?“ 高 ” 時(shí)為停止條件 ，如圖 35 所示。所謂主機(jī)是指啟動(dòng)數(shù)據(jù)的傳送（發(fā)出啟動(dòng)信號(hào)）、發(fā)出時(shí)鐘信號(hào)以及傳送結(jié)束時(shí)發(fā)出停止信號(hào)的設(shè)備，通常主機(jī)都是處理器。凡是發(fā)送數(shù)據(jù)到總線的設(shè)備稱為發(fā)送器，從總線上接收數(shù)據(jù)的設(shè)備被稱為 接收 器。 I2C 總線上傳送的一個(gè)數(shù)據(jù)字節(jié)由八位組成。啟動(dòng)信號(hào)后的第一個(gè)字節(jié)數(shù)據(jù)具有特殊含義：高七位是從機(jī)的地址，第八 位是傳送方向位， 0 表示主機(jī)發(fā)送數(shù)據(jù) （ 寫 ） ， 1 表示主機(jī)接收數(shù)據(jù) （ 讀 ） 。數(shù)據(jù)傳送完畢，由主機(jī)發(fā)出停止信號(hào) “ P” (SDA 在 SCL 高電平期間由低電平跳變?yōu)楦唠娖?)。 SDA 線上的數(shù)據(jù)在時(shí)鐘 “ 高 ” 期間必須是穩(wěn)定的，只有當(dāng) SCL 線上的時(shí)鐘信號(hào)為低時(shí)，數(shù)據(jù)線上的 “ 高 ” 或 “ 低 ” 狀態(tài)才可以改變。與應(yīng)答對(duì)應(yīng)的時(shí)鐘脈沖由主控制器產(chǎn)生，發(fā)送器在應(yīng)答期間必須下拉 SDA 線。具體可以分成 I2C_cmd 和數(shù)據(jù)傳輸 兩個(gè)模塊 。 DRAM，動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器，需要不斷的刷新，才能保存數(shù)據(jù)。DRAM 和 SDRAM 由于實(shí)現(xiàn)工藝問(wèn)題，容量較 SRAM 大 ， 但是讀寫速度不如 SRAM。不應(yīng)將SRAM 與只讀存儲(chǔ)器（ ROM）和 Flash Memory 相混淆，因?yàn)?SRAM 是一種易失性存儲(chǔ)器，它只有在電源保持連續(xù)供應(yīng)的情況下才能夠保持?jǐn)?shù)據(jù)。 RAM 緩沖方案 雙口 RAM 緩沖方案的原理如圖 312 所示。 FIFO 沒(méi)有地址總線，它 由 外部通過(guò)同步或異步方式驅(qū)動(dòng)內(nèi)部寫指針和讀指針循環(huán)進(jìn)行讀寫。 在第 1 個(gè)緩存周期 ， 將輸入的數(shù)據(jù)流緩存到數(shù)據(jù)緩存模塊 1 上 ； 在第 2 個(gè)緩存周期 ， 通過(guò)輸人數(shù)據(jù)選擇單元的切換 ，將輸入的數(shù)據(jù)流緩存到數(shù)據(jù)緩存模塊 2， 同時(shí) ， 將數(shù)據(jù)緩存模塊 1 緩存的第 1 個(gè)周 期的數(shù)據(jù)通過(guò)輸出數(shù)據(jù)選擇單元的選擇 ， 送到運(yùn)算處理單元進(jìn)行處理 ； 在第 3 個(gè)緩存周期 ， 再次切換數(shù)據(jù)的輸入與輸出緩存模塊 。與此同時(shí)，輪流將兩個(gè)數(shù)據(jù)緩沖模塊的數(shù)據(jù)通過(guò)“輸入數(shù)據(jù)選擇單元”送到“數(shù)據(jù)流運(yùn)算處理模塊”被運(yùn)算處理。乒乓操作的還可以節(jié)約緩沖區(qū)空間。乒乓緩存結(jié)構(gòu)的上述特點(diǎn)決定了可以用相對(duì)較便宜的高速大容量 SRAM，外圍邏輯器件構(gòu)成比雙口 RAM 以及高速 FIFO 更適合視頻處理系統(tǒng)所需要的緩沖存儲(chǔ)器。 VGA 接口傳輸?shù)娜匀皇悄M信號(hào)，對(duì)于以數(shù)字方式生成的顯示圖像信息，通過(guò)數(shù)字 /模擬轉(zhuǎn)換器轉(zhuǎn)變?yōu)?R、 G、 B 三原色信號(hào)和行、場(chǎng)同步信號(hào)，信號(hào)通過(guò)電纜 傳輸?shù)斤@示設(shè)備中。VGA 接口應(yīng)用于 CRT 顯示器無(wú)可厚非，但用于數(shù)字電視之類的顯示設(shè)備，則轉(zhuǎn)換過(guò)程的圖像損失會(huì)使顯示效果略微下降 。此外，Quartus II 軟件為設(shè)計(jì)流程的每個(gè)階段提供 Quartus II 圖形用戶界面、張樂(lè) ： 基于 FPGA 的實(shí)時(shí)圖像處理研究 34 EDA 工具界面以及命令行界面。圖像處理部分 包括 圖像處理函數(shù)。 wire odd_even_sig， frame_syc。 //調(diào)用 receiver_pal 模塊，對(duì)應(yīng) PAL 制式，接受從 SAA7113 出來(lái)的視頻數(shù)據(jù)，即 采集外部輸入的圖像數(shù)據(jù) receiver_pal receiver1( .rst(rst), .qd(qd), .clk(qck), .qfv(qfv), .odd_even_in(odd_even_sig), .r_ram_wdb(r_ram_wdb), .r_ram_wdb_test(r_ram_wdb_test), .r_ram_wab(r_ram_wab), 張樂(lè) ： 基于 FPGA 的實(shí)時(shí)圖像處理研究 36 .r_ram_wen(r_ram_wen), .r_req(r_req)， .r_ack(r_ack) .start_read(start_read) )。 //調(diào)用 datal 模塊，利用乒乓緩存機(jī)制 將外部采集來(lái)的數(shù)據(jù)緩存入sdram 中，一共可以緩存 4 幅圖像 datal datal1( .clk(clk), .rst(rst), .r_ram_rdb(r_ram_rdb), .r_ram_rab(r_ram_rab), .r_req(r_req), .r_ack(r_ack), .s_ram_wdb(s_ram_wdb), .s_ram_wab(s_ram_wab), .s_ram_wen(s_ram_wen), .s_req(s_req), .s_ack(s_ack), .cmd(cmd), .cmdack(cmdack), .addr(addr), .datain(datain), .dataout(dataout), .start_read(start_read), .start_send(start_send), .vsync(frame_syc), .vsync_vga(V_sig_vga) )。 wire [31:0] s_ram_rdb_raw_vga， [8:0] s_ram_rab_raw_vga。 wire blank_NTSC。 endmodule 視頻 采集 程序 一般對(duì)于視頻應(yīng)用程序來(lái)說(shuō)，首先做設(shè)備初始化的工作，包括配置內(nèi)存空間，然后開始捕獲視頻數(shù)據(jù)，再?gòu)膬?nèi)存中取出視頻數(shù)據(jù)。在本文中，視 頻處理后端需要 YCrCb 的格式圖像，因此需要 RGB 格式的圖像數(shù)據(jù)轉(zhuǎn)換成 YCrCb 格式。如果只有 Y信號(hào)分量而沒(méi)有 U、 V 信號(hào)分量，那么這樣表示的圖像就是黑白灰度圖像。轉(zhuǎn)換結(jié)束后，便可以直接將數(shù)據(jù)送到視頻處理后端中將圖像以 NTSC 或者 PAL制式輸出。 從處理域（維度）可分為：時(shí)間域處理、空間域處理、頻濾域處理。 在本文中想得到一幅灰度圖像 ,但由于得到的是彩色圖像，所以首先將彩色圖像轉(zhuǎn)換為灰度圖像。 。經(jīng)典的圖像分割方法是基于度量空間的空間域聚類的，實(shí)際上它利西安理工大學(xué)本科生畢業(yè)設(shè)計(jì)（論文） 41 用了直方圖作為圖像中不同區(qū)域的統(tǒng)計(jì)特征。因此 ， 使類間方差最大的分割意味著錯(cuò)分概率最小