【正文】 基于 DSP的視頻采集與壓縮傳輸系統(tǒng)的設(shè)計(jì) 第 1 頁(yè) 共 83 頁(yè) 1 緒論 課題背景 視頻采集技術(shù)相關(guān)的產(chǎn)品正經(jīng)歷著由模擬化向數(shù)字化、網(wǎng)絡(luò)化的變革。并在科學(xué)研究、工農(nóng)業(yè)生產(chǎn)、資源的遙感探測(cè)、交通運(yùn)輸、空間探測(cè)、醫(yī)療衛(wèi)生等各個(gè)領(lǐng)域內(nèi)應(yīng)用愈發(fā)廣泛。數(shù)字視頻采集壓縮傳輸系統(tǒng)不僅符合信息產(chǎn)業(yè)的未來(lái)發(fā)展趨勢(shì)，而且代表了行業(yè)的未來(lái)發(fā)展方向，蘊(yùn)藏著巨大的商機(jī)和經(jīng)濟(jì)效益，成為目前信息產(chǎn)業(yè)中頗受關(guān)注的數(shù)字化產(chǎn)品。 隨著技術(shù)的高速發(fā)展，數(shù)字信號(hào)處理器（ DSP）的應(yīng)用范圍越來(lái)越廣闊，其普及率也越來(lái)越高，應(yīng)用領(lǐng)域達(dá)到航空航天器材，比如飛機(jī)，小到日常所使用的電子產(chǎn)品，比如手機(jī)、數(shù)碼相機(jī)等 。 DSP 在當(dāng)今電子類(lèi)產(chǎn)品中起了不可或缺的作用。 TMS320DM642 是 TI 公司于 2020 年左右推出的一款 32 位定點(diǎn) DSP 芯片，主要面向數(shù)字媒體，屬于 C6000 系列 DSP 芯片。 DM642 保留了 C64x 原有的內(nèi)核結(jié)構(gòu)，工作頻率由內(nèi)部倍頻器設(shè)置，可以達(dá)到 500MHz、 600MHz 或 720MHz，相應(yīng)的時(shí)鐘周期為 2ns、 和 ，每秒可執(zhí)行指令數(shù) 4000 MIPS、 4800 MIPS 和 5760MIPS。 DM642 采用 TI 公司第 2 代增強(qiáng)型超長(zhǎng)指令集，它的 EMIFA接口數(shù)據(jù)總線寬度為 64 位，最高數(shù)據(jù) 存取頻率 133MHz，可直接與大容量、低成本的 SDRAM 芯片無(wú)縫連接。 DM642 片上帶有 3 個(gè)雙通道數(shù)字視頻口，可同時(shí)處理多路數(shù)字視頻流，片上帶有多通道串行音頻接口，可同時(shí)處理 4 路立體聲輸入 /輸出音頻信號(hào)。 DM642 擁有 I178。C 設(shè)備的寄存器， DM642 的網(wǎng)口、 PCI 口和HPI 口共享引腳。 當(dāng)前在國(guó)內(nèi)外市場(chǎng)上，對(duì)視頻數(shù)據(jù)的采集壓縮主要有三種方式：基于 PC機(jī)的視頻采集壓縮系統(tǒng)、基于專(zhuān)用視頻壓縮芯片的視頻處理系統(tǒng)和基于高速通用視頻處理 DSP的視頻壓縮系統(tǒng)。在現(xiàn)今以高速化為要求的視頻采集技術(shù)中，前兩種 基于 DSP的視頻采集與壓縮傳輸系統(tǒng)的設(shè)計(jì) 第 2 頁(yè) 共 83 頁(yè) 技術(shù)難以滿足實(shí)時(shí)處 理的要求?；诟咚偻ㄓ靡曨l處理 DSP的視頻壓縮系統(tǒng)成 為新一代網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)的主流。實(shí)現(xiàn)這個(gè)系統(tǒng)的關(guān)鍵問(wèn)題是如何解決圖像信號(hào)的壓縮編碼和壓縮后圖像數(shù)據(jù)的傳輸。目前視頻處理 DSP芯片的性能非常強(qiáng)大 ,并且價(jià)格 是 可以接受 的 ，采用 DSP來(lái)進(jìn)行圖像的壓縮編碼是可行的。與此同時(shí)，隨著網(wǎng)絡(luò)技術(shù)的普及與推廣，以太網(wǎng)通信速率的提高和交換技術(shù)的發(fā)展使它得到了迅速發(fā)展和普及。目前，以太網(wǎng)技術(shù)己無(wú)可爭(zhēng)議地成為主要網(wǎng)絡(luò)技術(shù)。 課題研究的目的及意義 本論文以 TI 公司高性能的 32 位定點(diǎn) TMS320DM642 為中央處理器實(shí)現(xiàn)了嵌 入式的視頻采集系統(tǒng)， 利用 DSP 將攝像頭獲取的圖像進(jìn)行壓縮，處理，傳輸?shù)浇K端。 整個(gè)除了具有圖像采集，圖像壓縮功能之外，還加入了本地大容量存儲(chǔ)模塊以及網(wǎng)絡(luò)接口模塊，具備了較完整的視頻處理所需要的功能。與其他多處理器實(shí)現(xiàn)方式不同的是， TMS320DM642 片內(nèi)集成了視頻和網(wǎng)絡(luò)外設(shè)接口，系統(tǒng)的軟件處理工作可以全部都由 DM642 完成，從而減少了嵌入式視頻系統(tǒng)的成本和開(kāi)發(fā)難度。在系統(tǒng)中采用了最新的視頻編碼標(biāo)準(zhǔn) 壓縮算法，并使用 8019實(shí)現(xiàn) UDP 協(xié)議。本文比較系統(tǒng)地描述了系統(tǒng)的組成、結(jié)構(gòu)和功能，對(duì)系統(tǒng)的各個(gè)組成 模塊進(jìn)行了分析和設(shè)計(jì)，使用 protel 99se 設(shè)計(jì)電路原理圖和 PCB 圖， 主要包括視頻采集，視頻處理，視頻輸出，音頻輸入 /輸出、網(wǎng)絡(luò)傳輸串口等模塊，并針對(duì) DM642 高速 CPU，分析了系統(tǒng)設(shè)計(jì)中應(yīng)注意的問(wèn)題。 我國(guó)基于嵌入式技術(shù)的網(wǎng)絡(luò)視頻采集壓縮傳輸系統(tǒng)剛剛起步，所以研究并開(kāi)發(fā)一種基于嵌入式系統(tǒng)的網(wǎng)絡(luò)視頻采集壓縮傳輸系統(tǒng)具有很大的工程實(shí)際意義?；?DPS的視頻采集系統(tǒng)，由于可以靈活地修改其圖像處理算法，它的應(yīng)用主要面向用戶的特定需求和對(duì)實(shí)時(shí)性有較高要求的場(chǎng)合。因此，有理由相信在嵌入式系統(tǒng)的基礎(chǔ)上構(gòu)建視頻圖像采 集，處理及壓縮傳輸系統(tǒng)具有廣闊的市場(chǎng)前景。 國(guó)內(nèi)外研究現(xiàn)狀 現(xiàn)在采集系統(tǒng)中，應(yīng)用了基于 DSP的圖像處理技術(shù)，特別是在圖像的模式識(shí)別問(wèn)題上充分發(fā)揮了 DSP的硬件結(jié)構(gòu)和具有特色的編程指令。圖像模式識(shí)別的典型算法是卷積運(yùn)算，即乘累加，正好發(fā)揮 DSP軟、硬件的特長(zhǎng)。傳統(tǒng)的處理方法 基于 DSP的視頻采集與壓縮傳輸系統(tǒng)的設(shè)計(jì) 第 3 頁(yè) 共 83 頁(yè) 是基于計(jì)算機(jī)的硬件和軟件的，計(jì)算機(jī)完成一次乘累加運(yùn)算需要 11個(gè)機(jī)器周期，而 DSP 完成同樣的運(yùn)算只需 1個(gè)機(jī)器周期。本系統(tǒng)采用 DSP 芯片實(shí)現(xiàn)圖像的模式識(shí)別，提高了處理速度，解決了圖像處理過(guò)程中由于圖像識(shí)別速度慢而影響整個(gè)圖像的處 理流程的實(shí)際問(wèn)題，收到了良好的效果。 圖像處理技術(shù)的發(fā)展與計(jì)算機(jī)以及硬件技術(shù)的發(fā)展是緊密聯(lián)系的。最早發(fā)表 有關(guān)計(jì)算機(jī)處理圖像信息的文章的時(shí)間要追溯到 20世紀(jì) 50年代，隨著計(jì)算機(jī)以及硬件技術(shù)的高速發(fā)展，性能大幅度提高，而價(jià)格卻大幅度下降，無(wú)疑推動(dòng)了圖像處理技術(shù)的發(fā)展，圖像處理系統(tǒng)的發(fā)展大致上可以劃分為四個(gè)階段。 （ 1）圖像數(shù)據(jù)采集與處理系統(tǒng)發(fā)展的第一階段 第一階段的時(shí)間大體上是 20世紀(jì) 60年代到 80年代中期，這個(gè)時(shí)期的圖像處理系統(tǒng)采用機(jī)箱式結(jié)構(gòu)，主流計(jì)算機(jī)采用小型機(jī)，并采用雙屏操作方式，所以系統(tǒng)的體積比較大， 功能也比較強(qiáng)，當(dāng)然價(jià)格也比較貴。當(dāng)時(shí)的代表是美國(guó) I2S 公司 推出的 MODEL70、 MODEL50圖像計(jì)算機(jī)，英國(guó) JOYCELOBEL公司推出的 MAGISCAN圖像分析系統(tǒng)以及美國(guó) VICOM系統(tǒng)公司推出的 VICOMVEM圖像處理工作站。 （ 2）圖像處理系統(tǒng)發(fā)展的第二階段 第二階段是的時(shí)間大體上是 20世紀(jì) 80年代中期到 90年代初期，這個(gè)階段的主要特點(diǎn)是小型化，外形不再是機(jī)箱式而是插卡式，絕大部分都是采用 PC系列微機(jī)構(gòu)成圖像處理系統(tǒng)，計(jì)算機(jī)總線采用 ISA總線，并采用雙屏操作方式。圖像卡的體積較小，一般圖像卡 都是采用大規(guī)模集成電路甚至是制作專(zhuān)用集成電路，從而使價(jià)格降低了。這個(gè)時(shí)期的代表作是美國(guó) Imaging Technology公司推出的PCCISION圖像卡、 PCVISIONPlus圖像卡，美國(guó) DT公司推出的 DT2851圖像卡，加拿大 MATROX公司的一系列圖像卡。 （ 3）圖像處理系統(tǒng)發(fā)展的第三階段 第三階段的時(shí)間大體上是從 20世紀(jì) 90年代初開(kāi)始，這一階段圖像處理系統(tǒng)突出特點(diǎn)是單屏方式，以微機(jī) PCI總線（ Peripheral Component Interconnect bus）為支持的單屏方式和以圖像壓縮傳 輸為特點(diǎn)的圖像通信方式成為主流方式，但仍然主要是依靠微機(jī)來(lái)進(jìn)行圖像處理，在 Windows平臺(tái)上編制圖像處理軟件包，這個(gè)時(shí)期的代表有美國(guó) Intel公司推出的 MMX（多媒體指令系統(tǒng)）等。 基于 DSP的視頻采集與壓縮傳輸系統(tǒng)的設(shè)計(jì) 第 4 頁(yè) 共 83 頁(yè) （ 4）基于 DSP的圖像處理系統(tǒng) 隨著微型計(jì)算機(jī)的發(fā)展和普及，現(xiàn)代的圖像處理方式越來(lái)越向高速、小型、 簡(jiǎn)潔的方向發(fā)展，圖像處理逐漸由專(zhuān)用、笨重的圖像處理機(jī)過(guò)渡到通用、小型的 微型機(jī)方式，但是由于圖像的數(shù)據(jù)量很大，算法復(fù)雜程度高，人們經(jīng)常使用軟件 來(lái)處理，軟件往往局限于計(jì)算機(jī)的配置，使得圖像處理速度比較慢、實(shí)時(shí)性差、 價(jià)格高，不適 宜在小規(guī)模、小環(huán)境內(nèi)使用。與此同時(shí)數(shù)字信號(hào)處理各種算法日趨 完善，特別是運(yùn)算能力的很強(qiáng)的數(shù)字信號(hào)處理器 (DSP)的問(wèn)世，使現(xiàn)代圖像處理 系統(tǒng)進(jìn)入了和計(jì)算機(jī)緊密結(jié)合的全數(shù)字體制的階段。以 DSP為核心的硬件系統(tǒng)同樣可以用來(lái)進(jìn)行圖像處理，為這個(gè)問(wèn)題的解決帶來(lái)了新的途徑。 DSP的運(yùn)算速度和運(yùn)算精度不斷地提高，片內(nèi)的存儲(chǔ)容量不斷地加大，系統(tǒng) 功能、數(shù)據(jù)處理能力以及與外部設(shè)備的通信功能不斷地增強(qiáng)，完全可以脫離 PC 機(jī)開(kāi)發(fā)出基于 DSP的圖像系統(tǒng)。這種設(shè)計(jì)方案的優(yōu)點(diǎn)是設(shè)計(jì)簡(jiǎn)單、靈活，成本比較低，便于實(shí)際中使用。 本課題研究的內(nèi)容 提出了一種通用的基于 DSP 的視頻采集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)方法，介紹了系 統(tǒng)的軟件和硬件構(gòu)成，重點(diǎn)研究了系統(tǒng)軟件部分所涉及到的視頻采集處理，編 解碼，圖像實(shí)時(shí)顯示與控制等關(guān)鍵視頻技術(shù)。完成的主要工作如下 : （ 1） 以 TMS320DM642構(gòu)建成視頻采集的硬件系統(tǒng)。將 TVP5150作為視頻采集芯片。 （ 2） 掌握 8019網(wǎng)絡(luò)傳輸技術(shù)，實(shí)現(xiàn) UDP協(xié)議； （ 3） 靈活運(yùn)用 C6000系列 DSP外圍電路的設(shè)計(jì)與開(kāi)發(fā)，使用 Protel 99se設(shè)計(jì)電路原理圖和 PCB圖； （ 4） 了解視頻信號(hào)的實(shí)時(shí)壓縮與解壓方法， 掌握其中一種解壓縮的編程，實(shí)現(xiàn)一個(gè) windows平臺(tái)下的圖像編碼。 . （ 5） 代碼移植，對(duì)代碼進(jìn)行修改，使之符合 DSP編程需要，把代碼移植到 DSP上，使之能在硬件平臺(tái)上實(shí)現(xiàn)。根據(jù) DSP處理芯片的特性對(duì)代碼進(jìn)行優(yōu)化，提高代碼性能。 基于 DSP的視頻采集與壓縮傳輸系統(tǒng)的設(shè)計(jì) 第 5 頁(yè) 共 83 頁(yè) 2 DSP 系統(tǒng)開(kāi)發(fā)平臺(tái)的分析 數(shù)字信號(hào)處理器 DSP（ digital singnal processor）是一種獨(dú)特的微處理器，是以數(shù)字信號(hào)來(lái)處理大量信息的器件。其工作原理是接收模擬信號(hào)，轉(zhuǎn)換為 0 或 1 的數(shù)字信號(hào)，再對(duì)數(shù)字信號(hào)進(jìn)行修改、刪除、強(qiáng)化，并在其他系統(tǒng)芯片中把數(shù)字 數(shù)據(jù)解譯回模擬數(shù)據(jù)或?qū)嶋H環(huán)境格式。它不僅具有可編程性，而且其實(shí)時(shí)運(yùn)行速度可達(dá)每秒數(shù)以千萬(wàn)條復(fù)雜指令程序，遠(yuǎn)遠(yuǎn)超過(guò)通用微處理器，是數(shù)字化電子世界中日益重要的電腦芯片。它的強(qiáng)大數(shù)據(jù)處理能力和高運(yùn)行速度，是最值得稱道的兩大特色。 現(xiàn)代社會(huì)對(duì)數(shù)據(jù)通信需求正向多樣化、個(gè)人化方向發(fā)展。而無(wú)線 數(shù)據(jù) 通信作為向社會(huì)公眾迅速、 準(zhǔn)確 、 安全 、 靈活 、高效地提供數(shù)據(jù)交流的有力手段，其市場(chǎng)需求也日益迫切。正是在這種情況下， 3G、 4G 通信才會(huì)不 斷地被推出，但是無(wú)論是 3G 還是 4G，未來(lái)通信都將離不開(kāi) DSP 技術(shù)（數(shù)字信號(hào)處理器 )， DSP 作為一種功能強(qiáng)大的特種微處理器 ,主要應(yīng)用在數(shù)據(jù)、語(yǔ)音、視像信號(hào)的高速數(shù)學(xué)運(yùn)算和實(shí)時(shí)處理方面，可以說(shuō) DSP 將在未來(lái)通信領(lǐng)域中起著舉足輕重的作用。 內(nèi)置數(shù)字信號(hào)處理器 (DSP， DigitalSignalProcessor)是 車(chē)載主機(jī) 內(nèi)以 邏輯電路對(duì)音視頻數(shù)字信號(hào)進(jìn)行再加工處理的專(zhuān)用元件，是一個(gè)統(tǒng)稱名詞，包括數(shù)字效果器、 EQ、 3D 環(huán)繞等等。 數(shù)字信號(hào)處理 器（ DSP，即 DigitalSignalProcessor）是進(jìn)行數(shù)字信號(hào)處理的專(zhuān)用芯片，是伴隨著微電子學(xué)、數(shù)字信號(hào)處理技術(shù)、計(jì)算機(jī)技術(shù)的發(fā)展而產(chǎn)生的新器件。 數(shù)字信號(hào)處理器并非只局限于音視頻層面，它廣泛的應(yīng)用于 通信 與 信息系統(tǒng) 、 信號(hào) 與 信息處理 、 自動(dòng)控制 、 雷達(dá) 、 軍事 、 航空航天 、 醫(yī)療 、 家用電器 等許多領(lǐng)域。以往是采用通用的 微處理器 來(lái)完成大量數(shù)字信號(hào)處理運(yùn)算，速度較慢，難以滿足實(shí)際需要；而同時(shí)使用位片式微處理器和快速并聯(lián)乘法器，曾經(jīng)是實(shí)現(xiàn) 基于 DSP的視頻采集與壓縮傳輸系統(tǒng)的設(shè)計(jì) 第 6 頁(yè) 共 83 頁(yè) 數(shù)字信號(hào)處理的有效途徑，但此方法器件較多，邏輯設(shè)計(jì)和程序設(shè)計(jì)復(fù)雜，耗電較大，價(jià) 格昂貴。數(shù)字信號(hào)處理器 DSP 的出現(xiàn)，很好的解決了上述問(wèn)題。 DSP可以快速的實(shí)現(xiàn)對(duì)信號(hào)的 采集 、 變換 、 濾波 、 估值 、 增強(qiáng) 、 壓縮 、 識(shí)別 等處理，以得到符合人們需要的信號(hào)形式。 對(duì)于車(chē)載主機(jī)而言，數(shù)字信號(hào)處理器 DSP 目前主要是提供特定的音場(chǎng)或效果，例如劇場(chǎng)、爵士樂(lè)等等，有些還能接收高清晰度 (HD)無(wú)線電 和衛(wèi)星無(wú)線電等等，以達(dá)到最大的視聽(tīng)享受。數(shù)字信號(hào)處理器 DSP 增強(qiáng)了車(chē)載主機(jī)的性能和可用性，提高了音視頻質(zhì)量、提供了更多的靈活性和更快的設(shè)計(jì)周期。隨著技術(shù)的發(fā)展，相信以后還能提 供更多的聽(tīng)覺(jué)和視覺(jué)特效，而使車(chē)載主機(jī)成為車(chē)內(nèi)的高科技信息和 娛樂(lè)中心 。 DSP 選型的依據(jù) 參考了市場(chǎng)上主流的 DSP 芯片之后，現(xiàn)將其特點(diǎn)總結(jié)如下： Nexperia 系列的 PNX1300 DSP 處理能力稍弱， PNX1500 和 PNX1700 處理能力較強(qiáng)，而且其外設(shè)功能也較強(qiáng)，價(jià)格在同類(lèi)產(chǎn)品中屬于中等。 DM64X 系列優(yōu)勢(shì)在于其計(jì)算能力和指令集功能都很強(qiáng)大，且片上外設(shè)豐富，資料齊 全便于開(kāi)發(fā)，缺點(diǎn)是芯片價(jià)格貴。 Cradle 公司的 DSP 處理能力強(qiáng)大，而且其 I/O 外圍接口可編程，因此外設(shè)實(shí)現(xiàn)方便。但是，由于是多核芯片，所以協(xié)調(diào)難度較大，功耗也較大，芯片資料缺乏。 ADI 的 Blackfin 系列 DSP 體積小，功耗低，非常適合做手持式產(chǎn)品開(kāi)發(fā)，價(jià)格便宜，但相比較 Philips 和 TI 的 DSP，其劣勢(shì)在于能夠支持 Blackfin 的第三方算法較少。 Equator 的 BSP 系列芯片的優(yōu)點(diǎn)在于片上 I/O 接口豐富，完全采用 C 語(yǔ)言編程，靈活性高，價(jià)格也較低，但與同系列的 Philips 和 TI 的 DSP 相比， 軟件開(kāi)發(fā)難度較