【正文】 基于 DSP的視頻采集與壓縮傳輸系統(tǒng)的設計 第 1 頁 共 83 頁 1 緒論 課題背景 視頻采集技術相關的產(chǎn)品正經(jīng)歷著由模擬化向數(shù)字化、網(wǎng)絡化的變革。并在科學研究、工農(nóng)業(yè)生產(chǎn)、資源的遙感探測、交通運輸、空間探測、醫(yī)療衛(wèi)生等各個領域內(nèi)應用愈發(fā)廣泛。數(shù)字視頻采集壓縮傳輸系統(tǒng)不僅符合信息產(chǎn)業(yè)的未來發(fā)展趨勢，而且代表了行業(yè)的未來發(fā)展方向，蘊藏著巨大的商機和經(jīng)濟效益，成為目前信息產(chǎn)業(yè)中頗受關注的數(shù)字化產(chǎn)品。 隨著技術的高速發(fā)展，數(shù)字信號處理器（ DSP）的應用范圍越來越廣闊，其普及率也越來越高，應用領域達到航空航天器材，比如飛機，小到日常所使用的電子產(chǎn)品，比如手機、數(shù)碼相機等 。 DSP 在當今電子類產(chǎn)品中起了不可或缺的作用。 TMS320DM642 是 TI 公司于 2020 年左右推出的一款 32 位定點 DSP 芯片，主要面向數(shù)字媒體，屬于 C6000 系列 DSP 芯片。 DM642 保留了 C64x 原有的內(nèi)核結構，工作頻率由內(nèi)部倍頻器設置，可以達到 500MHz、 600MHz 或 720MHz，相應的時鐘周期為 2ns、 和 ，每秒可執(zhí)行指令數(shù) 4000 MIPS、 4800 MIPS 和 5760MIPS。 DM642 采用 TI 公司第 2 代增強型超長指令集，它的 EMIFA接口數(shù)據(jù)總線寬度為 64 位，最高數(shù)據(jù) 存取頻率 133MHz，可直接與大容量、低成本的 SDRAM 芯片無縫連接。 DM642 片上帶有 3 個雙通道數(shù)字視頻口，可同時處理多路數(shù)字視頻流，片上帶有多通道串行音頻接口，可同時處理 4 路立體聲輸入 /輸出音頻信號。 DM642 擁有 I178。C 設備的寄存器， DM642 的網(wǎng)口、 PCI 口和HPI 口共享引腳。 當前在國內(nèi)外市場上，對視頻數(shù)據(jù)的采集壓縮主要有三種方式：基于 PC機的視頻采集壓縮系統(tǒng)、基于專用視頻壓縮芯片的視頻處理系統(tǒng)和基于高速通用視頻處理 DSP的視頻壓縮系統(tǒng)。在現(xiàn)今以高速化為要求的視頻采集技術中，前兩種 基于 DSP的視頻采集與壓縮傳輸系統(tǒng)的設計 第 2 頁 共 83 頁 技術難以滿足實時處 理的要求?；诟咚偻ㄓ靡曨l處理 DSP的視頻壓縮系統(tǒng)成 為新一代網(wǎng)絡視頻監(jiān)控系統(tǒng)的主流。實現(xiàn)這個系統(tǒng)的關鍵問題是如何解決圖像信號的壓縮編碼和壓縮后圖像數(shù)據(jù)的傳輸。目前視頻處理 DSP芯片的性能非常強大 ,并且價格 是 可以接受 的 ，采用 DSP來進行圖像的壓縮編碼是可行的。與此同時，隨著網(wǎng)絡技術的普及與推廣，以太網(wǎng)通信速率的提高和交換技術的發(fā)展使它得到了迅速發(fā)展和普及。目前，以太網(wǎng)技術己無可爭議地成為主要網(wǎng)絡技術。 課題研究的目的及意義 本論文以 TI 公司高性能的 32 位定點 TMS320DM642 為中央處理器實現(xiàn)了嵌 入式的視頻采集系統(tǒng)， 利用 DSP 將攝像頭獲取的圖像進行壓縮，處理，傳輸?shù)浇K端。 整個除了具有圖像采集，圖像壓縮功能之外，還加入了本地大容量存儲模塊以及網(wǎng)絡接口模塊，具備了較完整的視頻處理所需要的功能。與其他多處理器實現(xiàn)方式不同的是， TMS320DM642 片內(nèi)集成了視頻和網(wǎng)絡外設接口，系統(tǒng)的軟件處理工作可以全部都由 DM642 完成，從而減少了嵌入式視頻系統(tǒng)的成本和開發(fā)難度。在系統(tǒng)中采用了最新的視頻編碼標準 壓縮算法，并使用 8019實現(xiàn) UDP 協(xié)議。本文比較系統(tǒng)地描述了系統(tǒng)的組成、結構和功能，對系統(tǒng)的各個組成 模塊進行了分析和設計，使用 protel 99se 設計電路原理圖和 PCB 圖， 主要包括視頻采集，視頻處理，視頻輸出，音頻輸入 /輸出、網(wǎng)絡傳輸串口等模塊，并針對 DM642 高速 CPU，分析了系統(tǒng)設計中應注意的問題。 我國基于嵌入式技術的網(wǎng)絡視頻采集壓縮傳輸系統(tǒng)剛剛起步，所以研究并開發(fā)一種基于嵌入式系統(tǒng)的網(wǎng)絡視頻采集壓縮傳輸系統(tǒng)具有很大的工程實際意義?；?DPS的視頻采集系統(tǒng)，由于可以靈活地修改其圖像處理算法，它的應用主要面向用戶的特定需求和對實時性有較高要求的場合。因此，有理由相信在嵌入式系統(tǒng)的基礎上構建視頻圖像采 集，處理及壓縮傳輸系統(tǒng)具有廣闊的市場前景。 國內(nèi)外研究現(xiàn)狀 現(xiàn)在采集系統(tǒng)中，應用了基于 DSP的圖像處理技術，特別是在圖像的模式識別問題上充分發(fā)揮了 DSP的硬件結構和具有特色的編程指令。圖像模式識別的典型算法是卷積運算，即乘累加，正好發(fā)揮 DSP軟、硬件的特長。傳統(tǒng)的處理方法 基于 DSP的視頻采集與壓縮傳輸系統(tǒng)的設計 第 3 頁 共 83 頁 是基于計算機的硬件和軟件的，計算機完成一次乘累加運算需要 11個機器周期，而 DSP 完成同樣的運算只需 1個機器周期。本系統(tǒng)采用 DSP 芯片實現(xiàn)圖像的模式識別，提高了處理速度，解決了圖像處理過程中由于圖像識別速度慢而影響整個圖像的處 理流程的實際問題，收到了良好的效果。 圖像處理技術的發(fā)展與計算機以及硬件技術的發(fā)展是緊密聯(lián)系的。最早發(fā)表 有關計算機處理圖像信息的文章的時間要追溯到 20世紀 50年代，隨著計算機以及硬件技術的高速發(fā)展，性能大幅度提高，而價格卻大幅度下降，無疑推動了圖像處理技術的發(fā)展，圖像處理系統(tǒng)的發(fā)展大致上可以劃分為四個階段。 （ 1）圖像數(shù)據(jù)采集與處理系統(tǒng)發(fā)展的第一階段 第一階段的時間大體上是 20世紀 60年代到 80年代中期，這個時期的圖像處理系統(tǒng)采用機箱式結構，主流計算機采用小型機，并采用雙屏操作方式，所以系統(tǒng)的體積比較大， 功能也比較強，當然價格也比較貴。當時的代表是美國 I2S 公司 推出的 MODEL70、 MODEL50圖像計算機，英國 JOYCELOBEL公司推出的 MAGISCAN圖像分析系統(tǒng)以及美國 VICOM系統(tǒng)公司推出的 VICOMVEM圖像處理工作站。 （ 2）圖像處理系統(tǒng)發(fā)展的第二階段 第二階段是的時間大體上是 20世紀 80年代中期到 90年代初期，這個階段的主要特點是小型化，外形不再是機箱式而是插卡式，絕大部分都是采用 PC系列微機構成圖像處理系統(tǒng)，計算機總線采用 ISA總線，并采用雙屏操作方式。圖像卡的體積較小，一般圖像卡 都是采用大規(guī)模集成電路甚至是制作專用集成電路，從而使價格降低了。這個時期的代表作是美國 Imaging Technology公司推出的PCCISION圖像卡、 PCVISIONPlus圖像卡，美國 DT公司推出的 DT2851圖像卡，加拿大 MATROX公司的一系列圖像卡。 （ 3）圖像處理系統(tǒng)發(fā)展的第三階段 第三階段的時間大體上是從 20世紀 90年代初開始，這一階段圖像處理系統(tǒng)突出特點是單屏方式，以微機 PCI總線（ Peripheral Component Interconnect bus）為支持的單屏方式和以圖像壓縮傳 輸為特點的圖像通信方式成為主流方式，但仍然主要是依靠微機來進行圖像處理，在 Windows平臺上編制圖像處理軟件包，這個時期的代表有美國 Intel公司推出的 MMX（多媒體指令系統(tǒng)）等。 基于 DSP的視頻采集與壓縮傳輸系統(tǒng)的設計 第 4 頁 共 83 頁 （ 4）基于 DSP的圖像處理系統(tǒng) 隨著微型計算機的發(fā)展和普及，現(xiàn)代的圖像處理方式越來越向高速、小型、 簡潔的方向發(fā)展，圖像處理逐漸由專用、笨重的圖像處理機過渡到通用、小型的 微型機方式，但是由于圖像的數(shù)據(jù)量很大，算法復雜程度高，人們經(jīng)常使用軟件 來處理，軟件往往局限于計算機的配置，使得圖像處理速度比較慢、實時性差、 價格高，不適 宜在小規(guī)模、小環(huán)境內(nèi)使用。與此同時數(shù)字信號處理各種算法日趨 完善，特別是運算能力的很強的數(shù)字信號處理器 (DSP)的問世，使現(xiàn)代圖像處理 系統(tǒng)進入了和計算機緊密結合的全數(shù)字體制的階段。以 DSP為核心的硬件系統(tǒng)同樣可以用來進行圖像處理，為這個問題的解決帶來了新的途徑。 DSP的運算速度和運算精度不斷地提高，片內(nèi)的存儲容量不斷地加大，系統(tǒng) 功能、數(shù)據(jù)處理能力以及與外部設備的通信功能不斷地增強，完全可以脫離 PC 機開發(fā)出基于 DSP的圖像系統(tǒng)。這種設計方案的優(yōu)點是設計簡單、靈活，成本比較低，便于實際中使用。 本課題研究的內(nèi)容 提出了一種通用的基于 DSP 的視頻采集系統(tǒng)的設計與實現(xiàn)方法，介紹了系 統(tǒng)的軟件和硬件構成，重點研究了系統(tǒng)軟件部分所涉及到的視頻采集處理，編 解碼，圖像實時顯示與控制等關鍵視頻技術。完成的主要工作如下 : （ 1） 以 TMS320DM642構建成視頻采集的硬件系統(tǒng)。將 TVP5150作為視頻采集芯片。 （ 2） 掌握 8019網(wǎng)絡傳輸技術，實現(xiàn) UDP協(xié)議； （ 3） 靈活運用 C6000系列 DSP外圍電路的設計與開發(fā)，使用 Protel 99se設計電路原理圖和 PCB圖； （ 4） 了解視頻信號的實時壓縮與解壓方法， 掌握其中一種解壓縮的編程，實現(xiàn)一個 windows平臺下的圖像編碼。 . （ 5） 代碼移植，對代碼進行修改，使之符合 DSP編程需要，把代碼移植到 DSP上，使之能在硬件平臺上實現(xiàn)。根據(jù) DSP處理芯片的特性對代碼進行優(yōu)化，提高代碼性能。 基于 DSP的視頻采集與壓縮傳輸系統(tǒng)的設計 第 5 頁 共 83 頁 2 DSP 系統(tǒng)開發(fā)平臺的分析 數(shù)字信號處理器 DSP（ digital singnal processor）是一種獨特的微處理器，是以數(shù)字信號來處理大量信息的器件。其工作原理是接收模擬信號，轉換為 0 或 1 的數(shù)字信號，再對數(shù)字信號進行修改、刪除、強化，并在其他系統(tǒng)芯片中把數(shù)字 數(shù)據(jù)解譯回模擬數(shù)據(jù)或實際環(huán)境格式。它不僅具有可編程性，而且其實時運行速度可達每秒數(shù)以千萬條復雜指令程序，遠遠超過通用微處理器，是數(shù)字化電子世界中日益重要的電腦芯片。它的強大數(shù)據(jù)處理能力和高運行速度，是最值得稱道的兩大特色。 現(xiàn)代社會對數(shù)據(jù)通信需求正向多樣化、個人化方向發(fā)展。而無線 數(shù)據(jù) 通信作為向社會公眾迅速、 準確 、 安全 、 靈活 、高效地提供數(shù)據(jù)交流的有力手段，其市場需求也日益迫切。正是在這種情況下， 3G、 4G 通信才會不 斷地被推出，但是無論是 3G 還是 4G，未來通信都將離不開 DSP 技術（數(shù)字信號處理器 )， DSP 作為一種功能強大的特種微處理器 ,主要應用在數(shù)據(jù)、語音、視像信號的高速數(shù)學運算和實時處理方面，可以說 DSP 將在未來通信領域中起著舉足輕重的作用。 內(nèi)置數(shù)字信號處理器 (DSP， DigitalSignalProcessor)是 車載主機 內(nèi)以 邏輯電路對音視頻數(shù)字信號進行再加工處理的專用元件，是一個統(tǒng)稱名詞，包括數(shù)字效果器、 EQ、 3D 環(huán)繞等等。 數(shù)字信號處理 器（ DSP，即 DigitalSignalProcessor）是進行數(shù)字信號處理的專用芯片，是伴隨著微電子學、數(shù)字信號處理技術、計算機技術的發(fā)展而產(chǎn)生的新器件。 數(shù)字信號處理器并非只局限于音視頻層面，它廣泛的應用于 通信 與 信息系統(tǒng) 、 信號 與 信息處理 、 自動控制 、 雷達 、 軍事 、 航空航天 、 醫(yī)療 、 家用電器 等許多領域。以往是采用通用的 微處理器 來完成大量數(shù)字信號處理運算，速度較慢，難以滿足實際需要；而同時使用位片式微處理器和快速并聯(lián)乘法器，曾經(jīng)是實現(xiàn) 基于 DSP的視頻采集與壓縮傳輸系統(tǒng)的設計 第 6 頁 共 83 頁 數(shù)字信號處理的有效途徑，但此方法器件較多，邏輯設計和程序設計復雜，耗電較大，價 格昂貴。數(shù)字信號處理器 DSP 的出現(xiàn)，很好的解決了上述問題。 DSP可以快速的實現(xiàn)對信號的 采集 、 變換 、 濾波 、 估值 、 增強 、 壓縮 、 識別 等處理，以得到符合人們需要的信號形式。 對于車載主機而言，數(shù)字信號處理器 DSP 目前主要是提供特定的音場或效果，例如劇場、爵士樂等等，有些還能接收高清晰度 (HD)無線電 和衛(wèi)星無線電等等，以達到最大的視聽享受。數(shù)字信號處理器 DSP 增強了車載主機的性能和可用性，提高了音視頻質量、提供了更多的靈活性和更快的設計周期。隨著技術的發(fā)展，相信以后還能提 供更多的聽覺和視覺特效，而使車載主機成為車內(nèi)的高科技信息和 娛樂中心 。 DSP 選型的依據(jù) 參考了市場上主流的 DSP 芯片之后，現(xiàn)將其特點總結如下： Nexperia 系列的 PNX1300 DSP 處理能力稍弱， PNX1500 和 PNX1700 處理能力較強，而且其外設功能也較強，價格在同類產(chǎn)品中屬于中等。 DM64X 系列優(yōu)勢在于其計算能力和指令集功能都很強大，且片上外設豐富，資料齊 全便于開發(fā)，缺點是芯片價格貴。 Cradle 公司的 DSP 處理能力強大，而且其 I/O 外圍接口可編程，因此外設實現(xiàn)方便。但是，由于是多核芯片，所以協(xié)調難度較大，功耗也較大，芯片資料缺乏。 ADI 的 Blackfin 系列 DSP 體積小，功耗低，非常適合做手持式產(chǎn)品開發(fā)，價格便宜，但相比較 Philips 和 TI 的 DSP，其劣勢在于能夠支持 Blackfin 的第三方算法較少。 Equator 的 BSP 系列芯片的優(yōu)點在于片上 I/O 接口豐富，完全采用 C 語言編程，靈活性高，價格也較低，但與同系列的 Philips 和 TI 的 DSP 相比， 軟件開發(fā)難度較