【正文】 當(dāng)應(yīng)用程序開始一個 RTP 會話時將使用兩個端口：一個給RTP，一個給 RTCP。 下面從建立連接 、 關(guān)閉連接 和 重發(fā)機(jī)制 三 個方面進(jìn)行分析 [23,24]。無連接方式的優(yōu)點(diǎn)是顯而易見的，源端和目標(biāo)端之間的通信可以通 過多條通路進(jìn)行，而不依賴于某一條通路，因此可靠性和通信效率高。它是 TCP/IP 協(xié)議棧中最重要的一層，主要功能是可以把源主機(jī)上的分組發(fā)送到互聯(lián)網(wǎng)中的任何一臺目標(biāo)主機(jī)上。數(shù)據(jù)鏈路層的主要任務(wù)是提供對物理層的控制，檢測并糾正可能出現(xiàn)的錯誤，使之對網(wǎng)絡(luò)層顯現(xiàn)一條無錯線路 。2 , , , , 1 , , 1( ) ( )x y x y x y x y x yV M M M M? ? ? ? (25) 式中 V1 為水平方向上的邊界差值，只對宏塊左右邊界的像素計(jì)算， V2 為豎直方向上的編輯誒差值，只對宏塊上下邊界的像素計(jì)算，塊效應(yīng) B 定義為宏塊中各邊界差值的均值。 256 39。 DM642 芯片外設(shè)包括三個可以配置的視頻口，一個多通道音頻串行端口（ McASP），兩個多通道串口（ McBSP）， 64bit 的外部存儲單元接口 EMIF，66MHz32bit， 的 PCI 主 /從接口， 10/100Mbps 以太網(wǎng)接口（ EMAC）及通用 I/O 端口（ GPIO）等外圍接口。各公司主要芯片產(chǎn)品如表 21 所示 [6]。同時，指令并行運(yùn)行的條件在不斷降低，指令的范圍也在不斷擴(kuò)大。 本文的第 5 章是對系統(tǒng)軟件部分設(shè)計(jì)的分析。 第五 ，設(shè)計(jì) 帶有網(wǎng)絡(luò)通信功能的應(yīng)用程序， 實(shí)現(xiàn) 視頻 數(shù)據(jù)在 客戶端的呈現(xiàn)。而與知名企業(yè)不同，部分本地品牌依托自己靈活的應(yīng)變能力以及良好的性價比，也在市場上獲得了不錯發(fā)展，并占領(lǐng)了不少的市場份額。嵌入式 Web 服務(wù)器的主要原理是，視頻服器內(nèi)嵌入一個 Web 服務(wù)器，攝像機(jī)送來的視頻信號經(jīng)數(shù)字化后進(jìn)行壓縮編碼，通過內(nèi)部總線傳到 Web 服務(wù)器，網(wǎng)絡(luò)上的用戶可以通過專用軟件觀看攝像機(jī)圖像，授權(quán)用戶還可以控制攝像機(jī)云臺鏡頭的動作或?qū)ο到y(tǒng)進(jìn)行配置。 低比特率是 MPEG4 的一個主要的目標(biāo)，有關(guān)誤碼的校正，也給予了極大的關(guān)注，這將使 MPEG4 非常適合于易產(chǎn)生誤碼的環(huán)境中使用，例如個人手持式傳輸設(shè)備。 ITUT 與 ISO/IEC 是制定視頻編碼標(biāo)準(zhǔn)的兩大組織， ITUT 的標(biāo)準(zhǔn)包括 、 、 ，主要應(yīng)用于實(shí)時視頻通信領(lǐng)域，如可視電話、 會議電視。因此，嵌入式 Inter 將有很好的發(fā)展前景和廣闊的市場，未來的 Inter 將由嵌入式 Inter 占主導(dǎo)地位。隨著芯片主頻的不斷攀升，存儲器的訪問速度日益成為系統(tǒng)性能提升的瓶頸。T 公司的 DSP1 DSP32 等。 1 第 1章 緒論 課題背景 視頻監(jiān)控以其直觀、方便、信息內(nèi)容豐富而廣泛應(yīng)用于安防、交通、公安、銀行、水利等各個領(lǐng)域，幾乎覆蓋各行各業(yè)，視頻監(jiān)控的技術(shù)和手段也在不斷的發(fā)展和提高，尤其是近年來，隨著計(jì)算機(jī)軟硬件技術(shù)的發(fā)展、 Inter的普及、多媒體處理手段的提高、 視頻壓縮技術(shù)的成熟 、 網(wǎng)絡(luò)傳輸技術(shù)的迅猛發(fā)展，促使視頻監(jiān)控技術(shù)正 向全數(shù)字化網(wǎng)絡(luò)化方向發(fā)展， 網(wǎng)絡(luò)攝像機(jī)（ WebCamera）越來越受到遠(yuǎn)程監(jiān)控領(lǐng)域的關(guān)注。隨著集成電路制造工藝的不斷提高，二十世紀(jì) 70 年代末出現(xiàn)了專門的可編程數(shù)字信號處理器。因此，定點(diǎn)的可編程 DSP 器件仍是市場上的主流產(chǎn)品。嵌入式網(wǎng)絡(luò)終端相比于 PC，具有更高的安全性、可靠性，擁有更強(qiáng)大的數(shù)據(jù)運(yùn)算能力，及更專業(yè)化的處理進(jìn)程，同時也具有 PC 機(jī)的兼容性和擴(kuò)展性。 第三，在處理機(jī)中加入 TCP/IP 協(xié)議方式 的支持。 MPEG2 是 MPEG 組織于 1994 年推出壓縮標(biāo)準(zhǔn)，以實(shí)現(xiàn)視 /音頻服務(wù)與應(yīng)用互操作的可能性。 但其功能單一、易受干擾、 成本較高、 無法升級、系統(tǒng)的擴(kuò)展能力差，無法形成有效的報(bào)警聯(lián)動。圖像壓縮采用 MPEG4 和 編碼 方式，可以變更任意區(qū)域的壓縮率。 整個設(shè)計(jì)過程主要有 以下幾個方面的工作： 第一，掌握 DSP 開發(fā)板的工作原理、硬件結(jié)構(gòu)和 CCS 開發(fā)環(huán)境，參考開發(fā)板的設(shè)計(jì)搭建出本系統(tǒng)的總體架構(gòu)。 DM642 具有完全的可編程性，能夠兼容多種多媒體視頻標(biāo)準(zhǔn)，非常適合網(wǎng)絡(luò)攝像機(jī)系統(tǒng)的研發(fā)。與兩個存儲器相對應(yīng)的是系統(tǒng)中 設(shè)置了程序總線和數(shù)據(jù)總線兩條總線，從而使數(shù)據(jù)的吞吐率提高了一倍 。例如， MAC 指令是連乘加指令，可以在單周期內(nèi)同時完成乘法和加法運(yùn)算； RPTS 和 RPTB 指令是硬件判斷循環(huán)邊界條件，可以避免破壞流水 線。 ADI Blackfin 生物系統(tǒng)，消費(fèi)類音頻設(shè)備，游戲 /學(xué)習(xí)輔助工具，便攜式測試儀器，網(wǎng)絡(luò)終端；醫(yī)用儀器，視頻會議，遠(yuǎn)程監(jiān)控設(shè)備，機(jī)頂盒，汽車保險裝置，工業(yè)控制， VoIP 終端，機(jī)器視覺，家庭網(wǎng)絡(luò)，個人數(shù)字助理 ADSP21xx 無線通信，防火墻加速器，工作站安全模塊，工業(yè)控制設(shè)備，視覺網(wǎng)絡(luò)控制，數(shù)據(jù)獲取系統(tǒng)，測試 /測量系統(tǒng)，機(jī)器人控制 Motorola DSP56800 DSP56800E 運(yùn)動控制，智能儀器 ,自動控制 ,溫度控制 ,醫(yī)藥設(shè)備 ,運(yùn)輸中的燃料管理系統(tǒng) , 傳感器，交通信號控制 , 引擎管理，音頻解碼器 MSC8100 網(wǎng)絡(luò)設(shè)備， IP 電話，視頻安全服務(wù)器，視頻監(jiān)控，圖像處理，軍工產(chǎn)品，手提電話 TMS320DM642 DM642 體系結(jié)構(gòu) TMS320DM642 是 Tl公司推出的 TMS320C64X 系列芯片中的一 款高性能數(shù)字多媒體處理 DSP 芯片，基于 C64X 內(nèi)核，具有擴(kuò)展的高級甚長指令字 （ VelociTI） 體系結(jié)構(gòu)，具有 64 個 32 位通用寄存器， 8 個獨(dú)立計(jì)算功能單元 （ 2 個乘法器， 6 個算術(shù)邏輯單元 ） 可以并行運(yùn)行，因此多條指令可同時執(zhí)行。 一、 捕獲模式的技術(shù)性能 捕獲速率 80MHz； 兩路數(shù)字視頻輸入，格式為 YUV422，有 8bit 或者 10bit 精度 ； 3 、 一路 Y/C16 或 20bit 數(shù) 字視頻輸入，格式為 YUV422 ，支持SMPTE260M， SMPTE274M， SMPTE296M， 等標(biāo)準(zhǔn) YUV422 到 YUV420 變換，以及在 8bit YUV422 模式下的亞采樣 。 2255( ) 1 0 lo g()P SN R M i D M i? (23) 和失真度一樣， 幀的視頻對象的 PSNR 可以取各相應(yīng)宏塊 PSNR 的均值，考慮到不同視頻對象重要性不同，幀的 PSNR 也可以取各視頻對象 PSNR 值的加權(quán)平均。本章最后研究了通用的 視頻評估標(biāo)準(zhǔn)及相應(yīng)的原理和算法，這對 系統(tǒng)的整體運(yùn)行評估起到了決定性的作用。 這為具體實(shí)現(xiàn)協(xié)議留下很大的余地。所有的 TCP、 UDP、 ICMP 及 IGMP 數(shù)據(jù)都以 IP 數(shù)據(jù)報(bào)格式傳輸?shù)?，如圖 34[18]。 傳輸層協(xié)議分析 端到端通信 在互聯(lián)網(wǎng)中，任何兩臺通信的主機(jī)之間，從源端到目標(biāo)端的信道都是由一段一段的點(diǎn)到點(diǎn)通信線路組成的，如圖 35 所示 [22]。 TCP 協(xié)議提供的是可靠的運(yùn)輸層。 RTP 和 RTCP 配合使用，它們能以有效的反饋和最小的開銷使傳輸效率最佳化，因而特別適合傳送網(wǎng)上的實(shí)時數(shù)據(jù) [27,28]。 連接建立和關(guān)閉的過程如 圖 36 所 示 [25]，該圖是通信雙方正常工作時的情況。 Inter 控制報(bào)文協(xié)議 ICMP （ Inter Control Message Protocol） 就是用來探測并報(bào)告 IP 數(shù)據(jù)包傳輸中產(chǎn)生的各種錯誤 [21]。地址邊界的上層為網(wǎng) 絡(luò)層，網(wǎng)絡(luò)層用于對不同的網(wǎng)絡(luò)進(jìn)行互聯(lián)，連接在一起的所有網(wǎng)絡(luò)為了能互相尋址，要使用統(tǒng)一的互聯(lián)網(wǎng)地址 （ IP 地址 ） 。所以如果兩個網(wǎng)絡(luò)在物理層就相同，使用中繼器就可以連起來；如果兩個網(wǎng)絡(luò)物理層不同，鏈路層相同，使用橋接器可以連起來；如果兩個網(wǎng)絡(luò)物理層、鏈路層都不同，而網(wǎng)絡(luò)層相同，使 用路由器可以互連；如果兩個網(wǎng)絡(luò)協(xié)議完全不同，使用協(xié)議轉(zhuǎn)換器（網(wǎng)關(guān)）可以互連。 DM642 接近于一個多媒體嵌入式系統(tǒng)的單芯片硬件平臺，并且具有完全的可編程 性，能夠兼容多種多媒體音視頻標(biāo)準(zhǔn)，非常適合網(wǎng)絡(luò)攝像機(jī)系統(tǒng)的研發(fā)。用解碼器的重建數(shù)值 Mij’’代替，采用這種全局失真度雖然增加了計(jì)算量，但是編碼結(jié)果會更加優(yōu)化。每一個視頻端口有兩個通道 ：A 和 B，另有一個 5120 字節(jié)的 FIFO 顯示緩存可以分給兩個通道使用。 包括 C54x 和 C55x 定點(diǎn)DSP。 DSP 芯片的一個重要特點(diǎn)是有一套專門為數(shù)字信號處理而設(shè)計(jì)的指令系統(tǒng)。 哈佛結(jié)構(gòu)是不用于傳統(tǒng)的馮由此本章提出了將DSP 技術(shù) 與 TCP/IP 協(xié)議結(jié)合起來的一種新型 網(wǎng)絡(luò)攝像機(jī)產(chǎn)品 。第三， DM642 具備強(qiáng)大的運(yùn)算處理能力，能夠完成包括 JPEG、 MPEGMPEG 、 等圖像編碼處理 ，日后僅需通過編程改變軟件即可達(dá)到升級的目的，避免硬件資源的改動和重復(fù)設(shè)計(jì)。如索尼 公司 最近在 08 年 推出 的 SONY SNCCS50P。這是圖像監(jiān)控系統(tǒng)的早期實(shí)現(xiàn)方式，系統(tǒng)主要由攝像機(jī)、監(jiān)視器、視頻線纜、控制線纜等組成，采用模擬方式傳輸，因此傳輸距離較短，主要應(yīng)用于小范圍監(jiān)控的場合。這些措施使得 算法具有很高的編碼效率，在相同的重建圖像質(zhì)量下，能夠比 節(jié)約 50%左右的碼率。 Webchip 是獨(dú)立的專用網(wǎng)絡(luò)接口芯片，嵌入式系統(tǒng)的 MCU 通過它與網(wǎng)關(guān) 連接 即可接收并 執(zhí)行經(jīng)由 Inter 遠(yuǎn)程傳來的命令或?qū)?shù)據(jù)交給 Webchip 發(fā)送出去。 嵌入式 Inter 技術(shù)的發(fā)展概況 如今 Inter 技術(shù)已經(jīng)成為數(shù)據(jù)交換共享和數(shù)據(jù)傳輸?shù)闹饕绞胶洼d體，而 嵌入式系統(tǒng)也開始與以太網(wǎng)網(wǎng)絡(luò)接口相接合組成嵌入式網(wǎng)絡(luò)終端 。 第二，定點(diǎn) DSP 成為主流。 網(wǎng)絡(luò)攝像機(jī)技術(shù) 發(fā)展 概況 DSP 技術(shù)的發(fā)展概況 DSP 的發(fā)展歷程大致經(jīng)歷了 70 年代的理論先行、 80 年代的產(chǎn)品普及、 90年代的突飛猛進(jìn)和現(xiàn)如今的全領(lǐng)域應(yīng)用四個階段。這種方法不僅成本高，系統(tǒng)的穩(wěn)定性和安全性也非常低，由于普通 PC 并非是專門用于處理視頻數(shù)據(jù)的，因此系統(tǒng)的整體效率會很低。 當(dāng)今的 DSP 技術(shù)已經(jīng)進(jìn)入了嶄新的 時代。 第五， DSP 與可編程器件相結(jié)合。 典型的嵌入式系統(tǒng)接入有三種方式 [1]： 第一，采用專用嵌入式網(wǎng) 絡(luò)協(xié)議的 EMIT（ 嵌入式 Inter 網(wǎng)絡(luò)技術(shù)）。兩個組織也共同制定了一些標(biāo)準(zhǔn)， 標(biāo)準(zhǔn)等同于 MPEG2 的視頻編碼標(biāo)準(zhǔn)，而最新的 標(biāo)準(zhǔn)則被納入 MPEG4的第 10 部分 [2]。與 MPEG1 和 MPEG2 相比， MPEG4 更加注重多媒體系統(tǒng)的交互性和靈活性，它利用強(qiáng)大的工具開發(fā)出了全新的多媒體編碼概念，使之適用于互操作性和更大范圍內(nèi)的應(yīng)用，己成 為 目前 廣泛使用的壓縮系統(tǒng) [3]。 盡管 視頻監(jiān)控技術(shù)在中國的 發(fā)展迅速，但 隨著社會化科技的進(jìn)步和人們對產(chǎn)品功能的更高需求使得視頻監(jiān)控技術(shù)仍 有諸多瓶頸尚待“實(shí)質(zhì)性”突破。另外 大批的國內(nèi)廠商 根據(jù)自身實(shí)力及市場情況， 采取 了 OEM 的形式，其中亞安公司就是憑借 公司靈活的反映機(jī)制，極具競爭力的性價比，以及良好的售后服務(wù)贏得了市場，獲得了很大的發(fā)展。 本文結(jié)構(gòu) 本文將對網(wǎng)絡(luò)攝像機(jī)視頻采集模塊和網(wǎng)絡(luò)傳輸模塊的硬件系統(tǒng)和軟件設(shè)計(jì)做詳細(xì)的闡述。對主要的網(wǎng)絡(luò)傳輸模塊部分代碼做了碼率分析優(yōu)化，使得數(shù)據(jù)包在網(wǎng)絡(luò)中得到最大效率的傳輸。 第三，專用的硬件乘法器。為達(dá)到該處理速度，綜合考慮以上各因素，采用價格較便宜、功耗較低的定點(diǎn) DSP 芯片即可。 L2 存儲單元和外部設(shè)備的數(shù)據(jù)交換由功能強(qiáng)大的增強(qiáng)型 DMA 控制器控制，因此在 CPU 處理片內(nèi)的數(shù)據(jù)時可以通過 EDMA 把片外的數(shù)據(jù)倒入片 內(nèi)，達(dá)到同步工作以提高效率。分別是源圖像中的數(shù)值和在編碼器重建后的圖像數(shù)值。傳輸時間 T 內(nèi)的帶寬利用率定義見 式 (26) 。傳輸層的基本功能是從會話層接受數(shù)據(jù)，并且 在必要的時候把它分成較小的單元，傳遞給網(wǎng)絡(luò)層 。在TCP/IP 協(xié)議族中傳輸層包含兩個不同的傳輸協(xié)議：一個是 TCP（ 傳輸控制協(xié)議 ） ；另一個是 UDP（ 用戶數(shù)據(jù)報(bào)協(xié)議 ） 。 Inter 使用的就是這種無連接的方式，由 IP 協(xié)議來實(shí)現(xiàn)。 TCP 使用 “ 三次握手 ” （ 3way Handshake） 法來建 立一條連 接。通常 RTP 算法并不作為一個獨(dú)立的網(wǎng)絡(luò)層來實(shí)現(xiàn)，而是作為應(yīng)用程序代碼的一部分。 RTP被定義為在一對一或一對多的傳輸情況下工作，其目的是 提供時間信息和實(shí)現(xiàn)流同步。 傳輸控制協(xié)議 TCP TCP 報(bào)文段 （ 常稱為段 ） 與 UDP 數(shù)據(jù)報(bào)一樣也是封裝在 IP 中進(jìn)行傳輸?shù)?，只?IP 報(bào)文的數(shù)據(jù)區(qū)為 TCP 報(bào)文段。 無連接的方式并不 在源端和目標(biāo)端之間建立一條邏輯通路，而送到網(wǎng)絡(luò)中的每個分組帶有完整的目標(biāo)主機(jī)地址，收到分組的節(jié)點(diǎn) （ 主要是路由器 ） 根據(jù)目標(biāo)地址和當(dāng)前網(wǎng)絡(luò)狀況 （ 如通信量等 ） ，選擇一條合適的線路把分組發(fā)送到 22 接近目標(biāo)端的下一個節(jié)點(diǎn)，通過多個節(jié)點(diǎn)的轉(zhuǎn)發(fā)，最終把分組送達(dá)目標(biāo)節(jié)點(diǎn)。鏈路層的功能是把接收到的網(wǎng)絡(luò)層數(shù)據(jù)報(bào) （ 也稱 IP 數(shù)據(jù)報(bào) ） 通過該層的物理接口發(fā)送到傳輸介質(zhì)上，或從物理網(wǎng)絡(luò)上接收數(shù)據(jù)幀，抽出 IP 數(shù)據(jù)報(bào)并交給 IP 層。分成的層數(shù)，每一層的名字、