【正文】 RTP 和 RTCP 配合使用，它們能以有效的反饋和最小的開(kāi)銷(xiāo)使傳輸效率最佳化，因而特別適合傳送網(wǎng)上的實(shí)時(shí)數(shù)據(jù) [27,28]。在 RTP 會(huì)話期間，各參與者周期性地傳送 RTCP 包。 實(shí)時(shí)傳輸控制協(xié)議 RTCP。 RTP 本身并不能為按順序傳送數(shù)據(jù)包提供可靠的傳送機(jī)制，也不提供流量控制或擁塞控制，它依靠 RTCP 提供這些服務(wù)。 RTP 通常使用 UDP 來(lái)傳送數(shù)據(jù)，但 RTP 也可以在 TCP 或 ATM 等其 25 他協(xié)議之上工作。 表 31 TCP 和 UDP 的比較 Table 31 Comparison between TCP and UDP 比較項(xiàng)目 TCP UDP 建立 連接與關(guān)閉 有 無(wú) 數(shù)據(jù)傳輸效率 低 高 對(duì)數(shù)據(jù)的確認(rèn) 有 無(wú) 流量控制 有（滑動(dòng)窗口） 無(wú) 丟失分組的重發(fā) 有 無(wú)（由高層應(yīng)用程序負(fù) 責(zé)） 協(xié)議復(fù)雜性 復(fù)雜 簡(jiǎn)單 發(fā)送端緩沖 有 無(wú) 分組排序 有 無(wú) 重發(fā)分組的檢測(cè) 有 無(wú) 校驗(yàn)和 有 有（且算法相同） 在低層被分片的情況 可能性?。ㄒ?yàn)樵诮⑦B接時(shí)，雙方通知各自的 MSS，每個(gè) TCP報(bào)文段的長(zhǎng)度不超過(guò) MSS） 可能性大（因?yàn)閼?yīng)用程序每次輸出都產(chǎn)生一個(gè)UDP 報(bào)文，當(dāng)一次 有大量數(shù)據(jù)要輸出時(shí)，常在低層被分開(kāi)） 廣播與多播 不支持（因?yàn)樗⒁粚?duì)一的連接） 支持 使用場(chǎng)合 可靠性要求高，有大量數(shù)據(jù)要連續(xù)傳輸，該協(xié)議在互聯(lián)網(wǎng)中應(yīng)用較多 對(duì)可靠性要求一般，但要求高效傳輸數(shù)據(jù)，或應(yīng)用于數(shù)據(jù)傳輸量小的場(chǎng)合 基于 TCP/IP 應(yīng)用層的 網(wǎng)絡(luò)實(shí)時(shí)傳輸協(xié)議 簡(jiǎn)介 實(shí)時(shí)傳輸協(xié)議 RTP 和實(shí)時(shí)傳輸控制協(xié)議 RCTP RTP（ Realtime Transport Protocol）是用于 Inter 上針對(duì)多媒體數(shù)據(jù)流的一種傳輸協(xié)議。發(fā)送 TCP 報(bào)文段時(shí)，頭部的“確認(rèn)號(hào)”就指出該端希望接收的下一個(gè)字節(jié)的序號(hào)，其含義是在此之前的所有數(shù)據(jù)都已經(jīng)正確收到，請(qǐng)發(fā)送從確認(rèn)號(hào)開(kāi)始的數(shù)據(jù)。 TCP 協(xié)議提供的是可靠的運(yùn)輸層。 連接建立和關(guān)閉的過(guò)程如 圖 36 所 示 [25]，該圖是通信雙方正常工作時(shí)的情況。 由于 TCP 是一個(gè)全雙工協(xié)議，因此在通信過(guò)程中兩臺(tái)主機(jī)都可以獨(dú)立地發(fā)送數(shù)據(jù)，完成數(shù)據(jù)發(fā)送的任何一方可以提出關(guān)閉連接的請(qǐng)求。所謂三次握手，就是指在建立一條連接時(shí)通信雙方要交換三次報(bào)文 。 第一，建立連接。 TCP 是一個(gè)面向連接的協(xié)議， TCP 協(xié)議的高可靠性是通過(guò)發(fā)送數(shù)據(jù)前先建立連接，結(jié)束數(shù)據(jù)傳輸時(shí)關(guān)閉連接，在數(shù)據(jù)傳輸過(guò)程中進(jìn)行超時(shí)重發(fā)、流量控制和數(shù)據(jù)確認(rèn)，對(duì)亂序數(shù)據(jù)進(jìn)行重排以及校驗(yàn)和等機(jī)制來(lái)實(shí)現(xiàn)的。被封裝在 IP 中的UDP 數(shù)據(jù)報(bào)通過(guò)網(wǎng)絡(luò)傳輸?shù)侥繕?biāo)主機(jī)的 IP 層后，由目標(biāo)主機(jī)的 UDP 層根 據(jù)目標(biāo)端口號(hào)送到接收該數(shù)據(jù)的相應(yīng)進(jìn)程。端到端通信 由傳輸層來(lái)實(shí)現(xiàn)的。 傳輸層協(xié)議分析 端到端通信 在互聯(lián)網(wǎng)中，任何兩臺(tái)通信的主機(jī)之間，從源端到目標(biāo)端的信道都是由一段一段的點(diǎn)到點(diǎn)通信線路組成的，如圖 35 所示 [22]。 Inter 控制報(bào)文協(xié)議 ICMP （ Inter Control Message Protocol） 就是用來(lái)探測(cè)并報(bào)告 IP 數(shù)據(jù)包傳輸中產(chǎn)生的各種錯(cuò)誤 [21]。但這時(shí)數(shù)據(jù)包的發(fā)送站無(wú)法得知傳輸出錯(cuò)，也不知道錯(cuò)的具體原因。 ICMP 協(xié)議 IP 數(shù)據(jù)包在網(wǎng)絡(luò)上的傳輸是通過(guò)網(wǎng)關(guān)對(duì)數(shù)據(jù)包的轉(zhuǎn)發(fā)來(lái)完成的。另外，這種方式實(shí)現(xiàn)起來(lái)也比較簡(jiǎn)單，適合于異構(gòu)網(wǎng)絡(luò)的互聯(lián)，因此被很多網(wǎng)絡(luò)廠商所使用。使用這種方式時(shí)，由源端順序送出的各分組，由于每個(gè)分組在網(wǎng)絡(luò)中可能經(jīng)過(guò)不同的路徑到達(dá)目標(biāo)端，所以先發(fā)出的分組不一定就先到達(dá)目標(biāo)端，另外，也不能保證每個(gè)分組都能可靠地到達(dá)目標(biāo)端。由于互聯(lián)網(wǎng)所連網(wǎng)絡(luò)的復(fù)雜性和多樣性，因而很難保證所有節(jié)點(diǎn)都能可靠地 發(fā)送數(shù)據(jù)。 面向連接的 方式 要求在通信的源端和目標(biāo)端之間建立一條邏輯通路，一般稱(chēng)為虛電路 （ Virtual Circuit） ，源端和目標(biāo)端之間通信時(shí)的所有信息都通過(guò)該通路傳輸 。所有的 TCP、 UDP、 ICMP 及 IGMP 數(shù)據(jù)都以 IP 數(shù)據(jù)報(bào)格式傳輸?shù)?，如圖 34[18]。地址邊界的上層為網(wǎng) 絡(luò)層，網(wǎng)絡(luò)層用于對(duì)不同的網(wǎng)絡(luò)進(jìn)行互聯(lián)，連接在一起的所有網(wǎng)絡(luò)為了能互相尋址，要使用統(tǒng)一的互聯(lián)網(wǎng)地址 （ IP 地址 ） 。 TCP/IP 協(xié)議分為四層結(jié)構(gòu)，這四層結(jié)構(gòu)中有兩個(gè)重要的邊界：一個(gè)是將操作系統(tǒng)與應(yīng)用程序分開(kāi)的邊界，另一個(gè)是將高層互聯(lián)網(wǎng)地址與低層物理網(wǎng)卡地址分開(kāi)的邊界，如圖 33 所示。 應(yīng)用層向使用網(wǎng)絡(luò)的用戶(hù)提供特定的、常用的應(yīng)用程序 服務(wù) ，如遠(yuǎn)程登錄（ Tel） 、文件傳輸 （ FTP） 、超文本傳輸 （ HTTP） 和電子郵件 （ SMTP）等。 傳輸層提供 應(yīng)用程序之間的通信，也叫端到端 （ End to End） 的通信。 網(wǎng)絡(luò)層也稱(chēng)為互聯(lián)網(wǎng)層，由于該層的主要協(xié)議是 IP 協(xié)議，因而也可簡(jiǎn)稱(chēng)為 IP 層。 O S I 參 考 模 型層 描 述T C P / I P 層描 述O S I 層號(hào)應(yīng) 用 層表 示 層會(huì) 話 層傳 輸 層網(wǎng) 絡(luò) 層數(shù) 據(jù) 鏈 路 層物 理 層7654321鏈 路 層網(wǎng) 路 層傳 輸 層應(yīng) 用 層 圖 32 OSI 參考模型和 TCP/IP 參 考模型比較 Reference Model of TCP/IP and Its Comparison with that of OSI 20 鏈路層在 TCP/IP 協(xié)議棧的最低層，也稱(chēng)為數(shù)據(jù)鏈路層或網(wǎng)絡(luò)接口層，通常包括操作系統(tǒng)中的設(shè)備驅(qū)動(dòng)程序和計(jì)算機(jī)中對(duì)應(yīng)的網(wǎng)絡(luò)接口卡。 TCP/IP 協(xié)議的體系結(jié)構(gòu)分為四層，這四層由高到低分別是：應(yīng)用層、傳輸層、網(wǎng)絡(luò)層和鏈路層。 這為具體實(shí)現(xiàn)協(xié)議留下很大的余地。所以如果兩個(gè)網(wǎng)絡(luò)在物理層就相同，使用中繼器就可以連起來(lái)；如果兩個(gè)網(wǎng)絡(luò)物理層不同，鏈路層相同，使用橋接器可以連起來(lái)；如果兩個(gè)網(wǎng)絡(luò)物理層、鏈路層都不同，而網(wǎng)絡(luò)層相同，使 用路由器可以互連；如果兩個(gè)網(wǎng)絡(luò)協(xié)議完全不同，使用協(xié)議轉(zhuǎn)換器（網(wǎng)關(guān)）可以互連。應(yīng)用層包含大量人們普遍需要的協(xié)議，并 19 且具有文 件傳輸功能 [16]。會(huì)話層允許不同機(jī)器上的用戶(hù)建立會(huì)話關(guān)系， 協(xié)調(diào)不同應(yīng)用程序之間的通信 狀態(tài)。網(wǎng)絡(luò)層檢查網(wǎng)絡(luò)拓?fù)?，以決定傳輸報(bào)文的最佳路由 。 物理層涉及到通信在信道上傳輸?shù)脑急忍亓?，它?shí)現(xiàn)傳輸數(shù)據(jù)所需要的機(jī)械、電氣、功能性及過(guò)程等手段。網(wǎng)絡(luò)協(xié)議按功能組織成一系列“層”，每一層建筑在它的下層之上。 為了更好劃分網(wǎng)絡(luò)結(jié)構(gòu) ，國(guó)際標(biāo)準(zhǔn)化組織 ISO 提出 了開(kāi)放系統(tǒng)互連參考模型，如圖 31 所示 [15]。本章最后研究了通用的 視頻評(píng)估標(biāo)準(zhǔn)及相應(yīng)的原理和算法，這對(duì) 系統(tǒng)的整體運(yùn)行評(píng)估起到了決定性的作用。 DM642 接近于一個(gè)多媒體嵌入式系統(tǒng)的單芯片硬件平臺(tái)，并且具有完全的可編程 性，能夠兼容多種多媒體音視頻標(biāo)準(zhǔn)，非常適合網(wǎng)絡(luò)攝像機(jī)系統(tǒng)的研發(fā)。然后針對(duì) TMS320DM642 處理器 CPU 體系結(jié)構(gòu)與特點(diǎn)，重點(diǎn)介紹了 DM642 在運(yùn)算能力和多媒體處理方面的出色性能。 001 ( )()tTTtt M AXRtU dtT R t??? ? (26) 式中 RMAX(t)是 t 時(shí)刻網(wǎng)絡(luò) 最大可 用帶寬； R(t)是 t 時(shí)刻 視頻傳輸碼率。 帶寬利用率 （ UT） 實(shí)時(shí)傳輸?shù)囊曨l應(yīng)當(dāng)盡可能的利用可用帶寬，以獲得最佳的視頻質(zhì)量，因此帶寬利用率也可以用來(lái)評(píng)價(jià)視頻的實(shí)時(shí)傳輸 [14]。39。39。為了定義塊效應(yīng)程度 B，首先定義邊界差 值 V1 和 V2，如式 (24)和式 (25) [13]。 2255( ) 1 0 lo g()P SN R M i D M i? (23) 和失真度一樣， 幀的視頻對(duì)象的 PSNR 可以取各相應(yīng)宏塊 PSNR 的均值，考慮到不同視頻對(duì)象重要性不同，幀的 PSNR 也可以取各視頻對(duì)象 PSNR 值的加權(quán)平均。用解碼器的重建數(shù)值 Mij’’代替，采用這種全局失真度雖然增加了計(jì)算量，但是編碼結(jié)果會(huì)更加優(yōu)化。 1()()Nj ijjD VOD fi N??? ? (22) 16 式中： α j 是視頻對(duì)象的權(quán)值； N 是幀內(nèi)視頻對(duì)象的數(shù)目 。幀或者視頻對(duì)象的失真度可以取各相應(yīng)宏塊失真度的平均值。,1( ) ( )256ij i jij MMD M i M A D M i ? ??? ? (21) 式 (21)是對(duì)宏塊 Mi 失真度的定義，式中 Mij 和 Mij39。失真度的定義可以用絕對(duì)誤差總和（ SAD）、絕對(duì)誤差均值（ MAD）、均方誤差（ MSE） 等來(lái)定義，較常用的 MAD，定義見(jiàn)式 (21) [10]。原理如圖 23 所示 [9]。 DM642 以太網(wǎng)外設(shè) 網(wǎng)絡(luò)傳輸模塊的網(wǎng)絡(luò)接口由 EMAC（ 10/100 Mb/s Ether MAC）與 MDIO（ Management Data Input/Output）兩部分組成，并 主要用來(lái)支持物理層的網(wǎng)絡(luò)器件（ PHY）與 DM642 的連接。 一、 捕獲模式的技術(shù)性能 捕獲速率 80MHz； 兩路數(shù)字視頻輸入，格式為 YUV422，有 8bit 或者 10bit 精度 ； 3 、 一路 Y/C16 或 20bit 數(shù) 字視頻輸入，格式為 YUV422 ，支持SMPTE260M， SMPTE274M， SMPTE296M， 等標(biāo)準(zhǔn) YUV422 到 YUV420 變換，以及在 8bit YUV422 模式下的亞采樣 。每一個(gè)視頻端口有兩個(gè)通道 ：A 和 B，另有一個(gè) 5120 字節(jié)的 FIFO 顯示緩存可以分給兩個(gè)通道使用。這些視頻端口設(shè)備提供了與一般視頻編解碼設(shè)備交互的界面，設(shè)備支持多種視頻標(biāo)準(zhǔn)和方案 （ 比如 CCIR60 、 、SMPTE125M、 SMPTE260M、 SMPTE274M、 SMPTE296M） 。由于內(nèi)部存儲(chǔ)器的工作頻率與 DSP 內(nèi)部時(shí)鐘同頻，而遠(yuǎn)遠(yuǎn)高于片外存儲(chǔ)器的工作頻率，這就解決了 DSP 外部時(shí)鐘頻率小于內(nèi)部時(shí)鐘頻率的問(wèn)題。 CPU 只對(duì) Ll 的數(shù)據(jù)進(jìn)行訪問(wèn)，程序代碼和數(shù)據(jù)必須經(jīng)過(guò)外部存儲(chǔ)器到 14 L2， L2 到 Ll 的逐級(jí)搬移能被 CPU 訪問(wèn)。容量較大的兩級(jí)緩存和 EDMA 通道是 DM642 高性能的體現(xiàn)之一，若能合理使用和管理，將能大幅度提高程序的運(yùn)行性能。第二級(jí) L2（ 256K 字節(jié) ） 是一個(gè)統(tǒng)一的程序 /數(shù)據(jù)空間，可以整體作為 SRAM 映射到存儲(chǔ)空間，也可以整體作為第 二級(jí) Cache，或是二者按比例的一種組合來(lái)使用。 DM642 芯片結(jié)構(gòu)如圖 22[7]。 ADI Blackfin 生物系統(tǒng)，消費(fèi)類(lèi)音頻設(shè)備，游戲 /學(xué)習(xí)輔助工具，便攜式測(cè)試儀器，網(wǎng)絡(luò)終端；醫(yī)用儀器，視頻會(huì)議，遠(yuǎn)程監(jiān)控設(shè)備，機(jī)頂盒，汽車(chē)保險(xiǎn)裝置，工業(yè)控制， VoIP 終端，機(jī)器視覺(jué)，家庭網(wǎng)絡(luò)，個(gè)人數(shù)字助理 ADSP21xx 無(wú)線通信，防火墻加速器，工作站安全模塊，工業(yè)控制設(shè)備，視覺(jué)網(wǎng)絡(luò)控制，數(shù)據(jù)獲取系統(tǒng)，測(cè)試 /測(cè)量系統(tǒng)，機(jī)器人控制 Motorola DSP56800 DSP56800E 運(yùn)動(dòng)控制，智能儀器 ,自動(dòng)控制 ,溫度控制 ,醫(yī)藥設(shè)備 ,運(yùn)輸中的燃料管理系統(tǒng) , 傳感器，交通信號(hào)控制 , 引擎管理，音頻解碼器 MSC8100 網(wǎng)絡(luò)設(shè)備， IP 電話，視頻安全服務(wù)器，視頻監(jiān)控，圖像處理，軍工產(chǎn)品，手提電話 TMS320DM642 DM642 體系結(jié)構(gòu) TMS320DM642 是 Tl公司推出的 TMS320C64X 系列芯片中的一 款高性能數(shù)字多媒體處理 DSP 芯片，基于 C64X 內(nèi)核，具有擴(kuò)展的高級(jí)甚長(zhǎng)指令字 （ VelociTI） 體系結(jié)構(gòu)，具有 64 個(gè) 32 位通用寄存器， 8 個(gè)獨(dú)立計(jì)算功能單元 （ 2 個(gè)乘法器， 6 個(gè)算術(shù)邏輯單元 ） 可以并行運(yùn)行，因此多條指令可同時(shí)執(zhí)行。 包括 C54x 和 C55x 定點(diǎn)DSP。 包括 C62x 和 C64x 定點(diǎn) DSP 以及 C67x 浮點(diǎn) DSP。由于 ADI 公司的開(kāi)發(fā)套件較貴，而且芯片開(kāi)發(fā)工具包相對(duì)復(fù)雜，因此本系統(tǒng)選用了 TI 公司的 TMS320DM642 芯片。 本系統(tǒng)要求圖像處理速度達(dá)到每 秒 20 幀以上，即要求實(shí)時(shí)圖像處理系統(tǒng)必須在 50ms 內(nèi)完成對(duì)一幀圖像的運(yùn)算處理，圖像采集模塊的輸出為為 320240 像素。 典型 DSP 芯片 比較 TI、 ADI 和 Motorola 公司的 DSP 芯片是目前國(guó)內(nèi)應(yīng)用的主流芯片?？焖俚闹噶钪芷谑沟?DSP 芯片能夠?qū)崿F(xiàn)許多高端應(yīng)用。 哈佛結(jié)構(gòu)、流水線操作、專(zhuān)用的硬件乘法器、特殊的 DSP 指令再加上集成電路的優(yōu)化設(shè)計(jì)，可使 DSP 芯片的指令周期在200ns 以下。例如， MAC 指令是連乘加指令，可以在單周期內(nèi)同時(shí)完成乘法和加法運(yùn)算； RPTS 和 RPTB 指令是硬件判斷循環(huán)邊界條件，可以避免破壞流水 線。 DSP