【正文】 傳送網(wǎng)上的實(shí)時(shí)數(shù)據(jù)[27,28]。在RTP會(huì)話期間，各參與者周期性地傳送RTCP包。實(shí)時(shí)傳輸控制協(xié)議RTCP。RTP本身并不能為按順序傳送數(shù)據(jù)包提供可靠的傳送機(jī)制，也不提供流量控制或擁塞控制，它依靠RTCP提供這些服務(wù)。RTP通常使用UDP來傳送數(shù)據(jù)，但RTP也可以在TCP或ATM等其他協(xié)議之上工作。表31 TCP和UDP的比較Table 31 Comparison between TCP and UDP比較項(xiàng)目TCPUDP建立連接與關(guān)閉有無數(shù)據(jù)傳輸效率低高對(duì)數(shù)據(jù)的確認(rèn)有無流量控制有（滑動(dòng)窗口）無丟失分組的重發(fā)有無（由高層應(yīng)用程序負(fù)責(zé)）協(xié)議復(fù)雜性復(fù)雜簡單發(fā)送端緩沖有無分組排序有無重發(fā)分組的檢測(cè)有無校驗(yàn)和有有（且算法相同）在低層被分片的情況可能性?。ㄒ?yàn)樵诮⑦B接時(shí)，雙方通知各自的MSS，每個(gè)TCP報(bào)文段的長度不超過MSS）可能性大（因?yàn)閼?yīng)用程序每次輸出都產(chǎn)生一個(gè)UDP報(bào)文，當(dāng)一次有大量數(shù)據(jù)要輸出時(shí)，常在低層被分開）廣播與多播不支持（因?yàn)樗⒁粚?duì)一的連接）支持使用場合可靠性要求高，有大量數(shù)據(jù)要連續(xù)傳輸，該協(xié)議在互聯(lián)網(wǎng)中應(yīng)用較多對(duì)可靠性要求一般，但要求高效傳輸數(shù)據(jù)，或應(yīng)用于數(shù)據(jù)傳輸量小的場合 基于TCP/IP應(yīng)用層的網(wǎng)絡(luò)實(shí)時(shí)傳輸協(xié)議簡介 實(shí)時(shí)傳輸協(xié)議RTP和實(shí)時(shí)傳輸控制協(xié)議RCTP RTP（Realtime Transport Protocol）是用于Internet上針對(duì)多媒體數(shù)據(jù)流的一種傳輸協(xié)議。發(fā)送TCP報(bào)文段時(shí)，頭部的“確認(rèn)號(hào)”就指出該端希望接收的下一個(gè)字節(jié)的序號(hào)，其含義是在此之前的所有數(shù)據(jù)都已經(jīng)正確收到，請(qǐng)發(fā)送從確認(rèn)號(hào)開始的數(shù)據(jù)。TCP協(xié)議提供的是可靠的運(yùn)輸層。連接建立和關(guān)閉的過程如圖36所示[25]，該圖是通信雙方正常工作時(shí)的情況。由于TCP是一個(gè)全雙工協(xié)議，因此在通信過程中兩臺(tái)主機(jī)都可以獨(dú)立地發(fā)送數(shù)據(jù)，完成數(shù)據(jù)發(fā)送的任何一方可以提出關(guān)閉連接的請(qǐng)求。所謂三次握手，就是指在建立一條連接時(shí)通信雙方要交換三次報(bào)文。第一，建立連接。TCP是一個(gè)面向連接的協(xié)議，TCP協(xié)議的高可靠性是通過發(fā)送數(shù)據(jù)前先建立連接，結(jié)束數(shù)據(jù)傳輸時(shí)關(guān)閉連接，在數(shù)據(jù)傳輸過程中進(jìn)行超時(shí)重發(fā)、流量控制和數(shù)據(jù)確認(rèn)，對(duì)亂序數(shù)據(jù)進(jìn)行重排以及校驗(yàn)和等機(jī)制來實(shí)現(xiàn)的。被封裝在IP中的UDP數(shù)據(jù)報(bào)通過網(wǎng)絡(luò)傳輸?shù)侥繕?biāo)主機(jī)的IP層后，由目標(biāo)主機(jī)的UDP層根據(jù)目標(biāo)端口號(hào)送到接收該數(shù)據(jù)的相應(yīng)進(jìn)程。端到端通信由傳輸層來實(shí)現(xiàn)的。 傳輸層協(xié)議分析 端到端通信 在互聯(lián)網(wǎng)中，任何兩臺(tái)通信的主機(jī)之間，從源端到目標(biāo)端的信道都是由一段一段的點(diǎn)到點(diǎn)通信線路組成的，如圖35所示[22]。Internet控制報(bào)文協(xié)議ICMP（Internet Control Message Protocol）就是用來探測(cè)并報(bào)告IP數(shù)據(jù)包傳輸中產(chǎn)生的各種錯(cuò)誤[21]。但這時(shí)數(shù)據(jù)包的發(fā)送站無法得知傳輸出錯(cuò)，也不知道錯(cuò)的具體原因。 ICMP協(xié)議IP數(shù)據(jù)包在網(wǎng)絡(luò)上的傳輸是通過網(wǎng)關(guān)對(duì)數(shù)據(jù)包的轉(zhuǎn)發(fā)來完成的。另外，這種方式實(shí)現(xiàn)起來也比較簡單，適合于異構(gòu)網(wǎng)絡(luò)的互聯(lián)，因此被很多網(wǎng)絡(luò)廠商所使用。使用這種方式時(shí)，由源端順序送出的各分組，由于每個(gè)分組在網(wǎng)絡(luò)中可能經(jīng)過不同的路徑到達(dá)目標(biāo)端，所以先發(fā)出的分組不一定就先到達(dá)目標(biāo)端，另外，也不能保證每個(gè)分組都能可靠地到達(dá)目標(biāo)端。由于互聯(lián)網(wǎng)所連網(wǎng)絡(luò)的復(fù)雜性和多樣性，因而很難保證所有節(jié)點(diǎn)都能可靠地發(fā)送數(shù)據(jù)。面向連接的方式要求在通信的源端和目標(biāo)端之間建立一條邏輯通路，一般稱為虛電路（Virtual Circuit），源端和目標(biāo)端之間通信時(shí)的所有信息都通過該通路傳輸。所有的TCP、UDP、ICMP及IGMP數(shù)據(jù)都以IP數(shù)據(jù)報(bào)格式傳輸?shù)?，如圖34[18]。地址邊界的上層為網(wǎng)絡(luò)層，網(wǎng)絡(luò)層用于對(duì)不同的網(wǎng)絡(luò)進(jìn)行互聯(lián)，連接在一起的所有網(wǎng)絡(luò)為了能互相尋址，要使用統(tǒng)一的互聯(lián)網(wǎng)地址（IP地址）。 TCP/IP協(xié)議分為四層結(jié)構(gòu)，這四層結(jié)構(gòu)中有兩個(gè)重要的邊界：一個(gè)是將操作系統(tǒng)與應(yīng)用程序分開的邊界，另一個(gè)是將高層互聯(lián)網(wǎng)地址與低層物理網(wǎng)卡地址分開的邊界，如圖33所示。應(yīng)用層向使用網(wǎng)絡(luò)的用戶提供特定的、常用的應(yīng)用程序服務(wù)，如遠(yuǎn)程登錄（Telnet）、文件傳輸（FTP）、超文本傳輸（HTTP）和電子郵件（SMTP）等。傳輸層提供應(yīng)用程序之間的通信，也叫端到端（End to End）的通信。網(wǎng)絡(luò)層也稱為互聯(lián)網(wǎng)層，由于該層的主要協(xié)議是IP協(xié)議，因而也可簡稱為IP層。圖32 OSI參考模型和TCP/IP參考模型比較 Reference Model of TCP/IP and Its Comparison with that of OSI鏈路層在TCP/IP協(xié)議棧的最低層，也稱為數(shù)據(jù)鏈路層或網(wǎng)絡(luò)接口層，通常包括操作系統(tǒng)中的設(shè)備驅(qū)動(dòng)程序和計(jì)算機(jī)中對(duì)應(yīng)的網(wǎng)絡(luò)接口卡。TCP/IP協(xié)議的體系結(jié)構(gòu)分為四層，這四層由高到低分別是：應(yīng)用層、傳輸層、網(wǎng)絡(luò)層和鏈路層。這為具體實(shí)現(xiàn)協(xié)議留下很大的余地。所以如果兩個(gè)網(wǎng)絡(luò)在物理層就相同，使用中繼器就可以連起來；如果兩個(gè)網(wǎng)絡(luò)物理層不同，鏈路層相同，使用橋接器可以連起來；如果兩個(gè)網(wǎng)絡(luò)物理層、鏈路層都不同，而網(wǎng)絡(luò)層相同，使用路由器可以互連；如果兩個(gè)網(wǎng)絡(luò)協(xié)議完全不同，使用協(xié)議轉(zhuǎn)換器（網(wǎng)關(guān)）可以互連。應(yīng)用層包含大量人們普遍需要的協(xié)議，并且具有文件傳輸功能[16]。會(huì)話層允許不同機(jī)器上的用戶建立會(huì)話關(guān)系，協(xié)調(diào)不同應(yīng)用程序之間的通信狀態(tài)。網(wǎng)絡(luò)層檢查網(wǎng)絡(luò)拓?fù)洌詻Q定傳輸報(bào)文的最佳路由。物理層涉及到通信在信道上傳輸?shù)脑急忍亓鳎鼘?shí)現(xiàn)傳輸數(shù)據(jù)所需要的機(jī)械、電氣、功能性及過程等手段。網(wǎng)絡(luò)協(xié)議按功能組織成一系列“層”，每一層建筑在它的下層之上。為了更好劃分網(wǎng)絡(luò)結(jié)構(gòu)，國際標(biāo)準(zhǔn)化組織 ISO 提出了開放系統(tǒng)互連參考模型，如圖31所示[15]。本章最后研究了通用的視頻評(píng)估標(biāo)準(zhǔn)及相應(yīng)的原理和算法，這對(duì)系統(tǒng)的整體運(yùn)行評(píng)估起到了決定性的作用。DM642接近于一個(gè)多媒體嵌入式系統(tǒng)的單芯片硬件平臺(tái)，并且具有完全的可編程性，能夠兼容多種多媒體音視頻標(biāo)準(zhǔn)，非常適合網(wǎng)絡(luò)攝像機(jī)系統(tǒng)的研發(fā)。然后針對(duì)TMS320DM642處理器CPU體系結(jié)構(gòu)與特點(diǎn)，重點(diǎn)介紹了DM642在運(yùn)算能力和多媒體處理方面的出色性能。 (26)式中RMAX(t)是t時(shí)刻網(wǎng)絡(luò)最大可用帶寬；R(t)是t時(shí)刻視頻傳輸碼率。 帶寬利用率（UT）實(shí)時(shí)傳輸?shù)囊曨l應(yīng)當(dāng)盡可能的利用可用帶寬，以獲得最佳的視頻質(zhì)量，因此帶寬利用率也可以用來評(píng)價(jià)視頻的實(shí)時(shí)傳輸[14]。為了定義塊效應(yīng)程度B，首先定義邊界差值V1和V2，如式(24)和式(25) [13]。 (23)和失真度一樣，幀的視頻對(duì)象的PSNR可以取各相應(yīng)宏塊PSNR的均值，考慮到不同視頻對(duì)象重要性不同，幀的PSNR也可以取各視頻對(duì)象PSNR值的加權(quán)平均。用解碼器的重建數(shù)值Mij’’代替，采用這種全局失真度雖然增加了計(jì)算量，但是編碼結(jié)果會(huì)更加優(yōu)化。 (22)式中：αj是視頻對(duì)象的權(quán)值；N是幀內(nèi)視頻對(duì)象的數(shù)目。幀或者視頻對(duì)象的失真度可以取各相應(yīng)宏塊失真度的平均值。 (21)式(21)是對(duì)宏塊Mi失真度的定義，式中Mij和Mij39。圖23 PHY設(shè)備的連接 Equipment Connection of PHY 實(shí)時(shí)傳輸視頻的評(píng)估標(biāo)準(zhǔn) 失真度（D）通過將重建的視頻信號(hào)與源信號(hào)進(jìn)行比較，可求得失真度。其中EMAC控制PHY與DM642之間的數(shù)據(jù)包的交換，MDIO控制PHY的配置與狀態(tài)的檢測(cè)。二、顯示模式的技術(shù)性能顯示速率110MHz；一路連續(xù)視頻輸出，輸出格式為YUV422 8bit或10bit精度；一路連續(xù)Y/C 16或20bit數(shù)字視頻輸出，格式為YUV422；YUV420到Y(jié)UV422變換，在8bitYUV422模式下，輸出2倍插值；5.、能產(chǎn)生行同步、場同步和消隱信號(hào)。下面是這兩種模式的主要技術(shù)性能[8]。這三個(gè)視頻端口是可配置的并且支持圖像捕獲或圖像顯示模式。 DM642圖像視頻接口 DM642擁有三個(gè)可配置的視頻端口設(shè)備（VP0、VPVP2）。L2存儲(chǔ)單元和外部設(shè)備的數(shù)據(jù)交換由功能強(qiáng)大的增強(qiáng)型DMA控制器控制，因此在CPU處理片內(nèi)的數(shù)據(jù)時(shí)可以通過EDMA把片外的數(shù)據(jù)倒入片內(nèi)，達(dá)到同步工作以提高效率。DM642芯片外設(shè)包括三個(gè)可以配置的視頻口，一個(gè)多通道音頻串行端口（McASP），兩個(gè)多通道串口（McBSP），64bit的外部存儲(chǔ)單元接口EMIF，66MHz32bit，10/100Mbps以太網(wǎng)接口（EMAC）及通用I/O端口（GPIO）等外圍接口。DM642具有64個(gè)獨(dú)立通道的EDMA（擴(kuò)展的直接存儲(chǔ)器訪問）控制器，負(fù)責(zé)片內(nèi)L2與其他外設(shè)之間的數(shù)據(jù)傳輸。圖22 DM642芯片結(jié)構(gòu) Chip Structure of DM642DM642采用兩級(jí)緩存結(jié)構(gòu)，第一級(jí)包括相互獨(dú)立的L1P（16K字節(jié)）和L1D（16K字節(jié)），只能作為高速緩存使用?？晒ぷ髟?00MHz時(shí)鐘速率，每個(gè)指令周期可并行運(yùn)行8條32位指令，因此可達(dá)到4800MIPS的峰值計(jì)算速度。TMS320C200016/32主要針對(duì)控制應(yīng)用。TMS320C500016/32最適合個(gè)人與便攜式上網(wǎng)以及無線通信應(yīng)用。表21 典型DSP芯片產(chǎn)品Table 21 Typical Products of DSPChip生產(chǎn)廠家主要產(chǎn)品系列定點(diǎn)位數(shù)主要應(yīng)用TITMS320C600032面向高端應(yīng)用，最適合寬帶網(wǎng)絡(luò)和數(shù)字影像應(yīng)用。為達(dá)到該處理速度，綜合考慮以上各因素，采用價(jià)格較便宜、功耗較低的定點(diǎn)DSP芯片即可。各公司主要芯片產(chǎn)品如表21所示[6]。隨著微電子技術(shù)的發(fā)展，工作頻率還將繼續(xù)提高，指令周期將進(jìn)一步縮短。TMS320系列處理器的指令周期已經(jīng)從第一代的200ns降低至現(xiàn)在的5ns以下。第五，快速的指令周期。加法、減法、比較、移位、最大/最小值、絕對(duì)值運(yùn)算以及延遲操作等都可以由一系列特殊指令實(shí)現(xiàn)，極大的提高了性能和效率。圖21 多級(jí)的流水線 Multiple Pipelines第四，特殊的DSP指令。為此DSP芯片采用專用的硬件乘法器，使得乘法運(yùn)算能夠在一個(gè)指令周期內(nèi)完成。第三，專用的硬件乘法器。同時(shí)，指令并行運(yùn)行的條件在不斷降低，指令的范圍也在不斷擴(kuò)大。流水線操作與哈佛結(jié)構(gòu)相配合，減少了指令執(zhí)行時(shí)間，增加了處理器的吞吐量。第二，多級(jí)的流水線操作。為了進(jìn)一步提高運(yùn)行速度和靈活性，人們?cè)诨镜墓鸾Y(jié)構(gòu)的基礎(chǔ)上做了改進(jìn)，一是允許數(shù)據(jù)存放在程序存儲(chǔ)器中，并被算術(shù)運(yùn)算指令直接使用，增強(qiáng)了芯片的靈活性；二是指令存儲(chǔ)器在高速緩沖器Cache中，當(dāng)執(zhí)行此指令時(shí)，不需要再從存儲(chǔ)器中讀取指令，節(jié)約了一個(gè)指令周期的時(shí)間。諾依曼結(jié)構(gòu)的并行體系結(jié)構(gòu)，其主要特點(diǎn)是程序存儲(chǔ)器和數(shù)據(jù)存儲(chǔ)器相互獨(dú)立編址，獨(dú)立訪問。第一，改進(jìn)的哈佛（Harvard）結(jié)構(gòu)。論文最后對(duì)本系統(tǒng)的設(shè)計(jì)進(jìn)行了總結(jié)并提出了改進(jìn)方向。對(duì)主要的網(wǎng)絡(luò)傳輸模塊部分代碼做了碼率分析優(yōu)化，使得數(shù)據(jù)包在網(wǎng)絡(luò)中得到最大效率的傳輸。本文的第5章是對(duì)系統(tǒng)軟件部分設(shè)計(jì)的分析。本文的第4章重點(diǎn)闡述了系統(tǒng)各硬件模塊的設(shè)計(jì)。重點(diǎn)講述了實(shí)時(shí)視頻傳輸?shù)乃惴ǚ治龊头桨笇?shí)現(xiàn)。最后介紹了如今比較流行的一種視頻評(píng)估標(biāo)準(zhǔn)及其原理。本文的第2章主要介紹了數(shù)字信號(hào)處理器的結(jié)構(gòu)及原理，以及重點(diǎn)講述了本文將要采用的一款DSP芯片—TMS320DM642。通過對(duì)相關(guān)領(lǐng)域研究進(jìn)展及成果的討論，發(fā)現(xiàn)了當(dāng)前網(wǎng)絡(luò)攝像機(jī)產(chǎn)品在圖像質(zhì)量和傳輸速率之間無法平衡的一個(gè)不足。本文第1章是緒論部分，即引言。 本文結(jié)構(gòu)本文將對(duì)網(wǎng)絡(luò)攝像機(jī)視頻采集模塊和網(wǎng)絡(luò)傳輸模塊的硬件系統(tǒng)和軟件設(shè)計(jì)做詳細(xì)的闡述。第五，設(shè)計(jì)帶有網(wǎng)絡(luò)通信功能的應(yīng)用程序，實(shí)現(xiàn)視頻數(shù)據(jù)在客戶端的呈現(xiàn)。第四，詳細(xì)分析了實(shí)時(shí)視頻傳輸?shù)脑u(píng)估標(biāo)準(zhǔn)，以及如何實(shí)現(xiàn)高質(zhì)量傳輸?shù)乃惴ㄑ芯亢蛻?yīng)用內(nèi)容，包括碼率分配和帶寬估計(jì)。第三，對(duì)設(shè)計(jì)好的系統(tǒng)進(jìn)行驅(qū)動(dòng)程序的開發(fā)。第二，根據(jù)系統(tǒng)在速度等方面的要求，考慮到各個(gè)器件之間的兼容性，對(duì)硬件進(jìn)行合適的選擇和搭配，構(gòu)建出系統(tǒng)的硬件平臺(tái)。本文所提出的網(wǎng)絡(luò)攝像機(jī)系統(tǒng)，是可以脫離PC獨(dú)立工作的。第二，網(wǎng)絡(luò)攝像機(jī)需要嵌入式操作系統(tǒng)，而TI公司為其DSP產(chǎn)品設(shè)計(jì)了一套較好的小型嵌入式操作系統(tǒng)DSP/BIOS，省去了不必要的操作系統(tǒng)移植的過程。 本課題主要研究內(nèi)容及工作基于以上的分析，本文提出了基于TI公司DM642的嵌入式網(wǎng)絡(luò)攝像機(jī)系統(tǒng)設(shè)計(jì)方案。另外大批的國內(nèi)廠商根據(jù)自身實(shí)力及市場情況，采取了OEM的形式，其中亞安公司就是憑借公司靈活的反映機(jī)制，極具競爭力的性價(jià)比，以及良好的售后服務(wù)贏得了市場，獲得了很大的發(fā)展。而與知名企業(yè)不同，部分本地品牌依托自己靈活的應(yīng)變能力以及良好的性價(jià)比，也在市場上獲得了不錯(cuò)發(fā)展，并占領(lǐng)了不少的市場份額。在國內(nèi)，ADSL寬帶，GPON/EPOG光纖寬帶在中國很多城市順利開通，架構(gòu)起以IP為基礎(chǔ)的數(shù)據(jù)平臺(tái)，為網(wǎng)絡(luò)監(jiān)控提供了安全可靠的網(wǎng)絡(luò)環(huán)境。除了索尼公司的SNCCS50P之外，還有松下KXHCM280、三星SNCL200P/SNCL200WP、安特ANTNWC10/50/100、瑞典AXIS的AXIS22xx系列等。SNCCS50P無須通過個(gè)人電腦便可以直接接入網(wǎng)絡(luò)。它配備了10/100BASET的LAN端口，采用1/3英寸的CCD鏡頭，分辨率可達(dá)到640480，最高刷新幀率為30fps。 網(wǎng)絡(luò)攝像機(jī)產(chǎn)品概況在網(wǎng)絡(luò)攝像機(jī)產(chǎn)品的研發(fā)中，國外的起步較早，市場上較為成熟的嵌入式Web網(wǎng)絡(luò)攝像機(jī)的產(chǎn)品也很多。很多國內(nèi)廠商一味追求某一特性的優(yōu)越而忽視或干脆放棄了其它方面的性能，如有些廠商在設(shè)計(jì)初期，為了能使傳輸延遲降到最低，在視頻編碼壓縮上加大了壓縮比率，盡管傳輸速度和延遲性能得到了很大提高，但監(jiān)控圖像的整體