【正文】 所 示 [25]，該圖是通信雙方正常工作時(shí)的情況。 RTP 通常使用 UDP 來(lái)傳送數(shù)據(jù)，但 RTP 也可以在 TCP 或 ATM 等其 25 他協(xié)議之上工作。 RTP 和 RTCP 配合使用，它們能以有效的反饋和最小的開(kāi)銷使傳輸效率最佳化，因而特別適合傳送網(wǎng)上的實(shí)時(shí)數(shù)據(jù) [27,28]。 RTP 本身并不能為按順序傳送數(shù)據(jù)包提供可靠的傳送機(jī)制，也不提供流量控制或擁塞控制，它依靠 RTCP 提供這些服務(wù)。 TCP 協(xié)議提供的是可靠的運(yùn)輸層。 第一，建立連接。 傳輸層協(xié)議分析 端到端通信 在互聯(lián)網(wǎng)中，任何兩臺(tái)通信的主機(jī)之間，從源端到目標(biāo)端的信道都是由一段一段的點(diǎn)到點(diǎn)通信線路組成的，如圖 35 所示 [22]。另外，這種方式實(shí)現(xiàn)起來(lái)也比較簡(jiǎn)單，適合于異構(gòu)網(wǎng)絡(luò)的互聯(lián)，因此被很多網(wǎng)絡(luò)廠商所使用。所有的 TCP、 UDP、 ICMP 及 IGMP 數(shù)據(jù)都以 IP 數(shù)據(jù)報(bào)格式傳輸?shù)模鐖D 34[18]。 傳輸層提供 應(yīng)用程序之間的通信，也叫端到端 （ End to End） 的通信。 這為具體實(shí)現(xiàn)協(xié)議留下很大的余地。網(wǎng)絡(luò)層檢查網(wǎng)絡(luò)拓?fù)?，以決定傳輸報(bào)文的最佳路由 。本章最后研究了通用的 視頻評(píng)估標(biāo)準(zhǔn)及相應(yīng)的原理和算法，這對(duì) 系統(tǒng)的整體運(yùn)行評(píng)估起到了決定性的作用。 帶寬利用率 （ UT） 實(shí)時(shí)傳輸?shù)囊曨l應(yīng)當(dāng)盡可能的利用可用帶寬，以獲得最佳的視頻質(zhì)量，因此帶寬利用率也可以用來(lái)評(píng)價(jià)視頻的實(shí)時(shí)傳輸 [14]。 2255( ) 1 0 lo g()P SN R M i D M i? (23) 和失真度一樣， 幀的視頻對(duì)象的 PSNR 可以取各相應(yīng)宏塊 PSNR 的均值，考慮到不同視頻對(duì)象重要性不同，幀的 PSNR 也可以取各視頻對(duì)象 PSNR 值的加權(quán)平均。,1( ) ( )256ij i jij MMD M i M A D M i ? ??? ? (21) 式 (21)是對(duì)宏塊 Mi 失真度的定義，式中 Mij 和 Mij39。 一、 捕獲模式的技術(shù)性能 捕獲速率 80MHz； 兩路數(shù)字視頻輸入，格式為 YUV422，有 8bit 或者 10bit 精度 ； 3 、 一路 Y/C16 或 20bit 數(shù) 字視頻輸入，格式為 YUV422 ，支持SMPTE260M， SMPTE274M， SMPTE296M， 等標(biāo)準(zhǔn) YUV422 到 YUV420 變換，以及在 8bit YUV422 模式下的亞采樣 。 CPU 只對(duì) Ll 的數(shù)據(jù)進(jìn)行訪問(wèn)，程序代碼和數(shù)據(jù)必須經(jīng)過(guò)外部存儲(chǔ)器到 14 L2， L2 到 Ll 的逐級(jí)搬移能被 CPU 訪問(wèn)。 ADI Blackfin 生物系統(tǒng)，消費(fèi)類音頻設(shè)備，游戲 /學(xué)習(xí)輔助工具，便攜式測(cè)試儀器，網(wǎng)絡(luò)終端；醫(yī)用儀器，視頻會(huì)議，遠(yuǎn)程監(jiān)控設(shè)備，機(jī)頂盒，汽車保險(xiǎn)裝置，工業(yè)控制， VoIP 終端，機(jī)器視覺(jué)，家庭網(wǎng)絡(luò)，個(gè)人數(shù)字助理 ADSP21xx 無(wú)線通信，防火墻加速器，工作站安全模塊，工業(yè)控制設(shè)備，視覺(jué)網(wǎng)絡(luò)控制，數(shù)據(jù)獲取系統(tǒng)，測(cè)試 /測(cè)量系統(tǒng)，機(jī)器人控制 Motorola DSP56800 DSP56800E 運(yùn)動(dòng)控制，智能儀器 ,自動(dòng)控制 ,溫度控制 ,醫(yī)藥設(shè)備 ,運(yùn)輸中的燃料管理系統(tǒng) , 傳感器，交通信號(hào)控制 , 引擎管理，音頻解碼器 MSC8100 網(wǎng)絡(luò)設(shè)備， IP 電話，視頻安全服務(wù)器，視頻監(jiān)控，圖像處理，軍工產(chǎn)品，手提電話 TMS320DM642 DM642 體系結(jié)構(gòu) TMS320DM642 是 Tl公司推出的 TMS320C64X 系列芯片中的一 款高性能數(shù)字多媒體處理 DSP 芯片，基于 C64X 內(nèi)核，具有擴(kuò)展的高級(jí)甚長(zhǎng)指令字 （ VelociTI） 體系結(jié)構(gòu)，具有 64 個(gè) 32 位通用寄存器， 8 個(gè)獨(dú)立計(jì)算功能單元 （ 2 個(gè)乘法器， 6 個(gè)算術(shù)邏輯單元 ） 可以并行運(yùn)行，因此多條指令可同時(shí)執(zhí)行。 本系統(tǒng)要求圖像處理速度達(dá)到每 秒 20 幀以上，即要求實(shí)時(shí)圖像處理系統(tǒng)必須在 50ms 內(nèi)完成對(duì)一幀圖像的運(yùn)算處理，圖像采集模塊的輸出為為 320240 像素。例如， MAC 指令是連乘加指令，可以在單周期內(nèi)同時(shí)完成乘法和加法運(yùn)算； RPTS 和 RPTB 指令是硬件判斷循環(huán)邊界條件，可以避免破壞流水 線。 如圖21 所示 [5]。與兩個(gè)存儲(chǔ)器相對(duì)應(yīng)的是系統(tǒng)中 設(shè)置了程序總線和數(shù)據(jù)總線兩條總線，從而使數(shù)據(jù)的吞吐率提高了一倍 。包含兩個(gè)部分，首先是系統(tǒng)各功能模塊驅(qū)動(dòng)程序的開(kāi)發(fā)以及相應(yīng)模塊間通信的控制；其次是帶有網(wǎng)絡(luò)通信功能的客戶端軟件的開(kāi)發(fā)設(shè)計(jì)。 DM642 具有完全的可編程性，能夠兼容多種多媒體視頻標(biāo)準(zhǔn)，非常適合網(wǎng)絡(luò)攝像機(jī)系統(tǒng)的研發(fā)。 第六，提高并完善系統(tǒng)的性能，優(yōu)化程序使軟硬件更好的結(jié)合，使有限的DSP 芯片資源最大限度的發(fā)揮其作用。 整個(gè)設(shè)計(jì)過(guò)程主要有 以下幾個(gè)方面的工作： 第一，掌握 DSP 開(kāi)發(fā)板的工作原理、硬件結(jié)構(gòu)和 CCS 開(kāi)發(fā)環(huán)境，參考開(kāi)發(fā)板的設(shè)計(jì)搭建出本系統(tǒng)的總體架構(gòu)。如安訊士等，非常注重產(chǎn)品的社會(huì)功用，對(duì) 產(chǎn)品的環(huán)保要求很高，要求給顧客提供的是高品質(zhì)，低耗能的產(chǎn)品。圖像壓縮采用 MPEG4 和 編碼 方式，可以變更任意區(qū)域的壓縮率。系統(tǒng)將視頻壓縮和 Web 功能集成到一個(gè)體積很小的設(shè)備內(nèi)，成本低、速度快，大大提高了圖像質(zhì)量和監(jiān)控效率，可以直接聯(lián)入以太網(wǎng)，布控區(qū)域廣，環(huán)境適應(yīng)性強(qiáng)，性能穩(wěn)定可靠，無(wú)需專人管理，而且系 統(tǒng)擴(kuò)展能力強(qiáng)，可組成非常復(fù)雜的監(jiān)控網(wǎng)絡(luò)。 但其功能單一、易受干擾、 成本較高、 無(wú)法升級(jí)、系統(tǒng)的擴(kuò)展能力差，無(wú)法形成有效的報(bào)警聯(lián)動(dòng)。當(dāng)然， MPEG4 標(biāo)準(zhǔn)也支持碼率高達(dá) ，甚至碼率高達(dá) 量的類和級(jí) 。 MPEG2 是 MPEG 組織于 1994 年推出壓縮標(biāo)準(zhǔn)，以實(shí)現(xiàn)視 /音頻服務(wù)與應(yīng)用互操作的可能性。 MPEG 系列標(biāo)準(zhǔn)是由 ISO/IEC 制定的，主要應(yīng)用于視頻存儲(chǔ) （ DVD） 、廣播電視、因特網(wǎng)或流媒體等，廣泛使用的有 MPEG MPEG MPEG4 等編碼標(biāo)準(zhǔn)。 第三，在處理機(jī)中加入 TCP/IP 協(xié)議方式 的支持。目前，基于 Inter 的嵌入式系統(tǒng)己成為人們研究的熱點(diǎn)。嵌入式網(wǎng)絡(luò)終端相比于 PC，具有更高的安全性、可靠性，擁有更強(qiáng)大的數(shù)據(jù)運(yùn)算能力，及更專業(yè)化的處理進(jìn)程，同時(shí)也具有 PC 機(jī)的兼容性和擴(kuò)展性。為了解決存儲(chǔ)器速度與 CPU 內(nèi)核速度不匹配的問(wèn)題，高性能的 CPU 普遍采用 Cache（ 高速緩存 ） 機(jī)制，新的 DSP 芯片也開(kāi)始采用這種結(jié)構(gòu)。因此，定點(diǎn)的可編程 DSP 器件仍是市場(chǎng)上的主流產(chǎn)品。 現(xiàn)如今 隨著 DSP 應(yīng)用的不斷擴(kuò)展 和深入， DSP 器件 的發(fā)展 兼顧 了 3P 的因素，即性能 （ Performance） 、功耗 （ Power Consumption） 和價(jià)格 （ Price） 。隨著集成電路制造工藝的不斷提高，二十世紀(jì) 70 年代末出現(xiàn)了專門(mén)的可編程數(shù)字信號(hào)處理器。 傳統(tǒng)意義上的網(wǎng)絡(luò)攝像機(jī)是將攝像頭采集到的視頻信號(hào)送入與攝像頭連接的 PC 中，通過(guò) PC 機(jī)安裝的相應(yīng)軟件將數(shù)據(jù)進(jìn)行編碼、壓縮和網(wǎng)絡(luò)傳輸。 1 第 1章 緒論 課題背景 視頻監(jiān)控以其直觀、方便、信息內(nèi)容豐富而廣泛應(yīng)用于安防、交通、公安、銀行、水利等各個(gè)領(lǐng)域，幾乎覆蓋各行各業(yè)，視頻監(jiān)控的技術(shù)和手段也在不斷的發(fā)展和提高，尤其是近年來(lái)，隨著計(jì)算機(jī)軟硬件技術(shù)的發(fā)展、 Inter的普及、多媒體處理手段的提高、 視頻壓縮技術(shù)的成熟 、 網(wǎng)絡(luò)傳輸技術(shù)的迅猛發(fā)展，促使視頻監(jiān)控技術(shù)正 向全數(shù)字化網(wǎng)絡(luò)化方向發(fā)展， 網(wǎng)絡(luò)攝像機(jī)（ WebCamera）越來(lái)越受到遠(yuǎn)程監(jiān)控領(lǐng)域的關(guān)注。在 DSP 出現(xiàn)以前，實(shí)時(shí)信號(hào)處理一般是在通用處理器中完成 的。T 公司的 DSP1 DSP32 等。雖然從理論上講浮點(diǎn) DSP 的運(yùn)算精度更高，動(dòng)態(tài)范圍更大，但定點(diǎn) DSP 器件的成本較低，對(duì)存儲(chǔ)器的要求也較低，而且耗電較省。隨著芯片主頻的不斷攀升，存儲(chǔ)器的訪問(wèn)速度日益成為系統(tǒng)性能提升的瓶頸。通過(guò)TCP/IP 協(xié)議， 實(shí)現(xiàn)通過(guò)以太網(wǎng)與遠(yuǎn)程 PC 進(jìn)行網(wǎng)絡(luò)通信。因此，嵌入式 Inter 將有很好的發(fā)展前景和廣闊的市場(chǎng)，未來(lái)的 Inter 將由嵌入式 Inter 占主導(dǎo)地位。 和 EMIT 相比不需要 PC 機(jī)作網(wǎng)關(guān)。 ITUT 與 ISO/IEC 是制定視頻編碼標(biāo)準(zhǔn)的兩大組織， ITUT 的標(biāo)準(zhǔn)包括 、 、 ，主要應(yīng)用于實(shí)時(shí)視頻通信領(lǐng)域，如可視電話、 會(huì)議電視。 的碼流結(jié)構(gòu)網(wǎng)絡(luò)適應(yīng)性強(qiáng)，增加了差錯(cuò)恢復(fù)能力，能夠很好的適應(yīng) IP 和無(wú)線網(wǎng)絡(luò)的應(yīng)用，是目前最具有發(fā)展前景的視頻壓縮編碼標(biāo)準(zhǔn)。 低比特率是 MPEG4 的一個(gè)主要的目標(biāo)，有關(guān)誤碼的校正，也給予了極大的關(guān)注，這將使 MPEG4 非常適合于易產(chǎn)生誤碼的環(huán)境中使用，例如個(gè)人手持式傳輸設(shè)備。傳統(tǒng)模擬圖像 監(jiān)視系統(tǒng)的主要優(yōu)點(diǎn)是圖 像清晰、不丟幀、延遲小。嵌入式 Web 服務(wù)器的主要原理是，視頻服器內(nèi)嵌入一個(gè) Web 服務(wù)器，攝像機(jī)送來(lái)的視頻信號(hào)經(jīng)數(shù)字化后進(jìn)行壓縮編碼，通過(guò)內(nèi)部總線傳到 Web 服務(wù)器，網(wǎng)絡(luò)上的用戶可以通過(guò)專用軟件觀看攝像機(jī)圖像，授權(quán)用戶還可以控制攝像機(jī)云臺(tái)鏡頭的動(dòng)作或?qū)ο到y(tǒng)進(jìn)行配置。它 配備 了 10/100BASET 的 LAN 端口，采用 1/3 英寸的 CCD 鏡頭，分辨率可達(dá)到 640 480，最高刷新幀率為 30fps。而與知名企業(yè)不同，部分本地品牌依托自己靈活的應(yīng)變能力以及良好的性價(jià)比，也在市場(chǎng)上獲得了不錯(cuò)發(fā)展，并占領(lǐng)了不少的市場(chǎng)份額。 本文 所 提出 的 網(wǎng)絡(luò)攝像機(jī) 系統(tǒng)，是可以 脫離 PC 獨(dú)立工作 的 。 第五 ，設(shè)計(jì) 帶有網(wǎng)絡(luò)通信功能的應(yīng)用程序， 實(shí)現(xiàn) 視頻 數(shù)據(jù)在 客戶端的呈現(xiàn)。 本文的第 2 章主要介紹了數(shù)字信號(hào)處理器的結(jié)構(gòu)及原理，以及重點(diǎn)講述了 9 本文將要采用的一款 DSP 芯片 — TMS320DM642。 本文的第 5 章是對(duì)系統(tǒng)軟件部分設(shè)計(jì)的分析。諾依曼結(jié)構(gòu)的并行體系結(jié)構(gòu)，其主要特點(diǎn)是 程序存儲(chǔ)器和數(shù)據(jù)存儲(chǔ)器相互 獨(dú)立編址，獨(dú)立訪問(wèn)。同時(shí)，指令并行運(yùn)行的條件在不斷降低，指令的范圍也在不斷擴(kuò)大。加法、減法、比較、移位、最大 /最小值、絕對(duì)值運(yùn)算以及延 遲操作等都可以由一系列特殊指令實(shí)現(xiàn)， 極大的提高了性能 和效率 。各公司主要芯片產(chǎn)品如表 21 所示 [6]。 TMS320C20xx 16/32 主要針對(duì)控制應(yīng)用。 DM642 芯片外設(shè)包括三個(gè)可以配置的視頻口，一個(gè)多通道音頻串行端口（ McASP），兩個(gè)多通道串口（ McBSP）， 64bit 的外部存儲(chǔ)單元接口 EMIF，66MHz32bit， 的 PCI 主 /從接口， 10/100Mbps 以太網(wǎng)接口（ EMAC）及通用 I/O 端口（ GPIO）等外圍接口。下面是這兩種模式的主要技術(shù)性能 [8]。 256 39。 峰值信噪比（ PSNR） 宏塊峰值信噪比定義如式 (23)所示 [12]。2 , , , , 1 , , 1( ) ( )x y x y x y x y x yV M M M M? ? ? ? (25) 式中 V1 為水平方向上的邊界差值，只對(duì)宏塊左右邊界的像素計(jì)算， V2 為豎直方向上的編輯誒差值，只對(duì)宏塊上下邊界的像素計(jì)算，塊效應(yīng) B 定義為宏塊中各邊界差值的均值。通過(guò)本章的敘述 ， 對(duì)今后開(kāi)發(fā)DSP 產(chǎn)品打下理論基礎(chǔ)。數(shù)據(jù)鏈路層的主要任務(wù)是提供對(duì)物理層的控制，檢測(cè)并糾正可能出現(xiàn)的錯(cuò)誤，使之對(duì)網(wǎng)絡(luò)層顯現(xiàn)一條無(wú)錯(cuò)線路 。 TCP/IP 協(xié)議 TCP/IP 協(xié)議的體系結(jié)構(gòu) 與 OSI 參考模型不同， TCP/IP 模型更側(cè)重于互聯(lián)設(shè)備間的數(shù)據(jù)傳送，而不是嚴(yán)格的功能層次劃分。它是 TCP/IP 協(xié)議棧中最重要的一層，主要功能是可以把源主機(jī)上的分組發(fā)送到互聯(lián)網(wǎng)中的任何一臺(tái)目標(biāo)主機(jī)上。 21 網(wǎng)絡(luò)層協(xié)議分析 IP 協(xié)議 網(wǎng)絡(luò)層主要 由以下協(xié)議組成： ICMP、 IP 和 IGMP，其中 IP 是TCP/IP 協(xié)議族中最為核心的協(xié)議。無(wú)連接方式的優(yōu)點(diǎn)是顯而易見(jiàn)的，源端和目標(biāo)端之間的通信可以通 過(guò)多條通路進(jìn)行，而不依賴于某一條通路，因此可靠性和通信效率高。它使我們?cè)诰W(wǎng)絡(luò)發(fā)生故障時(shí)知道故障的具體原因與位置。 下面從建立連接 、 關(guān)閉連接 和 重發(fā)機(jī)制 三 個(gè)方面進(jìn)行分析 [23,24]。 第 一 次 握 手第 三 次 握 手第 二 次 握 手網(wǎng) 絡(luò) 報(bào) 文客 戶 端 進(jìn) 程 服 務(wù) 器 進(jìn) 程發(fā) 送 S Y N接 收 S Y N發(fā) 送 S Y N + A C K接 收 S Y N + A C K發(fā) 送 A C K接 收 A C K第 一 次 握 手第 四 次 握 手第 二 次 握 手網(wǎng) 絡(luò) 報(bào) 文客 戶 端 進(jìn) 程 服 務(wù) 器 進(jìn) 程發(fā) 送 F I N接 收 F I N接 收 A C K接 收 S Y N接 收 A C K發(fā) 送 A C K第 三 次 握 手發(fā) 送 S Y N發(fā) 送 A C K 圖 36 TCP 連接的建立與關(guān)閉 TCP Connection’s Establishment and Closing 24 第三 ，重發(fā)機(jī)制。當(dāng)應(yīng)用程序開(kāi)始一個(gè) RTP 會(huì)話時(shí)將使用兩個(gè)端口：一個(gè)給RTP，一個(gè)給 RTCP。