【正文】 所 示 [25]，該圖是通信雙方正常工作時的情況。 RTP 通常使用 UDP 來傳送數(shù)據(jù)，但 RTP 也可以在 TCP 或 ATM 等其 25 他協(xié)議之上工作。 RTP 和 RTCP 配合使用，它們能以有效的反饋和最小的開銷使傳輸效率最佳化，因而特別適合傳送網(wǎng)上的實時數(shù)據(jù) [27,28]。 RTP 本身并不能為按順序傳送數(shù)據(jù)包提供可靠的傳送機制，也不提供流量控制或擁塞控制，它依靠 RTCP 提供這些服務。 TCP 協(xié)議提供的是可靠的運輸層。 第一，建立連接。 傳輸層協(xié)議分析 端到端通信 在互聯(lián)網(wǎng)中，任何兩臺通信的主機之間，從源端到目標端的信道都是由一段一段的點到點通信線路組成的，如圖 35 所示 [22]。另外，這種方式實現(xiàn)起來也比較簡單，適合于異構網(wǎng)絡的互聯(lián)，因此被很多網(wǎng)絡廠商所使用。所有的 TCP、 UDP、 ICMP 及 IGMP 數(shù)據(jù)都以 IP 數(shù)據(jù)報格式傳輸?shù)?，如圖 34[18]。 傳輸層提供 應用程序之間的通信，也叫端到端 （ End to End） 的通信。 這為具體實現(xiàn)協(xié)議留下很大的余地。網(wǎng)絡層檢查網(wǎng)絡拓撲，以決定傳輸報文的最佳路由 。本章最后研究了通用的 視頻評估標準及相應的原理和算法，這對 系統(tǒng)的整體運行評估起到了決定性的作用。 帶寬利用率 （ UT） 實時傳輸?shù)囊曨l應當盡可能的利用可用帶寬，以獲得最佳的視頻質(zhì)量，因此帶寬利用率也可以用來評價視頻的實時傳輸 [14]。 2255( ) 1 0 lo g()P SN R M i D M i? (23) 和失真度一樣， 幀的視頻對象的 PSNR 可以取各相應宏塊 PSNR 的均值，考慮到不同視頻對象重要性不同，幀的 PSNR 也可以取各視頻對象 PSNR 值的加權平均。,1( ) ( )256ij i jij MMD M i M A D M i ? ??? ? (21) 式 (21)是對宏塊 Mi 失真度的定義，式中 Mij 和 Mij39。 一、 捕獲模式的技術性能 捕獲速率 80MHz； 兩路數(shù)字視頻輸入，格式為 YUV422，有 8bit 或者 10bit 精度 ； 3 、 一路 Y/C16 或 20bit 數(shù) 字視頻輸入，格式為 YUV422 ，支持SMPTE260M， SMPTE274M， SMPTE296M， 等標準 YUV422 到 YUV420 變換，以及在 8bit YUV422 模式下的亞采樣 。 CPU 只對 Ll 的數(shù)據(jù)進行訪問，程序代碼和數(shù)據(jù)必須經(jīng)過外部存儲器到 14 L2， L2 到 Ll 的逐級搬移能被 CPU 訪問。 ADI Blackfin 生物系統(tǒng)，消費類音頻設備，游戲 /學習輔助工具，便攜式測試儀器，網(wǎng)絡終端；醫(yī)用儀器，視頻會議，遠程監(jiān)控設備，機頂盒，汽車保險裝置，工業(yè)控制， VoIP 終端，機器視覺，家庭網(wǎng)絡，個人數(shù)字助理 ADSP21xx 無線通信，防火墻加速器，工作站安全模塊，工業(yè)控制設備，視覺網(wǎng)絡控制，數(shù)據(jù)獲取系統(tǒng)，測試 /測量系統(tǒng)，機器人控制 Motorola DSP56800 DSP56800E 運動控制，智能儀器 ,自動控制 ,溫度控制 ,醫(yī)藥設備 ,運輸中的燃料管理系統(tǒng) , 傳感器，交通信號控制 , 引擎管理，音頻解碼器 MSC8100 網(wǎng)絡設備， IP 電話，視頻安全服務器，視頻監(jiān)控，圖像處理，軍工產(chǎn)品，手提電話 TMS320DM642 DM642 體系結構 TMS320DM642 是 Tl公司推出的 TMS320C64X 系列芯片中的一 款高性能數(shù)字多媒體處理 DSP 芯片，基于 C64X 內(nèi)核，具有擴展的高級甚長指令字 （ VelociTI） 體系結構，具有 64 個 32 位通用寄存器， 8 個獨立計算功能單元 （ 2 個乘法器， 6 個算術邏輯單元 ） 可以并行運行，因此多條指令可同時執(zhí)行。 本系統(tǒng)要求圖像處理速度達到每 秒 20 幀以上，即要求實時圖像處理系統(tǒng)必須在 50ms 內(nèi)完成對一幀圖像的運算處理，圖像采集模塊的輸出為為 320240 像素。例如， MAC 指令是連乘加指令，可以在單周期內(nèi)同時完成乘法和加法運算； RPTS 和 RPTB 指令是硬件判斷循環(huán)邊界條件，可以避免破壞流水 線。 如圖21 所示 [5]。與兩個存儲器相對應的是系統(tǒng)中 設置了程序總線和數(shù)據(jù)總線兩條總線，從而使數(shù)據(jù)的吞吐率提高了一倍 。包含兩個部分，首先是系統(tǒng)各功能模塊驅(qū)動程序的開發(fā)以及相應模塊間通信的控制；其次是帶有網(wǎng)絡通信功能的客戶端軟件的開發(fā)設計。 DM642 具有完全的可編程性，能夠兼容多種多媒體視頻標準，非常適合網(wǎng)絡攝像機系統(tǒng)的研發(fā)。 第六，提高并完善系統(tǒng)的性能，優(yōu)化程序使軟硬件更好的結合，使有限的DSP 芯片資源最大限度的發(fā)揮其作用。 整個設計過程主要有 以下幾個方面的工作： 第一，掌握 DSP 開發(fā)板的工作原理、硬件結構和 CCS 開發(fā)環(huán)境，參考開發(fā)板的設計搭建出本系統(tǒng)的總體架構。如安訊士等，非常注重產(chǎn)品的社會功用，對 產(chǎn)品的環(huán)保要求很高，要求給顧客提供的是高品質(zhì)，低耗能的產(chǎn)品。圖像壓縮采用 MPEG4 和 編碼 方式，可以變更任意區(qū)域的壓縮率。系統(tǒng)將視頻壓縮和 Web 功能集成到一個體積很小的設備內(nèi)，成本低、速度快，大大提高了圖像質(zhì)量和監(jiān)控效率，可以直接聯(lián)入以太網(wǎng)，布控區(qū)域廣，環(huán)境適應性強，性能穩(wěn)定可靠，無需專人管理，而且系 統(tǒng)擴展能力強，可組成非常復雜的監(jiān)控網(wǎng)絡。 但其功能單一、易受干擾、 成本較高、 無法升級、系統(tǒng)的擴展能力差，無法形成有效的報警聯(lián)動。當然， MPEG4 標準也支持碼率高達 ，甚至碼率高達 量的類和級 。 MPEG2 是 MPEG 組織于 1994 年推出壓縮標準，以實現(xiàn)視 /音頻服務與應用互操作的可能性。 MPEG 系列標準是由 ISO/IEC 制定的，主要應用于視頻存儲 （ DVD） 、廣播電視、因特網(wǎng)或流媒體等，廣泛使用的有 MPEG MPEG MPEG4 等編碼標準。 第三，在處理機中加入 TCP/IP 協(xié)議方式 的支持。目前，基于 Inter 的嵌入式系統(tǒng)己成為人們研究的熱點。嵌入式網(wǎng)絡終端相比于 PC，具有更高的安全性、可靠性，擁有更強大的數(shù)據(jù)運算能力，及更專業(yè)化的處理進程，同時也具有 PC 機的兼容性和擴展性。為了解決存儲器速度與 CPU 內(nèi)核速度不匹配的問題，高性能的 CPU 普遍采用 Cache（ 高速緩存 ） 機制，新的 DSP 芯片也開始采用這種結構。因此，定點的可編程 DSP 器件仍是市場上的主流產(chǎn)品。 現(xiàn)如今 隨著 DSP 應用的不斷擴展 和深入， DSP 器件 的發(fā)展 兼顧 了 3P 的因素，即性能 （ Performance） 、功耗 （ Power Consumption） 和價格 （ Price） 。隨著集成電路制造工藝的不斷提高，二十世紀 70 年代末出現(xiàn)了專門的可編程數(shù)字信號處理器。 傳統(tǒng)意義上的網(wǎng)絡攝像機是將攝像頭采集到的視頻信號送入與攝像頭連接的 PC 中，通過 PC 機安裝的相應軟件將數(shù)據(jù)進行編碼、壓縮和網(wǎng)絡傳輸。 1 第 1章 緒論 課題背景 視頻監(jiān)控以其直觀、方便、信息內(nèi)容豐富而廣泛應用于安防、交通、公安、銀行、水利等各個領域，幾乎覆蓋各行各業(yè)，視頻監(jiān)控的技術和手段也在不斷的發(fā)展和提高，尤其是近年來，隨著計算機軟硬件技術的發(fā)展、 Inter的普及、多媒體處理手段的提高、 視頻壓縮技術的成熟 、 網(wǎng)絡傳輸技術的迅猛發(fā)展，促使視頻監(jiān)控技術正 向全數(shù)字化網(wǎng)絡化方向發(fā)展， 網(wǎng)絡攝像機（ WebCamera）越來越受到遠程監(jiān)控領域的關注。在 DSP 出現(xiàn)以前，實時信號處理一般是在通用處理器中完成 的。T 公司的 DSP1 DSP32 等。雖然從理論上講浮點 DSP 的運算精度更高，動態(tài)范圍更大，但定點 DSP 器件的成本較低，對存儲器的要求也較低，而且耗電較省。隨著芯片主頻的不斷攀升，存儲器的訪問速度日益成為系統(tǒng)性能提升的瓶頸。通過TCP/IP 協(xié)議， 實現(xiàn)通過以太網(wǎng)與遠程 PC 進行網(wǎng)絡通信。因此，嵌入式 Inter 將有很好的發(fā)展前景和廣闊的市場，未來的 Inter 將由嵌入式 Inter 占主導地位。 和 EMIT 相比不需要 PC 機作網(wǎng)關。 ITUT 與 ISO/IEC 是制定視頻編碼標準的兩大組織， ITUT 的標準包括 、 、 ，主要應用于實時視頻通信領域，如可視電話、 會議電視。 的碼流結構網(wǎng)絡適應性強，增加了差錯恢復能力，能夠很好的適應 IP 和無線網(wǎng)絡的應用，是目前最具有發(fā)展前景的視頻壓縮編碼標準。 低比特率是 MPEG4 的一個主要的目標，有關誤碼的校正，也給予了極大的關注，這將使 MPEG4 非常適合于易產(chǎn)生誤碼的環(huán)境中使用，例如個人手持式傳輸設備。傳統(tǒng)模擬圖像 監(jiān)視系統(tǒng)的主要優(yōu)點是圖 像清晰、不丟幀、延遲小。嵌入式 Web 服務器的主要原理是，視頻服器內(nèi)嵌入一個 Web 服務器，攝像機送來的視頻信號經(jīng)數(shù)字化后進行壓縮編碼，通過內(nèi)部總線傳到 Web 服務器，網(wǎng)絡上的用戶可以通過專用軟件觀看攝像機圖像，授權用戶還可以控制攝像機云臺鏡頭的動作或?qū)ο到y(tǒng)進行配置。它 配備 了 10/100BASET 的 LAN 端口，采用 1/3 英寸的 CCD 鏡頭，分辨率可達到 640 480，最高刷新幀率為 30fps。而與知名企業(yè)不同，部分本地品牌依托自己靈活的應變能力以及良好的性價比，也在市場上獲得了不錯發(fā)展，并占領了不少的市場份額。 本文 所 提出 的 網(wǎng)絡攝像機 系統(tǒng)，是可以 脫離 PC 獨立工作 的 。 第五 ，設計 帶有網(wǎng)絡通信功能的應用程序， 實現(xiàn) 視頻 數(shù)據(jù)在 客戶端的呈現(xiàn)。 本文的第 2 章主要介紹了數(shù)字信號處理器的結構及原理，以及重點講述了 9 本文將要采用的一款 DSP 芯片 — TMS320DM642。 本文的第 5 章是對系統(tǒng)軟件部分設計的分析。諾依曼結構的并行體系結構，其主要特點是 程序存儲器和數(shù)據(jù)存儲器相互 獨立編址，獨立訪問。同時，指令并行運行的條件在不斷降低，指令的范圍也在不斷擴大。加法、減法、比較、移位、最大 /最小值、絕對值運算以及延 遲操作等都可以由一系列特殊指令實現(xiàn)， 極大的提高了性能 和效率 。各公司主要芯片產(chǎn)品如表 21 所示 [6]。 TMS320C20xx 16/32 主要針對控制應用。 DM642 芯片外設包括三個可以配置的視頻口，一個多通道音頻串行端口（ McASP），兩個多通道串口（ McBSP）， 64bit 的外部存儲單元接口 EMIF，66MHz32bit， 的 PCI 主 /從接口， 10/100Mbps 以太網(wǎng)接口（ EMAC）及通用 I/O 端口（ GPIO）等外圍接口。下面是這兩種模式的主要技術性能 [8]。 256 39。 峰值信噪比（ PSNR） 宏塊峰值信噪比定義如式 (23)所示 [12]。2 , , , , 1 , , 1( ) ( )x y x y x y x y x yV M M M M? ? ? ? (25) 式中 V1 為水平方向上的邊界差值，只對宏塊左右邊界的像素計算， V2 為豎直方向上的編輯誒差值，只對宏塊上下邊界的像素計算，塊效應 B 定義為宏塊中各邊界差值的均值。通過本章的敘述 ， 對今后開發(fā)DSP 產(chǎn)品打下理論基礎。數(shù)據(jù)鏈路層的主要任務是提供對物理層的控制，檢測并糾正可能出現(xiàn)的錯誤，使之對網(wǎng)絡層顯現(xiàn)一條無錯線路 。 TCP/IP 協(xié)議 TCP/IP 協(xié)議的體系結構 與 OSI 參考模型不同， TCP/IP 模型更側重于互聯(lián)設備間的數(shù)據(jù)傳送，而不是嚴格的功能層次劃分。它是 TCP/IP 協(xié)議棧中最重要的一層，主要功能是可以把源主機上的分組發(fā)送到互聯(lián)網(wǎng)中的任何一臺目標主機上。 21 網(wǎng)絡層協(xié)議分析 IP 協(xié)議 網(wǎng)絡層主要 由以下協(xié)議組成： ICMP、 IP 和 IGMP，其中 IP 是TCP/IP 協(xié)議族中最為核心的協(xié)議。無連接方式的優(yōu)點是顯而易見的，源端和目標端之間的通信可以通 過多條通路進行，而不依賴于某一條通路，因此可靠性和通信效率高。它使我們在網(wǎng)絡發(fā)生故障時知道故障的具體原因與位置。 下面從建立連接 、 關閉連接 和 重發(fā)機制 三 個方面進行分析 [23,24]。 第 一 次 握 手第 三 次 握 手第 二 次 握 手網(wǎng) 絡 報 文客 戶 端 進 程 服 務 器 進 程發(fā) 送 S Y N接 收 S Y N發(fā) 送 S Y N + A C K接 收 S Y N + A C K發(fā) 送 A C K接 收 A C K第 一 次 握 手第 四 次 握 手第 二 次 握 手網(wǎng) 絡 報 文客 戶 端 進 程 服 務 器 進 程發(fā) 送 F I N接 收 F I N接 收 A C K接 收 S Y N接 收 A C K發(fā) 送 A C K第 三 次 握 手發(fā) 送 S Y N發(fā) 送 A C K 圖 36 TCP 連接的建立與關閉 TCP Connection’s Establishment and Closing 24 第三 ，重發(fā)機制。當應用程序開始一個 RTP 會話時將使用兩個端口：一個給RTP，一個給 RTCP。