【正文】 (48)式中Ri、Di和Qi分別是第i個(gè)視頻對象的編碼碼率、失真度和量化參數(shù)；aab1和b2是模型參數(shù)；Hi是除了紋理信息之外的其他信息（如運(yùn)動信息、形狀信息和系。通過拉格朗日乘子算法轉(zhuǎn)化為式(47)的無約束條件的優(yōu)化問題。如何在不同的視頻對象之間分配碼率實(shí)際上是一個(gè)如式(46)所示的有約束條件的優(yōu)化問題[38]。 碼率分配獲取了對當(dāng)前網(wǎng)絡(luò)可用帶寬的估計(jì)值R容許后，更為關(guān)鍵的問題是如何在不同的幀、視頻對象甚至各宏塊間合理的分配帶寬資源，從而獲取最優(yōu)的視頻質(zhì)量。顯然，在R容許初始值較小和實(shí)際可用網(wǎng)絡(luò)帶寬較大時(shí)，上面的算法需要較長的時(shí)間才能準(zhǔn)確調(diào)整R容許，可對上面的算法進(jìn)行改進(jìn)，設(shè)置多個(gè)閾值L閾值1 L閾值2…L閾值n，對應(yīng)不用的閾值設(shè)置不同增長速率因子分別為β1β2…βn,這樣可將算法調(diào)整為式(43)(44)(45)。通過給視頻數(shù)據(jù)包加上序號，從而便于接收端統(tǒng)計(jì)當(dāng)前網(wǎng)絡(luò)傳輸數(shù)據(jù)包的丟失情況，并每隔一定的時(shí)間間隔將數(shù)據(jù)包的丟失率L反饋給發(fā)送端，發(fā)送端可根據(jù)L調(diào)整對當(dāng)前網(wǎng)絡(luò)可用帶寬的估計(jì)值R容許，算法如式(41)和(42)所示[38]。圖414 DM642與LXT97ALC連接電路圖 Circuit Connection between DM642 and LXT97ALC通過電路圖，我們可以看到DM642通過MDIO總線，對LX197IA的寄存器讀寫實(shí)現(xiàn)對其的控制管理，包括提供MDIO時(shí)鐘、PHY芯片檢測和連接情況監(jiān)控、PHY工作情況的實(shí)時(shí)監(jiān)控等。它高度集成的設(shè)計(jì)減少了對外圍器件的需求，內(nèi)置了物理層編碼子層（PCS）、物理層媒質(zhì)接入子層（PMD）、發(fā)送/接收濾波器等。 DM642與以太網(wǎng)收發(fā)器接口設(shè)計(jì)LXT97IA是快速以太網(wǎng)物理層收發(fā)器芯片（PHY）。EMAC和MDIO的中斷都合并為控制模塊中的一個(gè)中斷，控制模塊的中斷又作為DM642中斷的一部分。EMAC控制模塊、EMAC模塊、MDIO模塊都具備控制寄存器，這些寄存器都通過DM642的地址總線映射到存儲空間。主機(jī)軟件通過MDIO模塊來配置每個(gè)基于EMAC模塊的物理層自適應(yīng)參數(shù)、檢索自適應(yīng)參數(shù)的值，并且配置使EMAC模塊正常運(yùn)作的參數(shù)。為避免傳輸數(shù)據(jù)錯(cuò)誤，采用CRC校驗(yàn)碼來確保數(shù)據(jù)幀的有效性。EMAC模塊提供DM642內(nèi)核與網(wǎng)絡(luò)之間的高效率接口，它具備8條傳輸隊(duì)列用來發(fā)送和接收網(wǎng)絡(luò)信息包。EMAC控制模塊的外圍總線接口允許EMAC模塊通過DM642的存儲控制器讀、寫內(nèi)部和外部的存儲器。圖413 EMAC模塊框圖 EMAC Module DigrameEMAC控制模塊是DM642內(nèi)核與EMAC模塊和MDIO模塊之間的接口，EMAC控制模塊包含能有效使用DSP存儲器必需的組件，其控制網(wǎng)絡(luò)模塊的復(fù)位、中斷和存儲器接口的優(yōu)先權(quán)。DM642的網(wǎng)絡(luò)功能由三個(gè)主要功能模塊組成：EMAC控制模塊、EMAC模塊、MDIO模塊。 網(wǎng)絡(luò)傳輸模塊的實(shí)現(xiàn) 網(wǎng)絡(luò)功能基本模塊DM642在芯片內(nèi)部包含了一個(gè)網(wǎng)絡(luò)功能模塊，它己經(jīng)集成了以太網(wǎng)媒質(zhì)介入層協(xié)議（Ethernet MAC），為DM642內(nèi)核和以太網(wǎng)物理層收發(fā)器（PHY）之間提供了高效率接口。為了使芯片能更好的散熱，在制作TPS54310芯片的PCB封裝的時(shí)間，在TPS54310PWP底下覆銅、打幾個(gè)小孔并與TPS54310PWP的芯片焊接在一起。在正常狀態(tài)下兩片 TPS54310PWP 能同時(shí)進(jìn)行電壓變換，為了保證Vc與Vd的供電需求和保證電源的可靠性，在兩電壓之間串連接上 5 的肖特基二極管。在設(shè)計(jì)過程中重點(diǎn)解決了兩個(gè)問題。電路如圖412所示。 系統(tǒng)電源共有五種電源：Vc、Vd、PLL電源、數(shù)字電源、模擬電源。講究供電次序的原因在于：如果僅CPU內(nèi)核獲得供電，周邊I/O沒有供電，對芯片不會產(chǎn)生損害，只是沒有輸入/輸出能力而已。 加電過程中，應(yīng)當(dāng)保證內(nèi)核電源先上電，最晚也應(yīng)當(dāng)與 I/O 電源一起加上。 的低電壓供電進(jìn)一步降低功耗，I/，增加了硬件電路的兼容性。SDA 線上的數(shù)據(jù)狀態(tài)僅在 SCL 為低電平的期間才能改變，SCL 為高電平的期間，SDA 狀態(tài)的改變被用來表示起始和停止條件，如圖411所示。主器件和從器件都可以工作于接收和發(fā)送狀態(tài)。IIC 規(guī)程運(yùn)用主/從雙向通訊。本系統(tǒng)中采用DM642內(nèi)部集成IIC模塊，將其作為主器件，視頻編解碼芯片、EEPROM、以太網(wǎng)接口器件PHY和實(shí)時(shí)時(shí)鐘芯片作為從器件。SDRAM的刷新由DM642芯片自動控制。使用兩片SDRAM構(gòu)成64位的總線寬度，總?cè)萘繛?2MB。在本系統(tǒng)中，EMIFA四個(gè)片選空間的使用安排如表43所示。EMIFA有三個(gè)存儲器控制器：SDRAM控制器支持16M256Mbit SDRAM芯片；可編程的同步控制器通過設(shè)置讀/寫延遲，可以實(shí)現(xiàn)和SBSRAM、同步FIFO的連接；可編程的異步控制器可以獨(dú)立的設(shè)置建立、選通和保持時(shí)間以實(shí)現(xiàn)和多種異步SRAM、FIFO和外設(shè)的無縫連接。EMIFA最大的總線時(shí)鐘可達(dá)133MHz。當(dāng)FIFO滿時(shí)，DSP產(chǎn)生一個(gè)中斷信號，通知PCI接口模塊啟動DMA，需傳輸?shù)臄?shù)據(jù)經(jīng)FIFO由DSP利用DMA傳輸方式在計(jì)算機(jī)和板卡間實(shí)現(xiàn)視頻壓縮碼流的高速傳輸，在提供高速傳輸接口的同時(shí)不影響其他DMA操作。主機(jī)可以通過DM642的PCI接口訪問整個(gè)片內(nèi)RAM及外部存儲器。PCI總線驅(qū)動控制模塊接口電路原理功能框圖如圖410所示[37]。接口控制信號主要由FRAME、TRDY、IRDY和DEVSEL等信號組成，其中，F(xiàn)RAME信號是總線周期構(gòu)成信號，由當(dāng)前總線中主設(shè)備驅(qū)動，表明1個(gè)總線周期的開始和延續(xù)；TRDY是目標(biāo)設(shè)備就緒信號，在寫操作中，TRDY有效表明從設(shè)備已準(zhǔn)備好接收數(shù)據(jù)，而在讀操作中，TRDY有效則表明AD[031]上已有有效數(shù)據(jù)；IRDY表明驅(qū)動設(shè)備已準(zhǔn)備好數(shù)據(jù)；DEVSEL為設(shè)備選擇信號，當(dāng)其有效時(shí)，說明驅(qū)動它的主設(shè)備已將其地址譯碼作為當(dāng)前操作的目標(biāo)設(shè)備，該信號作為輸入信號時(shí)，DEVSEL用來表示總線上已有目標(biāo)設(shè)備被選中。系統(tǒng)信號包括CLK和RST，為系統(tǒng)提供時(shí)鐘和復(fù)位。 PCI總線驅(qū)動控制模塊PCI總線驅(qū)動模塊由1個(gè)SN74CBTl6233型PCI總線橋接電路及其外圍電路組成。VP2口接1路的視頻輸出，輸出8bit的YUV422模式的數(shù)字視頻信號經(jīng)過D/A變換輸出復(fù)合視頻信號。1路原始的視頻信號經(jīng)過前端A/D采樣，形成8bit的YUV422模式的數(shù)字視頻信號，8bit的數(shù)字信號可以直接連接在VP1口的29b計(jì)對應(yīng)的管腳上。這樣視頻應(yīng)用選擇用VP1的A口和VP2的A口來設(shè)計(jì)。每個(gè)視頻接口各有20根數(shù)據(jù)輸入輸出管腳，其中VP0和VP1口的1219bit對應(yīng)的管腳作為音頻的串行端口（MeASP），VP0和VP1的29bit對應(yīng)兩個(gè)多通道串行端口（MeBSP）。在實(shí)際工作中，TVP5150將每一路CCD攝像頭采集到的標(biāo)準(zhǔn)電視模擬信號進(jìn)行視頻圖像的抗混疊濾波預(yù)處理、模擬數(shù)字化轉(zhuǎn)換及亮度/色度、水平/垂直同步等信號的分離，[36]。當(dāng)GPCL為“1”時(shí)，允許VP口對輸入的視頻數(shù)據(jù)流進(jìn)行采集；GPCL為“0”時(shí)，則禁止VP口對輸入視頻數(shù)據(jù)流進(jìn)行采集。能與TVP5150的視頻數(shù)據(jù)流進(jìn)行無縫連接，通過EDMA把VP口的數(shù)據(jù)存在SDRAM中，連接關(guān)系如圖49所示。其倍乘參數(shù)設(shè)置如表42所示。最低倍數(shù)為 2 倍，最高倍數(shù)為 8 倍。圖48 存儲器時(shí)鐘電路 the Clock Circuit of Memory時(shí)鐘倍乘器選用 ICS512，它將晶振產(chǎn)生的 25M 。該方案由一個(gè)25M晶振和時(shí)鐘倍乘器組成。 PLL電源 在 PLL 工作期間對輸入電源的要求特別高，不能通過簡單的電容電路來濾波而滿足要求，PPL的電源濾波電路設(shè)計(jì)如圖47所示。表41 外部時(shí)鐘配置Table 41 the Configuration of External ClockClkMode1ClkMode2ClkModePLLMultiplyFactorsClkInRange(MHz)CpuClkFrequencyRange(MHz)CpuClk4Range(MHz)CpuClk6Range(MHz)00Bypass1307530750163075180450307510123050360600901506010011Reserved————為了能發(fā)揮 DM642 的 600M 高頻的作用，在設(shè)計(jì)中選用第三種組合。圖46 DSP最小系統(tǒng)原理圖 DSP’s MinusSystem Principle Diagram 硬件電路的設(shè)計(jì) 時(shí)鐘系統(tǒng)設(shè)計(jì)DM642 內(nèi)部外設(shè)比較多，各種外設(shè)和系統(tǒng)所需要的時(shí)鐘是不一樣的。數(shù)據(jù)寬度為8bit，映射在DM642的CE1地址空間，起始地址為 0x90000000，由于EMIF總線可尋址空間為 1Mb，另外用了三個(gè)GPIO作為FLASH的頁選，把FLASH分為8頁，每頁1Mb。其中一塊連接在DM642的數(shù)據(jù)線的310bit管腳上，另外一個(gè)SDRAM連接在DM642的數(shù)據(jù)的6332bit管腳上。板上在CE0地址空間擴(kuò)展了32Mb的SDRAM，總線寬度64bit，起始地址為0x80000000。每個(gè)地址空間可支持?jǐn)U展256Mbyte的SDRAM，異步器件可擴(kuò)展地址空間為1Mb。DM642有一個(gè)內(nèi)存擴(kuò)展接口EMIF，數(shù)據(jù)寬度64位。鑒于DM642在處理能力和外設(shè)接口方面都比較適合網(wǎng)絡(luò)攝像機(jī)的設(shè)計(jì)需求，所以選用TI的TMS320DM642作為核心處理器，設(shè)計(jì)硬件原理框圖如圖45所示[34]。 66MHz 32bit的PCI以及擁有64個(gè)通道的增強(qiáng)型DMA（EDMA）接口。 DSP最小系統(tǒng)設(shè)計(jì)TMS320DM642是TI公司最新推出的一款針對多媒體處理領(lǐng)域應(yīng)用的DSP芯片，548腳BGA封裝，有500M/600M/720M三種時(shí)鐘速率，設(shè)計(jì)中根據(jù)圖像數(shù)據(jù)處理實(shí)時(shí)性的需要及價(jià)格因素的考慮，選用了600M時(shí)鐘速率，指令周期為 ，每個(gè)指令周期可以并行執(zhí)行8條32位的指令?？刂谱酉到y(tǒng)包括三個(gè)部分：對視頻采集的控制、對網(wǎng)絡(luò)傳輸模塊的控制、對編/解碼器的控制。如圖44所示。圖43 視頻信號處理子模塊 Video Signal Processing SubModule網(wǎng)絡(luò)傳輸模塊負(fù)責(zé)將音視頻信號處理模塊的數(shù)據(jù)進(jìn)行網(wǎng)絡(luò)傳輸，傳輸過程符合TCP/IP協(xié)議。最后生成基于TCP/IP網(wǎng)絡(luò)傳輸協(xié)議的數(shù)據(jù)包，送入網(wǎng)絡(luò)傳輸模塊。其流程如圖42所示。圖41 系統(tǒng)結(jié)構(gòu)框圖 System Structure Diagram視頻采集模塊負(fù)責(zé)視頻圖像的采集。第4章 系統(tǒng)的硬件設(shè)計(jì)與實(shí)現(xiàn) 硬件的總體設(shè)計(jì) 網(wǎng)絡(luò)攝像機(jī)的整體架構(gòu)網(wǎng)絡(luò)攝像機(jī)作為音視頻數(shù)據(jù)流的提供者，因此它是監(jiān)控系統(tǒng)中的服務(wù)器端設(shè)備，可接受多個(gè)瀏覽器端的訪問。本章最后詳細(xì)分析了基于TCP/IP協(xié)議的數(shù)字實(shí)時(shí)視頻流網(wǎng)絡(luò)傳輸?shù)乃惴ㄑ芯亢蛯?shí)現(xiàn)原理，并提出了一種根據(jù)不同傳輸環(huán)境分別使用TCP和UDP多播的傳輸方式，同樣達(dá)到了流媒體傳輸?shù)哪康?。具有不可靠、無連接特性的IP協(xié)議和面向連接、可靠的TCP協(xié)議構(gòu)成了TCP/IP協(xié)議的主體。計(jì)算機(jī)之間的網(wǎng)絡(luò)通信需要共同遵守一定的規(guī)則，這些規(guī)則稱為網(wǎng)絡(luò)協(xié)議。圖38 數(shù)據(jù)發(fā)送處理流程圖 Data Sending and Processing Flowchart根據(jù)遠(yuǎn)程的視頻請求，采用不用的協(xié)議實(shí)現(xiàn)視頻的傳輸，在程序的架構(gòu)上也是我們常說的CS（客戶服務(wù)器）模式，每個(gè)發(fā)送的過程相互獨(dú)立，根據(jù)帶寬做最大化的發(fā)送，已達(dá)到客戶端監(jiān)控的最好視頻效果。“多播”傳輸是一種讓數(shù)據(jù)從一個(gè)成員送出，然后復(fù)制給其他多個(gè)成員的技術(shù)，網(wǎng)絡(luò)中傳輸?shù)臄?shù)據(jù)包與普通的UDP包大致相同，只是目的地址換成了一個(gè)特殊的多播地址而已[32]。對于TCP發(fā)送成塊的數(shù)據(jù)流，TCP可以使用滑動窗口協(xié)議，使協(xié)議允許發(fā)送方在停止并等待確認(rèn)前可以連續(xù)發(fā)送多個(gè)分組。這樣就解決了上述的問題。緩沖區(qū)是循環(huán)使用的，假如發(fā)送過慢，有可能數(shù)據(jù)還沒有發(fā)送完，就被新的視頻覆蓋。圖37 緩沖區(qū)讀寫邏輯圖 Buffer Area Writing and Reading Logic Diadram具體的編程就可以用數(shù)組，寫任務(wù)每次是寫入一幀，它可以被分成很多包，發(fā)送的時(shí)候取一包直接發(fā)送?？紤]到效率，數(shù)據(jù)在編碼時(shí)放進(jìn)一個(gè)公共的緩沖區(qū)，對于每一個(gè)發(fā)送的連接，都從改緩沖區(qū)中讀取數(shù)據(jù)，這就形成一個(gè)生產(chǎn)者—多個(gè)消費(fèi)者的模型。在發(fā)送處理中，B幀的處理和P幀相同（都是預(yù)測幀，預(yù)測幀的丟失會導(dǎo)致氣候的預(yù)測幀圖像花屏或不準(zhǔn)確），為明晰起見，我們只以P幀代表預(yù)測幀，那么視頻數(shù)據(jù)壓縮后形成的幀的格式為IPPPPPPIPPPPPP,I幀中間穿插著很多的P幀，在傳輸過程中，如果I幀丟失，I幀后面的P幀即使正確的傳輸?shù)娇蛻舳?，也無法正確解碼顯示。對于每一個(gè)視頻壓縮后需要實(shí)時(shí)傳輸?shù)竭h(yuǎn)程的監(jiān)控端，必須考慮最小的延遲，根據(jù)壓縮后視頻的數(shù)據(jù)特點(diǎn)，P幀的丟失對監(jiān)控端的解碼顯示效果影響很大。實(shí)時(shí)流協(xié)議在語法和操作上與HTTP/，因此HTTP的擴(kuò)展機(jī)制大都可加入RTSP[30]。此外，可使用無連接傳輸協(xié)議，如UDP。RTSP連接沒有綁定到傳輸層連接，如TCP。盡管連續(xù)媒體流與控制流交叉是可能的，通常它本身并不發(fā)送連續(xù)流。該協(xié)議目的在于控制多個(gè)數(shù)據(jù)發(fā)送連接，為選擇發(fā)送通道，如UDP、組播UDP與TCP，提供途徑，并為選擇基于RTP上發(fā)送機(jī)制提供方法。RTSP提供了一個(gè)可擴(kuò)展框架，使實(shí)時(shí)數(shù)據(jù)，如音頻與視頻，的受控、點(diǎn)播成為可能。HTTP請求由客戶機(jī)發(fā)出，服務(wù)器作出響應(yīng)；使用RTSP時(shí)，客戶機(jī)和服務(wù)器都可以發(fā)出請求，即RTSP可以是雙向的[29]。RTSP在體系結(jié)構(gòu)上位于RTP和RTCP之上，它使用TCP或RTP完成數(shù)據(jù)傳輸。RTP和RTCP配合使用，它們能以有效的反饋和最小的開銷使傳輸效率最佳化，因而特別適合