【正文】 示，每個宏可用幀內(nèi)或幀問模式來編碼。在幀間模式時， P 由幾個參考幀用運(yùn)動補(bǔ)償預(yù)測的方式得到。當(dāng)前宏塊減去預(yù)測塊得到殘差塊 Dn，然后將其進(jìn)行變換量化得到Fn 當(dāng)前 F|n1 參考 F|n 重構(gòu) ME MC 幀內(nèi)預(yù) 測選擇 幀內(nèi) 預(yù)測 T Q Dn 濾波 幀內(nèi) X Q1 T1 D’n 圖 編碼器 幀間 P 重排序 熵編碼 NAL 一組變 換系數(shù) X。嫡編碼系數(shù)和其他一些信息 (宏塊預(yù)測模式，量化步長，運(yùn)動補(bǔ)償，運(yùn)動向量等 )組成了壓縮比特流。第二部分為編碼器重構(gòu)支路。系數(shù) x經(jīng)過反量化，反變換得到殘差宏塊 Dn、由于量化過程帶來了損失， Dn與 Dn，并不相同。使用濾波器可以減少塊失真的影響并由一系列宏塊已。 的視頻解碼器 解碼器結(jié)構(gòu)框圖，如圖 所示。數(shù)據(jù)元素經(jīng)過嫡解碼和重排序來獲得一組量化系數(shù) X。 (這與編碼器中的 D’n相同 )。 P 和 D’n相加得到 UF’n、然后再解碼得到宏塊 F’n可見，編碼器的重構(gòu)路徑的作用是保證編碼器和解碼器使用同樣的參考幀來產(chǎn)生預(yù)測P。 3 基于 H264 的視頻傳輸抗誤碼技術(shù)的研究 數(shù)字視頻傳輸技術(shù) TCP／ IP 協(xié)議 在實(shí)際中，一般用到的網(wǎng)絡(luò)傳輸協(xié)議是 TCP/IP協(xié)議， TCP/IP分層模型有四層，由下至上分別是網(wǎng)絡(luò)接口層、網(wǎng)絡(luò)協(xié)議層 (IP層 )、傳輸層以及應(yīng)用層。 TCPF|n1 參考 F|n 重構(gòu) MC Q1 T1 X NAL 濾波 幀內(nèi) 預(yù)測 幀內(nèi) P 幀間 圖 解碼器 重排序 熵編碼 與 UDP的主要差別為： (1)TCP協(xié)議是面向連接的。在此連接之上傳送 TCP分組數(shù)據(jù)并維護(hù) 此連接，用戶數(shù)據(jù)傳送完畢后要撤除連接。而在 UDP協(xié)議中， UDP傳遞給 UDP的是對應(yīng)于 UDP數(shù)據(jù)的數(shù)據(jù)塊， (3)TCP協(xié)議提供可靠傳輸服務(wù)，包括報文序列、流控制、差錯檢驗(yàn)、優(yōu)先級等，而 UDP則不提供以上控制，是不可靠的服務(wù)。但 TCP協(xié)議具有的錯誤重傳機(jī)制、擁塞控制機(jī)制、報文頭比較大、以及啟動需要建立連接等原因，不可避免的引起了傳輸延時和占用網(wǎng)絡(luò)的帶寬，一旦數(shù)據(jù)丟幀就會帶來比較嚴(yán)重的延遲，無法保證實(shí)時性，很難適應(yīng)音視頻通信，特別是連續(xù)的媒體流 (如視頻流 )通信的要求，使得利用 TCP協(xié)議進(jìn)行視頻或音頻通信幾乎沒有可能。 IP組播技術(shù) 前面提到過，對于遠(yuǎn)程視頻監(jiān)控系統(tǒng)，視頻數(shù)據(jù)的傳輸一般選用 UDP網(wǎng)絡(luò)通訊協(xié)議，而采用 UDP的 IP傳送方式有單播傳送、廣播傳送、組播傳送三種方式。廣播傳送是一對多的傳送，即廣播的數(shù)據(jù)將同時傳送到局域網(wǎng)內(nèi)的所有主機(jī)。 IP組播雖然和廣播一樣也是一對多的傳送方式，但接收端往往不是一個局域網(wǎng)內(nèi)的所有主機(jī)，而是那些對收發(fā)數(shù)據(jù)報感興趣的主機(jī)，傳輸端通過一次傳輸就可以將信息同時傳送到一組接收者，因此，采用 IP組播技術(shù)可以有地減輕網(wǎng)絡(luò)負(fù)擔(dān)，避免網(wǎng)絡(luò)資源的浪費(fèi)。由此可見，利用 IP組播技術(shù)可以很方便地實(shí)現(xiàn) “多點(diǎn)對多點(diǎn) ”的傳送功能，并且還可以實(shí)現(xiàn)廣域網(wǎng)的通信，這比較符合視頻監(jiān)控系統(tǒng)多點(diǎn)、多機(jī)監(jiān)控、跨局域范圍的遠(yuǎn)程監(jiān)控的要求?？蛻魴C(jī) /服務(wù)器 (Cli/SerVer、簡稱 C/S)體系結(jié)構(gòu)是一種分布式的處理模式?？蛻舳诵枰惭b專門的客戶端軟件。首先，客戶機(jī)向服務(wù)器發(fā)出數(shù)據(jù)請求，服務(wù)器將 數(shù)據(jù)傳送給客戶機(jī)進(jìn)行處理，客戶機(jī)處理后將結(jié)構(gòu)返回給服務(wù)器。由于 C/S結(jié)構(gòu)一般面向固定的用戶群，因而對信息安全的控制能力比較強(qiáng)，適宜高度機(jī)密的信息系統(tǒng)。瀏覽器服務(wù)器 (Browser/SerVer、簡稱 B/S)體系結(jié)構(gòu)是隨著 Intemet技術(shù)的發(fā)展，對 C/S機(jī)構(gòu)的一種變化和改進(jìn)。 B／ S架構(gòu)于廣域網(wǎng)之上，不需要專門的網(wǎng)絡(luò)和硬件環(huán)境，用戶界面完全通過 WWW瀏覽器實(shí)現(xiàn)，一部分事物邏輯在前端實(shí)現(xiàn)，但是主要的事務(wù)邏輯在服務(wù)器上實(shí)現(xiàn)， B／ S機(jī)構(gòu)能夠在很大程度上節(jié)約開發(fā)成本，是一種全新的軟件系統(tǒng)構(gòu)造技術(shù)。由于目前絕大多數(shù)視頻編碼標(biāo)準(zhǔn)都 采用了運(yùn)動預(yù)測補(bǔ)償技術(shù)以及可變長編碼技術(shù)，因此，誤碼不僅影響該誤碼數(shù)據(jù)的恢復(fù)，還會影響與之相關(guān)的其他數(shù)據(jù)的恢復(fù)，造成誤碼擴(kuò)散。因編碼方法不同或者信息內(nèi)容不同，這種隨機(jī)誤碼造成的影響也不同，某些隨機(jī)誤碼可以忽略不計(jì)，某些可能非常嚴(yán)重。 (2)誤碼使某碼字映射為另一個合法碼字，或者映射為某合法的碼字序列，那么解碼器就很難立即檢測出誤碼的存在，但由于誤碼擴(kuò)散的緣故，解碼器可以在隨后的某個位置發(fā)現(xiàn)誤碼 。 另一類是突發(fā)錯誤，比如包交換網(wǎng)絡(luò)中的包丟失、存儲媒體的物理損傷等。目前視頻壓縮編碼大多都采用可變長編碼，因此這兩種誤碼都會導(dǎo)致重建視頻質(zhì)量嚴(yán)重下降。例如 :前向錯誤校正 (FEC)、錯誤控制編碼 (ECC)、自動 重傳請求(ARQ)等 。比如對一于視頻圖像，人眼可以容忍一定程度的失真，或者是某些失真人眼根本無法覺察到，而不需要像數(shù)據(jù)通信那樣要求絕對的無損恢復(fù)。然而信道誤碼情況是時變的，目前還沒有一個精確的數(shù)學(xué)模型來描述信道的變化。如果根據(jù)信道最好的情況加入冗余信息，則信道變差時會帶來誤碼倍增效應(yīng)。第二種是從解碼端考慮，對于己經(jīng)發(fā)生的錯誤，利用已接收的信息來估計(jì)發(fā)生錯誤的信息，加以處理使其盡量不被人眼覺察出來，而不需要從編碼器得到額外的信息，即誤碼掩蓋技術(shù)。第三種是編解碼兩端交互進(jìn)行數(shù)據(jù)恢復(fù)，編碼器根據(jù)解碼端反饋回來的信息自適應(yīng)地調(diào)整編碼參數(shù)和編碼模式等，最典型的是自動重傳請求 (ARQ)策略。由于第二種是在解碼端，利用已接收的信息來估計(jì)發(fā)生錯誤的信息的，如果傳輸環(huán)境非常糟糕時，錯誤的信息將會不斷的疊加，將導(dǎo)致解碼失敗。 基于上下文的二進(jìn)制算術(shù)編 碼 (CABAC) 。 表 參數(shù) 描述 序列層，圖像層及片層語法元素 宏塊類型 Mb_type 編碼塊模式 量化參數(shù) 參考幀索引 運(yùn)動向量 殘差數(shù)據(jù) 每個編碼宏塊的預(yù)測方式 指示宏塊中含有編碼系數(shù)的塊 從前一個 QP值傳輸 幀間 預(yù)測時確認(rèn)參考幀 從預(yù)測向量中得到的 MVD 每個 4X4， 2X2塊的系數(shù)數(shù)據(jù) UVLC提供了一個簡單和健壯的方法來編碼模式信息和 DCT系數(shù)，但在高比特率時它的性能并不好，因此當(dāng)?shù)站幋a模式被選為 “1”時， 用一種稱作基于上下文的自適應(yīng)二進(jìn)制算術(shù)編碼 (CABAC)的算術(shù)編碼模式來編解碼。 CABAC具有 3個獨(dú)特的優(yōu)勢。編碼一個數(shù)據(jù)元素包括以下幾個步驟。 CABAC使用二進(jìn)制算術(shù)編碼，這意味著用來編碼的元素僅僅是二進(jìn)制元素 (l， O)。由于 MB_type的范圍限制在 (0一 9)，因此可用另一種方法二進(jìn)制化。第二個步驟是選擇上下文模型。這個模型將根據(jù)最近編碼的數(shù)據(jù)符號的統(tǒng)計(jì)表來選擇。標(biāo)準(zhǔn)為每種語法元素定義了上下文模型和二進(jìn)制化方式，對于不同的語法元素共有 267平中上下文模型， 0到 266。例如，在 I片中不允許有跳宏塊，因此根據(jù)當(dāng)前塊是否是幀內(nèi)編碼模式來用上下文模型 02編碼 mb_skip或 mbtype。 第三個步驟是算術(shù)編碼。 60年代 Elias發(fā)現(xiàn)，不需要排序，只要編碼端和解碼端使用相同的符號順序就可以了。 1976年前后 Rissanen和 Pasco分別完成一個使用有限精度運(yùn)算的算術(shù)編碼，但是它們分別是離線 的和先入先出的。 1987年 Witten等人發(fā)表了一個實(shí)用的算術(shù)編碼程序，即CACM87。算術(shù)編碼器根據(jù)所選的概率模型對每個二進(jìn)制位編碼。算術(shù)編碼具有三個不同的特性。第二個特性，在每一步計(jì)算新的范圍前，算術(shù)編碼器的當(dāng)前狀態(tài) R被量化為一個小范圍預(yù)設(shè)值，使之可以使用查表法來計(jì)算新 的范圍 (避免乘法 )。 第四個步驟是概率更新。 (例如，當(dāng)前編碼值為 “1”則 “1”的頻率值增加 )。 CABAC是根據(jù)每個元素的上下文來獲得概率模型并按實(shí)時統(tǒng)計(jì)來調(diào)整概率模型的自適應(yīng)算術(shù)編碼。但算術(shù)編碼是變長編碼，隨機(jī)誤碼會使誤碼擴(kuò)散，導(dǎo)致在重同步之前的解碼為誤碼，所以算術(shù)編碼的抗誤碼能力較弱。其基本思想是在編碼端加入冗余，使編碼區(qū)間中的部分區(qū)間，編碼端不使用。因此解碼端報錯，向編碼端發(fā)出自動重傳請求，要求其重傳一段長度為 n的數(shù)據(jù)。 在 ，算術(shù)編碼的編解碼端具有相同的當(dāng)前區(qū)間，是由它的長度 δ和低限 1決定。由于每次區(qū)間加倍表示一比特移出，這是加入冗余的理想位置，可在該位置對當(dāng)前編碼區(qū)間按一定的比例進(jìn)行調(diào)整。設(shè)當(dāng)前區(qū)間為 δ，則需要 I(α) = log 2 (δ)比特來編碼表示。 I(α) = log 2 (α) () 假設(shè)加入 x的冗余，則選擇 α=1/2x。x=2%，則 α=。例如，當(dāng)編碼一個符號 x∈ {a,b,c}時，設(shè)當(dāng)前子區(qū)間 δ，則 αβ占分配給x， eδ分配給 μ。設(shè) Pn (μ)是編完第 n個符號后 μ所占的概率。相應(yīng)的一個錯誤發(fā)生后經(jīng)過比特不能檢錯的概率 β。因此，直到檢出錯誤，錯誤發(fā)生在前 n比特的概率為 (l一 β)。 ? ??I ( p )l o ge)(1lo g (p )lo gn 22 2 ??? () 由 ()式可知，冗余量與檢錯所需重傳的比特之間成反比。某些時候要求快速檢錯則需加入比較大的冗余，而有些時候信道平穩(wěn)更重要則可適當(dāng)加長檢錯時間。 應(yīng)用設(shè)計(jì)及結(jié)果分析 由于相同的噪聲對不同的幀類型 (I、 P、 B)的影響是不同的， I幀作為 P、 B幀的參考幀，因此誤碼發(fā)生在 I幀后會出現(xiàn)誤碼擴(kuò)散，對重建圖像質(zhì)量的影響 較大。因此應(yīng)用過程中應(yīng)考慮到針對不同的幀類型取不同的縮減因子 α值。在相同的信道條件下 (設(shè)信道產(chǎn)生 103，的隨機(jī)噪聲 )，對 100幀圖像中的 I、 P、 B幀分別加噪聲，再分別采用不加任何額外檢錯機(jī)制和加入基于 AC的 CED十 ARQ檢錯機(jī)制這兩種方法得出的效果進(jìn)行比較，其中縮減因子 α分別取為 ， ， ， ， ， l(零冗余 )。再向編碼端發(fā)出重傳請求，并將當(dāng)前數(shù)據(jù)的位置信息及 n值發(fā)給發(fā)送端，發(fā)送端將當(dāng)前數(shù)據(jù)前 n個數(shù)據(jù)重發(fā)，同時解碼端將解碼狀態(tài)返回至前 n個數(shù)據(jù)時，再根據(jù)接收到的數(shù)據(jù)解碼。實(shí)際應(yīng)用 中我們只保留前 100個解碼狀態(tài)，由于 術(shù)解碼是幀同步的，若 n大于 100則將該幀數(shù)據(jù)重發(fā)?？紤]到在 AC解碼時就能報錯，應(yīng)用時可以利用數(shù)據(jù)處理的并行性，將一幀內(nèi)的宏塊統(tǒng)一 AC解碼然后無錯就繼續(xù)下面操作，一旦某塊數(shù)據(jù)報錯就退出，進(jìn)行誤碼處理。實(shí)驗(yàn)的信道條件為隨機(jī)產(chǎn)生 103的白噪聲，本實(shí)驗(yàn)采用 IBBPBBPBB的組合，編碼采用 CABAC，圖像序列選用了 MissAmeriean的QeIF格式 (176X144)的 100幀圖像序列。然后分別加入本文提出的基于 AC的CED十 ARQ檢錯機(jī)制，可以得到檢錯后的圖。 H264中采用 YUV表示法來表示彩色圖像，其中亮度信號 Y和色度信號 U， V是相互獨(dú)立的。實(shí)驗(yàn)結(jié)果表明相同噪聲信道條件下，采用 CED+ARQ方案后 明顯優(yōu)于原先不采用任何檢錯機(jī)制的情況。在 B幀加噪聲時 Y信號的信噪比提高4dB， UV信號也提高 。 圖 亮度信號 Y的 PSNR比較圖 圖 色度信號 U的 PSNR比較圖 圖 色度信號 V的 PSNR比較圖 本章介紹了視頻傳輸抗誤碼技術(shù)的發(fā)展，并結(jié)合 對 ，通過實(shí)驗(yàn)證明在 AC的 CED十ARQ檢錯機(jī)制后能連續(xù)檢錯，且一個錯誤只牽制一小段數(shù)據(jù)，減少了需重發(fā)的數(shù)據(jù)量，大大減少檢錯時間，提高了數(shù)據(jù)抗誤碼能力，并能獲得較好的壓縮效果。在接收端，對接收到的數(shù)據(jù)進(jìn)行分組解析 (拆包 )，這樣就可以重建視頻幀。 這種對視頻打包傳輸?shù)姆椒ㄓ泻芏鄡?yōu)點(diǎn)，首先可以實(shí)現(xiàn)端到端的控制 。而且在傳輸過程中出現(xiàn)數(shù)據(jù)丟失和誤碼時，也可以利用分組的特點(diǎn)，從下一個無差錯的包開始恢復(fù)同步，從而防止錯誤擴(kuò)散。因此一般的 視頻編碼 分組封裝 分組解析 視頻解碼 圖 視頻傳輸?shù)囊话隳Ｐ? 網(wǎng)絡(luò)傳輸 視頻傳輸應(yīng)用系統(tǒng)中，一般是基于 RTP協(xié)議實(shí)現(xiàn)視頻流的傳輸和控制，本文也采用該協(xié)議。 RTP/RTCP 協(xié)議分析 實(shí)時傳輸協(xié)議 RTP RTP協(xié)議是專門為多媒體應(yīng)用而設(shè)計(jì)的輕型傳輸協(xié)議，基于多播或單播網(wǎng)絡(luò)為用戶提供連續(xù)媒體數(shù)據(jù)的實(shí)時傳輸 服務(wù)。 RTP協(xié)議位于 TCP/UDP協(xié)議之上，在功能上獨(dú)立于下面的傳輸層和網(wǎng)絡(luò)層，但不能單獨(dú)作為一個層次存在。一般認(rèn)為 RTP協(xié)議屬于傳輸層，但往往又是在應(yīng)用程序中具體實(shí)現(xiàn)，所以它是一個應(yīng)用型的傳輸協(xié)議。每一個 RTP數(shù)據(jù)包由包頭和負(fù)載兩個部分組成，在協(xié)議中僅定義了包 頭的數(shù)據(jù)結(jié)構(gòu)，對負(fù)載的大小沒有限制。負(fù)載是長度不定的多媒體數(shù)據(jù) (視頻幀或者音頻幀 )。 RTCP采用與 RTP數(shù)據(jù)包相同的分發(fā)機(jī)制，向媒體會話中的所有成員周期性的發(fā)送 RTCP包。 RTCP協(xié)議中定義了五種攜帶不同信息的 RTCP包類型，分別承擔(dān)不同的控制功能。 SR是有關(guān)主動發(fā)送方的傳輸和接收的統(tǒng)計(jì)信息，提供 SSRC標(biāo)識符、 RTP時間戳、發(fā)送包數(shù)以及發(fā)送字節(jié)數(shù)等與發(fā)送有關(guān)的信息。 RR包由實(shí)時數(shù)據(jù)的接收端發(fā)送，提供包括接收數(shù)據(jù)包的最大序列號、丟包率、媒體流的抖動情況等信息。第四類信息是結(jié)束標(biāo)識 (BYE):主要功能是指示某一個或幾個源不再有效，即把參與者退出的信息通知會話。 RTP 工作機(jī)制