【正文】 第五類信息是特定應(yīng)用控制包 (APP):用戶自己定義的 RTCP包，解決 RTCP的擴(kuò)展性問題。第三類信息是源描述項(xiàng) (SDES)： 提供信源的描述信息，主要功能是作為當(dāng)前會(huì)話參與者的標(biāo)識(shí)信息載體，包括用戶名、郵件地址、電話號(hào)碼等，此外還向各參 與者傳達(dá)會(huì)話控制信息。第二類信息是接收?qǐng)?bào)告(RR)。第一類信息是發(fā)送報(bào)告 (SR)。發(fā)送端接收 RTCP包，從中獲取反饋信息，包括丟包率、抖動(dòng)、延遲、接收到的最大序列號(hào)等，用于制定流量控制的策略，改變傳輸碼 率甚至負(fù)載類型。 實(shí)時(shí)傳輸控制協(xié)議 RTCP RTP協(xié)議不提供任何保證傳輸質(zhì)量的機(jī)制，而是由 RTCP協(xié)議負(fù)責(zé)實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)傳輸質(zhì)量，為系統(tǒng)提供擁塞控制和流量控制。 RTP頭由 12個(gè)字節(jié)的固定字段和最后 4個(gè)字節(jié)的 CSRC可選域組成。 RTP協(xié)議負(fù)責(zé)對(duì)多媒體數(shù)據(jù)進(jìn)行封包并實(shí)現(xiàn)媒體流的實(shí)時(shí)傳輸，其核心內(nèi)容是數(shù)據(jù)包格式。通常是利用底層的 UDP協(xié)議完成數(shù)據(jù)傳輸，但也可以建立在其它傳輸協(xié)議上，比如 TCP、ATM等。它本身不保證傳輸可靠性，也不提供流量的擁塞控制機(jī)制，而是借助于 RTCP實(shí)現(xiàn)。除了傳輸協(xié)議的選擇，視頻流網(wǎng)絡(luò)傳輸時(shí)的 QoS也是在設(shè)計(jì)傳輸方案時(shí)必須重點(diǎn)考慮的問題。由于視頻實(shí)時(shí)傳輸本身的特點(diǎn)和 要求，傳統(tǒng)的網(wǎng)絡(luò)協(xié)議如 TCP、 UDP等無法勝任此項(xiàng)工作，于是國際標(biāo)準(zhǔn)化組織 IETF制定了面向?qū)崟r(shí)流媒體的 RTP協(xié)議，提供了上述打包分組功能，并且滿足視頻流實(shí)時(shí)傳輸?shù)囊蟆Ａ硗?，用打包方式進(jìn)行分組還可以支持媒體流的復(fù)用 。一個(gè)典型的視頻傳輸模型如圖 41所示。 4 視頻流傳輸模型設(shè)計(jì) 視頻傳輸?shù)囊话隳Ｐ? 當(dāng)前視頻流傳輸?shù)囊话惴椒?，是對(duì)視頻數(shù)據(jù)壓縮編碼以降低碼率，然后根據(jù)視頻壓縮編碼方式進(jìn)行分組封裝 (即打包 )，再通過網(wǎng)絡(luò)傳輸 。對(duì)應(yīng)于縮減因子 α分別取為 ， ， ， ， 相應(yīng)的冗余度 %， %， %， %， %。在 I幀， P幀加噪聲時(shí) Y信號(hào)的信噪比提高 8dB， UV信號(hào)也分別提高 ldB和 3dB。圖 信號(hào) Y的 PSNR圖，圖 U的 PSNR圖，圖 v的 PSNR圖。由于檢錯(cuò)后得到的信噪比都近似于無噪狀態(tài)下圖像，所以本圖只列出一條檢錯(cuò)后曲線。由于噪聲加在 I、 P、 B幀對(duì)整個(gè)圖像的序列的信噪比產(chǎn)生的影響不同，因此實(shí)驗(yàn)過程中我們分別對(duì)整個(gè)圖像序列中的 I、 P、B幀分別加入噪聲后得到不同的信噪比圖。 下面給出分別采用不加任何檢錯(cuò)機(jī)制和加入基于 AC的 CED+ARQ檢錯(cuò)機(jī)制這兩種方法得出的實(shí)驗(yàn)結(jié)果圖。 ，即一個(gè)宏塊先 AC解碼后進(jìn)行運(yùn)動(dòng)補(bǔ)償?shù)炔僮?，然后再處理下一個(gè)宏塊。解碼每個(gè)數(shù)據(jù)時(shí)，必須紀(jì)錄當(dāng)前解碼狀態(tài)前的若干狀態(tài)，這將較大的占用了內(nèi)存。 應(yīng)用過程中，在編碼端根據(jù) α加入冗余，解碼端一旦發(fā)現(xiàn)解碼后當(dāng)前區(qū)間落在縮減區(qū)間之外就報(bào)錯(cuò)，記下當(dāng)前數(shù)據(jù)在數(shù)據(jù)包中的位置并根據(jù) ()式計(jì)算 n值。本實(shí)驗(yàn)以 Foreman及 Miss Ameriean的 QCIF格式(176x144)的 100幀圖像序列為例，序列中這三種類型的圖的組織是非常靈活的，在本實(shí)驗(yàn)中采用 IBBPBBPBB的組合。而 B幀不作為其它幀的參考幀，發(fā)生在 B幀的誤碼只會(huì)局限在該幀內(nèi)，不會(huì)影響其它幀。因此參數(shù) α可根據(jù)檢錯(cuò)要求和信道條件來進(jìn)行綜合的考慮和選擇。編碼信息中的冗余可由編碼過程中這一簡(jiǎn)單可協(xié)調(diào)的參數(shù) α控制，但這又決定于信道條件，這對(duì)于 ARQ很重要。又冗余量 I (α) = log 2 (1e)比特 /編碼符號(hào)，帶入 ()式，可以得到檢錯(cuò)所需重傳的比特 n和冗余量 I(α)之間的關(guān)系。 （ ） 可見錯(cuò)誤發(fā)生后隨著解碼符號(hào) n的增加，不能檢錯(cuò)的概率 β成指數(shù)減少。 () 判斷誤碼的方法是看當(dāng)前區(qū)間是否在禁用區(qū)間內(nèi)，因此 Pn (μ)又可理解為是當(dāng)發(fā)生一個(gè)錯(cuò)誤時(shí) ，經(jīng)過 n比特我們能判定錯(cuò)誤的概率。由于 μ不被編碼，所以分配給 μ的間隔不會(huì)被再分割。縮減因子 α又可理解為在算術(shù)編碼過程中加入一個(gè)禁用符號(hào)聲 μ，假設(shè)其發(fā)生概率為 e =1 α。例 x=l%，則 α=。當(dāng)前區(qū)間乘上縮減因子 α后，則需要 I(αβ)=I(α)+I(β)比特來編碼表示，冗余量為 I(α)。該比例稱為縮減因子 α，它決定著輸出冗余度的多少，同時(shí)控制著檢錯(cuò)的速度。為了進(jìn)行 有限的運(yùn)算，編碼端移出一些比特再將區(qū)間加倍。由于誤碼的擴(kuò)散，準(zhǔn)確對(duì)誤碼進(jìn)行定位是比較困難的，因此只在某個(gè)概率范圍內(nèi)確定重傳數(shù)據(jù)范圍 n的值。當(dāng)解碼端發(fā)現(xiàn)進(jìn)入這些區(qū)間時(shí)，則表明數(shù)據(jù)傳輸過程中有錯(cuò)誤發(fā)生。 基于 AC 的具有 CED 的 ARQ 方案 本章提出在 ，使其在一定范圍內(nèi)能夠檢錯(cuò)。算術(shù)編碼可以逼近信源的墑，因此 CABAC具有很好的壓縮性能?？偟膩碚f， CABAC相比于 VLC改進(jìn)了編碼效率，代價(jià)是增大了計(jì)算復(fù)雜度。根據(jù)目前編碼值來更新概率模型。第三個(gè)特性，數(shù)據(jù)元素的簡(jiǎn)化的編解碼過程具有一致的概率分布定義。第一個(gè)特性，概率估計(jì)通過在 LPS的 64個(gè)不同的概率狀態(tài)的轉(zhuǎn)換過程中完成。注意 :僅有 “0”、 “1”參與編碼。 CACM87被用作 。 Rissanen和 Langdon的文章描述了算術(shù)編碼的基本理論，并給出了一個(gè)二進(jìn)制算術(shù)編碼器。但是當(dāng)時(shí)人們對(duì)算術(shù)編碼的理解仍然需要無限精度的浮點(diǎn)運(yùn)算，或者隨著符號(hào)的輸入，需要的精度增加，同時(shí)計(jì)算時(shí)間也線性增加。算術(shù)編碼的思想最早在 1948年 Shannon的文章中出現(xiàn)，當(dāng)時(shí) Shannon將符號(hào)依概率排序，用累積概率的二進(jìn)制表示作為對(duì)符號(hào)的編碼。每個(gè)編碼片開始時(shí)，根據(jù)量化參數(shù)來初 始上下文模型的 (因?yàn)檫@對(duì)于不同數(shù)據(jù)符號(hào)將有很大的影響 )。根據(jù)不同的片 (slice)類型，一些模型具有不同的用法。上下文模型存儲(chǔ)了每個(gè)二進(jìn)制位 “l(fā)”或 “0”的概率值。上下文模型就是二進(jìn)制符號(hào)中一個(gè)或多個(gè)二進(jìn)制位的概率模型。二進(jìn)制化的過程類似于將一個(gè)數(shù)據(jù)元素轉(zhuǎn)化為變長(zhǎng)碼，但不同之處在于它在傳輸之前還要 經(jīng)過算術(shù)編碼。一個(gè)非二進(jìn)制元素 (例 :傳輸系數(shù)或運(yùn)動(dòng)向量 )要先二進(jìn)制化或者在算術(shù)編碼之前轉(zhuǎn)化為二進(jìn)制碼。 第一個(gè)步驟是二進(jìn)制化。上下文模型提供了編碼符號(hào)的條件概率的估計(jì)；算術(shù)編碼允許 給每個(gè)符號(hào)分配非整數(shù)比特；自適應(yīng)算術(shù)編碼墑編碼器適合無固定符號(hào)統(tǒng)計(jì)，對(duì)于每個(gè)塊來說，我們將原始圖像和低質(zhì)量預(yù)測(cè)而得的圖像之間的差進(jìn)行編碼。它在如下三個(gè)條件下具有很好的壓縮性能，即 :根據(jù)每個(gè)元素上下文來獲得概率模型；根據(jù)當(dāng)時(shí)統(tǒng)計(jì)來調(diào)整概率估計(jì)；使用算術(shù)編碼。 (slice)結(jié)構(gòu)以上的語法元素用定長(zhǎng)碼或變長(zhǎng)碼編碼，片層或片層以下的語法元素根據(jù)嫡編碼模式來選擇是用普通的可變長(zhǎng)編碼 (UVLC)還是用基于上下文的二進(jìn)制算術(shù)編碼 (CABAC)來編解碼。因此本文結(jié)和，將第一種和第三種方法聯(lián)合考慮，將一種基于算術(shù)編碼 (AC)能連續(xù)檢錯(cuò) (CED)的自動(dòng)重傳請(qǐng)求 (ARQ)方案引入到現(xiàn)行的 。這種方法要依賴于反饋信道。它利用人眼視覺的特性，用視頻序列的空間、時(shí)間相關(guān)性來掩蓋誤碼帶來的不良影響，這一技術(shù)可分別在空域、時(shí)域、頻 域內(nèi)進(jìn)行。此外，還有分層編碼、多描述編碼等都是從編碼器端考慮盡量使編碼后的碼流受誤碼影響最小。 因此如果根據(jù)信道最差的情況來加入冗余信息進(jìn)行保護(hù)，則在大多數(shù)信道較好的時(shí)間內(nèi)浪費(fèi)了信道資源 。 目前主要有三種提高視頻傳輸抗誤碼能力的處理方法 :第一種是從編碼端出發(fā)考慮，往編碼輸出碼流中加一些額外的冗余信息，使得碼流不需要解碼器做更多的處理就能夠極大的降低傳輸差錯(cuò)的影響，如前向錯(cuò)誤校正 (FEC)、錯(cuò)誤控制編碼 (ECC)等。(2)旨在恢復(fù)近似于原始信息、或根據(jù)人類生理特性的誤碼掩蓋技術(shù)。視頻通信中的抗誤碼技術(shù)長(zhǎng)期以來一直沿著兩條路發(fā)展 :(l)把數(shù)據(jù)通信中的誤碼控制和恢復(fù)技術(shù)擴(kuò)展到視頻通信中，這些技術(shù)的目標(biāo)是無損恢復(fù)。突發(fā)錯(cuò)誤會(huì)導(dǎo)致視頻質(zhì)量嚴(yán)重下降，甚至無法解碼，但這類錯(cuò)誤一般可以根據(jù)傳輸協(xié)議檢測(cè)到。一個(gè)隨機(jī)比特位的錯(cuò)誤會(huì)使比特流失去同步，使得該錯(cuò)誤發(fā)生位置到下一個(gè)同步碼之間的所有碼字都變?yōu)闊o效碼字，甚至因?yàn)榻獯a得到的信息無法和空間位置對(duì)應(yīng)起來使得同步碼以后的碼字都變?yōu)闊o用信息，因此在可變長(zhǎng)編碼中，這種誤碼對(duì)視頻重建質(zhì)量的影響很大。當(dāng)采用定長(zhǎng)編碼方法時(shí)，一個(gè)隨機(jī)比特位的錯(cuò)誤只影響一個(gè)碼字，所造成的信息失真一般 是可以接受的 :而當(dāng)采用可變長(zhǎng)編碼 (VLC，如哈夫曼編碼、算術(shù)編碼 )時(shí)，它會(huì)導(dǎo)致編長(zhǎng)碼解碼器同步丟失，同時(shí)產(chǎn)生兩種明顯的誤碼 :(1)誤碼直接使某碼字映射為一非法碼字，這種情況解碼器可以立即檢測(cè)到該誤碼。 傳輸誤碼大體上司一分為兩類 :一類是隨機(jī)誤碼，這主要是由于信道的物理缺陷而致，比如比特位跳轉(zhuǎn) (Bitinversion)、比特位插入 (Bitinsertion)、比特位刪除(Bitdeletion)等。 基于 的抗誤碼技術(shù)的研究 傳輸誤碼的分類及抗誤碼的基本方法 任何一個(gè)視頻通信系統(tǒng)都固有存在的問題是視頻信息在傳輸過程中山于信道噪聲使得信息改變或丟失，這種信息的改變或丟失會(huì)導(dǎo)致視頻重建質(zhì)量嚴(yán)重下降。它利用不斷成熟的WWW瀏覽器技術(shù)，結(jié)合瀏覽器的多種 Script語言和 ActiveX技術(shù)，用通用瀏覽器實(shí)現(xiàn) 了原來需要復(fù)雜的軟件才能實(shí)現(xiàn)的強(qiáng)大功能。 第二種類型為 B/S結(jié)構(gòu)。 C/S結(jié)構(gòu)通常建立在專用的網(wǎng)絡(luò)上，其突出的優(yōu)點(diǎn)是能夠充分發(fā)揮客戶端 PC機(jī)的處理能力，客戶端響應(yīng)速度比較快。客戶機(jī)和服務(wù)器之間通過網(wǎng)絡(luò)協(xié)議進(jìn)行通訊。服務(wù)器通常采用高性能的 PC機(jī)、工作站或小型機(jī)，并采用如 Oracle、 Sybase、 Informix或 SQL Server等大型數(shù)據(jù)庫系統(tǒng)。 多媒體通信模型 第一種類型為 C／ S結(jié)構(gòu)。此外，由 IP組播技術(shù)一臺(tái)主機(jī)可以同時(shí)加入一個(gè)或多個(gè)組播組的特點(diǎn)，可以實(shí)現(xiàn)監(jiān)控中心同時(shí)對(duì)多個(gè)現(xiàn)場(chǎng)的監(jiān)控。假如需要向 n臺(tái)主機(jī)發(fā)送相同的數(shù)據(jù)，如果采用單播傳送的方式，則需要 n次的點(diǎn)對(duì)點(diǎn)傳送，這種傳送方式的效率很低；而如果采用廣播方式，數(shù)據(jù)會(huì)發(fā)送到局域網(wǎng)內(nèi)的所有主 機(jī)，這使得大量的主機(jī)收到與自己無關(guān)的數(shù)據(jù)，會(huì)造成主機(jī)資源和網(wǎng)絡(luò)資源的浪費(fèi)，這對(duì)本來數(shù)據(jù)量就很大的視頻數(shù)據(jù)的傳輸來說尤其是很不合適的。比較這三種方式，單播傳送是一對(duì)一的傳送，即每次傳送的數(shù)據(jù)只能被一臺(tái)主機(jī)接收。 UDP是一種無連接的數(shù)據(jù)報(bào)投遞服務(wù)，雖然沒有 TCP那么可靠，并且不能保證實(shí)時(shí)視音頻傳輸業(yè)務(wù)的服務(wù)質(zhì)量(Qos)，但由于 UDP的傳輸延時(shí)低于 TCP，所以往 往用來在遠(yuǎn)程視頻監(jiān)控系統(tǒng)中傳輸視頻圖像數(shù)據(jù)。 在遠(yuǎn)程視頻監(jiān)控系統(tǒng)中，控制數(shù)據(jù)對(duì)可靠性要求非常高，故需要應(yīng)用 TCP協(xié)議，當(dāng)檢測(cè)到數(shù)據(jù)報(bào)丟失或錯(cuò)誤時(shí)，就會(huì)要 求發(fā)送端重新發(fā)送，通過數(shù)據(jù)重傳來恢復(fù)丟失的組塊并提供有序的數(shù)據(jù)幀。 UDP協(xié)議是面向無連接的，每個(gè) UDP分組都是獨(dú)立的數(shù)據(jù)單元； (2)在 TCP傳輸中，高層數(shù)據(jù)可以以字節(jié)流的形式傳送給TCP，字節(jié)流被 TCP緩沖，直到累積到一定的長(zhǎng)度時(shí)啟動(dòng)一次發(fā)送操作。使用 TCP協(xié)議交換數(shù)據(jù)前必須先建立通信主機(jī)之間的連接關(guān)系。在這四層協(xié)議中，傳輸層建立在 IP層之上，有兩種協(xié)議，分別是 TCP協(xié)議和 UDP協(xié)議。如果小是這樣，預(yù)測(cè) P 在編碼器和解碼器中就會(huì)不同，這將 在編解碼器之間引入誤差和漂移。根據(jù)從比特流中解碼獲得的頭信息，解碼器產(chǎn)生一個(gè)預(yù)測(cè)宏塊 P，與編碼器中的 P 相同。在經(jīng)過反量化和逆變換來獲得 D’n。 解碼器從 NAL 中獲得一個(gè)壓縮比特流。來產(chǎn)生重構(gòu)參考幀。預(yù)測(cè)宏塊P 加到 Dn 上得到重構(gòu)宏塊 uFn(原始宏塊的失真塊 )。量化后的宏塊系數(shù)x被解碼用來重構(gòu)幀，以便進(jìn)一步編碼下面的宏塊。它將被送到網(wǎng)絡(luò)提取層用來傳輸或存儲(chǔ)。這些系數(shù)被重排列和嫡編碼。參考幀可以是己編碼重構(gòu)的前幾幀或后幾幀(時(shí)間順序 )?；谥貥?gòu)幀得到預(yù)測(cè)幀 P,在幀內(nèi)模時(shí)， P 由幀 n中已經(jīng)編碼部分再解碼重構(gòu)所得 (圖中的 UFn，注意到 P 是由未濾波的值組成 )。通過一個(gè)有效的時(shí)序安排，編碼器可進(jìn)行高效的平行處理。輸入的視頻序列包括大量的圖像序列，而每一幅圖像又被分成 16xl6 像素的宏塊。 的視頻編碼、解碼 的視頻編碼器 的視頻編碼器的結(jié)構(gòu)框圖如圖 所示，主要由編碼器前向支路和編碼器重構(gòu)支路組成。類型標(biāo)志用于指示圖像數(shù)據(jù)的類型。包 頭中包含存儲(chǔ)標(biāo)志和類型標(biāo)志。 為了獲得更高視頻編碼效率、更好的圖像質(zhì)量以及更強(qiáng)的網(wǎng)絡(luò)適應(yīng)性， 塊 宏塊 片面 VCL 層 圖 的層次結(jié)構(gòu) NAL 層 傳輸層 NALU 片 MP4FF P MPEG2 Etc 標(biāo)準(zhǔn)在設(shè)計(jì)上將速個(gè)編 /解碼系統(tǒng)分為視頻編碼層（ VCL）和網(wǎng)絡(luò)提取層（ NAL）兩層， VCL 中包括 VCL 編碼器與 VCL 解碼器，主要功能是視頻據(jù)壓縮編碼和解碼，它包括運(yùn)動(dòng)補(bǔ)償、變換編碼、熵編碼等壓縮單元。 的分層設(shè)計(jì) 在系統(tǒng)層面上與以往標(biāo)準(zhǔn)有很大不同，它提出了一個(gè)新的概念，即提出兩個(gè)概念性的編碼層 :視頻編碼層 (VCL， VidooCodingLayer)和網(wǎng)絡(luò)提取層(NAL， Netwo 眾 AbstraetionLayer)。與CAVLC 相比， CABAC 可以減少 5%一 10%的碼率，對(duì)于隔行掃描視頻，增益效果更加明顯。一方面，算術(shù)編碼的應(yīng)用允許給每一個(gè)字母符號(hào)指定非整數(shù)比特位，這樣非常適合大于 的符號(hào)概率。 CAVLC 根據(jù)已編碼語法元素的情況