【文章內(nèi)容簡介】 軟件處 理得當(dāng)?shù)脑?,圖像的性能比較好。一般安裝一個彩色攝像頭和相應(yīng)的軟件大約花費(fèi)約幾百元。用戶操作需要一定的電腦知識，而且每次必須在開機(jī)狀態(tài)下使用，其優(yōu)點(diǎn)是價格便宜?？傊?Inter 環(huán)境的計算機(jī)可視通信是未來很有前途的產(chǎn)業(yè)。 2 可視電話的基本結(jié)構(gòu)和核心技術(shù) ITUT 推出的 系列標(biāo)準(zhǔn)是框架性協(xié)議，服從不同標(biāo)準(zhǔn)的可視電話終端，具有類似的結(jié)構(gòu)?？梢曤娫挼幕窘Y(jié)構(gòu)如圖 所示，包括視頻輸人 /輸出單元、視頻編解碼器、語音輸人 /輸出單元、語音編解碼器、延時單元、數(shù)據(jù)處理單元 (可選 )、系統(tǒng)控制單元、多 媒體數(shù)據(jù)復(fù)用 /解復(fù)用單元和網(wǎng)絡(luò)接口單元。不同的標(biāo)準(zhǔn)適用的網(wǎng)絡(luò)不同，因此有不同的通信控制協(xié)議、多媒體數(shù)據(jù)打包協(xié)議和不同的網(wǎng)絡(luò)接口單元，但是視頻和語音輸人 /輸出單元、視頻編解碼器、語音編碼解碼器相似。 19 圖 可視電話基本結(jié)構(gòu) 語音和視頻壓縮技術(shù)是可視電話的核心技術(shù)?？梢曤娫捵鳛橐环N消費(fèi)產(chǎn)品，要想走人尋常百姓家，必須能夠提供足夠好的語音和視頻質(zhì)量，同時占用的信道帶寬要盡量小。語音編碼技術(shù)和視頻編碼技術(shù)的發(fā)展就是圍繞著上述兩點(diǎn)展開的：在保證壓 縮后語音和圖象質(zhì)量的同時，盡量提高壓縮效率。我們在具體選用語音和視頻壓縮標(biāo)準(zhǔn)的時候，也要結(jié)合這兩點(diǎn)來選擇。 語音通信是可視電話最基本的功能。受網(wǎng)絡(luò)條件的限制，可視電話通常工作在較低碼率下。為了適應(yīng)這種低碼率語音應(yīng)用， ITUT 推出了 系列語音壓縮標(biāo)準(zhǔn)。其中 , , 和，在可視電話中得到了廣泛應(yīng)用。表 列出了各個語音標(biāo)準(zhǔn)所采用的技術(shù)、碼率、時延和語音質(zhì)量等。 視頻輸入 /輸出 語音輸入 /輸出 用戶數(shù)據(jù)應(yīng)用 視頻編解碼 語音編解碼 延 時 系統(tǒng)控 制 用戶 — 用戶控制信息 用戶 — 網(wǎng)絡(luò)控制信息 復(fù)用 /解復(fù)用 網(wǎng) 絡(luò)接口 20 標(biāo) 準(zhǔn) 算 法 比特率(kbit/s) 算法時延 (ns) 算法復(fù)雜度(MIPS) 語音質(zhì)量(MOS) G． 711 PCM 64 1 G． 726 ADPCM 32 10 G． 728 LDCELP 16 50 G． 729 CSACELP 8 15 30 G． 729A CAACELP 8 15 15 G． MPMLQ/ACELP 表 語音壓縮標(biāo)準(zhǔn) 能夠產(chǎn)生兩種速率的碼流，高速率編碼器使用多脈沖最大自然量化 (MPMLQ)算法，低速率編碼器使用代數(shù)碼激勵線性預(yù)測( ACELP)算法。 是 的簡化版本， 算法復(fù)雜度與 相比降低了 50%，語音質(zhì)量略有降低，兩種標(biāo)準(zhǔn)編碼后的碼流可互相解碼。當(dāng)可視電話與普通電話通信時，采用 標(biāo)準(zhǔn)。 為 PCM 編碼，只對語音信號進(jìn)行采樣和量化，產(chǎn)生 64kbit/s 的碼流。 編碼后的語音質(zhì)量高，缺點(diǎn)是占用的帶寬也很高。在實(shí)際選擇語音壓縮標(biāo)準(zhǔn)時，要綜合考慮帶寬、時延、算法復(fù)雜度等各種因素。 音頻系統(tǒng)簡介 使用 對來自麥克風(fēng)的聲音信號進(jìn)行編碼，然后傳輸 21 到對方，并且對來自對方的聲音進(jìn)行譯碼，然后輸出到喇叭。圖中“接收通道延時”模塊用于補(bǔ)償電視信號的延時，以維持聲音和電視的同步。 ①音頻編解碼 音頻編解碼應(yīng)符合 ,支持 。 ②話音質(zhì)量的主觀性能評定 按照 ITUT ，對話音的清晰度、話音平穩(wěn)程度、背景噪聲的大小、回聲的大小和發(fā)話者側(cè)音性能是否良好等性能進(jìn)行評定 ,一般采用平均意見得分法（ MOS）衡量話音質(zhì)量，評定者按照從 5到 1的五 級評分標(biāo)準(zhǔn)對語音質(zhì)量進(jìn)行評定。 對于 MOS大于 。 ③唇齒同步 視頻圖像與其拌音之間的唇行同步是衡量可視電話系統(tǒng)性能的一項(xiàng)重要指標(biāo)，在系統(tǒng)設(shè)計時應(yīng)采用全面的唇形同步控制機(jī)制。可以在采集、編碼、發(fā)送、接收、解碼、播放 /顯示的全過程中，以時間戳標(biāo)記媒體數(shù)據(jù)，視頻 /音頻信道之間的時間差通過控制信道傳送到接收端，系統(tǒng)通過在音頻播放前增加額外的緩沖來制造適當(dāng)?shù)臅r延，以維持視頻圖像以及伴音之間的唇形同步。 碼器，它帶寬為 。 ，幀長度為 30ms， 22 在通用的 DSP（數(shù)字信號處理器）上 ，估計需要 18~20定長 MIPS。發(fā)送者可使用任何速率，由于編碼器速率作為每幀語法的一部分發(fā)送，所以每一傳輸幀都可改變速率。利用“無聲抑制”（ silence suppression）方法進(jìn)一步降低平均音頻比特率。利用“無聲抑制”是指不傳輸無聲幀或用更小的幀只傳輸背景噪音信息。在典型談話中，雙方很少同時講話，可以節(jié)省一部分帶寬給視頻和數(shù)據(jù)信道使用。 接收端可以 ，優(yōu)先使用低速率或高速率音頻。音頻信道 AL2，它包括一個 8比特的 CRC（每音頻幀或每組幀有一個 CRC）。 ，如果加上 modem，抖動緩存，傳輸時間，復(fù)用器和其它延遲，最終將導(dǎo)致 150ms總的端到端音頻延遲，不包括傳輸延遲。 聲音延遲一般都小于視頻 codec延遲，所以如果需要“唇同步”，在音頻傳送通道上需增加額外延遲，只需在接收端增加聲音延遲即可。用 （ time skew message）允許接收端插入正確的聲音延遲或忽略唇同步使聲音延遲達(dá)最小。當(dāng)傳輸多個音頻信號時， 聲音頻正確取樣的信道同步。 許多 應(yīng)用不需要唇同步，或根本不需要視頻。對于這樣的應(yīng)用，讓 音頻 codec 可選是非常重要的，如選用 (8kb/s 聲音codec)可將總端到端延遲降到大約 85ms。非標(biāo)準(zhǔn)音頻格式可以同標(biāo)準(zhǔn) codec 以相同的方式使用。例如，建議的 聲音 /數(shù)據(jù) modem 23 調(diào)制可將端到端聲音延遲減少大約 60ms ,可以作為一種非標(biāo)準(zhǔn)使用。其他可選的 音頻模式也可以同 一起使用，如即將推出的16kbpsITUT 帶寬（ 7kHz） codec，提供的音頻質(zhì)量比傳統(tǒng)電話線高的多。 視頻壓縮是多媒體應(yīng)用中的核心技術(shù)， ITUT 推出的低碼率視頻壓縮標(biāo)準(zhǔn)對推動可視話的發(fā)展和實(shí)用化起到了重要的促進(jìn)作用。 H261是 ITUT 推出的第一個低碼率視頻壓縮準(zhǔn)，碼率為 p x64kbit/s，其中 p=130，圖像格為 CIF 和 QCIF。 壓縮編碼算法的基本思是利用預(yù)測編碼減少時間冗余度，利用變換編減少空間冗余度。算法主要由運(yùn)動估計、運(yùn) 動償、 DCT 變換、量化和霍夫曼編碼構(gòu)成。每幀圖像分成圖像層、宏塊組 (GOB)層、宏塊 (MB) 層、塊 (Block)層共 4 個層次來處理，分為 I 幀和 P 幀。后來推出的 , 標(biāo)準(zhǔn)繼承了 的基本思想，在 的基礎(chǔ)上提出了一些改進(jìn)。與 相比， 在以下幾個方面做出了改進(jìn) :更多的圖像格式、半像素運(yùn)動估計、不同的 GOB 結(jié)構(gòu)、四個可選模式、減少的頭信息開銷、采用不同的 VLC 表等。在相同的圖像質(zhì)量下，因?yàn)? 在運(yùn)動估計及編碼方面的改進(jìn)， 編碼后的碼率大約比 低 30%。為進(jìn)一步提高 的編碼效率和抗誤碼性能， ITUT 在 的基礎(chǔ)上，增加了一些選項(xiàng)，修改后的版本被稱之為 +, ++。目前 是可視電話中應(yīng)用的最廣泛的視頻壓縮標(biāo)準(zhǔn)。 2020 年， ITUT通過了一個新的視頻編碼標(biāo)準(zhǔn)，即 標(biāo)準(zhǔn)。 與 相比 24 具有靈活的宏塊和塊的分割方式，運(yùn)動估計精度進(jìn)一步提高，可采用1/4 或 1/8 像素精度的運(yùn)動估計。 和 采用的是 DCT 變換，而 DCT的整數(shù)變換。在相同的重建圖像質(zhì)量下， 50% 。 ，計算復(fù)雜度也大大增加。據(jù)估計，編碼的計算復(fù)雜度大約相當(dāng)于 的三倍，解碼復(fù)雜度大約相當(dāng)于 的兩倍。隨著 DSP 芯片處理能力的進(jìn)一步提高， 在可視電話等多媒體通信中必將得到越來越 廣泛的應(yīng)用。 視頻系統(tǒng)中的關(guān)鍵技術(shù) : 視頻比特率控制 視頻比特率控制的目的是通過編碼參數(shù)的動態(tài)調(diào)節(jié)，使可變速率視頻編碼器的輸出比特率盡可能接近額定的固定比特率，從而充分的利用線路帶寬，呈現(xiàn)清晰流暢的視頻。比特率控制方案，通常應(yīng)綜 合圖象序列亞采樣、宏塊級量化系數(shù)調(diào)整、編碼 模式自適應(yīng)選擇、運(yùn)動檢測閥值動態(tài)調(diào)整等技術(shù)，為此應(yīng)研究精確的比特率控制模型。在比特率調(diào)整時應(yīng)考慮是采用幀率優(yōu)先還是畫質(zhì)優(yōu)先調(diào)整模式。 信號的預(yù)處理與后處理 視頻信號預(yù)處理的目的是盡量消除廉價 CCD攝像頭與視頻采集卡組合提供的視頻信號中的噪聲成分，減輕由噪聲引發(fā)的偽運(yùn)動現(xiàn)象對視頻編碼器的壓力，改進(jìn)視頻質(zhì)量。視頻信號預(yù)處理方案通常包括時間域和空間域上的濾波處理，在空間域上采用幅度受控的中值濾波，在時間域上采用簡單的閥值截斷控制等。 25 采用視頻信號后處理機(jī)制的目的是盡量消 除由于分塊量化和運(yùn)動補(bǔ)償引發(fā)的圖像塊斑現(xiàn)象，改進(jìn)視頻質(zhì)量。一種解決方案是采用去塊斑濾波器，其濾波強(qiáng)度動態(tài)的自適應(yīng)于塊斑強(qiáng)度，且在塊斑邊緣處比在圖像塊內(nèi)部更強(qiáng)。 算法的快速實(shí)現(xiàn) 可視電話系統(tǒng)的性能不僅受通信帶寬的制約，而且受到系統(tǒng)計算能力的限制。隨著通用 CPU性能的發(fā)展，使得用軟件實(shí)現(xiàn)實(shí)時視頻編解碼成為可能，其成本與專用硬件相比要低，靈活性則高的多。而且隨著 CPU性能的進(jìn)一步發(fā)展，采用 Intel公司的 SSE(streaming SIMD extensions),SSE2,IPP(integrated performance primitives)等技術(shù)，軟件的性能也會隨之提高。 實(shí)際上，在基于 ，視頻圖像編碼速度一直是影響系統(tǒng)實(shí)時性能的瓶頸，而運(yùn)動估計和 DCT變換等模塊又是視頻編碼算法中運(yùn)算量最大的模塊。為了降低圖像編碼的運(yùn)算量，提高編碼速度，人們一直進(jìn)行著種種努力。一般來說，可以從兩個途徑來解決：一方面研究快速算法，尋找新的方法，比如：快速搜索算法和預(yù)先判零技術(shù)的應(yīng)用等；另一方面，對編碼程序進(jìn)行指令級優(yōu)化，例如：利用 MMX技術(shù)的并行性進(jìn)行程序優(yōu)化。 可視電話的視頻編解碼包括兩種： ，其中 ， 。 ITUT為低于 64kbit/s的窄帶通信信道制定的極低碼率 26 視頻編碼標(biāo)準(zhǔn)。該標(biāo)準(zhǔn)是在 ，綜合應(yīng)用幀間預(yù)測去除時間冗余度和 DCT變換編碼去除空間冗余度的混合編碼算法。在 modem可用帶寬的任意子帶寬上， 。 ，優(yōu)先選用 ， ISDN ， 而不需轉(zhuǎn)換視頻格式，否則會產(chǎn)生難以忍受的延遲。 ，但都增強(qiáng)了功能，包括改進(jìn)的運(yùn)動補(bǔ)償，使 50%~100%的比特率就可達(dá)到與。當(dāng) ，這種改進(jìn)尤為明顯；但 ，與 。 圍更廣的圖像格式。 受比特率、圖像格式、 的影響， 5~15幀 /秒。 ： Video Temporal Spatial Trade Off允許接收端在幀速和圖像分辨率之間進(jìn)行一定的折衷。 視頻信道使用 AL3，它包括一個 16bitCRC和序列編號，以及用于接收端錯誤視頻數(shù)據(jù)重傳的相關(guān)信息。 既然 （盡管許多應(yīng)用中由于帶寬所限而無法實(shí)現(xiàn)），通過多個視頻邏輯信道可以很容易實(shí)現(xiàn)連續(xù)顯示的多點(diǎn)操作，此時，接收端可以用“ Hollywood Squares”方式顯示每個會議點(diǎn)的不同圖像，由接收者安排用于本地顯示的合適信道集。 SQCIF、 QCIF、 CIF、 27 4CIF或者 16CIF的彩色 4:2:0亞取樣圖像。 像素的運(yùn)動補(bǔ)償，并增加了 4種有效的壓縮編碼模式。 ① GB/T 18119（等效于 ）的規(guī)定。 ② 圖像格式： QCIF為必選項(xiàng) , CIF和 SQCIF為可選項(xiàng)。 ③ 活動圖像：公共中間格式（ CIF）： 288行 352像素 。 1/4公共中間格式（ QCIF）： 144行 176像素； 子 1/4公共中間格式（ SQCIF）： 96行 128像素。 ④ 圖像幀頻： SQCIF：不小于 15幀 /秒； QCIF：不小于 10幀 /秒； CIF：不小于 3幀 /秒。 ① YD/T 8221996（等效于）的規(guī)定。 ② 圖像格式： QCIF為必選項(xiàng) , CIF為可選項(xiàng)。 ③ 活動圖像：公共中間格式（ CIF）： 288行 352像素； 1/4公共中間格式（ QCIF）： 144行 176像素。 ④ 圖像幀頻： QCIF：不小于 10幀 /秒； CIF：不小于 3幀 /秒。 28 ，并增加了 4種有效的壓縮編碼模式。 ① 無限制的運(yùn)動矢量模式 一般運(yùn)動矢量的范圍都限制在已編碼的參考幀內(nèi)。這種限制，使得對當(dāng)前幀圖像邊界的宏塊進(jìn)行運(yùn)動估計時，由于參考宏塊可能已處于參考幀之外而無法得到最優(yōu)的效果。在 ，允許運(yùn)動矢量指向圖像以外的區(qū)域。當(dāng)某一運(yùn)動矢量所指的參考宏塊位于編碼圖象之外時，就用其邊緣的圖像像素值來代替這個不存在的宏塊。當(dāng)存在跨邊界的運(yùn)動時，這種模式能取得很大的編碼增益，特別是對小圖像而言。另外， 這種模式包括了運(yùn)動矢量范圍的擴(kuò)展，允許使用更大的運(yùn)動矢量，這對攝像機(jī)運(yùn)動特別有利。 ② 基于句法的算術(shù)編碼模式 使用算術(shù)編碼代替哈夫曼編碼，由于算術(shù)編碼在符號的概率分布不為 2的冪的情況下也能逼近壓縮的理論極限 符號的熵。因此，可在信噪比和重建圖像質(zhì)量相同的情況下降低碼率。 ③ 先進(jìn)的預(yù)測模式 在一般情況下，每一個宏塊對應(yīng)一個運(yùn)動矢量。在先進(jìn)的預(yù)測模式下，一個宏塊中 4