【文章內(nèi)容簡介】 軟件處 理得當?shù)脑?,圖像的性能比較好。一般安裝一個彩色攝像頭和相應的軟件大約花費約幾百元。用戶操作需要一定的電腦知識，而且每次必須在開機狀態(tài)下使用，其優(yōu)點是價格便宜?？傊?，基于 Inter 環(huán)境的計算機可視通信是未來很有前途的產(chǎn)業(yè)。 2 可視電話的基本結(jié)構(gòu)和核心技術(shù) ITUT 推出的 系列標準是框架性協(xié)議，服從不同標準的可視電話終端，具有類似的結(jié)構(gòu)。可視電話的基本結(jié)構(gòu)如圖 所示，包括視頻輸人 /輸出單元、視頻編解碼器、語音輸人 /輸出單元、語音編解碼器、延時單元、數(shù)據(jù)處理單元 (可選 )、系統(tǒng)控制單元、多 媒體數(shù)據(jù)復用 /解復用單元和網(wǎng)絡接口單元。不同的標準適用的網(wǎng)絡不同，因此有不同的通信控制協(xié)議、多媒體數(shù)據(jù)打包協(xié)議和不同的網(wǎng)絡接口單元，但是視頻和語音輸人 /輸出單元、視頻編解碼器、語音編碼解碼器相似。 19 圖 可視電話基本結(jié)構(gòu) 語音和視頻壓縮技術(shù)是可視電話的核心技術(shù)。可視電話作為一種消費產(chǎn)品，要想走人尋常百姓家，必須能夠提供足夠好的語音和視頻質(zhì)量，同時占用的信道帶寬要盡量小。語音編碼技術(shù)和視頻編碼技術(shù)的發(fā)展就是圍繞著上述兩點展開的：在保證壓 縮后語音和圖象質(zhì)量的同時，盡量提高壓縮效率。我們在具體選用語音和視頻壓縮標準的時候，也要結(jié)合這兩點來選擇。 語音通信是可視電話最基本的功能。受網(wǎng)絡條件的限制，可視電話通常工作在較低碼率下。為了適應這種低碼率語音應用， ITUT 推出了 系列語音壓縮標準。其中 , , 和，在可視電話中得到了廣泛應用。表 列出了各個語音標準所采用的技術(shù)、碼率、時延和語音質(zhì)量等。 視頻輸入 /輸出 語音輸入 /輸出 用戶數(shù)據(jù)應用 視頻編解碼 語音編解碼 延 時 系統(tǒng)控 制 用戶 — 用戶控制信息 用戶 — 網(wǎng)絡控制信息 復用 /解復用 網(wǎng) 絡接口 20 標 準 算 法 比特率(kbit/s) 算法時延 (ns) 算法復雜度(MIPS) 語音質(zhì)量(MOS) G． 711 PCM 64 1 G． 726 ADPCM 32 10 G． 728 LDCELP 16 50 G． 729 CSACELP 8 15 30 G． 729A CAACELP 8 15 15 G． MPMLQ/ACELP 表 語音壓縮標準 能夠產(chǎn)生兩種速率的碼流，高速率編碼器使用多脈沖最大自然量化 (MPMLQ)算法，低速率編碼器使用代數(shù)碼激勵線性預測( ACELP)算法。 是 的簡化版本， 算法復雜度與 相比降低了 50%，語音質(zhì)量略有降低，兩種標準編碼后的碼流可互相解碼。當可視電話與普通電話通信時，采用 標準。 為 PCM 編碼，只對語音信號進行采樣和量化，產(chǎn)生 64kbit/s 的碼流。 編碼后的語音質(zhì)量高，缺點是占用的帶寬也很高。在實際選擇語音壓縮標準時，要綜合考慮帶寬、時延、算法復雜度等各種因素。 音頻系統(tǒng)簡介 使用 對來自麥克風的聲音信號進行編碼，然后傳輸 21 到對方，并且對來自對方的聲音進行譯碼，然后輸出到喇叭。圖中“接收通道延時”模塊用于補償電視信號的延時，以維持聲音和電視的同步。 ①音頻編解碼 音頻編解碼應符合 ,支持 。 ②話音質(zhì)量的主觀性能評定 按照 ITUT ，對話音的清晰度、話音平穩(wěn)程度、背景噪聲的大小、回聲的大小和發(fā)話者側(cè)音性能是否良好等性能進行評定 ,一般采用平均意見得分法（ MOS）衡量話音質(zhì)量，評定者按照從 5到 1的五 級評分標準對語音質(zhì)量進行評定。 對于 MOS大于 。 ③唇齒同步 視頻圖像與其拌音之間的唇行同步是衡量可視電話系統(tǒng)性能的一項重要指標，在系統(tǒng)設計時應采用全面的唇形同步控制機制。可以在采集、編碼、發(fā)送、接收、解碼、播放 /顯示的全過程中，以時間戳標記媒體數(shù)據(jù)，視頻 /音頻信道之間的時間差通過控制信道傳送到接收端，系統(tǒng)通過在音頻播放前增加額外的緩沖來制造適當?shù)臅r延，以維持視頻圖像以及伴音之間的唇形同步。 碼器，它帶寬為 。 ，幀長度為 30ms， 22 在通用的 DSP（數(shù)字信號處理器）上 ，估計需要 18~20定長 MIPS。發(fā)送者可使用任何速率，由于編碼器速率作為每幀語法的一部分發(fā)送，所以每一傳輸幀都可改變速率。利用“無聲抑制”（ silence suppression）方法進一步降低平均音頻比特率。利用“無聲抑制”是指不傳輸無聲幀或用更小的幀只傳輸背景噪音信息。在典型談話中，雙方很少同時講話，可以節(jié)省一部分帶寬給視頻和數(shù)據(jù)信道使用。 接收端可以 ，優(yōu)先使用低速率或高速率音頻。音頻信道 AL2，它包括一個 8比特的 CRC（每音頻幀或每組幀有一個 CRC）。 ，如果加上 modem，抖動緩存，傳輸時間，復用器和其它延遲，最終將導致 150ms總的端到端音頻延遲，不包括傳輸延遲。 聲音延遲一般都小于視頻 codec延遲，所以如果需要“唇同步”，在音頻傳送通道上需增加額外延遲，只需在接收端增加聲音延遲即可。用 （ time skew message）允許接收端插入正確的聲音延遲或忽略唇同步使聲音延遲達最小。當傳輸多個音頻信號時， 聲音頻正確取樣的信道同步。 許多 應用不需要唇同步，或根本不需要視頻。對于這樣的應用，讓 音頻 codec 可選是非常重要的，如選用 (8kb/s 聲音codec)可將總端到端延遲降到大約 85ms。非標準音頻格式可以同標準 codec 以相同的方式使用。例如，建議的 聲音 /數(shù)據(jù) modem 23 調(diào)制可將端到端聲音延遲減少大約 60ms ,可以作為一種非標準使用。其他可選的 音頻模式也可以同 一起使用，如即將推出的16kbpsITUT 帶寬（ 7kHz） codec，提供的音頻質(zhì)量比傳統(tǒng)電話線高的多。 視頻壓縮是多媒體應用中的核心技術(shù)， ITUT 推出的低碼率視頻壓縮標準對推動可視話的發(fā)展和實用化起到了重要的促進作用。 H261是 ITUT 推出的第一個低碼率視頻壓縮準，碼率為 p x64kbit/s，其中 p=130，圖像格為 CIF 和 QCIF。 壓縮編碼算法的基本思是利用預測編碼減少時間冗余度，利用變換編減少空間冗余度。算法主要由運動估計、運 動償、 DCT 變換、量化和霍夫曼編碼構(gòu)成。每幀圖像分成圖像層、宏塊組 (GOB)層、宏塊 (MB) 層、塊 (Block)層共 4 個層次來處理，分為 I 幀和 P 幀。后來推出的 , 標準繼承了 的基本思想，在 的基礎(chǔ)上提出了一些改進。與 相比， 在以下幾個方面做出了改進 :更多的圖像格式、半像素運動估計、不同的 GOB 結(jié)構(gòu)、四個可選模式、減少的頭信息開銷、采用不同的 VLC 表等。在相同的圖像質(zhì)量下，因為 在運動估計及編碼方面的改進， 編碼后的碼率大約比 低 30%。為進一步提高 的編碼效率和抗誤碼性能， ITUT 在 的基礎(chǔ)上，增加了一些選項，修改后的版本被稱之為 +, ++。目前 是可視電話中應用的最廣泛的視頻壓縮標準。 2020 年， ITUT通過了一個新的視頻編碼標準，即 標準。 與 相比 24 具有靈活的宏塊和塊的分割方式，運動估計精度進一步提高，可采用1/4 或 1/8 像素精度的運動估計。 和 采用的是 DCT 變換，而 DCT的整數(shù)變換。在相同的重建圖像質(zhì)量下， 50% 。 ，計算復雜度也大大增加。據(jù)估計，編碼的計算復雜度大約相當于 的三倍，解碼復雜度大約相當于 的兩倍。隨著 DSP 芯片處理能力的進一步提高， 在可視電話等多媒體通信中必將得到越來越 廣泛的應用。 視頻系統(tǒng)中的關(guān)鍵技術(shù) : 視頻比特率控制 視頻比特率控制的目的是通過編碼參數(shù)的動態(tài)調(diào)節(jié)，使可變速率視頻編碼器的輸出比特率盡可能接近額定的固定比特率，從而充分的利用線路帶寬，呈現(xiàn)清晰流暢的視頻。比特率控制方案，通常應綜 合圖象序列亞采樣、宏塊級量化系數(shù)調(diào)整、編碼 模式自適應選擇、運動檢測閥值動態(tài)調(diào)整等技術(shù)，為此應研究精確的比特率控制模型。在比特率調(diào)整時應考慮是采用幀率優(yōu)先還是畫質(zhì)優(yōu)先調(diào)整模式。 信號的預處理與后處理 視頻信號預處理的目的是盡量消除廉價 CCD攝像頭與視頻采集卡組合提供的視頻信號中的噪聲成分，減輕由噪聲引發(fā)的偽運動現(xiàn)象對視頻編碼器的壓力，改進視頻質(zhì)量。視頻信號預處理方案通常包括時間域和空間域上的濾波處理，在空間域上采用幅度受控的中值濾波，在時間域上采用簡單的閥值截斷控制等。 25 采用視頻信號后處理機制的目的是盡量消 除由于分塊量化和運動補償引發(fā)的圖像塊斑現(xiàn)象，改進視頻質(zhì)量。一種解決方案是采用去塊斑濾波器，其濾波強度動態(tài)的自適應于塊斑強度，且在塊斑邊緣處比在圖像塊內(nèi)部更強。 算法的快速實現(xiàn) 可視電話系統(tǒng)的性能不僅受通信帶寬的制約，而且受到系統(tǒng)計算能力的限制。隨著通用 CPU性能的發(fā)展，使得用軟件實現(xiàn)實時視頻編解碼成為可能，其成本與專用硬件相比要低，靈活性則高的多。而且隨著 CPU性能的進一步發(fā)展，采用 Intel公司的 SSE(streaming SIMD extensions),SSE2,IPP(integrated performance primitives)等技術(shù)，軟件的性能也會隨之提高。 實際上，在基于 ，視頻圖像編碼速度一直是影響系統(tǒng)實時性能的瓶頸，而運動估計和 DCT變換等模塊又是視頻編碼算法中運算量最大的模塊。為了降低圖像編碼的運算量，提高編碼速度，人們一直進行著種種努力。一般來說，可以從兩個途徑來解決：一方面研究快速算法，尋找新的方法，比如：快速搜索算法和預先判零技術(shù)的應用等；另一方面，對編碼程序進行指令級優(yōu)化，例如：利用 MMX技術(shù)的并行性進行程序優(yōu)化。 可視電話的視頻編解碼包括兩種： ，其中 ， 。 ITUT為低于 64kbit/s的窄帶通信信道制定的極低碼率 26 視頻編碼標準。該標準是在 ，綜合應用幀間預測去除時間冗余度和 DCT變換編碼去除空間冗余度的混合編碼算法。在 modem可用帶寬的任意子帶寬上， 。 ，優(yōu)先選用 ， ISDN ， 而不需轉(zhuǎn)換視頻格式，否則會產(chǎn)生難以忍受的延遲。 ，但都增強了功能，包括改進的運動補償，使 50%~100%的比特率就可達到與。當 ，這種改進尤為明顯；但 ，與 。 圍更廣的圖像格式。 受比特率、圖像格式、 的影響， 5~15幀 /秒。 ： Video Temporal Spatial Trade Off允許接收端在幀速和圖像分辨率之間進行一定的折衷。 視頻信道使用 AL3，它包括一個 16bitCRC和序列編號，以及用于接收端錯誤視頻數(shù)據(jù)重傳的相關(guān)信息。 既然 （盡管許多應用中由于帶寬所限而無法實現(xiàn)），通過多個視頻邏輯信道可以很容易實現(xiàn)連續(xù)顯示的多點操作，此時，接收端可以用“ Hollywood Squares”方式顯示每個會議點的不同圖像，由接收者安排用于本地顯示的合適信道集。 SQCIF、 QCIF、 CIF、 27 4CIF或者 16CIF的彩色 4:2:0亞取樣圖像。 像素的運動補償，并增加了 4種有效的壓縮編碼模式。 ① GB/T 18119（等效于 ）的規(guī)定。 ② 圖像格式： QCIF為必選項 , CIF和 SQCIF為可選項。 ③ 活動圖像：公共中間格式（ CIF）： 288行 352像素 。 1/4公共中間格式（ QCIF）： 144行 176像素； 子 1/4公共中間格式（ SQCIF）： 96行 128像素。 ④ 圖像幀頻： SQCIF：不小于 15幀 /秒； QCIF：不小于 10幀 /秒； CIF：不小于 3幀 /秒。 ① YD/T 8221996（等效于）的規(guī)定。 ② 圖像格式： QCIF為必選項 , CIF為可選項。 ③ 活動圖像：公共中間格式（ CIF）： 288行 352像素； 1/4公共中間格式（ QCIF）： 144行 176像素。 ④ 圖像幀頻： QCIF：不小于 10幀 /秒； CIF：不小于 3幀 /秒。 28 ，并增加了 4種有效的壓縮編碼模式。 ① 無限制的運動矢量模式 一般運動矢量的范圍都限制在已編碼的參考幀內(nèi)。這種限制，使得對當前幀圖像邊界的宏塊進行運動估計時，由于參考宏塊可能已處于參考幀之外而無法得到最優(yōu)的效果。在 ，允許運動矢量指向圖像以外的區(qū)域。當某一運動矢量所指的參考宏塊位于編碼圖象之外時，就用其邊緣的圖像像素值來代替這個不存在的宏塊。當存在跨邊界的運動時，這種模式能取得很大的編碼增益，特別是對小圖像而言。另外， 這種模式包括了運動矢量范圍的擴展，允許使用更大的運動矢量，這對攝像機運動特別有利。 ② 基于句法的算術(shù)編碼模式 使用算術(shù)編碼代替哈夫曼編碼，由于算術(shù)編碼在符號的概率分布不為 2的冪的情況下也能逼近壓縮的理論極限 符號的熵。因此，可在信噪比和重建圖像質(zhì)量相同的情況下降低碼率。 ③ 先進的預測模式 在一般情況下，每一個宏塊對應一個運動矢量。在先進的預測模式下，一個宏塊中 4