【正文】 出一個包含了人臉可能產生的全部基本動作（即 AU）的集合，而 AU是無編碼器 已提取的模型參數(shù) 圖像分析 圖像輸入 圖像傳輸或存儲 模型 解碼器 圖像綜合 圖像輸入 已量化的模型參數(shù) 17 法分成更小動作的最小動作。把許多 AU按照不同的組合方式一起發(fā)生，就形成了臉上的豐富表情。 下面以視頻電話為例說 明。在開始通信時，首先把雙方的基本特征（例如 3D 模型、臉 部的表面紋理等）傳輸?shù)綄Ψ?，建立一個與特定人臉匹配的 3D 模型。接下來，隨著頭部的運動和表情的變化，發(fā)送端抽取頭部的運動參數(shù)和臉部的表情參數(shù)，編碼后傳送到對方；接收端根據(jù)已知的 3D 模型和接收到的各種參數(shù)，用圖像綜合技術獲得重建圖像。系統(tǒng)的關鍵技術是：人物頭、臉及肩部（簡稱人臉） 3D 模型的建立；運動參數(shù)和表情參數(shù)的估計；圖像綜合。 為了使已建立的人臉 3D模型如同真實人臉一樣 “ 動 ” 起來，必須根據(jù)先驗知識對臉部進行分析，提取有關的頭部特征參數(shù)及運動狀態(tài)參數(shù)?；?于語義常用的人臉部模型見圖 ， 圖 基于語義編碼常用的 3D人臉模型（ Candide模型） 因此，基于語義圖像編碼還不能適合于所有的視頻圖像信號。在大多數(shù)的情況下，視頻圖像信號所表現(xiàn)的自然界是多種多樣的，夠造不出比較合適的模型來表現(xiàn)。目前，基于模型法還是多應用于特定的場合，如上述的視頻電話。 二、 基于物體編碼 德國 Hannover 大學的 Mu man教授在 1989年提出的基于物體 (objectbased或 object oriented)圖像編碼是針對未知物體的，需要實時構造物體的模型（沒 有先驗知識的）?；谖矬w編碼不采用顯示模型，適用于處理更一般的已知或未知的物體，因此預期有更廣泛的應用前景。 處理時，首先運用圖像分析技術，對景物進行分層次的描述，將物體與背景分割出來。對于分割后得到的每個實際三維物體，分別用一個物體模型來描述，并用該模型物體在二 18 維圖像平面上的投影（模型圖像）來逼近真實圖像?；谖矬w編碼只追求最終模型能與輸入圖像一致，不要求模型物體與真實物體的形狀嚴格一致。因此，假設模型是一個具有一般意義的模型，它既可以是二維的，也可以是三維的。每個分割出來的實際運動物體，用運動參數(shù)集、形 狀參數(shù)集和色彩參數(shù)集進行描述，然后再對這三個參數(shù)集進行編碼與傳送。根據(jù)所假設的物體模型不同，參數(shù)集會有些變化?，F(xiàn)在基于物體編碼所用的模型有 4種： 2D剛體模型， 2D柔體模型， 3D剛體模型， 3D柔體模型。 對于活動圖像的基于物體編碼系統(tǒng)的核心技術是景物的分層次描述、運動估值和運動分割。從原理上講，因無需模式識別與先驗知識，且不受可視電話中頭肩圖像那樣的限制，對于圖像分析要簡單得多，因而有更廣泛的應用前景。但因未能充分利用景物的知識，或只能在低層次上運用物體知識，編碼效率不如基于語義方法。因此應根據(jù)實際需要來決定具體選用哪一類方法。 目前，基于模型編碼進一步的研究方向是把基于物體編碼與基于語義編碼等結合起來，取長補短。 第四節(jié) 分形編碼 一、分形編碼的思路 1988年 1月 ，美國 Geia理工學院的 BYTE發(fā)表了分形壓縮方法。分形編碼法 （ Fractal Coding） 的目的是發(fā)掘自然物體（比如天空、云霧、森林等）在結構上的自相似形，這種自相似形是圖像整體與局部相關性的表現(xiàn)。分形壓縮正是利用了分形幾何中的自相似的原理來實現(xiàn)的。首先對圖像進行分塊，然后再去尋找各塊之間的相似形，這里 相似形的描述主要是依靠仿射變換確定的。一旦找到了每塊的仿射變換，就保存下這個仿射變換的系數(shù)，由于每塊的數(shù)據(jù)量遠大于仿射變換的系數(shù)，因而圖像得以大幅度的壓縮。分形編碼以其獨特新穎的思想，成為目前數(shù)據(jù)壓縮領域的研究熱點之一。分形編碼、基于模型編碼與經典圖像編碼方法相比，在思想和思維上有了很大的突破，理論上的壓縮比可超出經典編碼方法兩三個數(shù)量級。 19 二、分形編碼的方法和步驟 以平面點集合與圖像為例，迭代函數(shù) [20]系統(tǒng)壓縮編碼大致步驟為： ① 圖像分割： 首先將原圖（集合 X或圖像）預分割（或預分解）為若干分形子圖 X(m) (m=1， 2， … ， M)，使得每一個子圖 X(m)具有一定的分形結構，及其局部與整體之間保持某種相似特征。而這種子圖分割可以是空間域分割，也可以是頻率域或其他空間域分割。在總圖像的分割中，常常把同類或者相近的物體放在同一子圖中，而把不同的景物，如山脈、河流、沙漠、云霧、森林、草地等，分別置于不同的子圖中。 ② 提取迭代函數(shù)系統(tǒng)（ IFS）代碼：在分割完分形子圖 X(m)之后，對每一個分形子圖提取 IFS代碼，其方法是：將子圖 X(m)置于計算機屏幕上，利用人機對話方式，對 X(m)進行壓縮處理（可伸縮、平移、旋轉 和仿射等），生成 X(m)的一個仿射圖 X(m)j，這個仿射圖應該覆蓋原始子圖 X(m)的一部分。于是可得所謂仿射變換 )(mj? ： X(m) X(m)j即通過仿射變換)(mj?，由子圖 X(m)生成 X(m)的仿射圖 X(m)j。 ③ 對 IFS代碼進行編碼 ： 獲得了原圖的 IFS代碼之后，可按子圖 X(m)或仿射圖 X(m)j的預測加權，用常規(guī)編碼方法對 IFS代碼進行編碼。 三、分 形編碼的特點 分形編碼的最顯著的特點是自相似性（ selfsimilarity）。與經典方法相比，它不但去除了數(shù)據(jù)之間局部的相關性，而且去除整體與局部之間的相關性，所以有望達到經典編碼方法所達不到的壓縮比，是一種思想全新、很有潛力的編碼技術。分形編碼的主要特點有： 分形編碼的圖像壓縮比經典編碼方法的壓縮比高出許多；由于分形編碼可把圖像劃分成大得多、形狀復雜得多的區(qū)分，故壓縮所得的文件的大小不會隨著圖像像素數(shù)目的增加即分辯率的提高而變大。而且，分形壓縮還能依據(jù)壓縮時確定的分形模型 ， 給出高分辨率的清晰的邊緣線， 而不是將其作為高頻分量加以抑制；分形壓縮和解壓縮不對稱，壓縮較慢，而解壓縮很快。這是由于對每塊確定仿射變換時，要對整幅圖像進行相似性搜索，因而較慢。而恢復時只需簡單的反復疊代過程，因而較快。 20 第五節(jié) 其它編碼 一、子帶編碼 子帶編碼（ SBC， Sunband Coding）是一種在頻率域中進行數(shù)據(jù)壓縮的方法。在子帶編碼中，首先用一組帶通濾波器將輸入信號分成若干個在不同頻段上的子帶信號，然后將這些子帶信號經過頻率搬移轉變成基帶信號，再對它們在奈奎斯特速率上分別重新取樣。取樣后的信號經過量化編碼 ，并合并成一個總的碼流傳送給接收端。在接收端，首先把碼流分成與原來的各子帶信號相對應的子帶碼流，然后解碼、將頻譜搬移至原來的位置，最后經帶通濾波、相加，得到重建的信號。圖 、解碼的工作原理圖。 (a) 編碼器 (b) 解碼器 圖 子帶編碼、解碼工作原理圖 在子帶編碼中，若各個子帶的帶寬 ΔWk是相同的，則稱為等帶寬子帶編碼，否則，稱為變帶寬子帶編碼。對每個子帶分別編碼的好處是： 分 接 譯碼 譯碼 譯碼 頻率搬移 頻率搬移 頻率搬移 帶通濾波 帶通濾波 帶通濾波 ? 1W? 2 Wm? 1fs 2fs fsm 頻率搬移 頻率搬移 頻率搬移 量化編碼 量化編碼 量化編碼 帶通濾波 帶通濾波 帶通濾波 Wm? 2W? 121s WF ?? 221s WF ?? WmF ??22s 復 用 1? 21 可以利用人耳（或人眼）對不同頻率信號的感知靈敏度不同的特性，在人的 聽覺（或視覺）不敏感的頻段采用較粗糙的量化，從而達到數(shù)據(jù)壓縮的目的。例如，在聲音低頻子帶中，為了保護音調和共振峰的結構，就要求用較小的量化階、較多的量化級數(shù)，即分配較多的比特數(shù)來表示樣本值。而話音中的摩擦音和類似噪聲的聲音，通常出現(xiàn)在高頻子帶中，對它分配較少的比特數(shù)。 各個子帶的量化噪聲都束縛在本子帶內，這就可以避免能量較小的頻帶內的信號被其他頻帶中量化噪聲所掩蓋。 通過頻帶分裂，各個子帶的取樣頻率可以成倍下降。例如，若分成頻譜面積相同的 N個子帶，則每個子帶的取樣頻率可以降為原始信號取樣頻率的 1/N，因而可 以減少硬件實現(xiàn)的難度，并便于并行處理。 1976年子帶編碼技術首次被美國貝爾實驗室的 R. E. Crochiere等人應用于語音編碼。 二、矢量量化編碼 矢量量化編碼也是在圖像、語音信號編碼技術中研究得較多的新型量化編碼方法，它的出現(xiàn)并不僅僅是作為量化器設計而提出的，更多的是將它作為壓縮編碼方法來研究的。在傳統(tǒng)的預測和變換編碼中，首先將信號經某種映射變換變成一個數(shù)的序列，然后對其一個一個地進行標量量化編碼。而在矢量量化編碼中，則是把輸入數(shù)據(jù)幾個一組地分成許多組，成組地量化編碼，即將這些數(shù)看成一個 k維矢量， 然后以矢量為單位逐個矢量進行量化。矢量量化是一種限失真編碼，其原理仍可用信息論中的率失真函數(shù)理論來分析。而率失真理論指出，即使對無記憶信源，矢量量化編碼也總是優(yōu)于標量量化。圖 編碼的原理框圖。 圖 矢量量化編碼原理框圖 圖 k維矢量，該矢量原則上既可以是原始圖像，也可以是圖像的預測誤差或變換矩陣系數(shù)的分塊 （ 或稱分組 ） 。碼本 C是一個 k維矢量的集合，即 C={Yi}，i=1， 2， … ， N，它實際上是一個長度為 N的表，每個表的每個分量是一個 k維矢量，稱為搜索 傳輸矢量下標 信道 查表 輸入矢量 回本 回本 輸出矢量 22 碼字。 矢量編碼的過程就是在碼本 C中 ， 搜索一個與輸入矢量最接近的碼字。衡量兩個矢量之間接近程度的度量標準可以用均方誤差準則： ?? ?? kj ijji yxYXd 1 2)(),( （ ） 也可以用其他準則，如： ?? ?? kj ijji yxYXd 1),( （ ） 傳輸時，只需傳輸碼字 Yi 的下標 i 在接收端解碼器中，有一個與發(fā)送端相同的碼本 C，根 據(jù)下標 i 可簡單地用查表法找到 Yi 作為對應 X 的近似。當碼本長度為 N 時，為傳輸矢量下 標所需的比特數(shù)為 log2N，平均傳輸每個像素所需的比特數(shù)為（ 1/k） log2N。若 k=16，N=256，則比特率為 ，關鍵是碼本的建立和碼字搜索算法。碼本的生成算法有兩種類型，一種是已知信源分布特性的設計算法；另一種是未知信源分布，但已知信源的一列具有代表性且足夠長的樣點集合 （ 即訓練序列 ） 的設計算法?？梢宰C明，當信源是矢量平衡且遍歷時，若訓練序列充分長則兩種算法是等價的。碼字搜索是矢量量化中 的一個最基本問題，矢量量化過程本身實際上就是一個搜索過程，即搜索出與輸入最為匹配的碼矢。 矢量量化中最常用的搜索方法是全搜索算法和樹搜索算法。全搜索算法與碼本生成算法是基本相同的。在給定速率下其復雜度隨矢量維數(shù) K 以指數(shù)形式增長，全搜索矢量量化器性能好但設備較復雜。樹搜索算法又有二叉樹和多叉樹之分，它們的原理是相同的，但后者的計算量和存儲量都比前者大，性能比前者好。樹搜索的過程是逐步求近似的過程，中間的碼字是起指引路線的作用，其復雜度比全搜索算法顯著減少，搜索速度較快。由于樹搜索并不是從整個碼本中尋找最小失真的 碼字，因此它的量化器并不是最佳的，其量化信噪比低于全搜索。 三、感知編碼 感知編碼將感知知識應用于編碼中。感知編碼已經在聲音編碼中得到了應用。心理聲學模型中一個基本的概念就是聽覺系統(tǒng)中存在一個聽覺閾值，低于這個閾值的聲音信號就聽不到。聽覺閾值的大小隨聲音頻率的改變而改變，各個人的聽覺閾值也不同。大多數(shù)人的聽覺系統(tǒng)對 2kHz～ 5kHz之間的聲音最敏感。一個人是否能聽到聲音取決于聲音的頻率，以及聲音的幅度是否高于這種頻率下的聽覺閾值。顯然，低于聽覺閾值的信號在聲音壓縮時可以去掉。心理聲學模型中的另一個概念是聽 覺掩蔽效應，即一個強的語音信號可以掩 23 蓋一個相鄰的弱信號。例如，同時有兩種頻率的聲音存在，一種是 1000Hz的聲音，另一種是 1100Hz的聲音，但它的強度比前者低 18分貝，在這種情況下， 1100Hz的聲音就聽不到。也許你有這樣的體驗，在一安靜房間里的普通談話可以聽得很清楚，但在播放搖滾樂的環(huán)境下同樣的普通談話就聽不清楚了。聲音壓縮算法也同樣可以根據(jù)這種特性 ， 去掉更多的冗余數(shù)據(jù)。圖 。方框圖的大部分功能都是基于頻域的，因為人的聽覺過程很容易用頻域法理解。感知編碼的主要步驟是：首先將輸 入信號分解為各頻譜元素，再根據(jù)某個心理聽覺閾值和掩蔽門限進行量化編碼，最后生成比特流。聽覺閾值和掩蔽門限的計算 ， 需要對輸入信號進行頻域分解。我們可以采用與量化編碼相同的頻域分解方法，也可用到前面所說的獨立分析方法。方法的選擇要視復雜度和精度而定。 分析濾波部件可以進行正交濾波分解，或者再加上某種離