【正文】 區(qū)間的索引用 4 個比特表示 ?如果收到了所有 4 個比特 步長為 Δ ?如果只收到了前 3 個比特 步長為 2Δ ?如果只收到了前 2 個比特 步長為 4Δ 矢量量化 ?主要內(nèi)容 ?基本思想 ?標量量化的不足之處 ? 算法 ?樹結(jié)構(gòu) （ ） ?格型量化（ ） ?網(wǎng)格編碼量化（ , ） 矢量量化 ?矢量量化編碼是近年來圖像、語音信號編碼技術(shù)中采用的一種量化編碼方法。矢量量化編碼方法一般是有失真編碼方法。 ?壓縮符號串比壓縮單個符號在理論上可產(chǎn)生更好的效果 ?如圖像和聲音的相鄰數(shù)據(jù)項都是相關(guān)的 ?矢量量化：量化時不是處理單個信源輸出，而是一次處理一組符號（矢量） ?得到更好的壓縮性能：碼率 /失真更小 矢量量化 ?以圖像編碼為例 查表 搜索距離最近的碼字 非對稱編碼： 編碼：在輸入與碼本匹配過程中需大量計算 解碼：只需查表 矢量量化 —— 碼率 ?碼書（）中共有 K 個碼字（） ?碼字是長度為 L 的矢量 ?則表示碼字索引需 2K 比特 ?假設矢量長度為 L 個樣本，因此碼率（表示每個樣本所需比特）為 ?例：對 256 級的灰度圖像， ?矢量每塊大小為 L = 4 4 ，用 K =1024 個碼字的碼書對圖像進行矢量量化 ?則碼率為 R = [2K] = 10/16 = ?壓縮比為： 8 : = : 1 ?可以通過對碼字索引采用熵編碼技術(shù)得到更高的壓縮比 2l og KRL?????矢量量化 —— 失真 ?采用均方誤差作為量化失真度量 ?定義： ?碼書 C，包含 K 個碼字矢量 ?X 與 最近，量化定義為 ? 其中 ?量化區(qū)域（判決邊界）： ? 表示所有可以被 量化的輸入矢量 ? ? ? ? ? ?, , j j iQ X = Y i f f d X Y d X Y i j? ? ? ? ?? ? 21, Liid X Y X Y X x?? ? ? ? ?? ? ? ?? ?: , j j iV = X d X Y d Y i j? ? ? ? ? 當且僅當 矢量量化 ?問題： ?為什么矢量量化 () 比標量量化（）好？ ?怎樣產(chǎn)生碼書？ ?對每個輸入矢量，怎樣找到與其最匹配的碼字？ 不足 優(yōu)勢 ? 若對考慮二者之間的相關(guān)性（例如身高和體重），對 x1, x2 一起量化，則輸出點數(shù)量一樣，但輸出點位于輸入的聚集區(qū)域。 實際中，一個 80英寸身高 40磅體重，或者身高 42英寸體重 200磅的人，很少出現(xiàn)。因此，圖中的均勻量化效率不高。 一個人的身高和體重是相關(guān)的，不再單獨量化，在同樣的量化比特數(shù)時，為輸入提供了更細致的量化。 不足 優(yōu)勢 ?回憶：在量化中，存在兩種誤差（噪聲） ?過載誤差（邊界處） ?顆粒誤差 ?標量量化效率可以繼續(xù)提升，因為 ? 所有碼字分布在立方體內(nèi) ?不能最小化過載誤差 ? 量化區(qū)域通常是立方體 ?不能最小化顆粒誤差 不足 優(yōu)勢 ? 所有碼字分布在立方體內(nèi) ?對大多數(shù)分布都不是最有效的 ?最佳碼字分配應該與 匹配：對典型集合 ( ) 賦予碼字 (1) 的高概率區(qū)域 分布的高概率區(qū)域 ( ) 獨立同分布 一階自回歸 不足 優(yōu)勢 ?即使相鄰樣本間不相關(guān)，矢量量化也表現(xiàn)更好 ?例題：考慮 分布的 8 量化電平的均勻標量量化器，已知 △ =，輸入落入某個區(qū)間的概率為： ?直接擴展到 x x2 軸，得到 2D 輸入的量化器 ? ?? ? ? ?? ?0 , 0 . 3 2 4 2 , 3 , 0 . 0 2 2 5P X P X? ? ? ? ? ? ?各區(qū)間的概率不同，最右上區(qū)域的概率： ? ? ? ?? ?123 , , 3 , 0 . 0 2 2 5 0 . 0 2 2 5 0 . 0 0 0 5P X X? ? ? ? ? ?? ? ? 不足 優(yōu)勢 ?上述最右上區(qū)域概率非常小，幾乎不可能發(fā)生，若將其移到概率最大區(qū)域 —原點附近，得到修正的量化器 : 1 1 . 4 4 1 1 . 7 3d B BS N R d?: 1 1 . 4 4 1 0 . 8S N R d B d B??但如果對標量量化器做類似操作，將 移至原點，則 ? 兩種情況下信源的均方值一樣， 增加了，意味著均方誤差減少。 ? 這種提高是否有意義取決于特定應用，但重要的是通過微小的改變，得到了正面的效果。 ? 改變了中心位置的量化圖案，不再是均勻量化了。 標量 矢量 不足 優(yōu)勢 ? 另一種修正方案，不改變點的位置，而是保留等概線 1| + 2 5Δ 內(nèi)的點： 60 個點 ? 沒有改變等概線內(nèi)部的量化形狀，只改變了量化器的外部邊界。 ? 去掉 64 個點中不滿足條件的 12 個點（圓形標注） ? 增大過載概率 ? 增加 8 個（方形標注）， 塔式 /球形的原型 不足 優(yōu)勢 ? 不是原來 64 個點里面的。 ? 減少過載概率 ? 增大的負載概率 減少的負載概率 ? 總過載概率減小 ? : ? 這樣獲得的好處稱為邊界增益 ? 矢量維數(shù)增加， 過載噪聲進一步減少。 塔式 /球形的原型 不足 優(yōu)勢 ? 的量化區(qū)域通常是立方體 ?對顆粒誤差 ?標量量化：由量化步長決定 ?矢量量化：由量化區(qū)域大小和形狀決定 不足 優(yōu)勢 ? 立方體區(qū)域 . 球形區(qū)域 ? 體積相同時，在所有的形狀中，球形區(qū)域的最大顆粒誤差最小 ? 體積相同時，在所有的形狀中，球形量化區(qū)域的平均顆粒誤差最小 面積： 1 邊長： 1 最大誤差： 面積： 1 半徑 =最大誤差 = 2 2 0 .7 0 7?1 0 .5 6? ?2 0 .1 6 6 7s q u a r e X ??2 0 . 1 5 9c i r c l e X ??0l im 1 . 5 3 d B6c u b e s p h e r eLeM S Q E M S Q E?? ?? 立 方 體 量 化 區(qū) 域 有 的 損 失 算法 ?將標量量化的 算法推廣到矢量量化，所以亦稱為推廣的 算法 ( , ) [, , , 1980]，亦稱為 算法 ?給定訓練集： ?收集的訓練集 ?需有代表性 碼字 聚類邊界 訓練矢量 算法 ?舉例 72 180 65 120 59 119 64 150 65 162 57 88 72 175 44 41 62 114 60 110 56 91 70 172 45 50 45 117 75 117 80 180 訓練樣本集 初始碼書 算法 ? 量化器：給定輸出電平數(shù)目下的最小 量化器 ?對于熵編碼量化器，熵約束量化器設計能夠獲得額外的增益。 ?高分辨率的均勻量化器達到給定熵的最小 。 ?矢量量化：幾個聯(lián)合的信號樣值的量化和編碼。 ?格子 ：多維的均勻量化器 算法 最后的矢量量化器 一次迭代后的矢量量化器 失真： 算法 ?優(yōu)化過程能保證收斂，但可能收斂于局部極小值 ?依賴于初始碼書的選取 ?初始碼書的選取 ?隨機選擇：重復多次，取失真最小的結(jié)果 ?分裂：從一個類開始，每次將失真最大 /數(shù)量最多的類分裂成兩個 ?合并：從 N個類開始，每次將兩個失真最小的類合并 ?空類的問題：去掉空類，并將失真最大 /數(shù)量最多的類分裂成兩個 用于圖像壓縮 ?每塊大小為 L = 4 4，用 K = 16, 64, 256, 1024 個碼字的碼書對圖像進行矢量量化 ?碼率： ? 圖像訓練得到碼書 2l o gR K L? ????原始圖像 算法的缺陷 ?傳輸碼書（ ）： ? 1024, 2, 為編碼內(nèi)容碼率 () 的 3 倍 ?用通用碼書，無需傳碼書，但質(zhì)量可能稍差 ?收集代表性的訓練集 a 16 4 32: 1 64 6 : 1 256 8 16: 1 1024 10 : 1 ? ?2lo gR K L? ????? ? ? ?? ?: 4 4 , 8 , 2 5 6 2 5 6o v e rh e a d K L B n S izeL B n S ize??? ? ? ? ? 用于圖像壓縮 ?碼字中缺少結(jié)構(gòu) ?編碼復雜性高：需要全搜索 ?存儲要求高，碼書指數(shù)增長 ?例： ?目標碼率： R 比特 /樣本 ?每個矢量包含 L 個樣本 (如 4 4 像素一起編碼，則 16) ?碼字索引： 比特 ? 碼書中可能的碼字有 2 個碼字 ?例： ? R = 比特 /樣本， L = 16 個樣本 /矢量 ? 每個碼字索引需 4 比特 ? 碼書中共有 24= 16 個詞條 ? R = 2 比特 /樣本， L = 16 個樣本 /矢量 ? 每個碼字索引需 32 比特 ? 碼書中共有 232 = 40 億個詞條 ?在高碼率下， 不太實用 改進的矢量量化 ?樹結(jié)構(gòu)（）矢量量化 ?搜索快，但存儲量大 ?格型矢量量化 ? ?網(wǎng)格編碼矢量量化 ? （ ） 樹結(jié)構(gòu) ?在碼書組織中引入結(jié)構(gòu)，快速決定哪個部分包含所需輸出矢量（重構(gòu)電平） ?通過搜索一系列小碼書 ?降低搜索復雜性，復雜性線性增長 ?但需要更多存儲（約兩倍）：測試矢量 ( ) 樹結(jié)構(gòu) ?可以通過 等提出的分裂方法實現(xiàn) ?首先將所有訓練集視為一個類，計算類中心（均值）作為測試矢量和輸出水平 ?將一個類分裂成兩個子類，子類中心為將原父中心的均值分別 一個擾動 ? 算法中也是采用類似分裂方法解決初值問題 ?其他：剪枝 ?碼書減小 碼率減小 ?但失真可能增大 格型 ?在前面的討論中，我們知道球形量化區(qū)域是最佳的（顆粒噪聲最?。? ?但球形填充（）要么有重疊，要么有空洞 ?需要找到某種高效的量化區(qū)域結(jié)構(gòu)化碼字，以近似球體并填滿球體 ?結(jié)構(gòu)化：省存儲 /計算量小 有規(guī)律 格型 ?球體：顆粒誤差最小 ?：令 為 L維線性獨立的 L維矢量，集合 ? 中 為整數(shù)，則集合為一個 ? ?12, , ..., La a a