【正文】 ? ? ? ? :R:C? 隨機(jī)變量 x 的映射變換 ? ? ? ?? ?? ?? ?iiiiiiiiiyxQRxRLixxxixRLixLiyLiyCLiRRCRQ??????????????。 ?量化誤差 (噪聲）是數(shù)字小信號(hào)失真的主要來(lái)源。我們下面的討論都基于廣泛使用的均方誤差準(zhǔn)則。 ? 人眼視覺(jué)對(duì)圖像中變化不大、較為均勻的區(qū)域（低頻）比較敏感，而對(duì)細(xì)節(jié)（高頻）部分的敏感程度相對(duì)較弱。 ? 假設(shè)輸入隨機(jī)信號(hào)零均值、對(duì)稱量化器，則該均勻量化器的噪聲 D 為： 非均勻量化 ?非均勻量化的目的 提高 小信號(hào)的輸出信號(hào)量噪比。 非均勻量化 ? A壓縮 律 （ A律 ） ? 壓縮規(guī)律： ???????????????11,ln1ln110,ln1xAAAxAxAAxyA壓縮率 我國(guó)大陸： A = x y 1 1 1 1 0 A=1 A= 1/A 非均勻量化 ? 13折線壓縮特性 － A律的近似 y x 1 1/2 1/4 1/8 1/16 1/32 1/64 1/128 1 7/8 6/8 5/8 4/8 3/8 2/8 1/8 1/4 8 1/2 7 1 6 2 5 4 4 8 3 16 2 16 1 斜率 段號(hào) 各段斜率 1 2 3 4 5 6 7 8 A= A律壓縮特性 非均勻量化 ? A= A律 與 13折線壓縮特性比較 y x 1 8 2 8 3 8 4 8 5 8 6 8 7 8 1 按 A=得 x 1 128 1 1 1 1 1 1 1 按 13折線關(guān)系求得 x 1 128 1 64 1 32 1 16 1 8 1 4 1 2 1 非均勻量化 ? ?壓縮律 ? 壓縮規(guī)律： x y 0 ?=0 30 100 200 y x 0 ?=0 30 壓縮特性 擴(kuò)張?zhí)匦? 100 200 非均勻量化 ? 15折線壓縮特性 － ?律的近似 2551225512562551256 8/ ?????? iiyxi 0 1 2 3 4 5 6 7 8 y = i/8 0 1/8 2/8 3/8 4/8 5/8 6/8 7/8 1 x=(2i 1) / 255 0 1/255 3/255 7/255 15/255 31/255 63/255 127/255 1 斜率 ? 255 1/8 1/16 1/32 1/64 1/128 1/256 1/512 1/1024 段號(hào) 1 2 3 4 5 6 7 8 非均勻量化 ? 15折線壓縮特性 非均勻量化 ? 15折線壓縮特性 與 13折線壓縮特性比較 ? 15折線特性第一段的斜率（ 255/8）大約是 13折 線特性第一段斜率（ 16）的兩倍， 15折線特性 給出的小信號(hào)的信號(hào)量噪比約是 13折線特性的 兩倍 。 Max 1960） ? L1 個(gè)判決電平 (門限 )精確地位于輸出電平之間的中點(diǎn) →最近鄰 12iiiyyx i 1, 2, ..., L 1??? ? ?? L 個(gè) 輸出量化電平位于 pdf 函數(shù)在兩個(gè)連續(xù)判決門限之間的 質(zhì)心 ? ?? ?110,iiiixxi xxxp x dxy i 1, ..., M 1p x dx??? ? ???LloydMax 標(biāo)量量化器 證明： ?根據(jù)量化失真度量公式，得 ? ? ? ? ? ? ? ?? ? ? ? ? ?121 0 1112221122()iiiLL x x xix x xixxiLD x y p x dx x y p x dxx y p x dx x y p x dx??????? ? ? ? ? ?? ? ? ? ?? ? ? ???LloydMax 標(biāo)量量化器 ?現(xiàn)在要對(duì)此多元方程求 D 的極小值，根據(jù)拉格郎日極值定理，分別對(duì) xi 及 yi 求偏導(dǎo)，并使之為 0，得： LloydMax 標(biāo)量量化器 ?求解上述方程得： LloydMax 標(biāo)量量化器 ?最佳均方量化器的三個(gè)主要特點(diǎn)： ?設(shè) y=Q(x) ，量化誤差 ε= yx = Q(x) –x ，則 Q ( x )x ?x ??yy ??① 量化誤差的均值為 0，量化誤差無(wú)直流分量 [ ] 0E ? ?② 量化誤差和重建信號(hào)不相關(guān)，正交 [ ( ) ] 0E Q x ???③ 方差為輸入輸出信號(hào)方差的差值，方差減少 ? ?2 2 2 2xy?? ? ? ?? ? ?LloydMax 標(biāo)量量化器 ?說(shuō)明： （ 1） E[ε]=0，量化誤差沒(méi)有直流分量。 （ 3） E[ε2]=σε2 = σx2 σy2 ，做數(shù)學(xué)代換得到 。 LloydMax 迭代算法的具體步驟如下： ? ?? ?? ? ? ?步繼續(xù)運(yùn)算。 但是由于輸入方差小 ，SNR中的信號(hào) /噪聲比率減小很快 。 在某些情況可以直接套用 。 熵約束標(biāo)量量化器 ?LloydMax 量化器是對(duì)固定碼率編碼的優(yōu)化，對(duì)于變字長(zhǎng)（變碼率）編碼，怎樣做更好？ ?量化的三個(gè)部分 ? 選擇判決邊界 ? 選擇重構(gòu)電平（量化電平） ? 選擇碼字 ?前面討論的：給定 L 個(gè)重構(gòu)水平， 以均方量化誤差 (MSQE)最小來(lái)衡量量化器的性能 ，所有區(qū)間用固定碼率編碼： log2L 比特 。 熵約束標(biāo)量量化器 ?熵約束標(biāo)量量化器 Entropyconstrained Scalar quantizer, ECSQ ? 用量化器輸出的熵作為碼率的度量 ? 對(duì)量化索引用熵編碼技術(shù)編碼 ? 量化器輸出的熵定義為 ? 所以重構(gòu)電平 yi 的選擇不影響碼率 ? 但 判決邊界 xi 既影響失真，也影響碼率，因此 需要引入一個(gè)參數(shù) λ 熵約束標(biāo)量量化器 ? 均方量化誤差 MSQE P. A. Chou, T. Lookabaugh, R. M. Gray, ―Entropyconstrained vector quantization,‖ IEEE Trans. Signal Processing, vol. 37, no. 1, pp. 3142, Jan 1989 熵約束標(biāo)量量化器 ?給定碼率限制 H(Q)≤R0，求得 {xi}, {yi} 和二進(jìn)制碼字，使 Lagrange 代價(jià)函數(shù)最小： ? 太復(fù)雜，不能直接求解 ? 用迭代法求解 熵約束標(biāo)量量化器 ?在最小化 J(λ) 中 λ 的作用 : ? 較大的 λ ? H(Q) 的權(quán)重更大 ? ?只保留較小的熵 ? ? H(Q) 隨著 λ的增加減小 ? ?可以用二分法求解最佳的 λ ，使得 H(Q)=R H(Q) 熵約束標(biāo)量量化器 ?ECSQ 算法（二重循環(huán)） λ≥ 0（外層循環(huán)，控制碼率 H(Q)） yi， j=0， D0=∞ （里層循環(huán)，控制失真 D） ： yi ： pi ： MSE： ，轉(zhuǎn)第 8步；否則 j=j+1，轉(zhuǎn)第 3步 ，調(diào)整 λ ，轉(zhuǎn)第 2步 11()j j jD D D ?????1()iixi xp p x d x?? ?? ?1l o g [ , ]M iiiH Q p p R R??? ? ? ??11()()iiiixxi xxx p x d xyp x d x??? ??? ? ? ?121iiL xjixiD x y p x d x????? ?111l og l og22 ()iiiiiiippyyyyx ? ???????熵約束標(biāo)量量化器 ?ECSQ 算法的應(yīng)用 (I) ? x 是均值為 0，方差為 1 的高斯分布，即 x~N(0, 1) ? 設(shè)計(jì)一個(gè) R≡2 的 ECSQ，使得期望失真 D* 最小 ? 11 個(gè)區(qū)間（ [6， 6] 內(nèi)）：幾乎是均勻 ? 定長(zhǎng)編碼： 熵約束標(biāo)量量化器 初始化 A：初始化為 15個(gè)均勻區(qū)間 初始化 A：初始化為 4個(gè)均勻區(qū)間 熵約束標(biāo)量量化器 ?ECSQ 算法的應(yīng)用 (II) ? x 是均值為 0，方差為 1 的 Laplacian 分布 ? 設(shè)計(jì)一個(gè) R≡2 的 ECSQ ，使得期望失真 D* 最小 ? 21 個(gè)區(qū)間（ [10， 10] 內(nèi)），幾乎是均勻的 熵約束標(biāo)量量化器 初始化 A：初始化為 25個(gè)均勻區(qū)間 初始化 A：初始化為 4個(gè)均勻區(qū)間 高碼率下 ECSQ 的性能 ?對(duì) MSQE 失真和高碼率（高分辨率），均勻量化器（緊跟熵編碼）是最佳的 [Gish, Pierce, 1968] H. Gish and J. N. Pierce, ―Asymptotically. efficient quantizing,‖ IEEE Trans. Inform. Theory,. vol. IT14, pp. 676683, Sept. 1968. 高碼率下 ECSQ 的性能 ?碼率為 ?失真 碼率函數(shù)為 ? 是 Shannon下界 的 ，即 ? ? ? ? ? ?2 22 2 2m a x2 11 221 2 1 23 hX Rq xD R R L? ?? ? ? ? ?? ? ? ?2 21 222 hX RDR e? ?? 6e?101 0 l o g 1 .5 3 6e dB? ?? 高碼率的均勻 ECSQ量化器的 SNR 與 Shannon 下界 差 （對(duì)任何平滑 pdf） ? ? ? ? ? ?? ? ? ?m ax2l= l og loog g 2 h X RR H Q p x p x dxXxhL???? ? ?? ? ? ????????高碼率下 ECSQ 的性能 ? ? ? ?2 21 2212 hX RDR ??相同碼率 R 下， ECSQ 的失真比 LloydMax 量化器更小 ?Gaussian 信源的量化器 熵約束標(biāo)量量化器 ?高碼率下 LloydMax量化器失真 —碼率函數(shù)： ? ? 2 2 22 RXDR ?? ??? ? ? ?2 21 2212 hX RDR ??? 縮放因子 ε2 的數(shù)值 ? 均勻 1