【文章內(nèi)容簡介】 ???~根據(jù)概率密度函數(shù)查相應的標準表 測試出， x~的均值 ? ，標準差x? ，及概率密度函數(shù) ? ?xp~ LloydMax 標量量化器 ?當信號 x 的概率密度函數(shù) p(x) 在整個范圍內(nèi)是均勻分布時，即 p(x) 為某個常數(shù) c 時，上述 LloydMax 最佳均方量化器變?yōu)榫鶆蛄炕?，其輸出的量化電平為? 1112211111()()2()()2()()0,iiiiiixxiixxi xi i i iixixxxp x dx c xdxyc x x x xp x dx i 1,xx ..., L 1????????? ? ????? ? ????LloydMax 標量量化器 11 ()2i i ix y y i 1, 2, ..., L 1?? ? ? ?? 判決電平 仍為：（ 在輸入?yún)^(qū)間上等間隔分布 ） 表明：對于均勻分布，均勻量化是最佳量化器 對應輸入信號區(qū)間 (xi1， xi）的中值，換言之，量化電平是判決電平 xi1 和 xi 的算術平均值。 量化電平是等間隔分布的。 熵約束標量量化器 ?LloydMax 量化器是對固定碼率編碼的優(yōu)化，對于變字長（變碼率）編碼，怎樣做更好？ ?量化的三個部分 ? 選擇判決邊界 ? 選擇重構電平（量化電平） ? 選擇碼字 ?前面討論的：給定 L 個重構水平， 以均方量化誤差 (MSQE)最小來衡量量化器的性能 ，所有區(qū)間用固定碼率編碼： log2L 比特 。 熵約束標量量化器 ?現(xiàn)在討論另一個問題： 用碼率 R (bit/sample） 或者“熵”衡量量化器的性能 ?考慮判決的選擇會影響碼率，重新設計量化器（ 熵約束量化器 ）。 ?采用同樣設計的量化器 (LloydMax量化器 )，對索引用變長碼編碼。 熵約束標量量化器 ?對 LloydMax 量化器的輸出進行熵編碼 Number of Levels 定長碼 (bit) Gaussian Laplacian Uniform NonUniform Uniform NonUniform 4 2 6 8 3 16 4 32 5 Output entropies in bits per samples for minium mean squared error quantizes 熵約束標量量化器 ? 低碼率情況下，定長碼與熵編碼之間的差異并不大 ? 高碼率情況下，定長碼與熵編碼之間的差異增大 ? Laplacian分布的 32電平均勻量化器，定長碼需 5 比特，熵編碼只需 比特 ? 定長碼與均勻量化輸出熵編碼之間的差異 大于 定長碼與非均勻量化輸出熵編碼之間的差異 ? 非均勻量化器在大概率區(qū)域步長小，在小概率區(qū)域步長大 ? 使得每個區(qū)間的概率相近 ?增大 非均勻量化輸出的熵 ? 分布越接近均勻分布，上述差異越小。 熵約束標量量化器 ?熵約束標量量化器 Entropyconstrained Scalar quantizer, ECSQ ? 用量化器輸出的熵作為碼率的度量 ? 對量化索引用熵編碼技術編碼 ? 量化器輸出的熵定義為 ? 所以重構電平 yi 的選擇不影響碼率 ? 但 判決邊界 xi 既影響失真，也影響碼率，因此 需要引入一個參數(shù) λ 熵約束標量量化器 ? 均方量化誤差 MSQE P. A. Chou, T. Lookabaugh, R. M. Gray, ―Entropyconstrained vector quantization,‖ IEEE Trans. Signal Processing, vol. 37, no. 1, pp. 3142, Jan 1989 熵約束標量量化器 ?給定碼率限制 H(Q)≤R0，求得 {xi}, {yi} 和二進制碼字，使 Lagrange 代價函數(shù)最?。? ? 太復雜，不能直接求解 ? 用迭代法求解 熵約束標量量化器 ?在最小化 J(λ) 中 λ 的作用 : ? 較大的 λ ? H(Q) 的權重更大 ? ?只保留較小的熵 ? ? H(Q) 隨著 λ的增加減小 ? ?可以用二分法求解最佳的 λ ，使得 H(Q)=R H(Q) 熵約束標量量化器 ?ECSQ 算法（二重循環(huán)） λ≥ 0（外層循環(huán)，控制碼率 H(Q)） yi， j=0， D0=∞ （里層循環(huán)，控制失真 D） ： yi ： pi ： MSE： ，轉第 8步；否則 j=j+1，轉第 3步 ，調(diào)整 λ ，轉第 2步 11()j j jD D D ?????1()iixi xp p x d x?? ?? ?1l o g [ , ]M iiiH Q p p R R??? ? ? ??11()()iiiixxi xxx p x d xyp x d x??? ??? ? ? ?121iiL xjixiD x y p x d x????? ?111l og l og22 ()iiiiiiippyyyyx ? ???????熵約束標量量化器 ?ECSQ 算法的應用 (I) ? x 是均值為 0，方差為 1 的高斯分布，即 x~N(0, 1) ? 設計一個 R≡2 的 ECSQ，使得期望失真 D* 最小 ? 11 個區(qū)間（ [6， 6] 內(nèi)）：幾乎是均勻 ? 定長編碼： 熵約束標量量化器 初始化 A：初始化為 15個均勻區(qū)間 初始化 A：初始化為 4個均勻區(qū)間 熵約束標量量化器 ?ECSQ 算法的應用 (II) ? x 是均值為 0，方差為 1 的 Laplacian 分布 ? 設計一個 R≡2 的 ECSQ ，使得期望失真 D* 最小 ? 21 個區(qū)間（ [10， 10] 內(nèi)），幾乎是均勻的 熵約束標量量化器 初始化 A：初始化為 25個均勻區(qū)間 初始化 A：初始化為 4個均勻區(qū)間 高碼率下 ECSQ 的性能 ?對 MSQE 失真和高碼率（高分辨率），均勻量化器（緊跟熵編碼）是最佳的 [Gish, Pierce, 1968] H. Gish and J. N. Pierce, ―Asymptotically. efficient quantizing,‖ IEEE Trans. Inform. Theory,. vol. IT14, pp. 676683, Sept. 1968. 高碼率下 ECSQ 的性能 ?碼率為 ?失真 碼率函數(shù)為 ? 是 Shannon下界 的 ，即 ? ? ? ? ? ?2 22 2 2m a x2 11 221 2 1 23 hX Rq xD R R L? ?? ? ? ? ?? ? ? ?2 21 222 hX RDR e? ?? 6e?101 0 l o g 1 .5 3 6e dB? ?? 高碼率的均勻 ECSQ量化器的 SNR 與 Shannon 下界 差 （對任何平滑 pdf） ? ? ? ? ? ?? ? ? ?m ax2l= l og loog g 2 h X RR H Q p x p x dxXxhL???? ? ?? ? ? ????????高碼率下 ECSQ 的性能 ? ? ? ?2 21 2212 hX RDR ??相同碼率 R 下， ECSQ 的失真比 LloydMax 量化器更小 ?Gaussian 信源的量化器 熵約束標量量化器 ?高碼率下 LloydMax量化器失真 —碼率函數(shù)： ? ? 2 2 22 RXDR ?? ??? ? ? ?2 21 2212 hX RDR ??? 縮放因子 ε2 的數(shù)值 ? 均勻 1 ? Laplacian 9/2 = ? gaussian √(3π)/2 = 高碼率下 ECSQ 的失真率函數(shù) 自適應量化器 ?思想 ? 不是靜態(tài)方法，而是與真實數(shù)據(jù)相適應 ? 均值、方差、 pdf ?前向自適應 (離線 ) ? 將信源分塊 ? 分析塊的統(tǒng)計特性 ? 設置量化方案 ? 邊信道 （ Side channel） ?后向自適應 (在線 ) ? 基于量化器輸出自適應 ? 無需邊信道 前向自適應量化器（ FAQ ） ?選擇塊大?。?折中 ? 太大 ? 分辨率不夠，不能抓住輸入的變化 ? 延遲增大 ? 太小 ? 需要傳輸更多的邊信息 ?假設均值為 0 ? 方差估計 ?FAQ 問題： ? 需要緩存分析統(tǒng)計特性，造成延時 ? 邊信息的同步 前向自適應量化器（ FAQ ） ?例：語音量化 ? 16 比特 ? 3 比特定長碼 男聲 “ test” 前向自適應量化器（ FAQ ） ?例：語音量化 （ 2） ? 16 比特 ? 3 比特 FAQ ? 塊大?。?128 個樣本 ? 8 比特方差量化 失真較小 紅色區(qū)域還有提升空間 前向自適應量化器（ FAQ ） ?迄今為止，我們假設均勻 pdf ?改進 ? 假設均勻 pdf，但 ? 記錄每塊的最大 /最小值 ?例： Sena圖像 ? 8 8 塊 ? 每個像素 3 比特量化 ? 每個塊中邊信息最大值 /最小值各用 8bit 表示，則每個像素平均為 ? 每個像素共： ? 和原始圖像幾乎難以區(qū)別 ?對于高碼率，前向自適應量化是個非常好的選擇 16 0 .2 5 b its/p ix e l88 ??原始圖像： 8bits/pixel 量化： bits/pixel 后向自適應量化器（ BAQ ） ?觀察 ? 解碼器只能看到 量化器的 輸出 ? 只能根據(jù)量化器輸出進行自適應 ?問題 ? 只根據(jù)輸出，如何減少不匹配信息 ? 如果知道 pdf，這是可能的 … ? … 耐心： 觀察長時間 的量化器輸出，推測是否發(fā)生了不匹配現(xiàn)象 ? 如果匹配，落入某區(qū)間的概率與預定的 pdf 一致，否則，發(fā)生了不匹配現(xiàn)象。 ? 失配時，如果步長比應有的步長小，輸入落入外側區(qū)間的數(shù)目偏大；相反，輸入落入內(nèi)側區(qū)間的數(shù)目偏大。 后向自適應量化器（ BAQ ） ?Jayant 量化器 ? 不需要觀察長時間的量化器輸出，在觀察單個輸出后就可調(diào)整量化步長， Jayant 稱之為“ quantization with one word memory‖。 嵌入式量化器 ?動機：可伸縮（ scalable）解碼 ? 隨著比特流的解碼，漸近地精化重構數(shù)據(jù) ? 對低帶寬有用 ? 是 JPEG2023 的一個關鍵特征 ?嵌入式量化：低碼率器的區(qū)間被再分割，以產(chǎn)生更高碼率的量化器 ?可以通過截斷量化索引獲得較粗糙的量化 嵌入式量化器 ?例 1：均勻量化器 嵌入式量化器 ?例 2： Deadzone quantizer ? 假設 deadzone 量化器的量化區(qū)間的索引用 4 個比特表示 ? 如果收到了所有