【正文】 ? ? ? ?小結(jié) ?LloydMax 量化器：給定輸出電平數(shù)目下的最小 MSE 量化器 ?對于熵編碼量化器，熵約束量化器設(shè)計能夠獲得額外的增益。 08:49:4708:49:4708:49Wednesday, March 22, 2023 ? 1乍見翻疑夢，相悲各問年。 08:49:4708:49:4708:493/22/2023 8:49:47 AM ? 1成功就是日復(fù)一日那一點點小小努力的積累。 上午 8時 49分 47秒 上午 8時 49分 08:49: ? 楊柳散和風(fēng)，青山澹吾慮。 2023年 3月 上午 8時 49分 :49March 22, 2023 ? 1業(yè)余生活要有意義，不要越軌。 :49:4708:49:47March 22, 2023 ? 1意志堅強的人能把世界放在手中像泥塊一樣任意揉捏。 2023年 3月 上午 8時 49分 :49March 22, 2023 ? 1少年十五二十時，步行奪得胡馬騎。 上午 8時 49分 47秒 上午 8時 49分 08:49: ? 沒有失敗，只有暫時停止成功！。 08:49:4708:49:4708:493/22/2023 8:49:47 AM ? 1以我獨沈久，愧君相見頻。 ?高分辨率的均勻量化器達到給定熵的最小 MSE。 一個人的身高和體重是相關(guān)的，不再單獨量化，在同樣的量化比特數(shù)時，為輸入提供了更細致的量化。 熵約束標量量化器 ?熵約束標量量化器 Entropyconstrained Scalar quantizer, ECSQ ? 用量化器輸出的熵作為碼率的度量 ? 對量化索引用熵編碼技術(shù)編碼 ? 量化器輸出的熵定義為 ? 所以重構(gòu)電平 yi 的選擇不影響碼率 ? 但 判決邊界 xi 既影響失真，也影響碼率，因此 需要引入一個參數(shù) λ 熵約束標量量化器 ? 均方量化誤差 MSQE P. A. Chou, T. Lookabaugh, R. M. Gray, ―Entropyconstrained vector quantization,‖ IEEE Trans. Signal Processing, vol. 37, no. 1, pp. 3142, Jan 1989 熵約束標量量化器 ?給定碼率限制 H(Q)≤R0，求得 {xi}, {yi} 和二進制碼字，使 Lagrange 代價函數(shù)最?。? ? 太復(fù)雜，不能直接求解 ? 用迭代法求解 熵約束標量量化器 ?在最小化 J(λ) 中 λ 的作用 : ? 較大的 λ ? H(Q) 的權(quán)重更大 ? ?只保留較小的熵 ? ? H(Q) 隨著 λ的增加減小 ? ?可以用二分法求解最佳的 λ ，使得 H(Q)=R H(Q) 熵約束標量量化器 ?ECSQ 算法（二重循環(huán)） λ≥ 0（外層循環(huán)，控制碼率 H(Q)） yi， j=0， D0=∞ （里層循環(huán)，控制失真 D） ： yi ： pi ： MSE： ，轉(zhuǎn)第 8步；否則 j=j+1，轉(zhuǎn)第 3步 ，調(diào)整 λ ，轉(zhuǎn)第 2步 11()j j jD D D ?????1()iixi xp p x d x?? ?? ?1l o g [ , ]M iiiH Q p p R R??? ? ? ??11()()iiiixxi xxx p x d xyp x d x??? ??? ? ? ?121iiL xjixiD x y p x d x????? ?111l og l og22 ()iiiiiiippyyyyx ? ???????熵約束標量量化器 ?ECSQ 算法的應(yīng)用 (I) ? x 是均值為 0，方差為 1 的高斯分布，即 x~N(0, 1) ? 設(shè)計一個 R≡2 的 ECSQ，使得期望失真 D* 最小 ? 11 個區(qū)間（ [6， 6] 內(nèi)）：幾乎是均勻 ? 定長編碼： 熵約束標量量化器 初始化 A：初始化為 15個均勻區(qū)間 初始化 A：初始化為 4個均勻區(qū)間 熵約束標量量化器 ?ECSQ 算法的應(yīng)用 (II) ? x 是均值為 0，方差為 1 的 Laplacian 分布 ? 設(shè)計一個 R≡2 的 ECSQ ，使得期望失真 D* 最小 ? 21 個區(qū)間（ [10， 10] 內(nèi)），幾乎是均勻的 熵約束標量量化器 初始化 A：初始化為 25個均勻區(qū)間 初始化 A：初始化為 4個均勻區(qū)間 高碼率下 ECSQ 的性能 ?對 MSQE 失真和高碼率（高分辨率），均勻量化器（緊跟熵編碼）是最佳的 [Gish, Pierce, 1968] H. Gish and J. N. Pierce, ―Asymptotically. efficient quantizing,‖ IEEE Trans. Inform. Theory,. vol. IT14, pp. 676683, Sept. 1968. 高碼率下 ECSQ 的性能 ?碼率為 ?失真 碼率函數(shù)為 ? 是 Shannon下界 的 ，即 ? ? ? ? ? ?2 22 2 2m a x2 11 221 2 1 23 hX Rq xD R R L? ?? ? ? ? ?? ? ? ?2 21 222 hX RDR e? ?? 6e?101 0 l o g 1 .5 3 6e dB? ?? 高碼率的均勻 ECSQ量化器的 SNR 與 Shannon 下界 差 （對任何平滑 pdf） ? ? ? ? ? ?? ? ? ?m ax2l= l og loog g 2 h X RR H Q p x p x dxXxhL???? ? ?? ? ? ????????高碼率下 ECSQ 的性能 ? ? ? ?2 21 2212 hX RDR ??相同碼率 R 下， ECSQ 的失真比 LloydMax 量化器更小 ?Gaussian 信源的量化器 熵約束標量量化器 ?高碼率下 LloydMax量化器失真 —碼率函數(shù)： ? ? 2 2 22 RXDR ?? ??? ? ? ?2 21 2212 hX RDR ??? 縮放因子 ε2 的數(shù)值 ? 均勻 1 ? Laplacian 9/2 = ? gaussian √(3π)/2 = 高碼率下 ECSQ 的失真率函數(shù) 自適應(yīng)量化器 ?思想 ? 不是靜態(tài)方法，而是與真實數(shù)據(jù)相適應(yīng) ? 均值、方差、 pdf ?前向自適應(yīng) (離線 ) ? 將信源分塊 ? 分析塊的統(tǒng)計特性 ? 設(shè)置量化方案 ? 邊信道 （ Side channel） ?后向自適應(yīng) (在線 ) ? 基于量化器輸出自適應(yīng) ? 無需邊信道 前向自適應(yīng)量化器（ FAQ ） ?選擇塊大?。?折中 ? 太大 ? 分辨率不夠，不能抓住輸入的變化 ? 延遲增大 ? 太小 ? 需要傳輸更多的邊信息 ?假設(shè)均值為 0 ? 方差估計 ?FAQ 問題： ? 需要緩存分析統(tǒng)計特性，造成延時 ? 邊信息的同步 前向自適應(yīng)量化器（ FAQ ） ?例：語音量化 ? 16 比特 ? 3 比特定長碼 男聲 “ test” 前向自適應(yīng)量化器（ FAQ ） ?例：語音量化 （ 2） ? 16 比特 ? 3 比特 FAQ ? 塊大?。?128 個樣本 ? 8 比特方差量化 失真較小 紅色區(qū)域還有提升空間 前向自適應(yīng)量化器（ FAQ ） ?迄今為止，我們假設(shè)均勻 pdf ?改進 ? 假設(shè)均勻 pdf，但 ? 記錄每塊的最大 /最小值 ?例： Sena圖像 ? 8 8 塊 ? 每個像素 3 比特量化 ? 每個塊中邊信息最大值 /最小值各用 8bit 表示，則每個像素平均為 ? 每個像素共： ? 和原始圖像幾乎難以區(qū)別 ?對于高碼率，前向自適應(yīng)量化是個非常好的選擇 16 0 .2 5 b its/p ix e l88 ??原始圖像： 8bits/pixel 量化： bits/pixel 后向自適應(yīng)量化器（ BAQ ） ?觀察 ? 解碼器只能看到 量化器的 輸出 ? 只能根據(jù)量化器輸出進行自適應(yīng) ?問題 ? 只根據(jù)輸出，如何減少不匹配信息 ? 如果知道 pdf，這是可能的 … ? … 耐心： 觀察長時間 的量化器輸出，推測是否發(fā)生了不匹配現(xiàn)象 ? 如果匹配，落入某區(qū)間的概率與預(yù)定的 pdf 一致，否則，發(fā)生了不匹配現(xiàn)象。 在某些情況可以直接套用 。 LloydMax 迭代算法的具體步驟如下： ? ?? ?? ? ? ?步繼續(xù)運算。 Max 1960） ? L1 個判決電平 (門限 )精確地位于輸出電平之間的中點 →最近鄰 12iiiyyx i 1, 2, ..., L 1??? ? ?? L 個 輸出量化電平位于 pdf 函數(shù)在兩個連續(xù)判決門限之間的 質(zhì)心 ? ?? ?110,iiiixxi xxxp x dxy i 1, ..., M 1p x dx??? ? ???LloydMax 標量量化器 證明： ?根據(jù)量化失真度量公式，得 ? ? ? ? ? ? ? ?? ? ? ? ? ?121 0 1112221122()iiiLL x x xix x xixxiLD x y p x dx x y p x dxx y p x dx x y p x dx??????? ? ? ? ? ?? ? ? ? ?? ? ? ???LloydMax 標量量化器 ?現(xiàn)在要對此多元方程求 D 的極小值，根據(jù)拉格郎日極值定理，分別對 xi 及 yi 求偏導(dǎo)，并使之為 0，得： LloydMax 標量量化器 ?求解上述方程得： LloydMax 標量量化器 ?最佳均方量化器的三個主要特點： ?設(shè) y=Q(x) ，量化誤差 ε= yx = Q(x) –x ，則 Q ( x )x ?x ??yy ??① 量化誤差的均值為 0，量化誤差無直流分量 [ ] 0E ? ?② 量化誤差和重建信號不相關(guān)，正交 [ ( ) ] 0E Q x ???③ 方差為輸入輸出信號方差的差值，方差減少 ? ?2 2 2 2xy?? ? ? ?? ? ?LloydMax 標量量化器 ?說明： （ 1） E[ε]=0，量化誤差沒有直流分量。 ? 假設(shè)輸入隨機信號零均值、對稱量化器，則該均勻量化器的噪聲 D 為： 非均勻量化 ?非均勻量化的目的 提高 小信號的輸出信號量噪比。我們下面的討論都基于廣泛使用的均方誤差準則。 Q ( x )kyxx0xLxix1?ix1xiy1yLy▲ ▲ ▲ ? ? ? ? ? :R:C? 隨機變量 x 的映射變換 ? ? ? ?? ?? ?? ?iiiiiiiiiyxQRxRLixxxixRLixLiyLiyCLi