第7章圖像壓縮(1)-文庫(kù)吧
2025-09-15 16:14 本頁(yè)面
【正文】 11來(lái)編碼 ,每個(gè)符號(hào)用 2個(gè)比特 。 平均碼字長(zhǎng)為 2。 例 1： 離散信源的熵表示 設(shè) 信源熵 則 ， 各信源符號(hào)自信息量： },{ dcbaX ?,8/1)(,4/1)(,2/1)( ??? cpbpap 8/1)( ?dp38l o g)()(,24l o g)(,12l o g)( 222 ??????? dIcIbIaI*8/13*8/12*4/11*2/1)( ?????XH例 2： 離散信源的熵表示 兩種編碼方法： a,b,c,d分別用碼字 0,10,110,111來(lái)編碼 a,b,c,d用碼字 00,01,10,11來(lái)編碼 *8/13*8/12*4/11*2/1 ?????a v gl平均碼長(zhǎng)： 平均碼長(zhǎng)大于信源的熵 22*8/12*8/12*4/12*2/1 ?????a v gl平均碼長(zhǎng)： 平均碼長(zhǎng)等于信源的熵 ? ? ? ?1miiiR X P x??? ?式中 β i為符號(hào) xi所對(duì)應(yīng)的碼字的長(zhǎng)度。 R(X)的單位：比特 /字符。 夏 p94 離散信源的熵表示 設(shè) 信源熵 則 ， 各信源符號(hào)自信息量： },{ dcbaX ?,)(,)( ?? bpap )(,)( ?? dpcp1 .1 5 2 ,)( ?aI ,2)( ?bI ,4 7 3 )( ?cI 0 5 8 )( ?dI8 3 0 5 8 * 7 3 ** 5 *)( ?????XH用例 2第二種編碼方法 ， 平均碼長(zhǎng) **** ?????a vgl例 3： 離散信源的熵表示 可得到幾點(diǎn)提示 ： ?信源的平均碼長(zhǎng) lavg=H(X)；也就是說(shuō)熵是無(wú)失真編碼的下界 。 ?如果所有 I(xk)都是整數(shù) ， 且 l(xk)=I(xk),可以使平均碼長(zhǎng)等于熵 。 ?對(duì)非等概率分布的信源 ， 采用不等長(zhǎng)編碼其平均碼長(zhǎng)小于等長(zhǎng)編碼的平均碼長(zhǎng) 。 ?如果信源中各符號(hào)的出現(xiàn)概率相等 ， 信源熵值達(dá)到最大 ， 這就是重要的最大離散熵定理 。 ? ?? ? ? ?%HXRX? ?夏 p94 離散信源的熵表示 考慮有記憶信源 X（ 1階馬爾可夫信源 ） 1階熵 條件概率 聯(lián)合概率 )/( 1?ii xxP),( 1?ii xxP? ?? ???? ??NiNiiiiiii xxPxxPxxH1 11211 )/(l og),()/(1 1 1( , ) ( ) ( / )i i i i iP x x P x P x x? ? ??離散信源的熵表示 對(duì) m階馬爾可夫信源 ， 可以證明： 結(jié)論： 對(duì)于有記憶信源 ， 如果符號(hào)序列中前面的符號(hào)知道得越多 ， 那么下一個(gè)符號(hào)的平均信息量就越小 )()()()()( 110 ?????????? ?? HHHHH mm ??離散信源編碼定理 1． 香農(nóng)信息保持編碼定理 ? 信源熵是進(jìn)行無(wú)失真編碼的理論極限 。 低于此極限的無(wú)失真編碼方法是不存在的 ， 這是熵編碼的理論基礎(chǔ) 。 而且可以證明 ， 考慮像素間的相關(guān)性 ， 使用高階熵一定可以獲得更高的壓縮比 。 2． 變長(zhǎng)編碼定理 ? 變長(zhǎng)編碼定義：對(duì)于一個(gè)無(wú)記憶離散信源中每一個(gè)符號(hào) ， 若采用相同長(zhǎng)度的不同碼字代表相應(yīng)符號(hào) ， 就叫做等長(zhǎng)編碼 ， 例如ASCII碼的編碼 。 若對(duì)信源中的不同符號(hào) ， 用不同長(zhǎng)度的碼字表示就叫做不等長(zhǎng)或變長(zhǎng)編碼 。 離散信源編碼定理 變長(zhǎng)編碼定理 ：若一個(gè)離散無(wú)記憶信源具有熵 ， 并有 r個(gè)碼元符號(hào)集 ， 則總可以找到一種無(wú)失真信源編碼 ， 構(gòu)成單義可譯碼 ， 使其平均碼長(zhǎng)滿足： 1lo g )(lo g )( ??? rXHLrXH當(dāng) r=2 1)()( ??? XHLXH離散信源的熵表示 3． 變長(zhǎng)最佳編碼定理 ? 在變長(zhǎng)編碼中 ， 對(duì)出現(xiàn)概率大的信息符號(hào)賦予短碼字 ， 而對(duì)于出現(xiàn)概率小的信息符號(hào)賦予長(zhǎng)碼字 。如果碼字長(zhǎng)度嚴(yán)格按照所對(duì)應(yīng)符號(hào)出現(xiàn)概率大小逆序排列 ， 則編碼結(jié)果平均碼字長(zhǎng)度一定小于任何其他排列形式 . 統(tǒng)計(jì)編碼 Huffman編碼 (夏 p103106) ? 根據(jù)變長(zhǎng)最佳編碼定理 ， Huffman編碼 步驟如下： ? （ 1） 將信源符號(hào) xi按其出現(xiàn)的概率 ， 由大到小順序排列 。 ? （ 2） 將兩個(gè)最小的概率的信源符號(hào)進(jìn)行組合相加 ， 并重復(fù)這一步驟 ，始終將較大的概率分支放在上部 ， 直到只剩下一個(gè)信源符號(hào)且概率達(dá)到 ； ? （ 3） 對(duì)每對(duì)組合的上邊一個(gè)指定為 1， 下邊一個(gè)指定為 0（ 或相反：對(duì)上邊一個(gè)指定為 0， 下邊一個(gè)指定為 1） ； ? （ 4） 畫出由每個(gè)信源符號(hào)到概率 ， 記下沿路徑的 1和 0； ? （ 5） 對(duì)于每個(gè)信源符號(hào)都寫出 0序列 ， 則從右到左就得到非等長(zhǎng)的 Huffman碼 。 Huffman編碼 (夏 p103106) ? 一幅 20 20的圖像共有 5個(gè)灰度級(jí)： s1,s2,s3,s4,和 s5，它們的概率依次為 , 。 Huffman編碼過(guò)程示意圖 例： 11010100Huffman編碼 (夏 p103106) 圖像熵 信源符號(hào) 出現(xiàn)概率 碼字 碼長(zhǎng) s1 0 1 S2 111 3 S3 110 3 S4 101 3 S5 100 3 )(51????ilisipL編碼后均碼長(zhǎng) 1 6 4 )(l o g)()(51??? ??iii spsp
黨政相關(guān)相關(guān)推薦
鄂ICP備17016276號(hào)-1