信源編碼ppt課件-wenkub.com
2025-04-29 00:20 本頁面
【正文】 ? 算術(shù)編碼利用了累積概率的概念。 ? 編碼方法： – 首先測定 “ 0” 游程長度和 “ 1” 游程長度的概率 分布，即以游程長度為元素，構(gòu)造一個新的 信源； – 對新的信源 ( 游程序列 ) 進(jìn)行哈夫曼編碼。 在二元序列中，連 0 段稱為 0 游程，連 1 段稱為 1 游程 游程長度序列 / 游程序列：用交替出現(xiàn)的 “ 0” 游程 和 “ 1” 游程長度表示任意二元序列。 單符號離散無記憶信源， 例 試對該信源編三進(jìn)制哈夫曼碼。 ? 在哈夫曼編碼過程中，對縮減信源符號按概率由大 到小的順序重新排列時，應(yīng)使合并后的新符號盡可 能排在靠前的位置，這樣可使合并后的新符號重復(fù) 編碼次數(shù)減少，使短碼得到充分利用。 說明 ? 每次對概率最小的符號分配 “ 0” 和 “ 1” 碼元是任意 的，所以可得到不同的碼字。 平均碼長 信源熵 H(X) = H (,)= bit/ 符號 編碼效率 哈夫曼編碼的基本特點 1) 哈夫曼編碼在構(gòu)造碼樹時，是從端點開始直到樹 根結(jié)束； 2) 哈夫曼編碼采用概率匹配方法來決定各碼字長度， 概率大的符號對應(yīng)于短碼，概率小的符號對應(yīng)與長 碼，充分利用了短碼，從而使平均碼長最?。? 3) 哈夫曼編碼時，縮減信源的最后二個碼字總是最 后一位不同，從而保證了哈夫曼碼是即時碼。 ? 平均碼長： ? 編碼效率： 例： 二進(jìn)制費諾編碼 信源符號 概率 編碼 碼字 碼長 x 1 0 0 00 2 x 2 1 01 2 x 3 0 100 3 0 x 4 1 101 3 x 5 0 1100 4 1 0 x 6 1 1101 4 1 x 7 0 1110 4 1 x 8 1 1111 4 平均碼長 K = 2 . 75 碼元 / 符號 每次所分兩組的 信源熵 H ( X ) = 2 . 75 bit / 符號 概率恰好相等。 費諾編碼的基本特點 : 1) 費諾編碼在構(gòu)造 碼樹 時，是從樹根開始到終端節(jié) 點結(jié)束； 2) 由于賦碼元時的任意性，因此編出的碼字不唯一； 3) 費諾編碼雖屬于 概率匹配 范疇，但并未嚴(yán)格遵守 匹配規(guī)則，有時出現(xiàn)概率小的碼長反而小。 給每一組分配一位碼元。 ? 香農(nóng)碼的平均碼長 ? 信源熵 ? 編碼效率 為提高編碼效率，可把 x 4 x 5 換成前面的節(jié) 點，可減小平均碼長。因此，香 農(nóng)編碼的實用價值不大，但卻有深遠(yuǎn)的理論意義，因 為按香農(nóng)的方法對信源序列編碼，當(dāng)序列長度趨于無 窮時，平均碼長會趨于信源的熵。編碼后的傳輸率 R 也越來越接近于無噪無損 二元對稱信道的信道容量 (1bit/ 二元碼符號 ) ，達(dá)到信 源與信道的匹配。 無失真變長信源編碼定理（ 香農(nóng)第一定理 ） 對于平均符號熵為 HL(X) 的離散平穩(wěn)無記憶信源（離散 無記憶信源 X 的 L 次擴(kuò)展信源 對其進(jìn)行 m 元編碼，必存在一種無失真編碼方法，構(gòu) 成唯一可譯碼，使信源 X 中每個信源符號所需的平均碼 長 滿足： 用變長編碼可達(dá)到相當(dāng)高的編碼效率，一般所要求 的符號長度 L 可以比定長編碼小得多。 變長編碼定理 在變長編碼中，碼長 KL是變化的。即： ?當(dāng)信源序列長度 L 滿足 能達(dá)到差錯率要求： ?? 編碼效率 編碼效率總 定義編碼效率為： ?是小于 1 信源的平均符號熵為 HL (X) ，采用平均符號碼長 為 K 來編碼后所得的效率。 定長編碼定理 ? 編碼器的平均輸出信息率 ? 對于二進(jìn)制編碼，每個信源符號必須 輸出的碼長 定長編碼定理說明： 只要碼字所能攜帶的信息量大于信源序列輸出的 信息量，則可以使傳輸幾乎無失真，當(dāng)然條件是 L足夠大。 例 : 英文電報符號， n =27 ， L =1 ， m =2( 二元編碼 ) log 2 n ????? = log 2 27 ≈ 5 每個英文電報符號至少 log 2 m 要用 5位二元符號編碼 ? 實際英文電報符號信源，平均每個英文電報符號所 提供的信息量約等于 比特，大大小于 5 比特。 K1 =1 , K2 =2 , K3 =3 , K4 =3 。 中間節(jié)點 如果將各碼字長度改成： 存在唯一可譯碼 K1 =1 ， K2 =2 ， K3 =2 ， K4 =3 。 ? 當(dāng)碼字長度給定，即時碼不是唯一的。 碼樹上任一節(jié)點都對應(yīng)一個碼字，組成該碼字的 碼元就是從樹根開始到該節(jié)點所經(jīng)過的樹枝 ( 碼元 ) 。 碼 4 任意一個碼字都不是其它碼字的
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1