信息論與編碼糾錯第3章-文庫吧資料
2025-05-17 17:42本頁面
【正文】 lo g)(??編碼效率 η是衡量編碼質量的一個重要指標，對信源編碼時應盡量提高編碼效率。 下面的定理將證明，當滿足一定的條件時，在 L →∞ 時，失真 pe →0 。對信源作等長無差錯編碼，要得到惟一可譯碼，必須滿足下式： K ≤ D n 對單符號信源 S的 L次擴展信源 S（ L） 進行等長編碼，要得到長為 n的惟一可譯碼，必須滿足 : K L ≤ D n 對上式兩邊取對數，得： loglognKLD?信息論與編碼 ，對信源輸出的 L長序列 si ， i = 1, 2, …, KL 進行等長編碼，碼字是長度為 n的 D進制符號串，當滿足條件 ，則 L →∞ 時，可使譯碼差錯 pe δ(ε、 δ為無窮小量 ) ；反之，當 時，則不可能實現無差錯編碼。 04152637: 00 : 100 0: 01 : 100 1: 110 : 111 0: 101 : 111 1xxxxxxxx???????? ? 1 1 1 1 1 12 l o g 2 l o g 4 l o g 2 . 7 54 4 8 8 1 6 1 6HX ??? ? ? ? ? ? ? ?????（比特 /符號） 1 1 12 2 2 3 4 4 2 . 7 54 8 1 6n ? ? ? ? ? ? ? ? ? ?（碼元 /符號） ? ? 2 . 7 5 12 . 7 5DHXRn? ? ?(比特 /碼元時間 ) 信息論與編碼 167。 （ 1）若信息量以比特為單位，時間以秒為單位，則信息傳輸速率定義為： ? ?HXRt tn?（比特 /秒） 式中： H(X)為信源熵； 為編碼后的平均碼長； t為傳輸一個碼符號的時間。 n對于 2次擴展碼，有： ? ? ? ? ? ?m s m smsn n n p u p u????設 nm， ns分別是原信源消息 um， us所對應的碼長， cm， cs是 um， us所對應的碼字，則式中的 nm + ns是擴展后新的信源序列 umus所對應的碼字 cmcs的長度， p(um) p (us)是 cmcs出現的概率。非奇異碼又分為 惟一可譯碼 和 非惟一可譯碼 兩大類，我們只討論惟一可譯碼 信息論與編碼 三．平均碼長的計算 對于變長碼，碼集 C的平均碼長定義為碼 C中每個碼字 cm( m = 1, 2, … ， M)其碼長的概率加權平均值，用符號 表示 n1()Mmmmn n p?? ? c式中 nm是碼字 cm所對應的碼字的長度， p ( cm )是碼字 cm出現的概率。 【 例 】 用樹圖法表示碼（ 1， 01， 001， 0001）。 信息論與編碼 即時碼的樹圖構造 方法 ：對于 D進制碼，從樹根出發(fā)，可引出 D根樹枝，每根樹枝分別賦予一個不同的碼符號，樹枝的端點為節(jié)點，每一個節(jié)點又可引出 D根分枝，又分別賦予這 D根分枝每根一個不同的碼符號，如某一節(jié)點被定為碼字后，就不再引出樹枝，該節(jié)點稱為終節(jié)點。所以非異字頭碼不能即時譯碼，稱為 非即時碼 ，由于非異字頭碼的其中一些碼字是另一些碼字的延長，故也稱 延長碼 。 信息論與編碼 即時碼 ：例中碼 3，收到“ 1”后就知道一個碼字已經完結，無須等待下一個符號抵達，所以無前綴碼能夠即時譯碼，稱之為 即時可譯碼 ，簡稱即時碼。 （ 2） 異字頭碼： 若碼中任一碼字都不是另一碼字的字頭，稱該碼為異字頭碼（無前綴碼）。 信源消息 各消息概率 碼 1 碼 2 碼 3 碼 4 u1 p(u1) 00 00 0 1 u2 p(u2) 11 01 1 10 u3 p(u3) 10 10 00 100 u4 p(u4) 11 11 11 1000 信息論與編碼 信源消息 各消息概率 碼 1 碼 2 碼 3 u1 p(u1) 0 1 1 u2 p(u2) 1 10 01 u3 p(u3) 00 100 001 u4 p(u4) 11 1000 0001 碼 1不是唯一可譯碼，碼 碼 3是唯一可譯碼。 例中的碼 1不是唯一可譯碼。 擴 展 信 源 信 源 編 碼 器消 息信 源 符 號 集 { a1, a2, . . . ak} 信 道 符 號 （ 碼 符 號 ） 集 { b1, b2, . . . bD}N 次 擴 展 碼 字c1. . . cN= ( c1 1c1 2. . . c1 n) . . . ( cN 1cN 2. . . cN n)u1. . . uN= ( u1 1u1 2. . . u1 L) . . . ( uN 1uN 2. . . uN L)原碼的 N次擴展碼是將信源作 N次擴展得到的新信源符號序列 u（ N）=u1 … uN = (u11 u12 … u1L) … ( uN1 uN2 … uNL)，對應碼符號序列 c（ N）=c1 …c N = (c11 c12 … c 1n) … (c N1 cN2 … c Nn) ，記集合 C (N) = {c1(N), c2(N), …} ， C (N) 即原碼 C的 N次擴展碼。 5．非奇異碼 從信源消息到碼字的映射是一一對應的，每一個不同的信源消息都用不同的碼字對其編碼，例中的碼 碼 3和碼4都是非奇異碼。 信源消息 各消息概率 碼 1 碼 2 碼 3 碼 4 u1 p(u1) 00 00 0 1 u2 p(u2) 11 01 1 10 u3 p(u3) 10 10 00 100 u4 p(u4) 11 11 11 1000 信息論與編碼 4．奇異碼 對奇異碼來說，從信源消息到碼字的映射不是一一對應的。 2．等長碼 在一組碼字集合 C中的所有碼字 cm (m = 1,2, …,M) ，其碼長都相同，則稱這組碼C為等長碼，例中的碼 碼 2 就碼長 n = 2等長碼。 【 例 】 用 {u1 ， u2 ， u3， u4}表示信源的四個消息，碼符號集為 {0,1}，下表列出了該信源的幾種不同編碼。對應關系如下： （ 1→01011 ， 2→11001 ， ...， 9→10011 ， 0→01101 ） 如： ?
高考資料相關推薦
鄂ICP備17016276號-1