【正文】
) ( )MNmimiP p x???? ??C167。 167。Y),只是很小的一部分 故:當 X的數(shù)目 2NI(X。39。 ) 3 ]{ ( , ) ( ) } 2{ ( , ) ( ) } ( 1 ) 2N I X YN I X YP X Y G X YP X Y G X Y????????? ???? ? ? ?167。 :信道編碼定理的證明及其物理意義 ? 聯(lián)合 AEP定理: – 設隨機序列對 的 ,則對任意小的數(shù) δ 0,我們總能找到足夠大的 N使全體序列對的集合能被分成滿足下述條件的集合 G及其補集 Gc: ( 1) ( 2) ( 3)設 是相互獨立的隨機序列對,但它與 有相同的邊緣分布,即: 則: 1( , ) ( , )N nnnp p x y?? ?xy{ ( , ) }{ ( , ) } 1cP X Y GP X Y G????? ? ?( ( ) )( ( ) )| ( ) | 2| ( ) | ( 1 ) 2N H X YN H X YG X YG X Y????????{ ( , ) ( , ) } ( ) ( )P X Y x y p x p y?? ??[ ( 。 :信道編碼定理的證明及其物理意義 ? 聯(lián)合 ε 典型序列定義: – 設 是長為 N的隨機序列對, 則在這些隨機序列對中滿足下列條件的序列對被稱為聯(lián)合典型序列 1( , ) ( , )N nnnp p x y?? ?xy1| l o g ( ) ( ) |N p x H X ??? 1| l o g ( ) ( ) |N p y H Y ???1| l o g ( ) ( ) |N p x y H X Y ???()()( ) 2( ) 2NH XNH Ypxpy??? ??? ???[ ( ) ][ ( ) ]( , ) 2( , ) 2N H X YN H X Yp x yp x y????????同理可得: ()( , ) 2 N H X Yp x y ?? ????( , )XY 式中 δ 是任意小的數(shù),聯(lián)合典型序列的全體構成聯(lián)合典型序列集,記做 G 。 :信道編碼定理的證明及其物理意義 ? 信道編碼定理的證明思路: –通常思路: ? 構造一個理想的好碼, ? 定義一種譯碼準則, ? 計算該好碼經(jīng)過譯碼后的誤碼率 –問題: ? 構建極其復雜且無具體方法, ? N值很大時,誤碼率計算困難 –香農(nóng)采取的方法 : ? 用隨機編碼方法得到所有可能碼的集合 ? 在其中隨機選擇一個碼作為信道碼 ? 利用聯(lián)合典型序列譯碼 ? 利用大數(shù)定理計算在集合平均意義上的該碼性能 167。 :信道編碼定理的證明及其物理意義 ? 信道編碼定理 –問題: 在有噪信道中,使平均誤碼率 Pe盡可能小的情 況下,可達到的信息傳輸率是多少? –答案: 信道容量 C ? 信道編碼定理的證明 –證明思路 –隨機編碼方法 –聯(lián)合典型序列 ? 信道編碼定理: –設 R是信息傳輸?shù)乃俾剩?C是離散無記憶信道的信道容量, ε 0是任意小的數(shù),則只要 RC就總存在碼字長為 N,碼字數(shù)為 M=2NR的分組碼使譯碼的平均差錯概率 Peε 。 :信道編碼的作用及實質 信道編碼的基本分類 ? 按碼的結構分 : – 線性碼 ? 線性分組碼(群碼) ? 卷積碼(線性樹碼) – 非線性碼 ? 按抗干擾模式分 – 抗隨機差錯碼 – 抗突發(fā)差錯碼 ? 按對錯誤的處理方式分 – 檢錯碼 —— 應用于 ARQ(反饋重發(fā))方式; – 糾錯碼 —— 應用于 FEC(前向糾錯)方式; – 檢糾錯碼 —— 應用于 HEC(混合糾錯)方式。 :信道編碼的作用及實質 - 差錯控制編碼的基本原理 ? 如用三位二進制編碼傳二個字母 000 A 111 B —— R=( log2) /3=—— 可以檢查出 2位錯誤 —— 可以糾正一位錯誤 —— 可以同時檢查一位錯誤,并糾正一位錯誤。 :信道編碼的作用及實質 -