[工程科技]信息論第三章-預覽頁
【正文】 算 第 1種：具有擴散性能的無損信道 第 2種：具有歸并性能的無噪信道 其信道矩陣是單位矩陣： ??????????1000100010( / ) ( / ) ( , 1 , 2 , 3 )1j i i jijP b a P a b i jij??? ? ?? ??第 3種：具有一一對應的無損無噪信道 (例 32) □ 當信道輸入等概率分布（輸出也是等概率分布時）。 ?定義 ： 如果信道矩陣 M 的列可以劃分為若干個互不相交的子集 Bk，由 Bk的列組成的新的子矩陣 M k 是對稱矩陣，則 M 所對應的信道稱為準對稱信道。, 39。, ..., 39。 )I X Y()PX( ) 1iipx ??( ) 0 , 1 , 2 , ,ip x i r??解： 引入輔助函數 ? ???? ????? ????? ??????????rii = 1iirii = 1F= I ( X 。 定理 I(X。 ( | ) l o g ()jii j ij jp y xI x Y p y xpy? ? 某些特殊矩陣可以利用這個方法可以推導得到 C。 ) ( 。 ???Niii xyPP1)/()/( xy1( 。 ? ③ 若信道和信源都是無記憶的 ，則： 一般情況下 ，消息序列在離散無記憶的 N次擴展信道中傳輸的信息量： I（ X。 ) m a x ( 。 )NN N i iiI X X X Y Y Y I X Y?? ?根據信道容量的定義有： 1 2 1 211m a x ( 。 ◆ 只有在輸入符號 Xi 相互獨立并且滿足各個子信道的最佳信源分布的時候才能取等號。 ? 定理 若 X， Y， Z 是一個馬爾可夫鏈，則有： ? 物理意義： 數據經過處理后，一般只會增加信息的損失，最多保持原來獲得的信息，不可能比原來獲得的信息多。 ? 根據信道容量的定義，串聯信道的信道容量為： 信 道 1X Y信 道 2Z信 道 3W( ) ( , ) ( , ) ( , )H X I X Y I X Z I X W? ? ? ?? ?? ?串P(x)串P(x)C（ I ,I I ） ＝ I ( X , Z )C（ I ,I I ,I I I ） ＝ I ( X , W )maxmax 信源與信道的匹配 ?信源符號一定要通過信道進行發(fā)送； ?對某一信道，它的容量 C是固定的，即 C是 I(X；Y)的最大值； ?但只有當輸入符號的概率 p(x)滿足一定條件時， I(X； Y)才能達到 C； ?在一般情況下，因為信源輸入符號的概率 p(x)不滿足條件， I(X； Y)C； ?當達到信道容量時，我們稱 信源與信道達到匹配 ，否則認為信道 有剩余 。 ★ 信道剩余度 可以用來 衡量信道利用率 的高低。 ? 對于無損信道，可以通過信源編碼、減少信源的剩余度，使信息傳輸率達到信道容量。 1 2 3 4 5 6( ) 1 / 2 1 / 4 1 / 8 1 / 1 6 1 / 3 2 1 / 3 2X x x x x x xPX? ? ? ??? ? ? ?? ? ? ?因此， 必須通過合適的信源編碼，使信道的信息傳輸率接近或等于信道容量
教學課件相關推薦
鄂ICP備17016276號-1