【正文】 0: 1: 1: 1: 1: 0: 穩(wěn)態(tài)方程組是： 第一部分、信息論基礎 信源的信息理論 可解得： 穩(wěn)態(tài)符號概率為 ： 穩(wěn)態(tài)信息熵為： = bit/符號 第一部分、信息論基礎 信源的信息理論 因此 ， 穩(wěn)態(tài)符號熵 =1bit/符號 。Y)}=logSH(p1, p2,…… , pS)； [例 3]求對稱信道 的信道容量 。也就是（ 3）的結果。HT； ? 若 R = C， E為全零向量，則 S=0； ? 反之，若 R ≠ C ，則 E≠0，導致 S≠0；因此由伴隨子向量 S是否為零就能檢查出接收碼 R是否有誤。 解 ： (1) 一階馬爾可夫信源 ， 狀態(tài)為單個符號 ， 信源符號集為 X={0,1,2}，E1=0,E2=1,E3=2,穩(wěn)態(tài)概率滿足 ： Q(0)=p Q(0)＋ (1p) Q(1) Q(1)=p Q(2)＋ (1p)Q(1) 且 ， Q(0)+Q(1)＋ Q(2)＝ 1 解方程： Q(0)＝ 1/3； Q(1)＝ 1/3； Q(2)＝ 1/3； (2) (3) 實際信源熵為 H∞。 第三定理 負責限失真信源編碼； 通過削減次要信息使傳信率降低。HT = (C ? E) （ 5）標記每個分支的的 0與 1。Y)=H(X)H(X|Y)= –= bit/符號 (5)損失熵 ： 第一部分、信息論基礎 信道的信息理論 第一部分、信息論基礎 信道的信息理論 （ 2） 信道容量的定義： 對于給定的信道 ， 既然總存在一個信源能使互信息取極大值 ， 就可以把這個極大值定義為該信道的信道容量： 信道容量反映了一個信道最大所能傳輸的平均互信息 ， 是給定信道的屬性 。 第一部分、信息論基礎 信源的信息理論 信息熵的特點 （ 1）非負性： H(X) ≥ 0 （ 2） 對稱性： H(p1p2……) =H(p2p1……) （ 3）極值性： 《 1》 離散信源各符號等概率時出現極大值： H0=log m 第一部分、信息論基礎 信源的信息理論 離散序列的信息熵 （ 1）無記憶信源的聯(lián)合熵與單符號熵： H(X1X2……XN) = H(X1)+H(X2)+H(X3)+…… +H (XN) = NH(X1) （ 2） 有記憶信源的聯(lián)合熵與 條件 熵： H(X1X2……XN)=H(X1) + H(X2|X1) + H(X3|X1X2) + …… +H (XN|X1X2……XN1) （ 3） 平均符號熵： HN =H(X1X2……XN) / N 第一部分、信息論基礎 信源的信息理論 （ 4） 序列信息熵的性質： 《 1》 條件熵不大于無條件熵，強條件熵不大于弱 條件熵： H(X1) ≥ H(X2|X1) ≥ H(X3|X1X2) ≥ … …… ≥H (XN|X1X2…… XN1) 《 2》 條件熵不大于同階的平均符號熵 : HN ≥H (XN|X1X2…… XN1) 《 3》 序列越長，平均每個符號的信息熵就越?。? H1 ≥ H2 ≥ H3 ≥ …… ≥H N 總之： H0 H1 ≥ H2 ≥ H3 ≥ …… ≥HN ≥ H∞ （無記憶信源取等號。Y) H(Y|X) 損失熵 平均互信息 噪聲熵 H(XY) H(X) H(Y) 信源熵 接收符號熵 計算公式： I (X。 （ 2）合并概率最小的兩個符合為一個節(jié)點。