【正文】 PP 和都是對(duì)稱(chēng)離散信道 都不是對(duì)稱(chēng)離散信道 ??????????????????3161316161613131PP 和若輸入 /輸出符號(hào)個(gè)數(shù)相同，都等于 r，且信道矩陣為： 則此信道稱(chēng)為 強(qiáng)對(duì)稱(chēng)信道或均勻信道 。 具有這種對(duì)稱(chēng)信道矩陣的信道稱(chēng)為 對(duì)稱(chēng)離散信道 。39。 ()39。Y)=H(Y)H(X) 信道的疑義度 （損失熵） H(X/Y) ≠0 而噪聲熵 H(Y/X)=0。 這類(lèi)信道稱(chēng)為 無(wú)噪有損信道 (確定信道 )。 損失熵 H(X/Y)=0， 其信道矩陣： 所以 ： I(X。 當(dāng) 12????(比特／符號(hào) ) 離散無(wú)噪無(wú)損信道 二、簡(jiǎn)單離散信道的信道容量 例如： 其信道矩陣是單位矩陣： 滿(mǎn)足： I(X。Y) ( ) ( )H p p H p??? ? ?時(shí)， I(X。(m a x pHYXI ??因此， BSC的信道容量為： m a x ( 。 即存在一個(gè)最大的信息傳輸率 定義為 信道容量 C )}。Y) = H(X) – H(X|Y) (比特 /符號(hào) ) 離散信道的信道容量 一、 信道容量的定義 由于平均互信息 I(X。Y)就是接收到符號(hào) Y后平均每個(gè)符號(hào)獲得的關(guān)于 X的信息量。 直觀分析 ：如果信道有記憶，后面?zhèn)魉偷姆?hào)帶有前面符號(hào)的信息，使得前面?zhèn)魉偷姆?hào)的互信息增加。 )NiiiI X Y I X Y?? ? 直觀分析 ：如果信源有記憶，前面?zhèn)魉偷姆?hào)帶有后面符號(hào)的信息，使得后面?zhèn)魉偷姆?hào)的互信息減少． ?若信道的輸入隨機(jī)序列為 X= (X1X2…XN)，通過(guò)信道傳輸，接收到的隨機(jī)序列為 Y＝ (Y1Y2…YN)。 1( / ) ( / )Niiip p y x?? ?yx1( 。 假若信道是無(wú)記憶的 ，即信道傳遞概率滿(mǎn)足： 則有： 式中 Xi Yi是對(duì)應(yīng)第 i 位的隨機(jī)變量。 ) ( 。 解： BSC的輸入和輸出變量 X和 Y的取值都是 0或 1，因此 ， 二次擴(kuò)展信道的輸入符號(hào)集為 A＝ {00， 01， 10， 11}， 共有 22＝ 4個(gè)符號(hào) ， 輸出符號(hào)集為 B＝ {00， 01， 10， 11}。 離散無(wú)記憶信道的擴(kuò)展 信道 對(duì)于離散無(wú)記憶信道 ，其擴(kuò)展 信道 的 傳遞概率滿(mǎn)足 ： ＤＭＣ用 [X， p( y / x )， Y] 概率空間來(lái)描述。 ? 該 結(jié)論 說(shuō)明，當(dāng) 信源固定 后，選擇不同的信道來(lái)傳輸同一信源符號(hào)，在信道輸出端獲得關(guān)于信源的信息量是不同的。 ? 平均互信息 I(X。 該結(jié)論意味著 : (當(dāng)信道固定時(shí) ) ? （ 1） 對(duì)固定信道，選擇不同的信源 (其概率分布不同 )與信道連接，在信道輸出端接收到每個(gè)符號(hào)后獲得的信息量是不同的。 ? 平均互信息 I(X。Y)＝ H(?p + ?p) H (p) 若信源固定， I (X。 XYHYH ??)()( pHppH ??? ???????? ????? pppp1l o g1l o g)pp(1l o gp)p(????是 [0， 1]區(qū)域上的熵函數(shù)。Y)是信源概率 ?的 ∩ 型函數(shù)。([例 ]設(shè) BSC的輸入概率空間為： 信道如圖： 計(jì)算得平均互信息： I(X。 ??????YXXYXxypxpxypxypxpypxypxypXYIYXI,)|()()|(l o g)|()()()|(l o g)()。 ?I(X。Y) = f [p(x), p(y|x)] ?I(X。 )()XYXYXYp x yI X Y p x ypxp x yp x yp x p yp y xp x y I Y Xpy??????????（ 4）凸?fàn)钚? ??平均互信息 I(X。X)=H(X)=H(Y) ( / )( 。X)=0 當(dāng)信道無(wú)干擾時(shí)， I(X。X) 當(dāng) X、 Y統(tǒng)計(jì)獨(dú)立時(shí)， I(X。(0)|(XHYXHXHYXIYXH??????（ 3）交互性（對(duì)稱(chēng)性） 即 I(X。Y) = H(X) 當(dāng) H(X/Y)=0 時(shí)，即信道中傳輸信息無(wú)損時(shí)，等式成立。 )I X Y?,( ) ( ) ( )( ) l o g ( ) l o g( ) ( ) ( )( ) ( )l o g ( ) l o g ( ) ( ) l o g 1 0()X Y X YX Y X Yp x y p x p yp x y p x yp x p y p x yp x p yp x y p x p yp x y? ? ?? ? ? ?????( 。Y) = 0，當(dāng) X、 Y統(tǒng)計(jì)獨(dú)立時(shí)等式成立。Y)=H(X)=H(Y) 無(wú)噪無(wú)損信道：完全重迭 全損信道：完全獨(dú)立 無(wú)噪無(wú)損信道： 全損信道： 平均互信息的性質(zhì) 平均互信息 I(X。 ( | ) ( ) xXp y x p y yY??? ? ?? ( | ) ( ) xXp x y p xyY??? ???二種極限信道各類(lèi)熵與平均互信息之間的關(guān)系 H(X|Y) = H(X) H(Y|X) = H(Y) I(X。 ? 平均互信息 I(X。 ? 接收到 Y后不可能消除有關(guān)輸入端 X的任何不確定性，所以獲得的信息量等于零。Y) = 0 [I(X。 ? H(X|Y) = H(Y|X) = 0 [損失熵和噪聲熵都為“ 0” ] ? 由于噪聲熵 /損失熵等于零，因此，輸出端接收的信息就等于平均互信息 : I(X。Y)=0，說(shuō)明罪犯的講話(huà)對(duì)案情毫無(wú)幫助。 如果 H(X|Y)=0，說(shuō)明警察聽(tīng)了罪犯的講話(huà)后完全了解案情。Y) 如果用 X表示案情， Y表示犯人講話(huà)，那么， H(X|Y) 表示犯人講話(huà)后警察對(duì)案件的不解，I(X。Y) H(Y|X) = H(Y) I(X。Y) 確定了通過(guò)信道的信息量的多少，因此稱(chēng)它為 信息傳輸率或傳信率 。Y)才是接收端所獲得的信息量 （ 不確定性的消除 ） 。Y)也等于發(fā)出 X的前、后關(guān)于 Y的平均不確定性的消除 。 ? I(X。Y) = H(X) H(X|Y)：從 Y中獲得關(guān)于 X的平均互信息 I(X。 )I X Y,()( ) l o g( ) ( ) ( ) ( ) ( )XYp x yp x yp x p y H X H Y H X Y? ? ?? ?)|(1l og)()(1l og)(, xypxypypxypYXYX?? ??)|(1l og)()(1l og)(, xypxypypypYXY?? ??( ) ( | )H Y H Y X??,( 。)|(1l o g)()|(, xypxypXYHyxpxypYXHYXYX?? ＝＝)(1l o g)()(, xypxypXYHYX?＝噪聲熵 (或散布度 )，反映了信道中噪聲源的不確定性 。Y) = H(X)+H(Y)H(XY) 其中： 平均互信息與各類(lèi)熵的關(guān)系 )(1l o g)()(。Y) = H(X) H(X|Y) I(X。 信道疑義度（損失熵），信源符號(hào)通過(guò)有噪信道傳輸后所引起的信息量的損失。 若 I(X。 y)的統(tǒng)計(jì)平均 ，所以 I(X。 ? I(X。 ? 若 I(x 。 y) 代表收到某消息 y后獲得關(guān)于某事件 x的信息量。(ijiji xpyxpyxI ?關(guān)于平均互信息 I(X。 ?它代表接收到符號(hào)集 Y后平均每個(gè)符號(hào)獲得的關(guān)于 X的信息量，也表示了輸入與輸出兩個(gè)隨機(jī)變量之間的統(tǒng)計(jì)約束程度。 ?定義 I(X。 Y)： I(xi 。()()。 yj) = I(xi)； 對(duì)于全損信道， I(xi 。 yj)：收到消息 yj 后獲得關(guān)于 xi的信息量 )()|(l og)|(1l og)(1l og)/()()。 這說(shuō)明接收到符號(hào)集 Y的所有符號(hào)后，關(guān)于輸入符號(hào) X的平均不確定性減少了，即 總能 消除一些關(guān)于輸入端 X的不確定性，從而 獲得 了一些信息。 如果是一一對(duì)應(yīng)信道，那么接收到符號(hào) Y后，對(duì) X的不確性完全消除，則信道疑義度 H(X/Y)＝ 0。 1( | ) ( | ) l og( | )jjX jH X b p x b p x b? ?1( | ) [ ( / ) ] ( ) ( / )sj j jjH X Y E H X b p b H X b??? ?111( ) ( | ) l o g( | )srj i jji ijp b p a b p a b??? ??,1( ) l o g( | )XY p x y p x y? ? 信道疑義度（含糊度） ：它表示在輸出端收到全部輸出符號(hào) Y集后，對(duì)于輸入端的信號(hào)集 X尚存在 的不確定性 (存在疑義 )。 11( ) ( ) l o g ( ) l o g ( )()riiX iH X p a p x p xpa?? ? ???接受到 bj后，關(guān)于 X的不確定性為 后驗(yàn)熵在輸出符號(hào)集 Y范圍內(nèi)是個(gè)隨機(jī)量，對(duì)后驗(yàn)熵在符號(hào)集 Y中 求數(shù)學(xué)期望 ，得條件熵 信道疑義度 ： 這是接收到輸出符號(hào) bj后關(guān)于 X的 后驗(yàn)熵 。 ? 如果信道中無(wú)干擾 (噪聲 )，則信道的輸出符號(hào)與輸入符號(hào)一一對(duì)應(yīng)，那么，接收到傳送過(guò)來(lái)的符號(hào)后就消除了對(duì)發(fā)送符號(hào)的先驗(yàn)不確定性。 信道疑義度與平均互信息 本節(jié)進(jìn)一步研究離散單符號(hào)信道的數(shù)學(xué)模型下的信息傳輸問(wèn)題。 p(ai)先驗(yàn)概率 ，接收到一個(gè)輸出符號(hào)以前輸入符號(hào)概率 p(bj)輸出某符號(hào)的概率 (2)根據(jù)條件概率可得輸出符號(hào)的概率 : 輸出 /輸入符號(hào)與轉(zhuǎn)移概率關(guān)系的矩陣形式為 : 1( ) ( ) ( / ) ( 1 , . . . , )rj i j iip b p a p b a j s???? 對(duì) 都 成 立1 12 2() ()() ()(): :() ()Ts rpb papb parspb pa?? ???? ???? ?????? ???? ??????P(3) 根據(jù)貝葉斯定律可得后驗(yàn)概率 : ()( / ) ( ) 0()iji j jjp a bp a b p bpb??1( ) ( / )( 1 , 2 , . . . , 1 , 2 , . . . , )( ) ( / )i j iri j iip a p b ai r j sp a p b a?? ? ??。 p(ai/bj)后向概率 ，已知信道輸出端接收到符號(hào)為 bj，但發(fā)送的輸入符號(hào)為 ai的概率。