【正文】 ?????ri jijisjj baPbaPbP11 )|(1l og)|()()|(1l og)(, yxPxyPYX??互信息量 I(xi 。 yj) = 0； 二、平均互信息 )()|(l og)()。 yj)的 統計平均。 y) 代表收到某消息 y后獲得關于某事件 x的信息量。 I(X。 若 I(X。Y) = H(Y) H(Y|X) I(X。Y) H(Y|X) = H(Y) I(X。Y)。 ? H(X|Y) = H(Y|X) = 0 [損失熵和噪聲熵都為“ 0” ] ? 由于噪聲熵等于零，因此，輸出端接收的信息就等于平均互信息 : I(X。 ? 接收到 Y后不可能消除有關輸入端 X的任何不確定性，所以獲得的信息量等于零。 ??????YyXxyPxyp )()|(??????YyXxxPyxp )()|(二種極限信道各類熵與平均互信息之間的關系 H(X|Y) = H(X) H(Y|X) = H(Y) I(X。Y) = 0 當 X、 Y統計獨立時等式成立。Y) = I(Y。Y) = I(Y。 ) ( 。 ? （ 2） 對于每一個固定信道，一定存在有一種信源 (某一種概率分布 P(x))，使輸出端獲得的平均信息量為最大。 ? 對每一種信源都存在一種最差的信道，此時干擾 (噪聲 ) 最大，而輸出端獲得的信息量最小。 由于是 無記憶信道 ，可 求得 二次擴展信道的傳遞概率 ： 信道矩陣 ： ???????????????22222222ppppppppppppppppppppppppΠ2112131241( / ) ( 0 0 / 0 0 ) ( 0 / 0 ) ( 0 / 0 )( / ) ( 0 1 / 0 0 ) ( 0 / 0 ) ( 1 / 0 )( / ) ( 1 0 / 0 0 ) ( 1 / 0 ) ( 0 / 0 )( / ) ( 1 1 / 0 0 ) ( 1 / 0 ) ( 1 / 0 )P P P P pP P P P p pP P P P p pP P P P p????????? ? ?? ? ?? ? ?? ? ? 根據平均互信息的定義，可得 無記憶信道的 N次擴展信道的平均互信息 ： )。 若信源是無記憶的，則等式成立。 假若信源是無記憶的 ，則有： ),(),(1iiNiYXII ???YX),(),(),(1YXNIYXII iiNi?? ??YX其中 Xi和 Yi是隨機序列 X和 Y中的第 i 位隨機變量。 ? 所以： R = I(X。 即存在一個最大的信息傳輸率 定義為 信道容量 C )}。Y) ( ) ( )H p p H p??? ? ?時， I(X。 損失熵 H(X/Y)=0， 但噪聲熵 H(Y/X)≠0 其信道矩陣： 所以 ： I(X。 具有這種對稱信道矩陣的信道稱為 對稱離散信道 。 它是對稱離散信道的特例。,...,39。,39。()/( 21 spppHxXYH ?? 在這個信道中，每個符號平均能夠傳輸的最大信息為。Y） ? NC 即： CN = NC 所以，對于 一般的離散無記憶信道的 N次擴展信道 ，其 信道容量 是： ()()1()11ma x ( 。 因此，連續(xù)信道具有與離散信道類似的信息傳輸率和信道容量的表達式。( ?? ???????? ?? Ni nisiPP11lo g21?? ???????? ?? Ni nisiPP11lo g21? ?)。 這與實際情況也相符：我們總是在噪聲大的信道少傳或不傳送信息，而在噪聲小的信道多傳送些信息。 功率分配為 ： Ps1 =， Ps2 = ， Ps3 = ， Ps4 = l o g21l o g21l o g211l o g21443214141????????????????????????? ????nnnni nii nisiPPPPPPPC?????信道容量： (比特／ 10個自由度 ) 若提高信號的總平均功率，使： 功率分配為 ： Ps1 =， Ps2 = ， Ps3 = ， Ps4 =， Ps5 =， Ps6 = ， Ps7 = ， Ps8 = ...l o g21l o g21l o g2188765432181??????????????? ?? nnnnnnnni ni PPPPPPPPPC?????????信道容量： ? ? ...1???????????? ?? ??NiniPP?)(31WPNisi ???比較得最后兩個信道應排除，令： Ps9 =0 ， Ps10 =0 ? ? ... ???????三、限頻限時限功率的加性高斯白噪聲信道的信道容量 一般信道的頻帶寬度總是有限的，設頻帶寬度為 W，在這樣的波形信道中，滿足限頻、限時、限功率的條件約束，所以可通過取樣將輸入和輸出信號轉化為 L維的隨機序列： 12( , , ... , )Lx x x x? 12( , , .. ., )Ly y y y?y x n??2L WT?和 ，而在頻帶內的高斯噪聲是彼此獨立的，從而有 按照采樣定理，在 [0， T]范圍內要求 。香農公式是在噪聲信道中進行可靠通信的信息傳輸率的上限值。 而實際信道能達到的最大信道傳輸率約為 19200比特／秒。 ???????? ????? WNPWTCC sTt 01l o gl i m比特／秒 信源與信道的匹配 ? 在一般情況下，當信源與信道相連接時，其信息傳輸率并未達到最大。 信道剩余度定義為： 信道剩余度 = )。 在無損 信 道中， 信 道容量 C＝ logr (r是信道輸入符號數 )。 ? 因此引入問題 ：在一般通信系統中，如何將信源發(fā)出的消息 (符號 )轉換成適合信道傳輸的符號 (信號 )從而達到信源與信道的匹配。 ? ? 1 2 3 4 5 61200 0 00 1 01 0 01 1 10 0 10 100 00 00 01 00 10 00 11 01 00 01 01x x x x x xCC1C對于碼 1 () 0 .6 4 63HXR ?? (比特／信道符號 ) 2() 0 .4 8 44HXR ??2C對于碼 (比特／信道符號 ) 信道編碼定理 定理 有噪信道編碼定理 (香農第二定理 )： 若有一離散無記憶平穩(wěn)信道，其容量為 C，輸入序列長度為 L，只要待傳送的信息率 RC，總可以找到一種編碼，當 L足夠長時，譯碼錯誤概率 ， ?為任意大于零的正數。雖然定理設有具體說明如何構造這種碼，但它對信道編碼技術與實踐仍然具有根本性的指導意義。