【正文】 二十世紀(jì)六十年代以來，這方面的研究非?；钴S，出現(xiàn)了代數(shù)編碼、循環(huán)碼、卷積碼、級聯(lián)碼、格型碼等等，為提高信息傳輸?shù)目煽啃宰鞒隽酥匾呢暙I(xiàn)。 eP??eP L??1eP ?與無失真信源編碼定理 (香農(nóng)第一定理 )類似，香農(nóng)第二定理只是一個存在性定理，它指出信道容量是一個臨界值，只要信息傳輸率不超過這個臨界值，信道就可幾乎無失真地把信息傳送過去，否則就會產(chǎn)生失真。 例如，某離散無記憶信源 通過一個無噪無損二元離散信道進(jìn)行傳輸。Y)＝ H(X)，因而 ： 無損 信 道 的相對 剩余度 = rXHlog)(1?? 上式說明提高無損信道信息傳輸率就等于減少信源的剩余度。(?表示信道的實(shí)際傳信率和信道容量之差。由此可見，當(dāng)信道確定后，信道的信息傳輸率與信源分布是密切相關(guān)的。 說明： 實(shí)際信道通常是非高斯波形信道。一般電話信號的帶寬為 3300Hz。當(dāng)信道輸入信號是平均功率受限的高斯白噪聲信號時(shí)，信息傳輸率才達(dá)到此信道容量。 輸入信號 X是 10個相互統(tǒng)計(jì)獨(dú)立、均值為零、方差為 Psi的高斯變量，且： 由常數(shù) ?的約束條件，得： )(11WPNisi ???? ?. . .1011011?????????????? ??NiniPP?解： 比較得： Ps7 = ， Ps8 = ， Ps9 = ，Ps10 = ， 可見，最后四個信道應(yīng)排除，即令： Ps7 =0， Ps8 =0 ， Ps9 =0 ， Ps10 =0 Pn1 =， Pn2 = ， Pn3 = ， Pn4 = ， Pn5 = ， Pn6 =， Pn7 = ， Pn8 = ， Pn9 = ， Pn10 = （單位為 W） 再計(jì)算常數(shù) ?（此時(shí) N = 6） ，得： ? ? . . . 61???????????? ?? ??iniPP?比較得： Ps6 = ，可見，第六個信道也應(yīng)排除，令： Ps6 =0 再計(jì)算常數(shù) ?（此時(shí) N = 5） ，得： ? ? . . . 51???????????? ?? ??iniPP?可見，第五個信道也應(yīng)排除，令： Ps5 =0 ? ? . . . 41???????????? ?? ??iniPP?所以，功率分配為 ： Ps1 =， Ps2 = ， Ps3 = ， Ps4 = Pn1 =， Pn2 = ， Pn3 = ， Pn4 = ， Pn5 = ， Pn6 =， Pn7 = ， Pn8 = ， Pn9 = ， Pn10 = （單位為 W） (比特／ 10個自由度 ) 本例結(jié)果表明， 噪聲分量平均功率小的信道分配得到的相應(yīng)信號分量的平均功率要大一些， 那些太壞的信道就不去用它，可使總的信道容量最大。 此時(shí)分兩種情況： (1) 若 各單元時(shí)刻 (i＝ 1,…,N) 上的噪聲都是均值為零、方差為 Pn的高斯噪聲，得： (2) 若各單元時(shí)刻 (i＝ 1,…,N) 上的噪聲是均值為零，方差為不同 Pni的高斯噪聲，但輸入信號的總平均功率受限，其約束為： 則： 單位： (比特／ N個自由度 ) ???????? ??nsPPNC 1lo g2? ???????????? ??? Ni niniPPC11lo g21 ? ??? ???? 0 0 0 )( xxxx? ??? nisi PP ?PPXE NisiNii ???????? ???? 112??? nisi PP (常數(shù) ), i=1,2…,N 這結(jié)論說明， N個獨(dú)立并聯(lián)的組合高斯加性信道，當(dāng)各分信道 (或各時(shí)刻 )的噪聲平均功率不相等時(shí)，為達(dá)到最大的信息傳輸率，要對輸入信號的總能量適當(dāng)?shù)剡M(jìn)行分配。 ? 因此，得 平均功率受限高斯加性信道 的信道容量 (每個自由度 )為： 2020 l o g212l o g2l o g????PeePC ???)1l o g (21)1l o g (21 2nssPPP ?????二、多維無記憶高斯加性連續(xù)信道 ??????? NiiNiii npxypxypnp11)()/()/()(??? Niii YXIYXI1)。 因此，連續(xù)信道具有與離散信道類似的信息傳輸率和信道容量的表達(dá)式。Y） ? NC 即： CN = NC 所以，對于 一般的離散無記憶信道的 N次擴(kuò)展信道 ，其 信道容量 是： ()()1()11m a x ( 。()/( 21 spppHxXYH ?? 在這個信道中，每個符號平均能夠傳輸?shù)淖畲笮畔椤?39。, . . . ,39。 它是對稱離散信道的特例。 具有這種對稱信道矩陣的信道稱為 對稱離散信道 。 損失熵 H(X/Y)=0， 但噪聲熵 H(Y/X)≠0 其信道矩陣： 所以 ： I(X。Y) ( ) ( )H p p H p??? ? ?時(shí)， I(X。 即存在一個最大的信息傳輸率 定義為 信道容量 C )}。 ? 所以： R = I(X。 假若信源是無記憶的 ，則有： ),(),(1iiNiYXII ???YX),(),(),(1YXNIYXII iiNi?? ??YX其中 Xi和 Yi是隨機(jī)序列 X和 Y中的第 i 位隨機(jī)變量。 若信源是無記憶的，則等式成立。 由于是 無記憶信道 ，可 求得 二次擴(kuò)展信道的傳遞概率 ： 信道矩陣 ： ???????????????22222222ppppppppppppppppppppppppΠ2112131241( / ) ( 0 0 / 0 0 ) ( 0 / 0 ) ( 0 / 0 )( / ) ( 0 1 / 0 0 ) ( 0 / 0 ) ( 1 / 0 )( / ) ( 1 0 / 0 0 ) ( 1 / 0 ) ( 0 / 0 )( / ) ( 1 1 / 0 0 ) ( 1 / 0 ) ( 1 / 0 )P P P P pP P P P p pP P P P p pP P P P p????????? ? ?? ? ?? ? ?? ? ? 根據(jù)平均互信息的定義，可得 無記憶信道的 N次擴(kuò)展信道的平均互信息 ： )。 ? 對每一種信源都存在一種最差的信道，此時(shí)干擾 (噪聲 ) 最大，而輸出端獲得的信息量最小。 ? （ 2） 對于每一個固定信道，一定存在有一種信源 (某一種概率分布 P(x))，使輸出端獲得的平均信息量為最大。 ) ( 。Y) = I(Y。Y) = I(Y。Y) = 0 當(dāng) X、 Y統(tǒng)計(jì)獨(dú)立時(shí)等式成立。 ??????YyXxyPxyp )()|(??????YyXxxPyxp )()|(二種極限信道各類熵與平均互信息之間的關(guān)系 H(X|Y) = H(X) H(Y|X) = H(Y) I(X。 ? 接收到 Y后不可能消除有關(guān)輸入端 X的任何不確定性，所以獲得的信息量等于零。 ? H(X|Y) = H(Y|X) = 0 [損失熵和噪聲熵都為“ 0” ] ? 由于噪聲熵等于零，因此，輸出端接收的信息就等于平均互信息 : I(X。Y)。Y) H(Y|X) = H(Y) I(X。Y) = H(Y) H(Y|X) I(X。 若 I(X。 I(X。 y) 代表收到某消息 y后獲得關(guān)于某事件 x的信息量。 yj)的 統(tǒng)計(jì)平均。 yj) = 0； 二、平均互信息 )()|(l o g)()。 )|(1l o g)|()|(jXjj bxPbxPbXH ??)/()()]/([)|(1jsjjj bXHbPbXHEYXH ?????????ri jijisjj baPbaPbP11 )|(1l o g)|()()|(1lo g)(, yxP