【正文】 出符號(hào)。Y)=H(X)=H(Y) ??????????100010001)3,2,1,(10)/()/( ???????? jijijibaPabPjiij)/(l o gl o g)(m a x)(m a x )()( s y m b o lb i tsrYHXHC yPxP ????有噪無(wú)損信道： 接收到符號(hào) Y后，對(duì)X符號(hào)是完全確定的。Y)是輸入隨機(jī)變量的 ∩型凸函數(shù) ，所以對(duì)一固定的信道，總存在一種信源，使傳輸每個(gè)符號(hào)平均獲得的信息量最大。( 直觀分析 ：如果信源有記憶，前面?zhèn)魉偷姆?hào)帶有后面符號(hào)的信息，使得后面?zhèn)魉偷姆?hào)的互信息減少 若信道的輸入隨機(jī)序列為 X= (X1X2…X N)，通過(guò)信道傳輸，接收到的隨機(jī)序列為 Y＝ (Y1Y2…Y N)。 解： BSC的輸入和輸出變量 X和 Y的取值都是 0或 1，因此 ， 二次擴(kuò)展信道的輸入符號(hào)集為 A＝ {00， 01， 10， 11}， 共有22＝ 4個(gè)符號(hào) ， 輸出符號(hào)集為 B＝ {00， 01， 10， 11}。 ? （ 1） 對(duì)固定信道，選擇不同的信源 (其概率分布不同 )與信道連接，在信道輸出端接收到每個(gè)符號(hào)后獲得的信息量是不同的。X)=0 當(dāng)信道無(wú)干擾時(shí) I(X。Y) 具有以下特性： （ 1）非負(fù)性 即 I(X。Y) = H(X) H(X|Y)] ? 信道的輸入和輸出沒(méi)有 依賴 關(guān)系，信息無(wú)法傳輸，稱為 全損信道 。Y) H(XY) 圖中，左邊的圓代表隨機(jī)變量 X的熵，右邊的圓代表隨機(jī)變量 Y的熵，兩個(gè)圓重疊部分是平均互信息I(X。Y) = H(X) H(X|Y) I(X。 y)0，說(shuō)明在未收到信息量 y以前對(duì)消息x是否出現(xiàn)的不確定性較小，但由于噪聲的存在，接收到消息 y后，反而對(duì) x是否出現(xiàn)的不確定程度增加了。 Y)： I(xi 。 后驗(yàn)熵是當(dāng)信道接收端接收到輸出符號(hào) bj后 ， 關(guān)于輸入符號(hào)的信息測(cè)度 。 ?（ 1p）表示是 無(wú)錯(cuò)誤傳輸 的概率。 ?條件概率： P(y/x)＝ P(y=bj/x=ai)＝ P(bj/ai) 這一組條件概率稱為 信道的傳遞概率 或 轉(zhuǎn)移概率 ，可以用來(lái) 描述信道干擾 影響的大小。 ? 根據(jù)信道的 統(tǒng)計(jì)特性即條件概率 P(y/x)的不同，離散信道又可分成三種情況： ? 無(wú)干擾信道 ? 有干擾無(wú)記憶信道 ? 有干擾有記憶信道 (1)無(wú)干擾 (噪聲 )信道 信道中沒(méi)有隨機(jī)性的干擾或者干擾很小，輸出信號(hào)y與輸入信號(hào) x 之間有確定的、一 一對(duì)應(yīng)的關(guān)系。反映了 信道的統(tǒng)計(jì)特性 。 ?輸出符號(hào)為 Y，取值于 {b1,b2, …,b s}。 傳遞概率 : pPabPpPabPppPabPppPabP????????????)0|1()|()1|0()|(1)1|1()|(1)0|0()|(12212211? p是單個(gè)符號(hào) 傳輸發(fā)生錯(cuò)誤 的概率。 )(l o g)()( 1l o g)()(1xPxPaPaPXHXirii ?? ????接受到 bj后，關(guān)于 X的不確定性為 后驗(yàn)熵在輸出符號(hào)集 Y范圍內(nèi)是個(gè)隨機(jī)量，對(duì)后驗(yàn)熵在符號(hào)集 Y中求數(shù)學(xué)期望，得條件熵 信道疑義度 ： 這是接收到輸出符號(hào) bj后關(guān)于 X的 后驗(yàn)熵 。(ijij ijijij iji xpyxpyxpyxIyxpYXI ? ?? ? ??平均互信息 I(X。 若互信息 I(x 。 I(X。Y) H(X) H(Y) H(X/Y) H(Y/X) I(X。Y) = 0 [I(X。Y)=H(X)=H(Y) 無(wú)損信道：完全重迭 全損信道：完全獨(dú)立 無(wú)損信道： 全損信道： 三、平均互信息的性質(zhì) 平均互信息 I(X。Y) = I(Y。Y)是輸入信源的概率分布 P(x)的∩ 型凸函數(shù)。 設(shè)離散無(wú)記憶信道的 輸入符號(hào)集 A＝ {a1， … ， ar}， 輸出符號(hào)集 B＝ {b1 ， … ， bs}，信道矩陣為 : ????sjijij pp110)|()...|...()|(12121 ijNiNN xyPxxxyyyPxyP ?????????????????rsrrsspppppppppP. . .:. . .::. . .. . .212222111211則此無(wú)記憶信道的 N次擴(kuò)展信道 的數(shù)學(xué)模型如圖所示 : 而 信道矩陣 ： 其中： 1 1 1 1 1 1 1 11 1 2 2 2 1 1 2( ... ) ( ... )( ... ) ( ... )( | ): ( ... ) ( ... )NNNNkkr r r s s srsa a a b b ba a a b b bpXYa a a b b b??? ? ? ???? ? ? ???????? ? ? ???????????????????NNNNNNsrrrss???????????????212222111211( | )k h h kp? ? ? ? 1 2 1 2( | )h h h N k k k Np b b b a a a?1( | ) { 1 , 2 , , } , { 1 , 2 , , }N NNh i k iip b a k i r h i s?? ? ?? [例 3] 求二元無(wú)記憶對(duì)稱 信 道 （ BSC） 的二次擴(kuò)展信道。()。Y)/t = H(X)/t – H(X|Y)/t （比特 /秒） 一、 信道容量的定義 由于平均互信息 I(X。 當(dāng) 12????(比特／符號(hào) ) 離散無(wú)噪信道 二、簡(jiǎn)單離散信道的信道容量 例如： 其信道矩陣是單位矩陣： 滿足： I(X。 三、對(duì)稱離散信道的信道容量 例如： ????????????????????????????2161313121616131213131616161613131PP 和都是對(duì)稱離散信道 都不是對(duì)稱離散信道 ??????????????????3161316161613131PP 和若輸入 /輸出符號(hào)個(gè)數(shù)相同，都等于 r，且信道矩陣為： 則此信道稱為 強(qiáng)對(duì)稱信道或均勻信道 。(l o g)]39。 [例 5] 某對(duì)稱離散信道的信道矩陣如下，求其信道容量。()。 這與實(shí)際情況也相符：我們總是在噪聲大的信道少傳或不傳送信息，而在噪聲小的信道多傳送些信息。香農(nóng)公式是在噪聲信道中進(jìn)行可靠通信的信息傳輸率的上限值。 ???????? ????? WNPWTCC sTt 01lo glim比特／秒 信源與信道的匹配 ? 在一般情況下，當(dāng)信源與信道相連接時(shí)，其信息傳輸率并未達(dá)到最大。 在無(wú)損 信 道中， 信 道容量 C＝ logr (r是信道輸入符號(hào)數(shù) )。 ? ? 1 2 3 4 5 6120 0 0 0 0 1 0 1 0 0 1 1 1 0 0 1 0 10 0 0 0 0 0 0 1 0 0 1 0 0 0 1 1 0 1 0 0 0 1 0 1x x x x x xCC1C對(duì)于碼 1 () 0 . 6 4 63HXR ?? (比特／信道符號(hào) ) 2() 0 .4 8 44HXR ??2C對(duì)于碼 (比特／信道符號(hào) ) 信道編碼定理 定理 有噪信道編碼定理 (香農(nóng)第二定理 )： 若有一離散無(wú)記憶平穩(wěn)信道，其容量為 C，輸入序列長(zhǎng)度為 L，只要待傳送的信息率 RC，總可以找到一種編碼，當(dāng) L足夠長(zhǎng)時(shí)，譯碼錯(cuò)誤概率 ， ?為任意大于零的正數(shù)。