【正文】 2( .. . | .. . )NNk h h h h k k kP b b b a a a? ????Nikh ii abP1)|(其中 信息論與編碼基礎(chǔ) 離散信道 信道模型 BSC的二次擴(kuò)展信道 ??????????????22222222pppppppppppppppppppppppp信息論與編碼基礎(chǔ) 離散信道 平均互信息 a)定義 )|()()。 ) ( ) ( 0) ( )I X Y H H H??? ? ?當(dāng) p = 1時(shí) ( 。()]|(),([ xyPxPf?信息論與編碼基礎(chǔ) 離散信道 例 1 設(shè)二元對(duì)稱信道的輸入概率空間為 ???????????????? 110)( xPX其信道特性如圖，求平均互信息。 )( ) ( )XYP y xP y x I Y XP y P x???發(fā)出 X后獲得的關(guān) 于 Y的平均信息量 與各類熵的關(guān)系 ( | )( 。( YXHXHYXI ?? ??XY yPxPxyPxyP)()()(l og)(利用詹森不等式 ???XY xyPyPxPxyPYXI)()()(l og)()。 Y2) = 0,可否推出 I(X。( YXHXHYXI ??為信道輸入 X與輸出 Y之間的 平均互信息 接收到每個(gè)輸出符號(hào)后獲得的關(guān)于 X的平均信息量 bit/sign 11( 。bj) = I(bj。 d、 按信道統(tǒng)計(jì)特性 恒參信道 變參信道 衛(wèi)星信道 短波信道 e、根據(jù)信道噪聲的性質(zhì) 高斯噪聲信道 非高斯噪聲信道 信息論與編碼基礎(chǔ) 離散信道 信道的分類 離散信道的數(shù)學(xué)模型 單符號(hào)離散信道 信息論與編碼基礎(chǔ) 離散信道 離散信道的數(shù)學(xué)模型 信道 X1212( , , . . . , ): ( , , . . . , )NirX X X XX a a a??Y1212( , , . . . , ): ( , , . . . , )NisY Y Y YY b b b??( | )P y x{ , ( | ), }X P y x Y無(wú)擾（無(wú)噪）信道 有擾信道 1 , ( )( | )0 , ( )y f xP y xy f x???? ??無(wú)記憶信道 有記憶信道 11 1( | ) ( .. . | .. . ) ( | )NN N i iiP y x P y y x x P y x??? ?信息論與編碼基礎(chǔ) 離散信道 信道的分類 離散信道的數(shù)學(xué)模型 單符號(hào)離散信道 信息論與編碼基礎(chǔ) 離散信道 信道 X12: ( , , .. ., )rX a a a?Y12: ( , , .. ., )sY b b b?( | )P y x單符號(hào)離散信道 例 1 BSC信道 BSC(p)信道 是實(shí)際中幾乎所有重要的二進(jìn)制脈沖傳輸系統(tǒng)的模型 p為交叉 (crossover)概率 等于解調(diào)器 /檢測(cè)器出現(xiàn)硬判決譯碼錯(cuò) 誤的概率 信息論與編碼基礎(chǔ) 離散信道 1）條件轉(zhuǎn)移概率 ijijij PabPaxbyPxyP ????? )|()|()|( ), . . . ,2,1。bj) ≤ I(ai) 信息論與編碼基礎(chǔ) 緒論 表 1 － 1 （ x ， y ）的聯(lián)合概率分布 x ＝ 0 x ＝ 1 y ＝ 0 6 4 y ＝ 1 4 6 練習(xí) ： 令隨機(jī)變量 x表示隨機(jī)抽取人群中的性別 ， x＝ 0為男性 ， x＝ 1為女性 。 2）接收到第二個(gè)數(shù)字也是 0時(shí)，得到多少關(guān)于 關(guān)于 M1的附加互信息。 Y1) = 0 且 I(X。 0≤I(X。( ?YXI)()()。 X Y 0 1 0 1 p p 1p 1p 0 1 ω I(X。Y) H(ω) 信息論與編碼基礎(chǔ) 離散信道 思考題 假定馬爾科夫鏈 (非平穩(wěn) )起始于 n個(gè)狀態(tài)中的一個(gè)，然后 第二步受到限制，只能轉(zhuǎn)移到 k個(gè)狀態(tài)之一 (kn)，第三 步又放寬，可以轉(zhuǎn)移到 m個(gè)狀態(tài)中的一個(gè) (mk)。()。(信息論與編碼基礎(chǔ) 離散信道 定理 對(duì)于無(wú)記憶信源，則 ???NiiiNN YXIYXI1)。(2）當(dāng)信道無(wú)記憶時(shí) ???NiiiNN YXIYXI1)。 信息論與編碼基礎(chǔ) 離散信道 一、信道模型及分類 二、信道疑義度與平均互信息 三、平均互信息的性質(zhì) 四、離散無(wú)記憶的擴(kuò)展信道 五、信道容量 六、信源與信道的匹配 信息論與編碼基礎(chǔ) 離散信道 平均互信息 I(X。(max)(YXICxP?說(shuō)明： bit/sign 1）信道給定后， p(y|x)就固定， C僅與 p(y|x)有關(guān)，而與 P(x)無(wú)關(guān) 2） C是信道傳輸?shù)淖畲笮畔⒙省?) ( ) ( | )I X Y H Y H Y X??12( ) ( , , .. ., )sH Y H p p p? ? ???？ 信息論與編碼基礎(chǔ) 離散信道 例 1 ???????????????????????????prprprpprprprpp1. . .11....1. . .111. . .11強(qiáng)對(duì)稱信道 信息論與編碼基礎(chǔ) 離散信道 離散無(wú)記憶 N次擴(kuò)展信道的信道容量 ????NiiixPNNxPN YXIYXIC1)()()。Y) = h(Y) – h(Y|X) = h(Y) h(n) xi yi zi xi:樣值，正態(tài)分布 yi:樣值，正態(tài)分布 yi = xi + zi:正態(tài)分布 xi、 zi統(tǒng)計(jì)獨(dú)立 高斯信道 通信模型 高斯信道的信道容量 附：香農(nóng)信道容量公式 信息論與編碼基礎(chǔ) 離散信道 信道的輸出功率為 E{y2} = E{( x + z )2} = E{x2} + 0 + E{z2} = S + N 根據(jù)最大熵定理 平均功率受限條件下信源的最大熵定理 若某信源輸出信號(hào)的平均功率和均值被限定，則當(dāng) 其輸出信號(hào)幅度的概率密度函數(shù) p(x)是高斯分布時(shí)， 信源達(dá)到最大熵值。 練習(xí) 2）設(shè)在平均功率受限高斯可加波形信道中，信道帶寬為 3kHz，又設(shè)（信號(hào)功率 + 噪聲功率） /噪聲功率 = 10dB。 Y2) = 0,可否推出 I(X