【正文】 0 I(X。 ?平均互信息量 ： 平均條件互信息量 在整個(gè) Y集合上的概率加權(quán)平均值 。 ? 在極限情況下，出現(xiàn)概率為 1的確定性事件，其自信息量為零。 教學(xué)計(jì)劃 第一講： 信息論 （復(fù)習(xí)） 第二講： 有噪信道編碼理論、 線性分組碼（講述和討論） 第三講： 近世代數(shù)基礎(chǔ)、循環(huán)碼 （講述和討論） 第四講： BCH碼、 RS碼 （講述和討論） 第五講： 卷積碼編碼 （講述和討論） 第六講： 卷積碼 譯 碼 （講述和討論） 第七講： Turbo碼 （講述和討論） （ 1） 糾錯(cuò)碼 —— 原理與方法 （ 2022） ，西安電子科 技大學(xué)出版社 ； （ 2） 傅祖蕓編著，《信息論－基礎(chǔ)理論與應(yīng)用》（ 2022） ，北京：電子工業(yè)出版社； （ 3） 姜丹，《信息論與編碼》 （ 2022） ，合肥，中國(guó)科學(xué)技術(shù)大學(xué)出版社； （ 4） 曹雪虹，張宗橙，信息論與編碼 （ 2022） ，北京，清華大學(xué)出版社 。正是沿著這一思路 ,他應(yīng)用數(shù)理統(tǒng)計(jì)的方法來研究通信系統(tǒng)，從而創(chuàng)立了影響深遠(yuǎn)的信息論。 ?通信熵 平均自信息量 ? ? ? ? ? ?XH X P x I x?自信息量 ? ? ? ?l o giiI x P x?代入 ? ? ? ? ? ?l o gXH X P x P x? ?信息論的一個(gè)基本的重要公式。I X Y H X H Y H X Y? ? ?? ?。Y)達(dá)到 極大值的 充分和必要條件 是輸入概率 {p(ai)}必須滿足 : I (ai。這一點(diǎn)可以這樣理解：因?yàn)檫B續(xù)信源的可能取值數(shù)是無(wú)限多個(gè)，若設(shè)取值是等概分布，那么信源的不確定性為無(wú)限大。下面分別加以討論。其值等于 log(ba)。 既然如此，那么為什么還要那樣來定義連續(xù)信源的熵呢？一方面，因?yàn)檫@樣定義可與離散信源的熵在形式上統(tǒng)一起來（這里用積分代替了求和）；另一方面，因?yàn)樵趯?shí)際問題中，常常討論的是熵之間的差值，如平均互信息等。Y) ≤C 對(duì)于所有 ai其 p(ai) = 0 ? 上式說明： – 當(dāng)信道的平均互信息 I(X。|I X Y H X H X Y??? ? ? ? ? ?。 H(X)是 P(x)的函數(shù)。信息論向各門學(xué)科沖擊，研究規(guī)模像滾雪球一樣越來越大。 ? 編碼的理論和實(shí)現(xiàn)原理 – 近世代數(shù)基礎(chǔ) ；信道編碼定理；線性分組碼 、循環(huán)碼、 卷積碼 、 Turbo碼的 編、譯碼方法 。 三、信息的度量 自信息量 隨機(jī)事件 ix 出現(xiàn)概率 ? ?iPx自信息量定義 ? ? ? ?l o giiI x P x??隨機(jī)事件的不確定性 ? 出現(xiàn)概率小的隨機(jī)事件所包含的不確定性大，它的自信息量大。 | 。Y)=0 無(wú)損無(wú)噪 信道 P(x/y)=0 or 1 且 P(y/x)=0 or 1 H(X/Y)= H(Y/X)=0 I(X。 ? 設(shè)信道的輸入和輸出信號(hào)是隨機(jī)過程 x(t) 和 y(t) y(t) = x(t) + n(t) – n(t)：信道的加性高斯白噪聲 ? 一個(gè)受加性高斯白噪聲干擾的帶限波形信道的容量，由香農(nóng) (1948)正式定義： )},({m a x)(YXICxp?信 道 n(t) x(t) y(t) ? 高斯白噪聲加性信道單位時(shí)間的信道容量 )1l o g ()。 同理，可以定義兩個(gè)連續(xù)變量 X、 Y的聯(lián)合熵和條件熵，即 ????????????RRRd x d yyxpyxpypYXhd x d yxypxypxpXYhd x d yxypxypXYh)/(l o g)/()()/()/(l o g)/()()/()(l o g)()( 它們之間也有與離散信源一樣的相互關(guān)系，并且可以得到有信息特征的互信息： 這樣定義的熵雖然形式上和離散信源的熵相似，但在概念上不能把它作為信息熵來理解。 上述定理說明，連續(xù)信源在不同的限制條件下有不同的最大熵，在無(wú)限制條件時(shí)，最大熵不存在。一般情況，在不同約束條件下，求連續(xù)信源的差熵的最大值，就是在下述若干約束條件。連續(xù)信源 X被量化為離散信源： 且 ????????????????)(,)(,)(,2211nnnxpxxpxxpxPX??1)()()(1 )1(1???? ?? ?????????ba