信息論與編碼第一講(存儲(chǔ)版)
【正文】 pppHaYHXYH ???? 對(duì)稱 DMC信道的容量 ? 上式是對(duì)稱離散信道能夠傳輸?shù)淖畲蟮钠骄畔⒘?,它只與對(duì)稱信道矩陣中行矢量 {p1, p2,… pm }和輸出符號(hào)集的個(gè)數(shù) m有關(guān)。Y) ≤C 對(duì)于所有 ai其 p(ai) = 0 ? 上式說(shuō)明： – 當(dāng)信道的平均互信息 I(X。 1)()( ???????? ?Rdxxpxp RX 并滿足 把連續(xù)信源概率密度的取值區(qū)間 [a,b]分割成 n個(gè)小區(qū)間，各小區(qū)間設(shè)有等寬 Δ=(ba)/n，那么， x處于第 i 區(qū)間的概率 Pi是： 其中， xi是 a+(i1) Δ 到 a+iΔ之間的某一值。 既然如此，那么為什么還要那樣來(lái)定義連續(xù)信源的熵呢？一方面，因?yàn)檫@樣定義可與離散信源的熵在形式上統(tǒng)一起來(lái)（這里用積分代替了求和）；另一方面，因?yàn)樵趯?shí)際問(wèn)題中，常常討論的是熵之間的差值，如平均互信息等。在連續(xù)信源中，差熵也具有極大值，但其情況有所不同。其值等于 log(ba)。在通信系統(tǒng)中，往往各種設(shè)計(jì)都將高斯白噪聲作為標(biāo)準(zhǔn)，并不完全是為了簡(jiǎn)化分析，而是根據(jù)最壞的條件進(jìn)行設(shè)計(jì)獲得可靠性。下面分別加以討論。()。這一點(diǎn)可以這樣理解：因?yàn)檫B續(xù)信源的可能取值數(shù)是無(wú)限多個(gè)，若設(shè)取值是等概分布，那么信源的不確定性為無(wú)限大。 對(duì)連續(xù)變量，可用離散變量來(lái)逼近，即連續(xù)變量可以認(rèn)為是離散變量的極限情況。Y)達(dá)到 極大值的 充分和必要條件 是輸入概率 {p(ai)}必須滿足 : I (ai。Y)=H(Y) 對(duì)稱 DMC信道 對(duì)稱性 : – 每一行都是由同一集 {p1, p2,… pm} 的諸元素不同排列組成 —— 輸入對(duì)稱 – 每一列都是由集 {q1, q2,… qn}的諸元素不同排列組成 —— 輸出對(duì)稱 ????????????????????????????????2131616121313161213131616161613131PP滿足對(duì)稱性 ,所對(duì)應(yīng)的信道是對(duì)稱離散信道。I X Y H X H Y H X Y? ? ?? ?。 ? ? ? ? ? ?。 ?通信熵 平均自信息量 ? ? ? ? ? ?XH X P x I x?自信息量 ? ? ? ?l o giiI x P x?代入 ? ? ? ? ? ?l o gXH X P x P x? ?信息論的一個(gè)基本的重要公式。 條件自信息量 ?條件自信息量用其條件概率的負(fù)對(duì)數(shù)來(lái)量度 隨機(jī)事件 ix 條件概率 ? ?ijP x y條件自信息量 ? ? ? ?l o gi j i jI x y P x y?條件自信息量：能在規(guī)定條件下唯一地確定該事件必須提供的信息量。正是沿著這一思路 ,他應(yīng)用數(shù)理統(tǒng)計(jì)的方法來(lái)研究通信系統(tǒng)，從而創(chuàng)立了影響深遠(yuǎn)的信息論。 參考書(shū) 計(jì)分方式 ? 期終考試占 60％ ? 專題報(bào)告占 20％；個(gè)人報(bào)告占 20％ ? 小論文占 20% 二、信息概念、信息論 信息 ?信息、消息、信號(hào) ?信息 是抽象、復(fù)雜的概念，它包含在消息之中，是通信系統(tǒng)中傳遞的對(duì)象 。 教學(xué)計(jì)劃 第一講： 信息論 （復(fù)習(xí)） 第二講： 有噪信道編碼理論、 線性分組碼（講述和討論） 第三講： 近世代數(shù)基礎(chǔ)、循環(huán)碼 （講述和討論） 第四講： BCH碼、 RS碼 （講述和討論） 第五講： 卷積碼編碼 （講述和討論） 第六講： 卷積碼 譯 碼 （講述和討論） 第七講： Turbo碼 （講述和討論） （ 1） 糾錯(cuò)碼 —— 原理與方法 （ 2022） ，西安電子科 技大學(xué)出版社 ； （ 2） 傅祖蕓編著，《信息論－基礎(chǔ)理論與應(yīng)用》（ 2022） ，北京：電子工業(yè)出版社； （ 3） 姜丹，《信息論與編碼》 （ 2022） ，合肥，中國(guó)科學(xué)技術(shù)大學(xué)出版社； （ 4） 曹雪虹，張宗橙，信息論與編碼 （ 2022） ，北京，清華大學(xué)出版社 。 這是香農(nóng)在他的驚世之著《 通信的數(shù)學(xué)理論 》 中的一句銘言。 ? 在極限情況下，出現(xiàn)概率為 1的確定性事件，其自信息量為零。 ? 無(wú)記憶信源的平均自信息量是各消息自信息量的概率加權(quán)平均值（統(tǒng)計(jì)平均值）。 ?平均互信息量 ： 平均條件互信息量 在整個(gè) Y集合上的概率加權(quán)平均值 。 HXI X Y HY??? ???與熵和共熵
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1