信息論與編碼第一講-展示頁(yè)
2025-05-05 13:51本頁(yè)面
【正文】 通信熵 平均自信息量 ? ? ? ? ? ?XH X P x I x?自信息量 ? ? ? ?l o giiI x P x?代入 ? ? ? ? ? ?l o gXH X P x P x? ?信息論的一個(gè)基本的重要公式。 ? 當(dāng)各個(gè)符號(hào)的出現(xiàn)相互獨(dú)立時(shí)，這種信源稱(chēng)為無(wú)記憶信源。 ?互信息量 ? 互信息量定義為后驗(yàn)概率與先驗(yàn)概率比值的對(duì)數(shù)： ? ? ? ?? ?|。 ?后驗(yàn)概率 ? 當(dāng)信宿 Y收到集合中的一個(gè)符號(hào) yj后，接收者重新估計(jì)的關(guān)于信源各個(gè)符號(hào)的概率分布就變成條件概率。 條件自信息量 ?條件自信息量用其條件概率的負(fù)對(duì)數(shù)來(lái)量度 隨機(jī)事件 ix 條件概率 ? ?ijP x y條件自信息量 ? ? ? ?l o gi j i jI x y P x y?條件自信息量：能在規(guī)定條件下唯一地確定該事件必須提供的信息量。 ? 出現(xiàn)概率大的隨機(jī)事件所包含的不確定性小，它的自信息量小。它已遠(yuǎn)遠(yuǎn)地突破了香農(nóng)本人所研究和意料的范疇，即從香農(nóng)的所謂“狹義信息論”發(fā)展到了“廣義信息論”。信息論向各門(mén)學(xué)科沖擊，研究規(guī)模像滾雪球一樣越來(lái)越大。正是沿著這一思路 ,他應(yīng)用數(shù)理統(tǒng)計(jì)的方法來(lái)研究通信系統(tǒng)，從而創(chuàng)立了影響深遠(yuǎn)的信息論。 信息論奠基人 —— 香農(nóng) “通信的基本問(wèn)題就是在一點(diǎn)重新準(zhǔn)確地或近似地再現(xiàn)另一點(diǎn)所選擇的消息 ” 。香農(nóng) （ . Shannon）發(fā)表了一篇著名論文 “ 通信的數(shù)學(xué)理論 ” 。 研究信息的目的 ：為了準(zhǔn)確地把握信息本質(zhì)和特點(diǎn)，以便有效地利用信息。 參考書(shū) 計(jì)分方式 ? 期終考試占 60％ ? 專(zhuān)題報(bào)告占 20％；個(gè)人報(bào)告占 20％ ? 小論文占 20% 二、信息概念、信息論 信息 ?信息、消息、信號(hào) ?信息 是抽象、復(fù)雜的概念，它包含在消息之中，是通信系統(tǒng)中傳遞的對(duì)象 。 ? 教學(xué)重點(diǎn) – 信息度量、信源描述、信道容量 – 近世代數(shù)基礎(chǔ) 、線性分組碼 、循環(huán)碼、 卷積碼、 Turbo碼的 編、譯碼方法 。第一講 主 講 人：劉丹平 聯(lián)系方式： 主要內(nèi)容 ?課程介紹 ?信息概念、信息論 ?信息的度量 ?信道及其容量 一、課程介紹 信息論與信道編碼 教學(xué)目標(biāo) ? 香農(nóng)信息論的基本理論 – 信息的統(tǒng)計(jì)度量，信源，信道和信道容量。 ? 編碼的理論和實(shí)現(xiàn)原理 – 近世代數(shù)基礎(chǔ) ；信道編碼定理；線性分組碼 、循環(huán)碼、 卷積碼 、 Turbo碼的 編、譯碼方法 。 教學(xué)計(jì)劃 第一講： 信息論 （復(fù)習(xí)） 第二講： 有噪信道編碼理論、 線性分組碼（講述和討論） 第三講： 近世代數(shù)基礎(chǔ)、循環(huán)碼 （講述和討論） 第四講： BCH碼、 RS碼 （講述和討論） 第五講： 卷積碼編碼 （講述和討論） 第六講： 卷積碼 譯 碼 （講述和討論） 第七講： Turbo碼 （講述和討論） （ 1） 糾錯(cuò)碼 —— 原理與方法 （ 2022） ，西安電子科 技大學(xué)出版社 ； （ 2） 傅祖蕓編著，《信息論－基礎(chǔ)理論與應(yīng)用》（ 2022） ，北京：電子工業(yè)出版社； （ 3） 姜丹，《信息論與編碼》 （ 2022） ，合肥，中國(guó)科學(xué)技術(shù)大學(xué)出版社； （ 4） 曹雪虹，張宗橙，信息論與編碼 （ 2022） ，北京，清華大學(xué)出版社 。 信息定義 信息就是事物運(yùn)動(dòng)的狀態(tài)和方式，就是關(guān)于事物運(yùn)動(dòng)的千差萬(wàn)別的狀態(tài)和方式的知識(shí)。 香農(nóng)信息論 1948年 ， 美國(guó)數(shù)學(xué)家克勞特 該論文給出了信息傳輸問(wèn)題的一系列重要結(jié)果 ， 建立了比較系統(tǒng)的信息理論 —— 香農(nóng)信息論 。 這是香農(nóng)在他的驚世之著《 通信的數(shù)學(xué)理論 》 中的一句銘言。 他的成就轟動(dòng)了世界，激起了人們對(duì)信息理論的巨大熱情。不僅在電子學(xué)的其他領(lǐng)域，如計(jì)算機(jī)、自動(dòng)控制等方面大顯身手，而且遍及物理學(xué)、化學(xué)、生物學(xué)、心理學(xué)、醫(yī)學(xué)、經(jīng)濟(jì)學(xué)、人類(lèi)學(xué)、語(yǔ)音學(xué)、統(tǒng)計(jì)學(xué)、管理學(xué) …… 等學(xué)科。 三、信息的度量 自信息量 隨機(jī)事件 ix 出現(xiàn)概率 ? ?iPx自信息量定義 ? ? ? ?l o giiI x P x??隨機(jī)事件的不確定性 ? 出現(xiàn)概率小的隨機(jī)事件所包含的不確定性大，它的自信息量大。 ? 在極限情況下，出現(xiàn)概率為 1的確定性事件，其自信息量為零。 互信息量 ?先驗(yàn)概率 ? 對(duì)于預(yù)先知道信源 X集合的概率空間 P(xi)的情況，各個(gè)符號(hào) xi(i=1,
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1