信息論與編碼第一講-wenkub
2023-05-11 13:51:34 本頁面
【正文】 ?信源 X有兩個(gè)消息， M=2 ? 一個(gè)符號(hào)出現(xiàn)概率 P ? 另一個(gè)符號(hào)出現(xiàn)概率 1－ P ? 該信源的熵 ? ? ? ? ? ?l o g 1 l o g 1H X P P P P? ? ? ? ?????H(P) 1 0 1 P 最大熵 條件熵 ?條件熵是聯(lián)合空間 XY上 的 條件自信息量 的概率加權(quán)平均值。 ? 無記憶信源的平均自信息量是各消息自信息量的概率加權(quán)平均值（統(tǒng)計(jì)平均值）。對(duì)消息 xi而言，其條件概率定義為 P(xi|yj)。 ? 在極限情況下，出現(xiàn)概率為 1的確定性事件，其自信息量為零。不僅在電子學(xué)的其他領(lǐng)域，如計(jì)算機(jī)、自動(dòng)控制等方面大顯身手，而且遍及物理學(xué)、化學(xué)、生物學(xué)、心理學(xué)、醫(yī)學(xué)、經(jīng)濟(jì)學(xué)、人類學(xué)、語音學(xué)、統(tǒng)計(jì)學(xué)、管理學(xué) …… 等學(xué)科。 這是香農(nóng)在他的驚世之著《 通信的數(shù)學(xué)理論 》 中的一句銘言。 香農(nóng)信息論 1948年 ， 美國(guó)數(shù)學(xué)家克勞特 教學(xué)計(jì)劃 第一講： 信息論 （復(fù)習(xí)） 第二講： 有噪信道編碼理論、 線性分組碼（講述和討論） 第三講： 近世代數(shù)基礎(chǔ)、循環(huán)碼 （講述和討論） 第四講： BCH碼、 RS碼 （講述和討論） 第五講： 卷積碼編碼 （講述和討論） 第六講： 卷積碼 譯 碼 （講述和討論） 第七講： Turbo碼 （講述和討論） （ 1） 糾錯(cuò)碼 —— 原理與方法 （ 2022） ，西安電子科 技大學(xué)出版社 ； （ 2） 傅祖蕓編著，《信息論－基礎(chǔ)理論與應(yīng)用》（ 2022） ，北京：電子工業(yè)出版社； （ 3） 姜丹，《信息論與編碼》 （ 2022） ，合肥，中國(guó)科學(xué)技術(shù)大學(xué)出版社； （ 4） 曹雪虹，張宗橙，信息論與編碼 （ 2022） ，北京，清華大學(xué)出版社 。第一講 主 講 人：劉丹平 聯(lián)系方式： 主要內(nèi)容 ?課程介紹 ?信息概念、信息論 ?信息的度量 ?信道及其容量 一、課程介紹 信息論與信道編碼 教學(xué)目標(biāo) ? 香農(nóng)信息論的基本理論 – 信息的統(tǒng)計(jì)度量，信源，信道和信道容量。 參考書 計(jì)分方式 ? 期終考試占 60％ ? 專題報(bào)告占 20％；個(gè)人報(bào)告占 20％ ? 小論文占 20% 二、信息概念、信息論 信息 ?信息、消息、信號(hào) ?信息 是抽象、復(fù)雜的概念，它包含在消息之中，是通信系統(tǒng)中傳遞的對(duì)象 。香農(nóng) （ . Shannon）發(fā)表了一篇著名論文 “ 通信的數(shù)學(xué)理論 ” 。正是沿著這一思路 ,他應(yīng)用數(shù)理統(tǒng)計(jì)的方法來研究通信系統(tǒng)，從而創(chuàng)立了影響深遠(yuǎn)的信息論。它已遠(yuǎn)遠(yuǎn)地突破了香農(nóng)本人所研究和意料的范疇，即從香農(nóng)的所謂“狹義信息論”發(fā)展到了“廣義信息論”。 條件自信息量 ?條件自信息量用其條件概率的負(fù)對(duì)數(shù)來量度 隨機(jī)事件 ix 條件概率 ? ?ijP x y條件自信息量 ? ? ? ?l o gi j i jI x y P x y?條件自信息量：能在規(guī)定條件下唯一地確定該事件必須提供的信息量。 ?互信息量 ? 互信息量定義為后驗(yàn)概率與先驗(yàn)概率比值的對(duì)數(shù)： ? ? ? ?? ?|。 ?通信熵 平均自信息量 ? ? ? ? ? ?XH X P x I x?自信息量 ? ? ? ?l o giiI x P x?代入 ? ? ? ? ? ?l o gXH X P x P x? ?信息論的一個(gè)基本的重要公式。 ?若給定 x條件下 y的條件自信息量為 I(y|x)，則它在 XY集合上的概率加權(quán)平均值 H(Y|X)定義為： ?H(Y|X)為條件熵，也可直接定義為： ? ? ? ? ? ?||XYH Y X P x y I y x?? ? ? ? ? ?| l o g |XYH Y X P x y P y x? ?共熵 ?共熵（又稱聯(lián)合熵）是聯(lián)合空間 XY上的每個(gè)元素對(duì) xy的自信息量的概率加權(quán)平均值，定義為： ? ? ? ? ? ?XYH X Y P x y I x y?? ? ? ? ? ?l o gXYH X Y P x y P x y?與信源熵和條件熵的關(guān)系 ? ? ? ? ? ?|H X Y H X H Y X??? ? ? ? ? ?|H X Y H Y H X Y??22 聯(lián)合熵與條件熵的關(guān)系
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1