信息論與編碼第一講(已修改)
2025-05-08 13:51 本頁面
【正文】 第一講 主 講 人：劉丹平 聯(lián)系方式： 主要內(nèi)容 ?課程介紹 ?信息概念、信息論 ?信息的度量 ?信道及其容量 一、課程介紹 信息論與信道編碼 教學目標 ? 香農(nóng)信息論的基本理論 – 信息的統(tǒng)計度量，信源，信道和信道容量。 ? 編碼的理論和實現(xiàn)原理 – 近世代數(shù)基礎 ；信道編碼定理；線性分組碼 、循環(huán)碼、 卷積碼 、 Turbo碼的 編、譯碼方法 。 ? 教學重點 – 信息度量、信源描述、信道容量 – 近世代數(shù)基礎 、線性分組碼 、循環(huán)碼、 卷積碼、 Turbo碼的 編、譯碼方法 。 教學計劃 第一講： 信息論 （復習） 第二講： 有噪信道編碼理論、 線性分組碼（講述和討論） 第三講： 近世代數(shù)基礎、循環(huán)碼 （講述和討論） 第四講： BCH碼、 RS碼 （講述和討論） 第五講： 卷積碼編碼 （講述和討論） 第六講： 卷積碼 譯 碼 （講述和討論） 第七講： Turbo碼 （講述和討論） （ 1） 糾錯碼 —— 原理與方法 （ 2022） ，西安電子科 技大學出版社 ； （ 2） 傅祖蕓編著，《信息論－基礎理論與應用》（ 2022） ，北京：電子工業(yè)出版社； （ 3） 姜丹，《信息論與編碼》 （ 2022） ，合肥，中國科學技術大學出版社； （ 4） 曹雪虹，張宗橙，信息論與編碼 （ 2022） ，北京，清華大學出版社 。 參考書 計分方式 ? 期終考試占 60％ ? 專題報告占 20％；個人報告占 20％ ? 小論文占 20% 二、信息概念、信息論 信息 ?信息、消息、信號 ?信息 是抽象、復雜的概念，它包含在消息之中，是通信系統(tǒng)中傳遞的對象 。 信息定義 信息就是事物運動的狀態(tài)和方式，就是關于事物運動的千差萬別的狀態(tài)和方式的知識。 研究信息的目的 ：為了準確地把握信息本質(zhì)和特點，以便有效地利用信息。 香農(nóng)信息論 1948年 ， 美國數(shù)學家克勞特 香農(nóng) （ . Shannon）發(fā)表了一篇著名論文 “ 通信的數(shù)學理論 ” 。 該論文給出了信息傳輸問題的一系列重要結果 ， 建立了比較系統(tǒng)的信息理論 —— 香農(nóng)信息論 。 信息論奠基人 —— 香農(nóng) “通信的基本問題就是在一點重新準確地或近似地再現(xiàn)另一點所選擇的消息 ” 。 這是香農(nóng)在他的驚世之著《 通信的數(shù)學理論 》 中的一句銘言。正是沿著這一思路 ,他應用數(shù)理統(tǒng)計的方法來研究通信系統(tǒng)，從而創(chuàng)立了影響深遠的信息論。 他的成就轟動了世界，激起了人們對信息理論的巨大熱情。信息論向各門學科沖擊，研究規(guī)模像滾雪球一樣越來越大。不僅在電子學的其他領域，如計算機、自動控制等方面大顯身手，而且遍及物理學、化學、生物學、心理學、醫(yī)學、經(jīng)濟學、人類學、語音學、統(tǒng)計學、管理學 …… 等學科。它已遠遠地突破了香農(nóng)本人所研究和意料的范疇，即從香農(nóng)的所謂“狹義信息論”發(fā)展到了“廣義信息論”。 三、信息的度量 自信息量 隨機事件 ix 出現(xiàn)概率 ? ?iPx自信息量定義 ? ? ? ?l o giiI x P x??隨機事件的不確定性 ? 出現(xiàn)概率小的隨機事件所包含的不確定性大，它的自信息量大。 ? 出現(xiàn)概率大的隨機事件所包含的不確定性小，它的自信息量小。 ? 在極限情況下，出現(xiàn)概率為 1的確定性事件，其自信息量為零。 條件自信息量 ?條件自信息量用其條件概率的負對數(shù)來量度 隨機事件 ix 條件概率 ? ?ijP x y條件自信息量 ? ? ? ?l o gi j i jI x y P x y?條件自信息量：能在規(guī)定條件下唯一地確定該事件必須提供的信息量。 互信息量 ?先驗概率 ? 對于預先知道信源 X集合的概率空間 P(xi)的情況，各個符號 xi(i=1,2,…) 的概率 P(xi)。 ?后驗概率 ? 當信宿 Y收到集合中的一個符號 yj后，接收者重新估計的關于信源各個符號的概率分布就變成條件概率。對消息 xi而言，其條件概率定義為 P(xi|yj)。 ?互信息量 ? 互信息量定義為后驗概率與先驗概率比值的對數(shù)： ? ? ? ?? ?|。 l o g ijijiP x yI x yPx 通信熵 ?無記憶信源 ? 信源往往包含著多個符號，且各個符號的出現(xiàn)概率按信源的概率空間分布。 ? 當各個符號的出現(xiàn)相互獨立時，這種信源稱為無記憶信源
教學課件相關推薦
鄂ICP備17016276號-1