【正文】 知識要點(diǎn)：自信息及信息熵離散無記憶擴(kuò)展信源熵，熵的基本性質(zhì)及最大離散熵定理。第四節(jié) 馬爾可夫信源知識要點(diǎn)：馬爾可夫信源定義，馬爾可夫信源熵 第四節(jié) 信息剩余度知識要點(diǎn)：信息剩余度以及自然語言熵三、本章學(xué)時(shí)數(shù) 8學(xué)時(shí)第三章：離散信道及其信道容量一、教學(xué)要求了解一般信道容量計(jì)算。二、教學(xué)內(nèi)容第一節(jié) 信道數(shù)學(xué)模型及分類知識要點(diǎn)：信道數(shù)學(xué)模型及不同的分類，信道矩陣。第三節(jié) 信道容量及一般計(jì)算方法知識要點(diǎn)：離散無噪信道及信道容量，對稱離散信道、準(zhǔn)對稱信道的容量計(jì)算。三、本章學(xué)時(shí)數(shù) 6學(xué)時(shí)第四章：無失真信源編碼一、教學(xué)要求了解其它一些無失真信源編碼方法。二、教學(xué)內(nèi)容第一節(jié) 等長碼及等長信源編碼定理知識要點(diǎn)：編碼器的概念，碼的定義，等長碼及等長信源編碼定理，e典型序列及其性質(zhì)，編碼效率。第三節(jié) 編碼方法 知識要點(diǎn)：香農(nóng)編碼，費(fèi)諾編碼，香農(nóng)－費(fèi)諾－埃利斯編碼，哈夫曼編碼，游程編碼，算術(shù)編碼和其它一些編碼方法。理解漸近等分割性及e典型序列。二、教學(xué)內(nèi)容第一節(jié) 錯(cuò)誤概率與譯碼規(guī)則和編碼方法知識要點(diǎn)：最小錯(cuò)誤概率譯碼準(zhǔn)則，最大似然譯碼準(zhǔn)則，最小距離譯碼準(zhǔn)則及其之間相互關(guān)系，平均譯碼錯(cuò)誤概率，錯(cuò)誤概率與譯碼規(guī)則和編碼方法關(guān)系，信道編碼的編、譯基本準(zhǔn)則。第三節(jié) 糾錯(cuò)碼知識要點(diǎn)：糾錯(cuò)碼分類，分組碼的最小距離與檢、糾錯(cuò)能力，分組碼的碼率，線性分組碼的特性，生成矩陣和一致監(jiān)督矩陣及其關(guān)系，線性分組碼的編、譯碼方法，漢明碼，卷積碼及其構(gòu)造方法。掌握連續(xù)信源和波形信源的信息測度。第二節(jié) 連續(xù)信道和波形信道的分類知識要點(diǎn)：按噪聲統(tǒng)計(jì)特性分類，按噪聲對信號的作用和功能分類。第四節(jié) 連續(xù)信道和波形信道的信道容量知識要點(diǎn)：單符號高斯加性信道的信道容量，單符號非高斯加性信道的信道容量，多維無記憶高斯加性信道的信道容量。二、教學(xué)內(nèi)容第一節(jié) 失真度與平均失真度知識要點(diǎn)：失真度與平均失真度，D失真許可試驗(yàn)信道。第三節(jié) 信息率失真函數(shù)的參量表述與計(jì)算知識要點(diǎn)：信息率失真函數(shù)的計(jì)算 第四節(jié) 保真度準(zhǔn)則下的信源編碼定理知識要點(diǎn)：失真限e典型序列，失真信源編碼定理和編碼逆定理，有失真信源編碼定理的實(shí)用意義。編碼技術(shù)是信息論的重要分支的基礎(chǔ)。通過本課程的學(xué)習(xí)，使學(xué)生對信息理論有一個(gè)比較全面和系統(tǒng)的了解，掌握信息論的基本概念和信息論方法，為從事信息科學(xué)的研究和應(yīng)用打下一個(gè)堅(jiān)實(shí)的基礎(chǔ)。知識要求：通過一個(gè)學(xué)期的學(xué)習(xí)要達(dá)到如下要求: 1)掌握平均信息量—熵的概念，了解信息論的基本知識和信道容量的計(jì)算。3)掌握信道編碼的意義，了解提高信息傳輸“可靠性”的方法，掌握糾錯(cuò)編碼的基本概念，重點(diǎn)講解線性分組碼的檢錯(cuò)能力，介紹卷積碼基本概念。先修課程：信號與系統(tǒng)、數(shù)字邏輯電路、微機(jī)原理與應(yīng)用、通信原理?？荚嚦煽冇?jì)算方法：平時(shí)成績 30%（主要包括作業(yè)和出勤）期終考試 70%課程性質(zhì):學(xué)科基礎(chǔ)課：①電子信息類專業(yè)基礎(chǔ)課②研究生考試課程 6 進(jìn)度安排 4學(xué)分32理論學(xué)時(shí)16周 2學(xué)時(shí)/周 7 學(xué)習(xí)方法與注意事項(xiàng) 學(xué)習(xí)、目的、方法 課程框架（理清）聽課與筆記 實(shí)用方法與公式 預(yù)習(xí)與復(fù)習(xí)（書、筆記）作業(yè)（多練習(xí)）教材及參考書 教材: 信息論與糾錯(cuò)編碼 張麗華 電子工業(yè)出版社 參考書: [1] 王新梅等編著，《糾錯(cuò)碼原理與方法》（修訂版），西安電子科技大學(xué)出版社，2001 年。[3] [日]江藤良純等主編，《糾錯(cuò)編碼原理及應(yīng)用》，科學(xué)出版社，2004年。[5] 姜丹編著，《信息論與編碼》，中國科學(xué)技術(shù)大學(xué)出版社，2001年。要求學(xué)生掌握信源的基本概念和特點(diǎn)及信源的描述，掌握離散無記憶信源、離散有記憶信源與馬爾可夫信源的特點(diǎn)與描述方法。信源的分類，離散信源與連續(xù)信源，無記憶信源與有記憶信源，馬爾可夫信源。五、本講計(jì)劃學(xué)時(shí)及時(shí)間分配計(jì)劃2個(gè)學(xué)時(shí)，主講信息的基本概念和特點(diǎn)，信息論研究的對象、目的和內(nèi)容，信息論的形成和發(fā)展趨勢，以及目前信息論與編碼的主要研究成果。六、實(shí)施步驟利用多媒體課件對主要知識點(diǎn)進(jìn)行講述，并輔以板書詳解，具體如下： 課程引入：主要介紹本課程的教學(xué)內(nèi)容、教學(xué)重點(diǎn)與難點(diǎn)、考核方式及教材與參考書。對無記憶信源、有記憶信源、馬爾可夫信源進(jìn)行詳細(xì)講解，并對其中重難點(diǎn)進(jìn)行總結(jié)概括。通信系統(tǒng)的各個(gè)主要組成部分是什么？八、其他 無第次課教案一、講授內(nèi)容第2章 信息的度量 自信息量和互信息量二、教學(xué)目的及要求要求學(xué)生掌握自信息量、離散信源熵、互信息的概念及其求解方法，了解數(shù)據(jù)處理中信息的變化方式，熟悉并掌握熵的一些基本性質(zhì)。四、教學(xué)難點(diǎn)離散信源熵、互信息的概念及其求解方法、熵的性質(zhì)。課程導(dǎo)入5分鐘；自信息量概念及其求解方法介紹10分鐘；離散信源熵的概念及其求解方法講授15分鐘，互信息的概念及其求解方法講授25分鐘，數(shù)據(jù)處理中信息的變化方式講授10分鐘，熵的性質(zhì)講授15分鐘，課堂練習(xí)及課后習(xí)題講解15分鐘，本節(jié)課知識點(diǎn)總結(jié)5分鐘。七、課外學(xué)習(xí)輔導(dǎo)安排及作業(yè)布置 教材P41 23第次課教案一、講授內(nèi)容第2章 信息的度量 離散集的平均自信息量二、教學(xué)目的及要求要求學(xué)生掌握離散序列信源熵的概念與求解方法，掌握離散無記憶信源的序列熵與離散有記憶信源的序列熵的概念、特點(diǎn)與求解方法。四、教學(xué)難點(diǎn)離散有記憶信源的序列熵的概念、特點(diǎn)與求解方法。課程導(dǎo)入5分鐘；離散序列信源熵的概念與求解方法介紹20分鐘；離散無記憶信源的序列熵的基本概念、特點(diǎn)與求解方法講授25分鐘，離散有記憶信源的序列熵的概念、特點(diǎn)與求解方法講授30分鐘；課堂練習(xí)及課后習(xí)題講解15分鐘，本次課知識點(diǎn)總結(jié)5分鐘。如何描述離散有記憶序列信源（平穩(wěn)序列和齊次遍歷馬氏信源）的序列熵？ 小結(jié)本次課主要對離散無記憶信源的序列熵、離散有記憶信源的序列熵進(jìn)行詳細(xì)講解，最好對其中涉及到的重難點(diǎn)進(jìn)行總結(jié)概括。三、教學(xué)重點(diǎn)連續(xù)信源熵和互信息的基本概念、幅度連續(xù)的單個(gè)符號信源熵的求解方法、波形信源熵的求解方法已經(jīng)最大熵定理。五、本講計(jì)劃學(xué)時(shí)及時(shí)間分配計(jì)劃2個(gè)學(xué)時(shí)，主講連續(xù)信源熵和互信息。六、實(shí)施步驟利用多媒體課件對主要知識點(diǎn)進(jìn)行講述，并輔以板書詳解，具體如下： 課程引入：對上次課的重點(diǎn)進(jìn)行復(fù)習(xí)，簡單介紹本次課的主要內(nèi)容。七、課外學(xué)習(xí)輔導(dǎo)安排及作業(yè)布置 教材P43 220八、其他 無第次課教案一、講授內(nèi)容第1章 信息論基礎(chǔ) 信道及其數(shù)學(xué)模型二、教學(xué)目的及要求要求學(xué)生掌握信道的基本概念，了解信道的分類，掌握信道參數(shù)與信道容量的定義及其求解方法。四、教學(xué)難點(diǎn)信道參數(shù)與信道容量的定義及其求解方法五、本講計(jì)劃學(xué)時(shí)及時(shí)間分配計(jì)劃2個(gè)學(xué)時(shí)，信道的基本概念。六、實(shí)施步驟利用多媒體課件對主要知識點(diǎn)進(jìn)行講述，并輔以板書詳解，具體如下： 課程引入：本章主要討論在什么條件下，通過信道的信息量最大，即所謂的信道容量問題。小結(jié)：本次課首先介紹了本章的主要內(nèi)容，總結(jié)其中的重難點(diǎn)。三、教學(xué)重點(diǎn)無干擾離散信道、對稱DMC信道、準(zhǔn)對稱DMC信道與一般DMC信道的信道容量定義及其求解方法。五、本講計(jì)劃學(xué)時(shí)及時(shí)間分配計(jì)劃2個(gè)學(xué)時(shí)，主講離散單個(gè)符號信道及其容量的基本概念。六、實(shí)施步驟利用多媒體課件對主要知識點(diǎn)進(jìn)行講述，并輔以板書詳解，具體如下： 課程引入：信道中存在的干擾使輸出信號與輸入信號之間沒有固定的函數(shù)關(guān)系，只有統(tǒng)計(jì)依賴的關(guān)系。小結(jié)：本次課主要介紹了離散單個(gè)符合信道及其容量的概念，并對無干擾離散信道、對稱DMC信道、準(zhǔn)對稱DMC信道與一般DMC信道分別進(jìn)行詳細(xì)講解，總結(jié)其中的重難點(diǎn)。三、教學(xué)重點(diǎn)失真函數(shù)的計(jì)算、平均失真的計(jì)算、信息率失真函數(shù)R(D)的計(jì)算、信息率失真函數(shù)的性質(zhì)、信息率失真函數(shù)與信道容量的比較。五、本講計(jì)劃學(xué)時(shí)及時(shí)間分配計(jì)劃2個(gè)學(xué)時(shí)，主講平均失真和信息率失真函數(shù)的基本概念。六、實(shí)施步驟利用多媒體課件對主要知識點(diǎn)進(jìn)行講述，并輔以板書詳解，具體如下： 課程引入：失真在傳輸中是不可避免的，如何用數(shù)學(xué)方法來描述失真，并且降低失真顯得格外重要。七、課外學(xué)習(xí)輔導(dǎo)安排及作業(yè)布置 教材P82 41八、其他第次課教案一、講授內(nèi)容第3章 離散信源無失真編碼 概述 等長碼及等長編碼定理二、教學(xué)目的及要求要求學(xué)生了解信源編碼的內(nèi)容，掌握信源編碼的定義，掌握無失真信源編碼的內(nèi)容：定長編碼原理、變長編碼原理。四、教學(xué)難點(diǎn)無失真信源編碼的內(nèi)容：定長編碼原理、變長編碼原理。課程導(dǎo)入5分鐘；信源編碼的定義講解20分鐘；無失真信源編碼講授20分鐘；定長編碼原理講解20分鐘；變長編碼原理講授20分鐘；課堂練習(xí)與習(xí)題講解10分鐘；本節(jié)課知識點(diǎn)總結(jié)5分鐘。小結(jié)：本次課主要對信源編碼的定義，無失真信源編碼的內(nèi)容進(jìn)行詳細(xì)介紹，總結(jié)其中的重點(diǎn)與難點(diǎn)。三、教學(xué)重點(diǎn)最佳變長編碼以及最佳變長編碼的三種編碼方法：香農(nóng)（Shannon）編碼；費(fèi)諾（Fano）編碼；哈夫曼（Huffman）編碼。課程導(dǎo)入5分鐘；信源編碼的定義復(fù)習(xí)10分鐘；無失真信源編碼復(fù)習(xí)15分鐘；最佳變長編碼原理以及常用的三種編碼方法：香農(nóng)（Shannon）編碼；費(fèi)諾（Fano）編碼；哈夫曼（Huffman）編碼講授50分鐘；課堂練習(xí)與習(xí)題講解15分鐘；本節(jié)課知識點(diǎn)總結(jié)5分鐘。為此必須將概率大的信息符號編以短的碼字，概率小的符號編以長的碼字，使得平均碼字長度最短。以課堂練習(xí)為主，教材P115 57八、其他 無第次課教案一、講授內(nèi)容第3章 離散信源無失真編碼 變長碼及變長碼編碼定理二、教學(xué)目的及要求要求學(xué)生掌握限失真編碼定理的內(nèi)容，掌握常用信源編碼的幾種方法：游程編碼、算術(shù)編碼、矢量量化、預(yù)測編碼、變換編碼。四、教學(xué)難點(diǎn)常用信源編碼的幾種方法：游程編碼、算術(shù)編碼、矢量量化、預(yù)測編碼、變換編碼。課程導(dǎo)入5分鐘；限失真編碼定理講解20分鐘；常用信源編碼的幾種方法：游程編碼、算術(shù)編碼、矢量量化、預(yù)測編碼、變換編碼講解55分鐘；課堂練習(xí)與習(xí)題講解15分鐘；本節(jié)課知識點(diǎn)總結(jié)5分鐘。小結(jié)：本次課主要對限失真編碼定理，常用信源編碼的幾種方法：游程編碼、算術(shù)編碼、矢量量化、預(yù)測編碼、變換編碼內(nèi)容進(jìn)行詳細(xì)介紹，總結(jié)其中的重點(diǎn)與難點(diǎn)。三、教學(xué)重點(diǎn)有擾離散信道的編碼定理、差錯(cuò)和差錯(cuò)控制系統(tǒng)分類、矢量空間與碼空間、隨即編碼、信道編碼定理。五、本講計(jì)劃學(xué)時(shí)及時(shí)間分配計(jì)劃2個(gè)學(xué)時(shí)，主講有擾離散信道的編碼定理、差錯(cuò)和差錯(cuò)控制系統(tǒng)分類、矢量空間與碼空間、隨機(jī)編碼、信道編碼定理。六、實(shí)施步驟利用多媒體課件對主要知識點(diǎn)進(jìn)行講述，并輔以板書詳解，具體如下： 課程引入：信道編碼的目的是為了改善通信系統(tǒng)的傳輸質(zhì)量，對不同類型的信道，要對癥下藥，設(shè)計(jì)不同類型的信道編碼，才能收到良好效果。以課堂練習(xí)為主，教材P202 662八、其他 無第次課教案一、講授內(nèi)容第7章 線性分組碼 糾錯(cuò)碼的基本概念 線性分組碼的編碼二、教學(xué)目的及要求要求學(xué)生掌握糾錯(cuò)編碼碼的基本原理與分析方法（糾錯(cuò)編碼的基本思路）、糾錯(cuò)譯碼的基本原理與分析方法，譯碼方法——最優(yōu)譯碼與最大似然譯碼三、教學(xué)重點(diǎn)糾錯(cuò)編碼碼的基本原理與分析方法、糾錯(cuò)譯碼的基本原理與分析方法，譯碼方法——最優(yōu)譯碼與最大似然譯碼。五、本講計(jì)劃學(xué)時(shí)及時(shí)間分配 計(jì)劃2個(gè)學(xué)時(shí)，主講糾錯(cuò)編碼碼的基本原理與分析方法、糾錯(cuò)譯碼的基本原理與分析方法，譯碼方法——最優(yōu)譯碼與最大似然譯碼。六、實(shí)施步驟利用多媒體課件對主要知識點(diǎn)進(jìn)行講述，并輔以板書詳解，具體如下： 課程引入：檢錯(cuò)與糾錯(cuò)原理：一旦1→0，0→1，接收端無法發(fā)現(xiàn)錯(cuò)誤，插入1位監(jiān)督碼后具有檢出1位錯(cuò)碼的能力，但不能予以糾正。小結(jié)：本次課對糾錯(cuò)編碼碼的基本原理與分析方法、糾錯(cuò)譯碼的基本原理與分析方法，譯碼方法——最優(yōu)譯碼與最大似然譯碼內(nèi)容進(jìn)行詳細(xì)介紹，總結(jié)其中的重點(diǎn)與難點(diǎn)。三、教學(xué)重點(diǎn)線性分組碼的生成矩陣與校驗(yàn)矩陣、伴隨式與標(biāo)準(zhǔn)陣列譯碼、碼距、糾錯(cuò)能力、MDC碼及重量譜、完備碼、循環(huán)碼、BCH碼與RS碼、分組碼的擴(kuò)展、縮短與循環(huán)冗余校驗(yàn)。五、本講計(jì)劃學(xué)時(shí)及時(shí)間分配計(jì)劃2個(gè)學(xué)時(shí)，主講線性分組碼的編碼原理與特點(diǎn)。六、實(shí)施步驟課程引入：對上次課主要知識點(diǎn)進(jìn)行復(fù)習(xí)，并對本次課的主要內(nèi)容進(jìn)行簡單介紹。以課堂練習(xí)為主，教材P202 613八、其他 無第次課教案一、講授內(nèi)容 第9章 卷積碼 卷積碼基本概念 卷積碼的數(shù)學(xué)描述二、教學(xué)目的及要求要求學(xué)生掌握卷積碼的基本概念和描述方法，掌握卷積碼的最大似然譯碼——維比特算法，了解卷積碼的性能與距離特點(diǎn)。四、教學(xué)難點(diǎn)卷積碼的最大似然譯碼——維比特算法、卷積碼的性能與距離特點(diǎn)。課程導(dǎo)入5分鐘；卷積碼的基本概念和描述方法講解30分鐘；卷積碼的最大似然譯碼——維比特算法講授35分鐘；分組碼的擴(kuò)展、卷積碼的性能與距離特點(diǎn)講解15分鐘；課堂練習(xí)與習(xí)題講解10分鐘；本節(jié)課知識點(diǎn)總結(jié)5分鐘。小結(jié)：本次課主要對卷積碼的基本概念和描述方法、卷積碼的最大似然譯碼——維比特算法、