【正文】 應(yīng)用研究，我們可以從信息的不確定性著手評(píng)估其作戰(zhàn)效能。我們不難看出，信息論在很多領(lǐng)域都有所應(yīng)用。結(jié) 論信息是自從人類出現(xiàn)以來(lái)就存在于這個(gè)世界上了，天地萬(wàn)物，飛禽走獸，以及人類的生存方式都離不開(kāi)信息的產(chǎn)生和傳播。信息論方法具有普遍的適用性，因此可以把課上學(xué)習(xí)的內(nèi)容和我們的日常生活緊密結(jié)合起來(lái)，從而提高學(xué)習(xí)的興趣。例如，在學(xué)習(xí)多符號(hào)離散信源時(shí)，可以和日常生活中大家在電視上見(jiàn)到的搖獎(jiǎng)場(chǎng)面聯(lián)系起來(lái)。一臺(tái)簡(jiǎn)單的搖獎(jiǎng)機(jī)，從十個(gè)號(hào)碼球中搖出一個(gè)數(shù)字號(hào)碼，可以看作一個(gè)單符號(hào)離散信源，它有十個(gè)符號(hào)，從0至9。如果需要搖出七位數(shù)的體育彩票號(hào)碼，這可以看成是一個(gè)多符號(hào)信源，一次同時(shí)發(fā)出七個(gè)符號(hào)，而且是單符號(hào)離散信源的7次擴(kuò)展。又如，在學(xué)習(xí)漢明距離時(shí)，可以和英語(yǔ)學(xué)習(xí)聯(lián)系起來(lái)。在英語(yǔ)中拼寫非常接近的單詞很容易混淆或者拼寫錯(cuò)誤，用信息論的觀點(diǎn)來(lái)看就是兩個(gè)碼字的漢明距離（不同位的個(gè)數(shù)）太小，因此抗干擾的能力差。由于信息論方法具有相當(dāng)普遍的意義和價(jià)值，因此在計(jì)算機(jī)科學(xué)、人工智能、語(yǔ)言學(xué)、基因工程、神經(jīng)解剖學(xué)甚至金融投資學(xué)等眾多領(lǐng)域都有廣泛的應(yīng)用，信息論促進(jìn)了這些學(xué)科領(lǐng)域的發(fā)展，同時(shí)也促進(jìn)了整個(gè)社會(huì)經(jīng)濟(jì)的發(fā)展。人們已經(jīng)開(kāi)始利用信息論的方法來(lái)探索系統(tǒng)的存在方式和運(yùn)動(dòng)變化的規(guī)律，信息論已經(jīng)成為認(rèn)識(shí)世界和改造世界的手段，信息論對(duì)哲學(xué)領(lǐng)域也有深遠(yuǎn)的影響。由此可見(jiàn)，《信息論與編碼》的課程對(duì)我們至關(guān)重要！參考文獻(xiàn)[1] 曹雪虹，張宗橙．信息論與編碼[M]．北京：清華大學(xué)出版社．2004． [2] 沈世鎰，吳忠華．信息論基礎(chǔ)與應(yīng)用[M]．北京：高等教育出版社．2004． [3] 隋曉紅，王艷營(yíng)．信息論與編碼[M]．北京： [4] —基礎(chǔ)理論與應(yīng)用[M]．北京：電子工業(yè)出版社．2004． [5] 維芬，[J]．第五篇：信息論與編碼教學(xué)大綱《信息論與編碼》教學(xué)大綱電子信息工程專業(yè)（本科）課程編號(hào)：（）課程名稱：信息論與編碼 參考學(xué)時(shí)：52 其中實(shí)驗(yàn)或上機(jī)學(xué)時(shí)：0 說(shuō)明部分1．課程性質(zhì)本課程是電子信息類專業(yè)的技術(shù)基礎(chǔ)課 2．課程教學(xué)的目的及意義人類社會(huì)的生存和發(fā)展無(wú)時(shí)無(wú)刻都離不開(kāi)信息的獲取、傳遞、處理、控制和利用。特別是邁入21世紀(jì)――高度信息化時(shí)代，信息的重要性更是不言而喻。信息業(yè)的發(fā)展，需要大量從事信息、通信、電子工程類專業(yè)的人才，而《信息論和編碼》課程為電子信息工程學(xué)科的基礎(chǔ)課，同時(shí)也可作為信息科學(xué)其它相關(guān)學(xué)科的選修課，掌握它，可以指導(dǎo)理論研究和工程應(yīng)用。本課程注重基本概念、基本理論和基本分析方法的論述，并結(jié)合實(shí)例建立數(shù)學(xué)模型，給出推演過(guò)程，力求物理概念清晰、數(shù)學(xué)結(jié)構(gòu)嚴(yán)謹(jǐn)和完整、逐步深入展開(kāi)。通過(guò)該課程的學(xué)習(xí)，使學(xué)生掌握香農(nóng)信息論的三個(gè)基本概念，與之相應(yīng)的三個(gè)編碼定理，以及信源編碼、信道編碼和信息保密編碼的基本理論和主要方法，培養(yǎng)學(xué)生能夠適應(yīng)數(shù)字通信、信息處理、信息安全、計(jì)算機(jī)信息管理等編碼工作的要求。使學(xué)生掌握信息理論的基本概念和信息分析方法及主要結(jié)論，為今后從事信息領(lǐng)域的科研和工程工作進(jìn)一步研究打下堅(jiān)實(shí)的理論基礎(chǔ)。3．教學(xué)內(nèi)容及教學(xué)要求該課程是電子信息工程、信息安全工程專業(yè)的專業(yè)課。是為了適應(yīng)數(shù)字通信、信息處理和信息安全等方面的專業(yè)需要開(kāi)設(shè)。該課程著重介紹信息論應(yīng)用概率論、隨機(jī)過(guò)程和現(xiàn)代數(shù)理統(tǒng)計(jì)方法，研究信息提取、傳輸和處理的一般規(guī)律，提高信息系統(tǒng)的有效性和可靠性，實(shí)現(xiàn)信息系統(tǒng)的最優(yōu)化。信息論是現(xiàn)代通信與信息工程的理論基礎(chǔ)，主要內(nèi)容包括：信息的定義和測(cè)度；各類離散信源和信息熵；剩余度；信道和互信息；平均互信息和信道容量；數(shù)據(jù)處理和信息測(cè)量理論；信息率失真函數(shù)和數(shù)據(jù)壓縮原理；離散信源無(wú)失真和限失真信源編碼理論和編碼方法；離散有噪信道編碼理論和編碼原則。教學(xué)基本要求：了解通信系統(tǒng)各部分的主要組成以及作用、香農(nóng)的三大編碼定理；掌握各類離散信源和信息熵、信道及其信道容量、信息率失真函數(shù)和數(shù)據(jù)壓縮原理、離常用的無(wú)失真信源編碼方法、糾錯(cuò)碼基本思想及常用的糾錯(cuò)編碼方法。、難點(diǎn) 教學(xué)重點(diǎn)：信息以及失真的測(cè)度、信道及信道容量、無(wú)失真信源編碼方法以及有噪信道編碼方法。教學(xué)難點(diǎn)：e典型序列以及由此推導(dǎo)出的香農(nóng)三大編碼定理及其逆定理。課堂講學(xué)為主，習(xí)題講解為輔。，《信息論－基礎(chǔ)理論與應(yīng)用》，北京：電子工業(yè)出版社，2001年 ，《信息論與編碼》，合肥，中國(guó)科學(xué)技術(shù)大學(xué)出版社，2001年 ，張宗橙，信息論與編碼，北京，清華大學(xué)出版社，2004年 考核形式：考試（筆試），教學(xué)環(huán)境：課堂本課程應(yīng)開(kāi)設(shè)在概率論與隨機(jī)過(guò)程等數(shù)學(xué)學(xué)科信號(hào)與系統(tǒng)之后，是數(shù)字圖像處理的基礎(chǔ)課程。總學(xué)時(shí)數(shù)課程總學(xué)時(shí)數(shù)： 52 其中，課堂講授： 46 作業(yè)：6二、正文部分 第一章：緒論一、教學(xué)要求了解信息論研究對(duì)象、目的、發(fā)展簡(jiǎn)史與現(xiàn)狀；了解通信系統(tǒng)的模型以及通信系統(tǒng)各部分的主要組成以及作用二、教學(xué)內(nèi)容第一節(jié) 信息的概念知識(shí)要點(diǎn)：信息的概念及自信息 第二節(jié) 信息論研究的對(duì)象、目的和內(nèi)容 知識(shí)要點(diǎn)：信息論研究的對(duì)象、目的和內(nèi)容 第三節(jié)：信息論發(fā)展簡(jiǎn)史 知識(shí)要點(diǎn)：信息論發(fā)展簡(jiǎn)史三、本章學(xué)時(shí)數(shù) 2學(xué)時(shí)第二章：離散信源及其測(cè)度一、教學(xué)要求了解信源的相關(guān)性和剩余度的概念，信息的概念，信息，信號(hào)，消息，數(shù)據(jù)的關(guān)系與聯(lián)系。掌握信源的數(shù)學(xué)模型、離散無(wú)記憶信源、離散平穩(wěn)信源和馬爾可夫信源基本理論。二、教學(xué)內(nèi)容第一節(jié) 信源的數(shù)學(xué)模型及分類知識(shí)要點(diǎn)：信源的數(shù)學(xué)模型，離散無(wú)記憶信源及其擴(kuò)展信源。第二節(jié) 信息熵及其基本性質(zhì) 知識(shí)要點(diǎn)：自信息及信息熵離散無(wú)記憶擴(kuò)展信源熵，熵的基本性質(zhì)及最大離散熵定理。第三節(jié) 離散平穩(wěn)信源知識(shí)要點(diǎn)：離散平穩(wěn)信源定義，聯(lián)合熵，條件熵以及極限熵。第四節(jié) 馬爾可夫信源知識(shí)要點(diǎn)：馬爾可夫信源定義，馬爾可夫信源熵 第四節(jié) 信息剩余度知識(shí)要點(diǎn)：信息剩余度以及自然語(yǔ)言熵三、本章學(xué)時(shí)數(shù) 8學(xué)時(shí)第三章：離散信道及其信道容量一、教學(xué)要求了解一般信道容量計(jì)算。掌握信道的數(shù)學(xué)模型，離散無(wú)記憶信道以及一些特殊信道容量的計(jì)算方法。二、教學(xué)內(nèi)容第一節(jié) 信道數(shù)學(xué)模型及分類知識(shí)要點(diǎn)：信道數(shù)學(xué)模型及不同的分類，信道矩陣。第二節(jié)平均互信息及特點(diǎn)知識(shí)要點(diǎn)：信道疑義度，互信息和平均互信息及其特性，平均條件互信息。第三節(jié) 信道容量及一般計(jì)算方法知識(shí)要點(diǎn)：離散無(wú)噪信道及信道容量，對(duì)稱離散信道、準(zhǔn)對(duì)稱信道的容量計(jì)算。第四節(jié) 離散無(wú)記憶擴(kuò)展信道及其容量知識(shí)要點(diǎn)：離散無(wú)記憶擴(kuò)展信道及其容量，信源與信道的匹配。三、本章學(xué)時(shí)數(shù) 6學(xué)時(shí)第四章：無(wú)失真信源編碼一、教學(xué)要求了解其它一些無(wú)失真信源編碼方法。理解漸近等分割性及e典型序列，算術(shù)編碼方法及具體實(shí)現(xiàn)方案；掌握編碼的定義，碼的分類，定長(zhǎng)編碼定理，變長(zhǎng)編碼定理，最佳編碼方法：香農(nóng)編碼方法，費(fèi)諾編碼方法，哈夫曼編碼方法。二、教學(xué)內(nèi)容第一節(jié) 等長(zhǎng)碼及等長(zhǎng)信源編碼定理知識(shí)要點(diǎn)：編碼器的概念，碼的定義，等長(zhǎng)碼及等長(zhǎng)信源編碼定理，e典型序列及其性質(zhì)，編碼效率。第二節(jié) 變長(zhǎng)碼及變長(zhǎng)信源編碼定理知識(shí)要點(diǎn)：唯一可譯碼定義及其判斷方法，即時(shí)碼的樹(shù)圖法構(gòu)造，Kraft不等式，緊致碼，變長(zhǎng)信源編碼定理。第三節(jié) 編碼方法 知識(shí)要點(diǎn)：香農(nóng)編碼，費(fèi)諾編碼，香農(nóng)－費(fèi)諾－埃利斯編碼，哈夫曼編碼，游程編碼，算術(shù)編碼和其它一些編碼方法。三、本章學(xué)時(shí)數(shù) 10學(xué)時(shí)第五章：有噪信道編碼一、教學(xué)要求了解檢錯(cuò)碼與糾錯(cuò)碼的方法。理解漸近等分割性及e典型序列。掌握的重點(diǎn)內(nèi)容有：有噪離散信道的編碼定理，差錯(cuò)控制與信道編譯碼的基本原理，線性分組碼，卷積碼，網(wǎng)格編碼調(diào)制與級(jí)聯(lián)碼簡(jiǎn)介。二、教學(xué)內(nèi)容第一節(jié) 錯(cuò)誤概率與譯碼規(guī)則和編碼方法知識(shí)要點(diǎn)：最小錯(cuò)誤概率譯碼準(zhǔn)則，最大似然譯碼準(zhǔn)則，最小距離譯碼準(zhǔn)則及其之間相互關(guān)系，平均譯碼錯(cuò)誤概率，錯(cuò)誤概率與譯碼規(guī)則和編碼方法關(guān)系，信道編碼的編、譯基本準(zhǔn)則。第二節(jié) 有噪信道編碼定理知識(shí)要點(diǎn)：有噪信道編碼定理及其逆定理，信源信道編碼定理。第三節(jié) 糾錯(cuò)碼知識(shí)要點(diǎn)：糾錯(cuò)碼分類，分組碼的最小距離與檢、糾錯(cuò)能力，分組碼的碼率，線性分組碼的特性，生成矩陣和一致監(jiān)督矩陣及其關(guān)系，線性分組碼的編、譯碼方法，漢明碼，卷積碼及其構(gòu)造方法。三、本章學(xué)時(shí)數(shù) 10學(xué)時(shí)第六章：波形信源和波形信道一、教學(xué)要求了解連續(xù)信源和波形信源的信息測(cè)度，連續(xù)信道和波形信道的分類，連續(xù)信源熵的變換，連續(xù)信道和波形信道的信道容量的計(jì)算方法。掌握連續(xù)信源和波形信源的信息測(cè)度。二、教學(xué)內(nèi)容第一節(jié) 連續(xù)信源和波形信源的信息測(cè)度知識(shí)要點(diǎn)：連續(xù)信源的差熵、波形信源的差熵和兩種特殊信源的差熵。第二節(jié) 連續(xù)信道和波形信道的分類知識(shí)要點(diǎn)：按噪聲統(tǒng)計(jì)特性分類，按噪聲對(duì)信號(hào)的作用和功能分類。第三節(jié) 連續(xù)信道和波形信道的信息傳輸率知識(shí)要點(diǎn)：?jiǎn)畏?hào)連續(xù)信道的平均交互信息，連續(xù)信道的平均交互信息的特性。第四節(jié) 連續(xù)信道和波形信道的信道容量知識(shí)要點(diǎn)：?jiǎn)畏?hào)高斯加性信道的信道容量，單符號(hào)非高斯加性信道的信道容量，多維無(wú)記憶高斯加性信道的信道容量。三、本章學(xué)時(shí)數(shù) 8學(xué)時(shí)第七章：限失真信源編碼一、教學(xué)要求了解保真度準(zhǔn)則下的信源編碼定理掌握失真度與平均失真度，信息率失真函數(shù)與特性，R(D)函數(shù)的參數(shù)表述及其計(jì)算。二、教學(xué)內(nèi)容第一節(jié) 失真度與平均失真度知識(shí)要點(diǎn)：失真度與平均失真度，D失真許可試驗(yàn)信道。第二節(jié) 信息率失真函數(shù)與特性知識(shí)要點(diǎn)：信息率失真函數(shù)R(D)的定義，離散信源的R(D)函數(shù)，高斯連續(xù)信源的R(D)函數(shù)，R(D)的定義域和單調(diào)性等性質(zhì)。第三節(jié) 信息率失真函數(shù)的參量表述與計(jì)算知識(shí)要點(diǎn)：信息率失真函數(shù)的計(jì)算 第四節(jié) 保真度準(zhǔn)則下的信源編碼定理知識(shí)要點(diǎn)：失真限e典型序列，失真信源編碼定理和編碼逆定理，有失真信源編碼定理的實(shí)用意義。三、本章學(xué)時(shí)數(shù) 8學(xué)時(shí)執(zhí)筆人：胡學(xué)友教研室：XXX系主任審核簽名：XXX 5