[信息與通信]信息論與編碼民大01-緒論-文庫吧
2025-01-06 12:54 本頁面
【正文】 廣義信息論q 除上述內(nèi)容外，還包括自然和社會領(lǐng)域有關(guān)信息的內(nèi)容，如模式識別，計算機(jī)翻譯，心理學(xué)，遺傳學(xué)，神經(jīng)生理學(xué)Date 7研究 Shannon信息論的主要目的n 設(shè)計有效，可靠和安全的通信系統(tǒng)q 有效性 是用盡可能短的時間和盡可能少的設(shè)備來傳輸一定信息量的消息n 信源編碼（數(shù)據(jù)壓縮）：無失真信源編碼和限失真信源編碼q 可靠性 是要使信源發(fā)出的消息經(jīng)過傳輸后，盡可能準(zhǔn)確地、不失真地再現(xiàn)在接收端n 信道編碼（可靠傳輸）q 安全性n 加密編碼Date 8shannon信息論研究的主要問題1）什么是信息？如何度量信息？（ 信息熵 ）2）怎樣確定信源輸出信息的速率？（ 信息傳輸速率 ）3）對于一個信道，它傳輸信息的最高速率是多少？（ 信道容量 ）4）無失真信源編碼，所需要的最少碼符號數(shù)是多少？（ 香農(nóng)第一定理：如果編碼后信源序列的信息傳輸速率不小于信源熵，那么一定存在一種無失真信源編碼方法；否則，不存在這種無失真信源編碼方）5）在有噪聲信道中，有沒有可能以接近信道容量的速率傳輸信息，而收端的錯誤概率幾乎為零？（ 香農(nóng)第二定理 ：如果信息傳輸速率小于信道容量，那么總可以找到一種編碼方式，使得當(dāng)編碼序列足夠長時傳輸差錯任意??；否則，不存在使差錯任意小的信道編碼方式） 6）如果信源編碼時，允許一定的失真，那么信源編碼所需要的最少碼符號數(shù)又是多少？（ 香農(nóng)第三定理 ：對于任意的失真度 ，只要碼字足夠長，那么總可以找到一種編碼方法，使編碼后每個信源符號的信息傳輸速率 ，而譯碼的平均失真度 ）Date 9香農(nóng)和維納理論的區(qū)別n 香農(nóng)理論： 香農(nóng)研究的對象是從信源到信宿之間的全過程，是收、發(fā)端聯(lián)合最優(yōu)化問題，其重點(diǎn)是放在編碼。 他指出，只要在傳輸前后對消息進(jìn)行適當(dāng)?shù)木幋a和譯碼，就能保證在干擾的存在下，最佳地傳送和準(zhǔn)確或近似地再現(xiàn)消息。為此發(fā)展了 信息測度理論、信道容量理論和編碼理論 。n 維納理論： 維納研究的重點(diǎn)是在接收端。研究一個信號如果在傳輸過程中被某些因素（如噪聲、非線性失真等）所干擾時，在接收端怎樣把它恢復(fù)、再現(xiàn)，從干擾中提取出來。 在此基礎(chǔ)上，創(chuàng)立了 最佳線性過濾理論（維納濾波器）、統(tǒng)計檢測與估計理論、噪聲理論 。Date 10信息論幾個方面的主要進(jìn)展Ⅰ ．信源編碼與數(shù)據(jù)壓縮 Ⅱ ．信道編碼與差錯控制技術(shù)Ⅲ ．多用戶信息論與網(wǎng)絡(luò)通信 Ⅳ ．多媒體與信息論 Ⅴ ．信息論與密碼學(xué)和數(shù)據(jù)安全Ⅵ ．信息論與概率統(tǒng)計Ⅶ ．信息論與經(jīng)濟(jì)學(xué)Ⅷ ．信息論與計算復(fù)雜性Ⅸ ．信息論與系統(tǒng)、控制、信號檢測和處理Ⅹ ．量子信息論Ⅺ ． Shannon的其它重要貢獻(xiàn)Date 11 信源編碼與數(shù)據(jù)壓縮 理論的進(jìn)展 [Kieffer 1993]l 無擾信源編碼的誕生 (1948, C. E. Shannon)。l Huffman算法的發(fā)現(xiàn) (1952, D. A. Huffman)。l 建立 ShannonMcMillan定理 (1953, B. McMillan)。l 發(fā)現(xiàn) Lloyd算法 (1957, S. P. Lloyd ,1982年發(fā)表 )。l 率失真理論系統(tǒng)化 (1959, C. E. Shann
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1