【正文】 《信息論與編碼技術(shù)》復(fù)習(xí)提綱復(fù)習(xí)題綱第0章 緒論題綱：I. 什么是信息？ II. 什么是信息論？ III. 什么是信息的通信模型？ IV. 什么是信息的測度？ V. 自信息量的定義、含義、性質(zhì)需掌握的問題：1. 信息的定義是什么？（廣義信息、狹義信息——Shannon信息、概率信息） 2. Shannon信息論中信息的三要素是什么？ 3. 通信系統(tǒng)模型圖是什么？每一部分的作用的是什么？ 4. 什么是信息測度？5. 什么是樣本空間、概率空間、先驗概率、自信息、后驗概率、互信息？6. 自信息的大小如何計算？單位是什么？含義是什么（是對什么量的度量）？ 第1章 信息論基礎(chǔ)㈠《離散信源》題綱：I. 信源的定義、分類II. 離散信源的數(shù)學(xué)模型III. 熵的定義、含義、性質(zhì)，聯(lián)合熵、條件熵IV. 離散無記憶信源的特性、熵 V. 離散有記憶信源的熵、平均符號熵、極限熵 VI. 馬爾科夫信源的定義、狀態(tài)轉(zhuǎn)移圖VII. 信源的相對信息率和冗余度需掌握的問題：1. 信源的定義、分類是什么？2. 離散信源的數(shù)學(xué)模型是什么？ 3. 信息熵的表達式是什么？信息熵的單位是什么？信息熵的含義是什么？信息熵的性質(zhì)是什么？4. 單符號離散信源最大熵是多少？信源概率如何分布時能達到？5. 信源的碼率和信息率是什么，如何計算？6. 什么是離散無記憶信源？什么是離散有記憶信源？ 7. 離散無記憶信源的數(shù)學(xué)模型如何描述？信息熵、平均符號熵如何計算？8. 離散有記憶多符號離散平穩(wěn)信源的平均符號熵、極限熵、條件熵（N階熵）的計算、關(guān)系和性質(zhì)是什么？9. 什么是馬爾科夫信源？馬爾科夫信源的數(shù)學(xué)模型是什么？馬爾科夫信源滿足的2個條件是什么？10. 馬爾科夫信源的狀態(tài)、狀態(tài)轉(zhuǎn)移是什么？如何繪制馬爾科夫信源狀態(tài)轉(zhuǎn)移圖？ 11. 馬爾科夫信源的穩(wěn)態(tài)概率、穩(wěn)態(tài)符號概率、穩(wěn)態(tài)信息熵如何計算？ 12. 信源的相對信息率和冗余度是什么？如何計算？㈡《離散信道》題綱：I. 信道的數(shù)學(xué)模型及分類 II. 典型離散信道的數(shù)學(xué)模型III. 先驗熵和后驗熵IV. 互信息的定義、性質(zhì) V. 平均互信息的定義、含義、性質(zhì)、維拉圖VI. 信道容量的定義VII. 特殊離散信道的信道容量需掌握的問題：1. 信道的定義是什么？信道如何分類？信道的數(shù)學(xué)模型是什么？ 2. 二元對稱信道和二元刪除信道的信道傳輸概率矩陣是什么？ 3. 對稱信道的信道傳輸概率矩陣有什么特點？ 4. 根據(jù)信道的轉(zhuǎn)移特性圖，寫出信道傳輸概率矩陣。5. 先驗熵、后驗熵的區(qū)別？6. 聯(lián)合熵、條件熵和信息熵的關(guān)系。7. 互信息的大小如何計算？互信息的性質(zhì)是什么？ 8. 聯(lián)合互信息、條件互信息、互信息之間的關(guān)系是什么？ 9. 平均互信息的定義是什么？平均互信息的含義？平均互信息的性質(zhì)？10. 聯(lián)合平均互信息、條件平均互信息和平均互信息的關(guān)系？11. 損失熵和噪聲熵的含義是什么？維拉圖表示了哪些關(guān)系式？12. 信道的傳碼率和傳信率（信息率）的計算方法是什么？13. 信道容量的定義是什么？信道容量的含義如何理解？ 14. 無噪無損信道、有噪無損信道、無噪有損信道、對稱信道的信道容量如何計算？ ㈢《連續(xù)信源和波形信道》題綱：I. 連續(xù)信源的定義、數(shù)學(xué)模型、絕對熵、相對熵 II. 給定條件下，連續(xù)信源的最大熵III. 熵功率 IV. 連續(xù)信道和波形信道的信道容量需掌握的問題：1. 連續(xù)信源定義、數(shù)學(xué)模型是什么？2. 連續(xù)信源熵的表達式是什么？相對熵和絕對熵的區(qū)別是什么？ 3. 如何計算均勻分布、正態(tài)分布連續(xù)信源的最大熵？ 4. 什么是波形信道？了解波形信道互信息、信道容量的求解思路。5. 香農(nóng)公式是什么？物理意義是什么？第2章 無失真信源編碼題綱：I. 基本概念 1. 編碼 2. 二元碼 3. 等長碼 4. 變長碼 5. 碼的N次擴展碼 6. 唯一可譯碼 II. 等長碼 III. 變長碼 IV. 無失真信源編碼定理 V. 編碼方法 1. 香農(nóng)編碼 2. 費諾編碼 3. 霍夫曼編碼 需掌握的問題：1. 編碼的定義及編碼相關(guān)術(shù)語。2. 信源編碼的定義及目的是什么？3. 解釋二元碼、等長碼、變長碼、唯一可譯碼。 4. 變長碼和定長碼的區(qū)別是什么？用碼樹描述二者的差異，能夠說明變長碼和定長碼各自的優(yōu)劣。 5. 描述香農(nóng)第一定理及意義。 6. 掌握香農(nóng)編碼、費諾編碼、霍夫曼編碼的步驟及特點，會計算編碼效率。 7. 了解游程編碼和算術(shù)編碼的思路。第3章 信道編碼題綱：I. 檢錯、糾錯原理及方法、能力 II. 差錯控制理論1. 譯碼規(guī)則 2. 2種準(zhǔn)則下的錯誤概率 III. 信道編碼定理IV. 編碼方法1. 簡單的檢錯、糾錯碼2. 線性分組碼3. 循環(huán)碼需掌握的問題：1. 信道編碼的定義及目的是什么？2. 檢錯原理是什么？3. 差錯控制方法有哪些？4. 如何確定一種編碼的檢錯、糾錯能力？5. 漢明距離是什么？漢明重量是什么？最小碼距是什么？6. 信道編碼的效率如何確定？ 7. 奇偶校驗碼的編碼規(guī)則是什么？檢錯、糾錯能力如何？ 8. 譯碼規(guī)則的定義是什么？9. 最大后驗準(zhǔn)則是什么？極大似然準(zhǔn)則是什么？這兩種準(zhǔn)則下如何計算錯誤概率？10. 錯誤概率與損失熵之間的關(guān)系是什么？11. 描述香農(nóng)第二定理及意義。12. 線性分組碼的編碼原理和校驗原理是什么？13. 循環(huán)碼的編碼原理和校驗原理是什么？14. 了解循環(huán)冗余校驗碼和卷積碼的編碼思路。第4章 信息率失真函數(shù)題綱：V. 失真度 VI. 平均失真度 VII. 信息率失真函數(shù) VIII. 信息率失真函數(shù)的性質(zhì) IX. 限失真信源編碼定理需掌握的問題：1. 失真度如何表示？ 2. 四種常見失真度的形式分別是什么？分別用于什么場合？ 3. 平均失真度如何計算？4. 什么是保真度準(zhǔn)則？5. 什么是試驗信道？ 6. 信息率失真函數(shù)的定義是什么？ 7. 信息率失真函數(shù)和信道容量的區(qū)別和聯(lián)系是什么？ 8. 信息率失真函數(shù)的性質(zhì)是什么？9. 定義域Dmin, Dmax，以及相應(yīng)的R(Dmin), R(Dmax)如何計算？ 10. 描述香農(nóng)第三定理及意義。 11. 了解預(yù)測編碼和變換編碼的思路。 填空題1. 設(shè)信源X包含4個不同離散消息，當(dāng)且僅當(dāng)X中各個消息出現(xiàn)的概率為___1/4___時，信源熵達到最大值，為__2__，此時各個消息的自信息量為__2 __。=4，則該碼最多能檢測出___3____個隨機錯，最多能糾正__1____個隨機錯。(X。Y)與信源熵和條件熵之間的關(guān)系是___(X。Y)=H(X)H(X/Y)___。5. _信源___提高通信的有效性，_信道____目的是提高通信的可靠性，_加密__編碼的目的是保證通信的安全性。 有效性 ，信道編碼的目的是提高通信的 可靠性 ，加密編碼的目的是保證通信的 安全性 。，當(dāng)且僅當(dāng)X中各個消息出現(xiàn)的概率為__1/8__時，信源熵達到最大值，為___3____。，信源符號的概率越大，其自信息量越_小___。，一是信源符號之間的__相關(guān)性__，二是信源符號分布的__不均勻性__。 譯碼器要在已知r的條件下找出可能性最大的發(fā)碼 作為譯碼估值 ，即令 =maxP( |r)_ __。、反饋重發(fā)和混合糾錯三種。 單項選擇題（A ）。A. B.C. D.105 個像元，設(shè)每個像元有64種彩色度，每種彩度又有16種不同的亮度層次，如果所有的彩色品種和亮度層次的組合均以等概率出現(xiàn)，并且各個組合之間相互獨立。每秒傳送25幀圖像所需要的信道容量（C ）。A. 50180。106 B. 75180。106 C. 125180。106 D. 250180。106,b,c等概分布，接收端為二符號集，其失真矩陣為d=,則信源的最大平均失真度為（ D ）。A. 1/3 B. 2/3 C. 3/3 D. 4/3 （ C ）。=0（ B）。A .H(U) (U。 V) ，下列哪種措施不能減小差錯概率（ D ）。A. 增大信道容量 B. 增大碼長 C. 減小碼率 D. 減小帶寬，但不幸被人用外觀相同但重量僅有微小差異的假珠換掉1顆。一人隨手取出3顆，經(jīng)測量恰好找出了假珠，不巧假珠又滑落進去，那人找了許久卻未找到，但另一人說他用天平最多6次能找出，結(jié)果確是如此，這一事件給出的信息量（ A ）。A. 0bit B. log6bit C. 6bit D. log240bit，不正確的是（ D ）。，H（Y）是輸入概率向量的凸函數(shù)，線性碼的最小距離越大，意味著任意碼字間的差別越大，則碼的檢錯、糾錯能力越強(x)= x /2，則信源的相對熵為（ C ）。A . B. C. 1bit D. ，熵最大的是（ D ）。A. H（1/3,1/3,1/3）； B. H（1/2,1/2）； C. H（,）； D. H（1/2,1/4,1/8,1/8)（ B ）。 ，信源編碼采用的方法是（ A ）。 （ D ）。 （ C ）。 ，由于存在失真，傳輸時會產(chǎn)生誤碼，用符號表示下列事件，u0:一個0發(fā)出 u1:一個1發(fā)出 v0 :一個0收到 v1:一個1收到 則已知收到的符號，被告知發(fā)出的符號能得到的信息量是（ A ）。A. H(U/V) B. H(V/U) C. H(U,V) D. H(UV)16. 同時扔兩個正常的骰子，即各面呈現(xiàn)的概率都是1/6，若點數(shù)之和為12，則得到的自信息為（ B ）。A. －log36bit B. log36bit C. －log (11/36)bit D. log (11/36)bit（ A ）。A. { 0，01，011} B. {0，10，110} C. {00，10，11} D. {1，01，00}（6，3）線性分組碼的生成矩陣，則不用計算就可判斷出下列碼中不是該碼集里的碼是（ D ）。A. 000000 B. 110001 C. 011101 D. 111111(x)= x /2，則信源的相對熵為（ C ）。A. ，已知，發(fā)出二重符號序列消息的信源，無記憶信源熵 為（ A ）。 判斷題(0,0,0,1)=1。 （ 錯 ） (X)={1/2, 1/3, 1/6}，對其進行哈夫曼編碼得到的碼是唯一的。 （ 錯 ）3. 離散無記憶序列信源中平均每個符號的符號熵等于單個符號信源的符號熵。 （ 對 ）。 （ 錯 ）(D)是在平均失真不超過給定失真限度D的條件下，信息率容許壓縮的最小值。 （ 對 ）(X)={1/2, 1/3, 1/6}，信源Y的概率分布為P(Y)={1/3,1/2,1/6}，則信源X和Y的熵相等。 （ 對 ） (X。Y)表示收到Y(jié)后仍對信源X的不確定度。 （ 對 ）={a1,a2,a3,a4}進行二元信源編碼，4個信源符號對應(yīng)碼字的碼長分別為K1=1，K2=2，K3=3，K3=3，滿足這種碼長組合的碼一定是唯一可譯碼。 （ 錯 ） ，則此信道在其輸入端的信源分布為P(X)={1/2,1/2}時傳輸?shù)男畔⒘窟_到最大值。 （ 錯 ） = {000000, 001011, 010110, 011101, 100111, 101100, 110001, 111010}是一個二元線性分組碼，則該碼最多能檢測出3個隨機錯誤。 （錯 ）四、名詞解釋:::五、計算題 其發(fā)生的消息為（20212013021300120321011032101002032001122321