【正文】 （2）哈夫曼編碼的結果是否唯一？如果不唯一，請給出原因。試求。 （1）試寫出該信道的轉移概率矩陣；（2）求該信道的信道容量。（1）求信源的熵H(X)；（2）已知發(fā)出的符號，求收到符號后得到的信息量H(Y/X)；（3）已知發(fā)出和收到的符號，求能得到的信息量H(X,Y)。，由于存在失真，傳輸時會產(chǎn)生誤碼，用符號表示下列事件。（1）對這6個符號進行二進制哈夫曼編碼（給出編碼過程），寫出相應碼字，并求出平均碼長和編碼效率。試求Dmin，Dmax，R(Dmin)，R(Dmax)。試求：I(X,Y)，H(X,Y)，H(X/Y)，和H(Y/X)。 （錯 ）四、名詞解釋:::五、計算題 其發(fā)生的消息為（202120130213001203210110321010020320011223210），（1） 根據(jù)“離散無記憶信源發(fā)出的消息序列的自信息等于消息中各個符號的自信息之 和”，求此消息的自信息量；（2）在此消息中平均每個符號攜帶的信息量是多少？，如圖所示。 （ 錯 ） ，則此信道在其輸入端的信源分布為P(X)={1/2,1/2}時傳輸?shù)男畔⒘窟_到最大值。Y)表示收到Y后仍對信源X的不確定度。 （ 對 ）(X)={1/2, 1/3, 1/6}，信源Y的概率分布為P(Y)={1/3,1/2,1/6}，則信源X和Y的熵相等。 （ 對 ）。 （ 錯 ） (X)={1/2, 1/3, 1/6}，對其進行哈夫曼編碼得到的碼是唯一的。A. ，已知，發(fā)出二重符號序列消息的信源，無記憶信源熵 為（ A ）。A. { 0，01，011} B. {0，10，110} C. {00，10，11} D. {1，01，00}（6，3）線性分組碼的生成矩陣，則不用計算就可判斷出下列碼中不是該碼集里的碼是（ D ）。A. H(U/V) B. H(V/U) C. H(U,V) D. H(UV)16. 同時扔兩個正常的骰子，即各面呈現(xiàn)的概率都是1/6，若點數(shù)之和為12，則得到的自信息為（ B ）。 （ C ）。 ，信源編碼采用的方法是（ A ）。A . B. C. 1bit D. ，熵最大的是（ D ）。A. 0bit B. log6bit C. 6bit D. log240bit，不正確的是（ D ）。A. 增大信道容量 B. 增大碼長 C. 減小碼率 D. 減小帶寬，但不幸被人用外觀相同但重量僅有微小差異的假珠換掉1顆。A .H(U) (U。A. 1/3 B. 2/3 C. 3/3 D. 4/3 （ C ）。106 D. 250180。106 B. 75180。每秒傳送25幀圖像所需要的信道容量（C ）。 單項選擇題（A ）。 譯碼器要在已知r的條件下找出可能性最大的發(fā)碼 作為譯碼估值 ，即令 =maxP( |r)_ __。，信源符號的概率越大，其自信息量越_小___。 有效性 ，信道編碼的目的是提高通信的 可靠性 ，加密編碼的目的是保證通信的 安全性 。Y)=H(X)H(X/Y)___。(X。=4，則該碼最多能檢測出___3____個隨機錯，最多能糾正__1____個隨機錯。 11. 了解預測編碼和變換編碼的思路。12. 線性分組碼的編碼原理和校驗原理是什么？13. 循環(huán)碼的編碼原理和校驗原理是什么？14. 了解循環(huán)冗余校驗碼和卷積碼的編碼思路。 7. 了解游程編碼和算術編碼的思路。 5. 描述香農(nóng)第一定理及意義。2. 信源編碼的定義及目的是什么？3. 解釋二元碼、等長碼、變長碼、唯一可譯碼。7. 互信息的大小如何計算？互信息的性質是什么？ 8. 聯(lián)合互信息、條件互信息、互信息之間的關系是什么？ 9. 平均互信息的定義是什么？平均互信息的含義？平均互信息的性質？10. 聯(lián)合平均互信息、條件平均互信息和平均互信息的關系？11. 損失熵和噪聲熵的含義是什么？維拉圖表示了哪些關系式？12. 信道的傳碼率和傳信率（信息率）的計算方法是什么？13. 信道容量的定義是什么？信道容量的含義如何理解？ 14. 無噪無損信道、有噪無損信道、無噪有損信道、對稱信道的信道容量如何計算？ ㈢《連續(xù)信源和波形信道》題綱：I. 連續(xù)信源的定義、數(shù)學模型、絕對熵、相對熵 II. 給定條件下，連續(xù)信源的最大熵III. 熵功率 IV. 連續(xù)信道和波形信道的信道容量需掌握的問題：1. 連續(xù)信源定義、數(shù)學模型是什么？2. 連續(xù)信源熵的表達式是什么？相對熵和絕對熵的區(qū)別是什么？ 3. 如何計算均勻分布、正態(tài)分布連續(xù)信源的最大熵？ 4. 什么是波形信道？了解波形信道互信息、信道容量的求解思路?！缎畔⒄撆c編碼技術》復習提綱復習題綱第0章 緒論題綱：I. 什么是信息？ II. 什么是信息論？ III. 什么是信息的通信模型？ IV. 什么是信息的測度？ V. 自信息量的定義、含義、性質需掌握的問題：1. 信息的定義是什么？（廣義信息、狹義信息——Shannon信息、概率信息） 2. Shannon信息論中信息的三要素是什么？ 3. 通信系統(tǒng)模型圖是什么？每一部分的作用的是什么？ 4. 什么是信息測度？5. 什么是樣本空間、概率空間、先驗概率、自信息、后驗概率、互信息？6. 自信息的大小如何計算？單位是什么？含義是什么（是對什么量的度量）？ 第1章 信息論基礎㈠《離散信源》題綱：I. 信源的定義、分類II. 離散信源的數(shù)學模型III. 熵的定義、含義、性質，聯(lián)合熵、條件熵IV. 離散無記憶信源的特性、熵 V. 離散有記憶信源的熵、平均符號熵、極限熵 VI. 馬爾科夫信源的定義、狀態(tài)轉移圖VII. 信源的相對信息率和冗余度需掌握的問題：1. 信源的定義、分類是什么？2. 離散信源的數(shù)學模型是什么？ 3. 信息熵的表達式是什么？信息熵的單位是什么？信息熵的含義是什么？信息熵的性質是什么？4. 單符號離散信源最大熵是多少？信源概率如何分布時能達到？5. 信源的碼率和信息率是什么，如何計算？6. 什么是離散無記憶信源？什么是離散有記憶信源？ 7. 離散無記憶信源的數(shù)學模型如何描述？信息熵、平均符號熵如何計算？8. 離散有記憶多符號離散平穩(wěn)信源的平均符號熵、極限熵、條件熵（N階熵）的計算、關系和性質是什么？9. 什么是馬爾科夫信源？馬爾科夫信源的數(shù)學模型是什么？馬爾科夫信源滿足的2個條件是什么？10. 馬爾科夫信源的狀態(tài)、狀態(tài)轉移是什么？如何繪制馬爾科夫信源狀態(tài)轉移圖？ 11. 馬爾科夫信源的穩(wěn)態(tài)概率、穩(wěn)態(tài)符號概率、穩(wěn)態(tài)信息熵如何計算？ 12. 信源的相對信息率和冗余度是什么？如何計算？㈡《離散信道》題綱：I. 信道的數(shù)學模型及分類 II. 典型離散信道的數(shù)學模型III. 先驗熵和后驗熵IV. 互信息的定義、性質 V. 平均互信息的定義、含義、性質、維拉圖VI. 信道容量的定義VII. 特殊離散信道的信道容量需掌握的問題：1. 信道的定義是什么？信道如何分類？信道的數(shù)學模型是什么？ 2. 二元對稱信道和二元刪除信道的信道傳輸概率矩陣是什么？ 3. 對稱信道的信道傳輸概率矩陣有什么特點？ 4. 根據(jù)信道的轉移特性圖，寫出信道傳輸概率矩陣。5. 先驗熵、后驗熵的區(qū)別？6. 聯(lián)合熵、條件熵和信息熵的關系。5. 香農(nóng)公式是什么？物理意義是什么？第2章 無失真信源編碼題綱：I. 基本概念 1. 編碼 2. 二元碼 3. 等長碼 4. 變長碼 5. 碼的N次擴展碼 6. 唯一可譯碼 II. 等長碼 III. 變長碼 IV. 無失真信源編碼定理 V. 編碼方法 1. 香農(nóng)編碼 2. 費諾編碼 3. 霍夫曼編碼 需掌握的問題：1. 編碼的定義及編碼相關術語。 4. 變長碼和定長碼的區(qū)別是什么？用碼樹描述二者的差異，能夠說明變長碼和定長碼各自的優(yōu)劣。 6. 掌握香農(nóng)編碼、費諾編碼、霍夫曼編碼的步驟及特點，會計算編碼效率。第3章 信道編碼題綱：I. 檢錯、糾錯原理及方法、能力 II. 差錯控制理論1. 譯碼規(guī)則 2. 2種準則下的錯誤概率 III. 信道編碼定理IV. 編碼方法1. 簡單的檢錯、糾錯碼2. 線性分組碼3. 循環(huán)碼需掌握的問題：1. 信道編碼的定義及目的是什么？2. 檢錯原理是什么？3. 差錯控制方法有哪些？4. 如何確定一種編碼的檢錯、糾錯能力？5. 漢明距離是什么？漢明重量是什么？最小碼距是什么？6. 信道編碼的效率如何確定？ 7. 奇偶校驗碼的編碼規(guī)則是什么？檢錯、糾錯能力如何？ 8. 譯碼規(guī)則的定義是什么？9. 最大后驗準則是什么？極大似然準則是什么？這兩種準則下如何計算錯誤概率？10. 錯誤概率與損失熵之間的關系是什么？11. 描述香農(nóng)第二定理及意義。第4章 信息率失真函數(shù)題綱：V. 失真度 VI. 平均失真度 VII. 信息率失真函數(shù) VIII. 信息率失真函數(shù)的性質 IX. 限失真信源編碼定理需掌握的問題：1. 失真度如何表示？ 2. 四種常見失真度的形式分別是什么？分別用于什么場合？ 3. 平均失真度如何計算？4. 什么是保真度準則？5. 什么是試驗信道？ 6. 信息率失真函數(shù)的定義是什么？ 7. 信息率失真函數(shù)和信道容量的區(qū)別和聯(lián)系是什么？ 8. 信息率失真函數(shù)的性質是什么？9. 定義域Dmin, Dmax，以及相應的R(Dmin), R(Dmax)如何計算？ 10. 描述香農(nóng)第三定理及意義。 填空題1. 設信源X包含4個不同離散消息，當且僅當X中各個消息出現(xiàn)的概率為___1/4___時，信源熵達到最大值，為__2__，此時各個消息的自信息量為__2 __。Y)與信源熵和條件熵之間的關系是___(X。5. _信源___提高通信的有效性，_信道____目的是提高通信的可靠性，_加密__編碼的目的是保證通信的安全性。，當且僅當X中各個消息出現(xiàn)的概率為__1/8__時，信源熵達到最大值，為___3____。，一是信源符號之間的__相關性__，二是信源符號分布的__不均勻性__。、反饋重發(fā)和混合糾錯三種。A. B.C. D.105 個像元，設每個像元有64種彩色度，每種彩度又有16種不同的亮度層次，如果所有的彩色品種和亮度層次的組合均以等概率出現(xiàn)，并且各個組合之間相互獨立。A. 50180。106 C. 125180。106,b,c等概分布，接收端為二符號集，其失真矩陣為d=,則信源的最大平均失真度為（ D ）。=0（ B）。 V) ，下列哪種措施不能減小差錯概率（ D ）。一人隨手取出3顆，經(jīng)測量恰好找出了假珠，不巧假珠又滑落進去，那人找了許久卻未找到，但另一人說他用天平最多6次能找出，結果確是如此，這一事件給出的信息量（ A ）。，H（Y）是輸入概率向量的凸函數(shù)，線性碼的最小距離越大，意味著任意碼字間的差別越大，則碼的檢錯、糾錯能力越強(x)= x /2，則信源的相對熵為（ C ）。A. H（1/3,1/3,1/3）； B. H（1/2,1/2）； C. H（,）； D. H（1/2,1/4,1/8,1/8)（ B ）。 （ D ）。 ，由于存在失真，傳輸時會產(chǎn)生誤碼，用符號表示下列事件，u0:一個0發(fā)出 u1:一個1發(fā)出 v0 :一個0收到 v1:一個1收到 則已知收到的符號，被告知發(fā)出的符號能得到的信息量是（ A ）。A. －log36bit B. log36bit C. －log (11/36)bit D. log (11/36)bit（ A ）。A. 000000 B. 110001 C. 011101 D. 111111(x)= x /2，則信源的相對熵為（ C ）。 判斷題(0,0,0,1)=1。