【正文】 《信息論與編碼技術(shù)》復(fù)習(xí)提綱復(fù)習(xí)題綱第0章 緒論題綱：I. 什么是信息？ II. 什么是信息論？ III. 什么是信息的通信模型？ IV. 什么是信息的測(cè)度？ V. 自信息量的定義、含義、性質(zhì)需掌握的問(wèn)題：1. 信息的定義是什么？（廣義信息、狹義信息——Shannon信息、概率信息） 2. Shannon信息論中信息的三要素是什么？ 3. 通信系統(tǒng)模型圖是什么？每一部分的作用的是什么？ 4. 什么是信息測(cè)度？5. 什么是樣本空間、概率空間、先驗(yàn)概率、自信息、后驗(yàn)概率、互信息？6. 自信息的大小如何計(jì)算？單位是什么？含義是什么（是對(duì)什么量的度量）？ 第1章 信息論基礎(chǔ)㈠《離散信源》題綱：I. 信源的定義、分類(lèi)II. 離散信源的數(shù)學(xué)模型III. 熵的定義、含義、性質(zhì)，聯(lián)合熵、條件熵IV. 離散無(wú)記憶信源的特性、熵 V. 離散有記憶信源的熵、平均符號(hào)熵、極限熵 VI. 馬爾科夫信源的定義、狀態(tài)轉(zhuǎn)移圖VII. 信源的相對(duì)信息率和冗余度需掌握的問(wèn)題：1. 信源的定義、分類(lèi)是什么？2. 離散信源的數(shù)學(xué)模型是什么？ 3. 信息熵的表達(dá)式是什么？信息熵的單位是什么？信息熵的含義是什么？信息熵的性質(zhì)是什么？4. 單符號(hào)離散信源最大熵是多少？信源概率如何分布時(shí)能達(dá)到？5. 信源的碼率和信息率是什么，如何計(jì)算？6. 什么是離散無(wú)記憶信源？什么是離散有記憶信源？ 7. 離散無(wú)記憶信源的數(shù)學(xué)模型如何描述？信息熵、平均符號(hào)熵如何計(jì)算？8. 離散有記憶多符號(hào)離散平穩(wěn)信源的平均符號(hào)熵、極限熵、條件熵（N階熵）的計(jì)算、關(guān)系和性質(zhì)是什么？9. 什么是馬爾科夫信源？馬爾科夫信源的數(shù)學(xué)模型是什么？馬爾科夫信源滿(mǎn)足的2個(gè)條件是什么？10. 馬爾科夫信源的狀態(tài)、狀態(tài)轉(zhuǎn)移是什么？如何繪制馬爾科夫信源狀態(tài)轉(zhuǎn)移圖？ 11. 馬爾科夫信源的穩(wěn)態(tài)概率、穩(wěn)態(tài)符號(hào)概率、穩(wěn)態(tài)信息熵如何計(jì)算？ 12. 信源的相對(duì)信息率和冗余度是什么？如何計(jì)算？㈡《離散信道》題綱：I. 信道的數(shù)學(xué)模型及分類(lèi) II. 典型離散信道的數(shù)學(xué)模型III. 先驗(yàn)熵和后驗(yàn)熵IV. 互信息的定義、性質(zhì) V. 平均互信息的定義、含義、性質(zhì)、維拉圖VI. 信道容量的定義VII. 特殊離散信道的信道容量需掌握的問(wèn)題：1. 信道的定義是什么？信道如何分類(lèi)？信道的數(shù)學(xué)模型是什么？ 2. 二元對(duì)稱(chēng)信道和二元?jiǎng)h除信道的信道傳輸概率矩陣是什么？ 3. 對(duì)稱(chēng)信道的信道傳輸概率矩陣有什么特點(diǎn)？ 4. 根據(jù)信道的轉(zhuǎn)移特性圖，寫(xiě)出信道傳輸概率矩陣。5. 先驗(yàn)熵、后驗(yàn)熵的區(qū)別？6. 聯(lián)合熵、條件熵和信息熵的關(guān)系。7. 互信息的大小如何計(jì)算？互信息的性質(zhì)是什么？ 8. 聯(lián)合互信息、條件互信息、互信息之間的關(guān)系是什么？ 9. 平均互信息的定義是什么？平均互信息的含義？平均互信息的性質(zhì)？10. 聯(lián)合平均互信息、條件平均互信息和平均互信息的關(guān)系？11. 損失熵和噪聲熵的含義是什么？維拉圖表示了哪些關(guān)系式？12. 信道的傳碼率和傳信率（信息率）的計(jì)算方法是什么？13. 信道容量的定義是什么？信道容量的含義如何理解？ 14. 無(wú)噪無(wú)損信道、有噪無(wú)損信道、無(wú)噪有損信道、對(duì)稱(chēng)信道的信道容量如何計(jì)算？ ㈢《連續(xù)信源和波形信道》題綱：I. 連續(xù)信源的定義、數(shù)學(xué)模型、絕對(duì)熵、相對(duì)熵 II. 給定條件下，連續(xù)信源的最大熵III. 熵功率 IV. 連續(xù)信道和波形信道的信道容量需掌握的問(wèn)題：1. 連續(xù)信源定義、數(shù)學(xué)模型是什么？2. 連續(xù)信源熵的表達(dá)式是什么？相對(duì)熵和絕對(duì)熵的區(qū)別是什么？ 3. 如何計(jì)算均勻分布、正態(tài)分布連續(xù)信源的最大熵？ 4. 什么是波形信道？了解波形信道互信息、信道容量的求解思路。5. 香農(nóng)公式是什么？物理意義是什么？第2章 無(wú)失真信源編碼題綱：I. 基本概念 1. 編碼 2. 二元碼 3. 等長(zhǎng)碼 4. 變長(zhǎng)碼 5. 碼的N次擴(kuò)展碼 6. 唯一可譯碼 II. 等長(zhǎng)碼 III. 變長(zhǎng)碼 IV. 無(wú)失真信源編碼定理 V. 編碼方法 1. 香農(nóng)編碼 2. 費(fèi)諾編碼 3. 霍夫曼編碼 需掌握的問(wèn)題：1. 編碼的定義及編碼相關(guān)術(shù)語(yǔ)。2. 信源編碼的定義及目的是什么？3. 解釋二元碼、等長(zhǎng)碼、變長(zhǎng)碼、唯一可譯碼。 4. 變長(zhǎng)碼和定長(zhǎng)碼的區(qū)別是什么？用碼樹(shù)描述二者的差異，能夠說(shuō)明變長(zhǎng)碼和定長(zhǎng)碼各自的優(yōu)劣。 5. 描述香農(nóng)第一定理及意義。 6. 掌握香農(nóng)編碼、費(fèi)諾編碼、霍夫曼編碼的步驟及特點(diǎn)，會(huì)計(jì)算編碼效率。 7. 了解游程編碼和算術(shù)編碼的思路。第3章 信道編碼題綱：I. 檢錯(cuò)、糾錯(cuò)原理及方法、能力 II. 差錯(cuò)控制理論1. 譯碼規(guī)則 2. 2種準(zhǔn)則下的錯(cuò)誤概率 III. 信道編碼定理IV. 編碼方法1. 簡(jiǎn)單的檢錯(cuò)、糾錯(cuò)碼2. 線(xiàn)性分組碼3. 循環(huán)碼需掌握的問(wèn)題：1. 信道編碼的定義及目的是什么？2. 檢錯(cuò)原理是什么？3. 差錯(cuò)控制方法有哪些？4. 如何確定一種編碼的檢錯(cuò)、糾錯(cuò)能力？5. 漢明距離是什么？漢明重量是什么？最小碼距是什么？6. 信道編碼的效率如何確定？ 7. 奇偶校驗(yàn)碼的編碼規(guī)則是什么？檢錯(cuò)、糾錯(cuò)能力如何？ 8. 譯碼規(guī)則的定義是什么？9. 最大后驗(yàn)準(zhǔn)則是什么？極大似然準(zhǔn)則是什么？這兩種準(zhǔn)則下如何計(jì)算錯(cuò)誤概率？10. 錯(cuò)誤概率與損失熵之間的關(guān)系是什么？11. 描述香農(nóng)第二定理及意義。12. 線(xiàn)性分組碼的編碼原理和校驗(yàn)原理是什么？13. 循環(huán)碼的編碼原理和校驗(yàn)原理是什么？14. 了解循環(huán)冗余校驗(yàn)碼和卷積碼的編碼思路。第4章 信息率失真函數(shù)題綱：V. 失真度 VI. 平均失真度 VII. 信息率失真函數(shù) VIII. 信息率失真函數(shù)的性質(zhì) IX. 限失真信源編碼定理需掌握的問(wèn)題：1. 失真度如何表示？ 2. 四種常見(jiàn)失真度的形式分別是什么？分別用于什么場(chǎng)合？ 3. 平均失真度如何計(jì)算？4. 什么是保真度準(zhǔn)則？5. 什么是試驗(yàn)信道？ 6. 信息率失真函數(shù)的定義是什么？ 7. 信息率失真函數(shù)和信道容量的區(qū)別和聯(lián)系是什么？ 8. 信息率失真函數(shù)的性質(zhì)是什么？9. 定義域Dmin, Dmax，以及相應(yīng)的R(Dmin), R(Dmax)如何計(jì)算？ 10. 描述香農(nóng)第三定理及意義。 11. 了解預(yù)測(cè)編碼和變換編碼的思路。 填空題1. 設(shè)信源X包含4個(gè)不同離散消息，當(dāng)且僅當(dāng)X中各個(gè)消息出現(xiàn)的概率為_(kāi)__1/4___時(shí)，信源熵達(dá)到最大值，為_(kāi)_2__，此時(shí)各個(gè)消息的自信息量為_(kāi)_2 __。=4，則該碼最多能檢測(cè)出___3____個(gè)隨機(jī)錯(cuò)，最多能糾正__1____個(gè)隨機(jī)錯(cuò)。(X。Y)與信源熵和條件熵之間的關(guān)系是___(X。Y)=H(X)H(X/Y)___。5. _信源___提高通信的有效性，_信道____目的是提高通信的可靠性，_加密__編碼的目的是保證通信的安全性。 有效性 ，信道編碼的目的是提高通信的 可靠性 ，加密編碼的目的是保證通信的 安全性 。，當(dāng)且僅當(dāng)X中各個(gè)消息出現(xiàn)的概率為_(kāi)_1/8__時(shí)，信源熵達(dá)到最大值，為_(kāi)__3____。，信源符號(hào)的概率越大，其自信息量越_小___。，一是信源符號(hào)之間的__相關(guān)性__，二是信源符號(hào)分布的__不均勻性__。 譯碼器要在已知r的條件下找出可能性最大的發(fā)碼 作為譯碼估值 ，即令 =maxP( |r)_ __。、反饋重發(fā)和混合糾錯(cuò)三種。 單項(xiàng)選擇題（A ）。A. B.C. D.105 個(gè)像元，設(shè)每個(gè)像元有64種彩色度，每種彩度又有16種不同的亮度層次，如果所有的彩色品種和亮度層次的組合均以等概率出現(xiàn)，并且各個(gè)組合之間相互獨(dú)立。每秒傳送25幀圖像所需要的信道容量（C ）。A. 50180。106 B. 75180。106 C. 125180。106 D. 250180。106,b,c等概分布，接收端為二符號(hào)集，其失真矩陣為d=,則信源的最大平均失真度為（ D ）。A. 1/3 B. 2/3 C. 3/3 D. 4/3 （ C ）。=0（ B）。A .H(U) (U。 V) ，下列哪種措施不能減小差錯(cuò)概率（ D ）。A. 增大信道容量 B. 增大碼長(zhǎng) C. 減小碼率 D. 減小帶寬，但不幸被人用外觀(guān)相同但重量?jī)H有微小差異的假珠換掉1顆。一人隨手取出3顆，經(jīng)測(cè)量恰好找出了假珠，不巧假珠又滑落進(jìn)去，那人找了許久卻未找到，但另一人說(shuō)他用天平最多6次能找出，結(jié)果確是如此，這一事件給出的信息量（ A ）。A. 0bit B. log6bit C. 6bit D. log240bit，不正確的是（ D ）。，H（Y）是輸入概率向量的凸函數(shù)，線(xiàn)性碼的最小距離越大，意味著任意碼字間的差別越大，則碼的檢錯(cuò)、糾錯(cuò)能力越強(qiáng)(x)= x /2，則信源的相對(duì)熵為（ C ）。A . B. C. 1bit D. ，熵最大的是（ D ）。A. H（1/3,1/3,1/3）； B. H（1/2,1/2）； C. H（,）； D. H（1/2,1/4,1/8,1/8)（ B ）。 ，信源編碼采用的方法是（ A ）。 （ D ）。 （ C ）。 ，由于存在失真，傳輸時(shí)會(huì)產(chǎn)生誤碼，用符號(hào)表示下列事件，u0:一個(gè)0發(fā)出 u1:一個(gè)1發(fā)出 v0 :一個(gè)0收到 v1:一個(gè)1收到 則已知收到的符號(hào)，被告知發(fā)出的符號(hào)能得到的信息量是（ A ）。A. H(U/V) B. H(V/U) C. H(U,V) D. H(UV)16. 同時(shí)扔兩個(gè)正常的骰子，即各面呈現(xiàn)的概率都是1/6，若點(diǎn)數(shù)之和為12，則得到的自信息為（ B ）。A. －log36bit B. log36bit C. －log (11/36)bit D. log (11/36)bit（ A ）。A. { 0，01，011} B. {0，10，110} C. {00，10，11} D. {1，01，00}（6，3）線(xiàn)性分組碼的生成矩陣，則不用計(jì)算就可判斷出下列碼中不是該碼集里的碼是（ D ）。A. 000000 B. 110001 C. 011101 D. 111111(x)= x /2，則信源的相對(duì)熵為（ C ）。A. ，已知，發(fā)出二重符號(hào)序列消息的信源，無(wú)記憶信源熵 為（ A ）。 判斷題(0,0,0,1)=1。 （ 錯(cuò) ） (X)={1/2, 1/3, 1/6}，對(duì)其進(jìn)行哈夫曼編碼得到的碼是唯一的。 （ 錯(cuò) ）3. 離散無(wú)記憶序列信源中平均每個(gè)符號(hào)的符號(hào)熵等于單個(gè)符號(hào)信源的符號(hào)熵。 （ 對(duì) ）。 （ 錯(cuò) ）(D)是在平均失真不超過(guò)給定失真限度D的條件下，信息率容許壓縮的最小值。 （ 對(duì) ）(X)={1/2, 1/3, 1/6}，信源Y的概率分布為P(Y)={1/3,1/2,1/6}，則信源X和Y的熵相等。 （ 對(duì) ） (X。Y)表示收到Y(jié)后仍對(duì)信源X的不確定度。 （ 對(duì) ）={a1,a2,a3,a4}進(jìn)行二元信源編碼，4個(gè)信源符號(hào)對(duì)應(yīng)碼字的碼長(zhǎng)分別為K1=1，K2=2，K3=3，K3=3，滿(mǎn)足這種碼長(zhǎng)組合的碼一定是唯一可譯碼。 （ 錯(cuò) ） ，則此信道在其輸入端的信源分布為P(X)={1/2,1/2}時(shí)傳輸?shù)男畔⒘窟_(dá)到最大值。 （ 錯(cuò) ） = {000000, 001011, 010110, 011101, 100111, 101100, 110001, 111010}是一個(gè)二元線(xiàn)性分組碼，則該碼最多能檢測(cè)出3個(gè)隨機(jī)錯(cuò)誤。 （錯(cuò) ）四、名詞解釋:::五、計(jì)算題 其發(fā)生的消息為（20212013021300120321011032101002032001122321