信息論與編碼期末考試題-全文預(yù)覽
【正文】 m 的有記憶信源，其所含符號(hào)的依賴(lài)關(guān)系相同。對(duì) 自信息量、條件自信息量和聯(lián)合自信息量之間有如下關(guān)系： 對(duì) 自信息量、條件自信息量和互信息量之間有如下關(guān)系： 對(duì) 當(dāng)隨即變量 X和 Y相互獨(dú)立時(shí)，條件熵等于信源熵。錯(cuò) 自信息量是的單調(diào)遞減函數(shù)。 9若檢錯(cuò)碼的最小距離為 dmin，則可以檢測(cè)出任意小于等于 l= dmin1 個(gè)差錯(cuò)。 9 BSC信道即：無(wú)記憶二進(jìn)制對(duì)稱(chēng)信道。 8 LD編碼是一種 分幀傳送冗余位序列 的方法。 8若“ 0”游程的哈夫嗎編碼效率為η 0，“ 1”游程的哈夫嗎編碼效率為η 1，且η 0η 1 對(duì)應(yīng)的二元序列的編碼效率為η，則三者的關(guān)系是 η 0η η 1 8在實(shí)際的游程編 碼過(guò)程中，對(duì)長(zhǎng)碼一般采取 截?cái)? 處理的方法。 7對(duì)信源進(jìn)行二進(jìn)制費(fèi)諾編碼，其編碼效率為 1 7對(duì)具有 8 個(gè)消息的單符號(hào)離散無(wú)記憶信源進(jìn)行 4 進(jìn)制哈夫曼編碼時(shí)，為使平均碼長(zhǎng)最短，應(yīng)增加 2 個(gè)概率為 0 的消息。 7信源編碼的目的是： 提高通信的有效性。 6率失真函數(shù)對(duì)允許的平均失真度是 單調(diào)遞減和連續(xù)的。 6平均失真度的上限 Dmax取 {Dj： j=1， 2，我們把稱(chēng)為 保真度準(zhǔn)則。 5漢明失真函數(shù) d（ xi， yj） = 5平方誤差失真函數(shù) d（ xi， yj） =（ yj xi） 2。 50、求解率失真函數(shù)的問(wèn)題，即：在給定失真度的情況下，求信息率的 極小值。 4高斯加性信道的信道容量 C=。 3對(duì)于離散無(wú)記憶信道和信源的 N次擴(kuò)展，其信道容量 CN= NC 3對(duì)于 N個(gè)對(duì)立并聯(lián)信道，其信道容量 CN = 3多用戶信道的信道容量用 多維空間的一個(gè)區(qū)域的界限 來(lái)表示。 一副充分洗亂的撲克牌（ 52 張），從中任意抽取 1 張，然后放回，若把這一過(guò)程看作離散無(wú)記憶信源，則其信源熵為 3根據(jù)輸入輸出信號(hào)的特點(diǎn)，可將信道分成離散信道、連續(xù)信道、半離散或半連續(xù) 信道。 n的異前置碼存在的充要條件是：。 2對(duì)于均值為 0，平均功率受限的連續(xù)信源，信源的冗余度決定于平均功率的限定值 P和信源的熵功率 之比。 1對(duì)于 n元 m階馬爾可夫信源，其狀態(tài)空間共有 nm 個(gè)不同的狀態(tài)。 1自信息量的單位一般有 比特、奈特和哈特。 熵 是香農(nóng)信息論最基本最重要的概念。 按照信息的地位，可以把信息分成 客觀信息和主觀信息。 平均碼長(zhǎng)，編碼效率 ： 1）最小似然譯碼準(zhǔn)則下，有， 2）最大錯(cuò)誤概率準(zhǔn)則下，有， ： 1）輸入為 00011 時(shí)，碼字為 00011110；輸入為 10100 時(shí)，碼字為 10100101。 2）因?yàn)槭д婢仃囍忻啃卸加幸粋€(gè) 0，所以有，而。 ：香農(nóng)公式為，它是高斯加性白噪聲信道在單位時(shí)間內(nèi)的信道容量，其值取決于信噪比和帶寬。信息傳輸率達(dá)到信道容量時(shí)所對(duì)應(yīng)的輸入概率分布稱(chēng)為最佳輸入概率分布。 ：最大離散熵定理為：離散無(wú)記憶信源，等概率分布時(shí)熵最大 。 6. 設(shè)某一信號(hào)的信息傳輸率為 ，在帶寬為 4kHz 的高斯信道中傳輸，噪聲功率譜 NO=5 10－ 6mw/Hz。 ，試分別構(gòu)造二元和三元霍夫曼碼，計(jì)算其平均碼長(zhǎng)和編碼效率。Y)0 時(shí)率失真函數(shù)的和？ 二、綜合題 ，求： 1） 黑色出現(xiàn)的概率為 ，白色出現(xiàn)的概率為 。 若連續(xù)信源輸出信號(hào)的平均功率為，則輸出信號(hào)幅度的概率密度是高斯分布或正態(tài)分布或時(shí)， 信源具有最大熵，其值為值。 無(wú)失真信源編碼的平均碼長(zhǎng)最小理論極限制為信源熵（或H(S)/logr= Hr(S)）。 (1) 計(jì)算信源中事件包含的自信息量； (2) 計(jì)算信源的信息熵； (3) 計(jì)算信道疑義度； (4) 計(jì)算噪聲熵； (5) 計(jì)算收到消息后獲得的平均互信息量。 七、設(shè) X、 Y是兩個(gè)相互獨(dú)立的二元隨機(jī)變量，其取 0或 1 的概率相等。 (4分 ) (3) 計(jì)算馬爾可夫信源的極限熵。試計(jì)算正確傳輸這些數(shù)據(jù)最少需要的發(fā)送功率 P。（ 2分） 四、某信源輸出 A、 B、 C、 D、 E 五種符號(hào)，每一個(gè)符號(hào)獨(dú)立出現(xiàn)，出現(xiàn)概率分別為 1/ 1/ 1/ 1/ 1/8。 三、已知信源 （ 1）用霍夫曼編碼法編成二進(jìn)制變長(zhǎng)碼；（ 6分） （ 2）計(jì)算平均碼長(zhǎng) 。 （ 2） （ 3）假設(shè)信道輸入用 X 表示，信道輸出用 Y表示。 根據(jù)信道特性是否隨時(shí)間變化，信道可以分為 和 根據(jù)是否允許失真，信源編碼可分為 和 若連續(xù)信源輸出信號(hào)的平均功率為，則輸出信號(hào)幅度的概率密度是 時(shí)，信源具有最大熵，其值為值 在下面空格中選擇填入數(shù)學(xué)符號(hào)“”或“” （ 1）當(dāng) X 和 Y相互獨(dú)立時(shí)， H（ XY） H(X)+H(X/Y) H(Y)+H(X)。 二、若連續(xù)信源輸出的幅度被限定在【 2,6】區(qū)域內(nèi)，當(dāng)輸出信號(hào)的概率密度是均勻分布時(shí)，計(jì)算該信源的相對(duì)熵，并說(shuō)明該信源的絕對(duì)熵為多少。
高考資料相關(guān)推薦
鄂ICP備17016276號(hào)-1