信息論復(fù)習(xí)知識點(diǎn)-資料下載頁
2025-04-16 22:59本頁面
【正文】 達(dá)到最大。2．信息論不等式：對于任意實(shí)數(shù)，有，當(dāng)且僅當(dāng)時(shí)等式成立。3．設(shè)信源為X={0，1}，P（0）=1/8，則信源的熵為 比特/符號，如信源發(fā)出由m個(gè)“0”和（100m）個(gè)“1”構(gòu)成的序列，序列的自信息量為比特/符號。4．離散對稱信道輸入等概率時(shí)，輸出為 等概 分布。5．根據(jù)碼字所含的碼元的個(gè)數(shù)，編碼可分為 定長 編碼和 變長 編碼。6．設(shè)DMS為，用二元符號表對其進(jìn)行定長編碼，若所編的碼為{000，001，010，011，100，101}，則編碼器輸出碼元的一維概率 , 。二、簡答題（30分）設(shè)信源為，試求（1）信源的熵、信息含量效率以及冗余度；求二次擴(kuò)展信源的概率空間和熵。解：（1）（2）二次擴(kuò)展信源的概率空間為：X\X1/163/163/169/16什么是損失熵、噪聲熵？什么是無損信道和確定信道？如輸入輸出為，則它們的分別信道容量為多少？答：將H（X|Y）稱為信道的疑義度或損失熵，損失熵為零的信道就是無損信道，信道容量為logr。將H（Y|X）稱為信道的噪聲熵，噪聲熵為零的信道就是確定信道，信道容量為logs。信源編碼的和信道編碼的目的是什么？答：信源編碼的作用：（1）符號變換：使信源的輸出符號與信道的輸入符號相匹配；（2）冗余度壓縮：是編碼之后的新信源概率均勻化，信息含量效率等于或接近于100%。信道編碼的作用：降低平均差錯(cuò)率。什么是限失真信源編碼？答：有失真信源編碼的中心任務(wù)：在允許的失真范圍內(nèi)把編碼的信息率壓縮到最小。三、綜合題（20+15+15）設(shè)隨機(jī)變量和的聯(lián)合概率空間為定義一個(gè)新的隨機(jī)變量(普通乘積)計(jì)算熵H（X），H（Y），H（Z），H（XZ），H（YZ），以及H（XYZ）；計(jì)算條件熵 H（X|Y），H（Y|X），H（X|Z），H（Z|X），H（Y|Z），H（Z|Y），H（X|YZ），H（Y|XZ）以及H（Z|XY）；計(jì)算平均互信息量I（X；Y），I（X：Z），I（Y：Z），I（X；Y|Z），I（Y；Z|X）以及I（X：，Z|Y）。解：（1）X\Y0101/83/81/213/81/81/21/21/2（2）X\Z0101/201/213/81/81/27/81/8Y\Z0101/201/213/81/81/27/81/8(3) 設(shè)二元對稱信道的輸入概率分布分別為，轉(zhuǎn)移矩陣為，求信道的輸入熵，輸出熵，平均互信息量；求信道容量和最佳輸入分布；求信道剩余度。解：（1）信道的輸入熵；2）最佳輸入分布為，此時(shí)信道的容量為(3)信道的剩余度：設(shè)有ＤＭＣ，其轉(zhuǎn)移矩陣為，若信道輸入概率為，試確定最佳譯碼規(guī)則和極大似然譯碼規(guī)則，并計(jì)算出相應(yīng)的平均差錯(cuò)率。解： 最佳譯碼規(guī)則：，平均差錯(cuò)率為11/41/61/8=11/24；極大似然規(guī)則：，平均差錯(cuò)率為11/41/81/8=1/2。
教學(xué)教案相關(guān)推薦
鄂ICP備17016276號-1