信息論與編碼ppt課件-在線瀏覽
2025-06-23 02:45本頁面
【正文】 001ppPqq?????????信息論與編碼基礎(chǔ) 離散信道 一、信道模型及分類 二、信道疑義度與平均互信息 三、平均互信息的性質(zhì) 四、離散無記憶的擴展信道 五、信道容量 六、信源與信道的匹配 信息論與編碼基礎(chǔ) 離散信道 信道疑義度 ? ??????Xri ii aPaPxPxPXH1 )(1l o g)()(l o g)()(先驗熵 ????rijijij baPbaPbXH1)|(l og)|()|(后驗熵 若信道中存在干擾時 ????sjjjj bXHbPbXHEYXH1)|()()]|([)|(??????ri jijisjj baPbaPbP11 )|(1l o g)|()(? ?? ???risj jiji baPbaP1 1 )|(1l o g)(信道疑義度 0≤H(X|Y)≤H(X) 損失熵 2 、 互信息量和條件互信息量 ① 互信息量 ② 互信息的性質(zhì) ③ 條件互信息量 信息論與編碼基礎(chǔ) 離散信道 ① 互信息量 ? 互信息量定義 ? 舉例 ? 互信息量的三種不同表達(dá)式 信息論與編碼基礎(chǔ) 離散信道 ? 互信息量定義 ? X—信源發(fā)出的離散消息集合； Y—信宿收到的離散消息集合； ? 信源通過有干擾的信道發(fā)出消息傳遞給信宿； ? 信宿事先不知道某一時刻發(fā)出的是哪一個消息，所以每個消息是隨機事件的一個結(jié)果； ? 最簡單的通信系統(tǒng)模型： ? 信源 X、信宿 Y的數(shù)學(xué)模型為 ??????????? ?? ?????????niiini ni xpxpxpxpxpxpxxxxXPX12121 1)(,1)(0)(,)(,),(),(,)(，??????????????????????njjinjnj ypypypypypypyyyyYPY12121 1)(,1)(0)(,)(,),(),(,)(，信息論與編碼基礎(chǔ) 離散信道 ? 先驗概率： 信源發(fā)出消息 xi的概率 p(xi )。 ? 互信息量 ： yj對 xi的互信息量定義為 后驗概率與先驗概 率比值的對數(shù) 。,2,1(l o g)。 )(1l o gl o g)。( 4/1 2/12)( )/(212 2 12 比特??? xp yxpyxI)(1l o gl o g)。( )/( 12)( 12 jiiyxpxpji yxIxIyxI jii ????信息論與編碼基礎(chǔ) 離散信道 發(fā)送 接收 ？？ ?, jixy ij ??理想情況： )()。實際是 從 yj得到的關(guān)于 xi的信息量。( )/( 12)( 12 jiiyxpxpji yxIxIyxI jii ????信息論與編碼基礎(chǔ) 離散信道 ? 觀察者站在輸入端 )/()(l o gl o g)。( ijij xIyIxyI ??? 觀察者站在輸入端 站在輸入端觀察，觀察者在輸入端出現(xiàn) xi前、后對輸出端出現(xiàn) yj的 不確定度有變化，即從 xi中也可提取關(guān)于 yj的信息量。 )/()(l o gl o g)。 39。1122( ) ( ) ( )( 。 39。1122( ) ( ) ( )( 。 )()( 1239。39。 39。1122( ) ( ) ( )( 。 = l o g后 驗 概 率先 驗 概 率互 信 息 量信息論與編碼基礎(chǔ) 離散信道 ② 互信息的性質(zhì) ? 對稱性 ? 相互獨立時的 X和 Y ? 互信息量可為正值或負(fù)值 ? 不大于其中任一事件的自信息量 信息論與編碼基礎(chǔ) 離散信道 ? 對稱性 I(xi。 xi) ? 推導(dǎo)過程 ? 互信息量的對稱性表明： ? 兩個隨機事件的可能結(jié)果 xi和 yj之間的統(tǒng)計約束程度； ? 從 yj得到的關(guān)于 xi的信息量 I(xi。 xi)是一樣的，只是觀察的角度不同而已。 ( / ) ( / ) ( )( ) l og l og( ) ( ) ( )( ) / ( ) ( / ) l og l og ( ) ( ) ( )i j i j jiji i ji j i j ijijjp x y p x y p yI x yp x p x p yp x y p x p y xI y xp y p y??? ? ?；；信息論與編碼基礎(chǔ) 離散信道 ? 相互獨立時的 X和 Y ? 這時 p(xi yj)=p(xi)p(yj) ? 互信息量為 ? 表明 xi和 yj之間不存在統(tǒng)計約束關(guān)系，從 yj得不到關(guān)于 xi的任何信息，反之亦然。 ) l o g l o g 0( 1 , 2 , , 1 , 2 , , )i j i jij p x p y p x yI x yi n j m? ? ?? ? ? ?信息論與編碼基礎(chǔ) 離散信道 ? 互信息量可為正值或負(fù)值 ? 當(dāng)后驗概率大于先驗概率時，互信息量為正。 說明收信者未收到 yj以前，對消息 xi的是否出現(xiàn)的猜測難疑程度較小，但由于噪聲的存在，接收到消息 yj后對 xi是否出現(xiàn)的猜測的難疑程度增加了，也就是收信者接收到消息 yj后對 xi出現(xiàn)的不確定性反而增加，所以獲得的信息量為負(fù)值。這就是兩個隨機事件相互獨立的情況。 ? 考慮以下幾種情況。 ?后驗概率為 1，說明收到 yj后即可以完全消除對信源是否發(fā) xi的不確定度。 信息論與編碼基礎(chǔ) 離散信道 ? 互信息量可為正值或負(fù)值 （ 2） p(xi) p(xi/yj ) 1，這時 I(xi) I(xi/yj)， I(xi； yj) 0 ? 后驗概率大于先驗概率，說明收到 yj后對信源是否發(fā)
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1