平均互信息量和各種熵關(guān)系(參考版)
2024-10-22 17:12本頁(yè)面
【正文】 ? 最后，討論了平均互信息的性質(zhì)。 ? 在平均條件互信息量的基礎(chǔ)上，定義了一個(gè)離散集合對(duì)另一個(gè)離散集的平均互信息量。最大平均互信息量就是信道容量。Y)與條件熵 H(X/Y)的關(guān)系可看出， I(X。Y) H(X/Y) H(Y/X) HUST Furong WANG Information and Coding Theory 23 損失熵 H(X/Y) ? 條件熵 H(X/Y)表示在已知輸出 Y的條件下輸入 X的剩余不確定性，即信道損失。 ? 當(dāng)集 X和 Y統(tǒng)計(jì)獨(dú)立時(shí)， I(X。 )( , ) () ( , )) ( / )Y H Y H Y X H Y X H Y I X YH X YI X Y H X H Y H XHXYX H Y? ? ?? ? ? ???則又 因 故 有證 畢幾個(gè)關(guān)系式的證明 HUST Furong WANG Information and Coding Theory 22 維拉圖 ? 平均互信息量 I(X。 ( / ) (( 。 ) ( ) ( / )( | )(。 ) ( ) l og ( ) l og( ) ( )( ) l og ( ) ( ) l og( 。Y)=H(X)+H(Y)H(XY) HUST Furong WANG Information and Coding Theory 21 :( | )( 。Y)=H(X)H(X/Y) ? I(X。 ) ( ) ( )I X Y H Y H Y XI X Y H pq pq H q??? ? ?平 均 互 信 息如 右 圖I ( X 。 ) ( ) ( / )( / ) ( ) ( / ) l og ( / )( ) l og l og ( ) ( ) ( )( ) ( ) ( / )( ) ( 0) 2( ) ( 1 ) 1i j i j iijiiiinj i j iiI X Y H Y H Y XH Y X p x p y x p y xp x q q q q p x H q H qp y p x p y xp y P Y pq pq p q pqp y P Y pq pq p q?????????? ? ? ? ??? ? ? ? ? ? ?? ? ? ? ? ? ? ??????平 均 互 信 息由 信 道 特 性 決 定 的 條 件 熵由 求 得? ? ? ? ? ? ? ?? ?2( ) l og l og( ) ( )pqH Y pq pq pq pq pq pq pq pqH Y H pq pq? ? ? ? ? ? ???故HUST Furong WANG Information and Coding Theory 18 離散無(wú)記憶信源熵－例題 ( 。 ) , 并 畫(huà) 圖0 0 1 1 q q 1q 1q 二元對(duì)稱信道 HUST Furong WANG Information and Coding Theory 17 求平均互信息 I(X。 ? 該性質(zhì)是研究率失真函數(shù)的理論基礎(chǔ) HUST Furong WANG Information and Coding Theory 16 平均互信息量 I(X。Y)是信源概率分布 p(xi)的上凸函數(shù)； ? 該性質(zhì)是研究信道容量的理論基礎(chǔ) ? 平均互信息量 I(X。Y)=H(X)H(X/Y)，條件熵 H(X/Y)為非負(fù)，故兩個(gè)不等式成立。Y)≤ H(X)； I(X。 ) ( ) l og ( 。X)的證明 ? 證明：按定義 ( | )( 。 ) 0jjy p yX Y I X Y??即 當(dāng) 且 僅 當(dāng) 與 相 互 獨(dú) 立 時(shí) 證 畢HUST Furong WANG Information and Coding Theory 14 性質(zhì) 2：對(duì)稱性 I(X。 l o g l n l o g()( 。 ) ( ) l o g 。 HUST Furong W
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1