平均互信息量和各種熵關(guān)系(存儲版)
【正文】 , 2 , ) ( 。Y)≥0 ? 當(dāng)且僅當(dāng) X與 Y相互獨立時，等號成立。 ) 0jjy p yX Y I X Y??即 當(dāng) 且 僅 當(dāng) 與 相 互 獨 立 時 證 畢HUST Furong WANG Information and Coding Theory 14 性質(zhì) 2：對稱性 I(X。Y)=H(X)H(X/Y)，條件熵 H(X/Y)為非負，故兩個不等式成立。 ) ( ) ( / )( / ) ( ) ( / ) l og ( / )( ) l og l og ( ) ( ) ( )( ) ( ) ( / )( ) ( 0) 2( ) ( 1 ) 1i j i j iijiiiinj i j iiI X Y H Y H Y XH Y X p x p y x p y xp x q q q q p x H q H qp y p x p y xp y P Y pq pq p q pqp y P Y pq pq p q?????????? ? ? ? ??? ? ? ? ? ? ?? ? ? ? ? ? ? ??????平 均 互 信 息由 信 道 特 性 決 定 的 條 件 熵由 求 得? ? ? ? ? ? ? ?? ?2( ) l og l og( ) ( )pqH Y pq pq pq pq pq pq pq pqH Y H pq pq? ? ? ? ? ? ???故HUST Furong WANG Information and Coding Theory 18 離散無記憶信源熵－例題 ( 。 ) ( ) l og ( ) l og( ) ( )( ) l og ( ) ( ) l og( 。 ? 當(dāng)集 X和 Y統(tǒng)計獨立時， I(X。 ? 在平均條件互信息量的基礎(chǔ)上，定義了一個離散集合對另一個離散集的平均互信息量。最大平均互信息量就是信道容量。 )( , ) () ( , )) ( / )Y H Y H Y X H Y X H Y I X YH X YI X Y H X H Y H XHXYX H Y? ? ?? ? ? ???則又 因 故 有證 畢幾個關(guān)系式的證明 HUST Furong WANG Information and Coding Theory 22 維拉圖 ? 平均互信息量 I(X。Y)=H(X)+H(Y)H(XY) HUST Furong WANG Information and Coding Theory 21 :( | )( 。 ) , 并 畫 圖0 0 1 1 q q 1q 1q 二元對稱信道 HUST Furong WANG Information and Coding Theory 17 求平均互信息 I(X。Y)≤ H(X)； I(X。 l o g l n l o g()( 。Y)= I(Y。 ) l og l og( ) ( )( 。 ) ( ) ( 。yj)在整個集 Y上的概率加權(quán)平均值。 ) ( | ) l o g ( 。 ) l o g()ijijip x yI x ypx?( | )( 。 ( ) ( ) 。 ? 這種測度應(yīng)該是從整體的角度出發(fā)，在平均意義上度量每通過一個符號流經(jīng)信道的平均信息量。這時輸入和輸出均可用離散概率空間描述。 ? 通信的目的是在接收端準(zhǔn)確地或以盡可能小的失真復(fù)現(xiàn)發(fā)送的消息。 ? 它只能定量地描述輸入隨機變量發(fā)出某個具體消息 xi，輸出變量出現(xiàn)某一具體消息 yj時，流經(jīng)信道的信息量。ininii i ini i iixxXPxxXp x p x p x p xPXX x i nx X p x pP p i n p i n p???????????? ?????? ? ? ? ??其 中 ， 輸 入 離 散 事 件 集 ，對 每 一 個 事 件 相 應(yīng) 的 概 率 為 ， 簡
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1