平均互信息量和各種熵關(guān)系-wenkub
2022-11-03 17:12:38 本頁(yè)面
【正文】 在整個(gè) X中以 后驗(yàn)概率加權(quán)的平均值，其定義式為 ? 由于互信息 是表示觀測(cè)到 后獲得的關(guān)于事件 的信息量，即 ? 故平均條件互信息量又可以表示為 jyjy ( 。 ( ) ( ) 。ininii i ini i iixxXPxxXp x p x p x p xPXX x i nx X p x pP p i n p i n p???????????? ?????? ? ? ? ??其 中 ， 輸 入 離 散 事 件 集 ，對(duì) 每 一 個(gè) 事 件 相 應(yīng) 的 概 率 為 ， 簡(jiǎn)以 表 示 輸 入 離 散 概 率 空記 為 ，, ，間且 0 ，以12121, , , , , ( ) , ( ) , , ( ) , , ( )(){,{, 1 , 2 , ..., }, ( ){ 1 , 2 , ..., } 1 , 2 , ..., 。yj)不能從整體上作為信道中信息流通的測(cè)度。 ? 它只能定量地描述輸入隨機(jī)變量發(fā)出某個(gè)具體消息 xi，輸出變量出現(xiàn)某一具體消息 yj時(shí)，流經(jīng)信道的信息量。研究離散集 X和 Y的平均互信息量。 ? 通信的目的是在接收端準(zhǔn)確地或以盡可能小的失真復(fù)現(xiàn)發(fā)送的消息。 一般通信系統(tǒng)的輸入和輸出存在一定的概率關(guān)系 。這時(shí)輸入和輸出均可用離散概率空間描述。 ? “ 輸入 xi ，輸出 yj” 是一個(gè)概率為 p(xi yj) 的隨機(jī)事件，相應(yīng)的 I(xi。 ? 這種測(cè)度應(yīng)該是從整體的角度出發(fā)，在平均意義上度量每通過(guò)一個(gè)符號(hào)流經(jīng)信道的平均信息量。 1}jmjmjj j jmj j jjyYy y yYp y p y p y p yPYY y j my Y p y pP p j p j m pPm???????????? ?????? ? ? ? ??其 中 ， 輸 出 離 散 事 件 集 ，對(duì) 每 一 個(gè) 事 件 相 應(yīng) 的 概 率 為 ， 簡(jiǎn)表 示 輸 出 離 散 概 率 空記間為 ，, ， 且 0 ，HUST Furong WANG Information and Coding Theory 5 輸入 X、輸出 Y的聯(lián)合空間 XY 1 1 211 1 21, , , , , ( ) , ( ) , , ( ) ,{, ( )(){ 。 ( ) ( ) 。 )ijI x y( 。 ) l o g()ijijip x yI x ypx?( | )( 。 yj)仍然是一個(gè)隨機(jī)變量，隨 yj的變化而變化，因此，不能作為信道中流通信息量的整體測(cè)度。 ) ( | ) l o g ( 。 ) ( | ) 1 l o(|g)ijj i j j i jXX ij i jXjiijiijiXijijpxp x ypp x yI X y p x y I X y p x ypxI X y p x yw w w w eI X y pxwwp x ypxp x yxy????? ? ???? ? ?????????????證 明 將 平 均 條 件 互 信 息 量 的 表 示 式改 寫(xiě) 為令 則 有利 用 不 等 式得 ( ) ( | ) l o g 0( 。yj)在整個(gè)集 Y上的概率加權(quán)平均值。 ? 平均互信息 I(X。 ) ( ) ( 。 ) ( ) l og()( | )( 。 ) l og l og( ) ( )( 。Y)也可定義為 HUST Furong WANG Information and Coding Theory 11 平均互信息的性質(zhì) ? 平均互信息量有以下基本性質(zhì)： ? 互易性（對(duì)稱(chēng)性）
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1