平均互信息量和各種熵關系-展示頁
2024-10-28 17:12本頁面
【正文】 y Y p y pP p j p j m pPm???????????? ?????? ? ? ? ??其 中 ， 輸 出 離 散 事 件 集 ，對 每 一 個 事 件 相 應 的 概 率 為 ， 簡表 示 輸 出 離 散 概 率 空記間為 ，, ， 且 0 ，HUST Furong WANG Information and Coding Theory 5 輸入 X、輸出 Y的聯(lián)合空間 XY 1 1 211 1 21, , , , , ( ) , ( ) , , ( ) ,{, ( )(){ 。 HUST Furong WANG Information and Coding Theory 4 輸入 X、輸出 Y的離散概率空間描述 12121, , , , , ( ) , ( ) , , ( ) , , ( )(){, 1 , 2 , ..., }, ( ){ 1 , 2 , ..., } 1 , 2 , ...,1{}。 ? 這種測度應該是從整體的角度出發(fā)，在平均意義上度量每通過一個符號流經信道的平均信息量。 ? 互信息量 I(xi。 ? “ 輸入 xi ，輸出 yj” 是一個概率為 p(xi yj) 的隨機事件，相應的 I(xi。yj)是定量研究信息流通問題的重要基礎。這時輸入和輸出均可用離散概率空間描述。 ? 討論 輸入 X、輸出 Y均為離散 的情況。 一般通信系統(tǒng)的輸入和輸出存在一定的概率關系 。HUST Furong WANG Information and Coding Theory 1 第 2章 信源熵 ? 單符號離散信源 ? 單符號離散信源的數(shù)學模型 ? 自信息和信源熵 ? 信源熵的基本性質和定理 ? 加權熵的概念及基本性質 ? 平均互信息量 ? 一、平均互信息量 定義 ? 二、平均互信息量 物理意義 ? 二、平均互信息量 性質 ? 各種熵之間的關系 HUST Furong WANG Information and Coding Theory 2 離散集的平均互信息量 ? 不同概率空間集合之間的平均互信息量對于通信問題的探討十分重要。 ? 通信的目的是在接收端準確地或以盡可能小的失真復現(xiàn)發(fā)送的消息。 ? 令 X和 Y分別表示一個通信系統(tǒng)的輸入事件集和輸出事件集。研究離散集 X和 Y的平均互信息量。 P(Y/X) X Y HUST Furong WANG Information and Coding Theory 3 互信息量 — 信道中信息流通的測度？ ? 互信息量 I(xi。 ? 它只能定量地描述輸入隨機變量發(fā)出某個具體消息 xi，輸出變量出現(xiàn)某一具體消息 yj時，流經信道的信息量。yj)也是隨 xi和 yj變化而變化的隨機量。yj)不能從整體上作為信道中信息流通的測度。 ? 作為一個測度，它不能是隨機量，而是一個確定的量。ininii i ini i iixxXPxxXp x p x p x p xPXX x i nx X p x pP p i n p i n p???????????? ?????? ? ? ? ??其 中 ， 輸 入 離 散 事 件 集 ，對 每 一 個 事 件 相 應 的 概 率 為 ， 簡以 表 示 輸 入 離 散 概 率 空記 為 ，, ，間且 0 ，以12121, , , , , ( ) , ( ) , , ( ) , , ( )(){,{, 1 , 2 , ..., }, ( ){ 1 , 2 , ..., } 1 , 2 , ..., 。 , , 。 ( ) ( ) 。( / ) ( / ) ,( ) ( )( / ) 。 , ( ) ( ) (ijn m m ni j i i j j i ji j j i
教學課件相關推薦
鄂ICP備17016276號-1