信息論與編碼ppt課件-閱讀頁
2025-05-21 02:45本頁面
【正文】 xi所進行判斷的正確程度，要大于 xi在信源集合中的概率 . ? 或者說收到 yj后多少還能消除一些對信源是否發(fā) xi的不確定度，因此yj獲取了關于 xi的信息量。 ? 這正是實際通信時遇到的大多數(shù)情況，它對應著信道存在干擾，但信宿仍能從信源中獲取信息量。 信息論與編碼基礎 離散信道 ? 互信息量可為正值或負值 （ 3） p(xi /yj)=p(xi )，即 I(xi ) = I(xi / yj)， I(xi 。 信息論與編碼基礎 離散信道 ? 互信息量可為正值或負值 （ 4） 0p(xi /yj) p(xi)，即 I(xi)I(xi/ yj)， I(xi。 ? 這種情況事實上給出了信息量，但流通的不是關于 xi的信息量，而是 xi以外的事件的信息量。 yj) = 0 時，才沒有信息的流通。 ? 某一事件的自信息量是任何其他事件所能提供的關于該事件的最大信息量。 ? xi與 yj zk的互信息量 ? 上式表明： 一個聯(lián)合事件 yj zk發(fā)生后所提供的有關 xi的信息量 I(xi。 zk)與給定 zk條件下再出現(xiàn) yj后所提供的有關 xi的信息量 I(xi。 )/( 12)/( 12)/()/(2 l ogl ogl og)/。( kjiii kji zyxpxpxp zyxpkji zyxI ???)/。()。( ji baI??自信息 條件自信息 1lo g()iPa1l og( | )ijP a b由于條件引入獲得的信息量 ( | )( 。bj) = I(bj。bj) = 0 3）可正、可負 4） I(ai。( YXHXHYXI ??為信道輸入 X與輸出 Y之間的平均互信息 接收到每個輸出符號后獲得的關于 X的平均信息量 bit/sign 11( 。 信息論與編碼基礎 離散信道 (1) 平均互信息量的定義 ? 平均互信息量定義：互信息量 I(xi。 ? 稱 I(X。 ? X對 Y的平均互信息定義為 ? ?? ?? ?? ??? nimjxpyxpjinimjjiji ijiyxpyxIyxpYXI1 1)()/(21 1l o g)()。(? ?? ?? ?? ???nimjypxypjinimjijji jijyxpxyIyxpXYI1 1)()/(21 1l o g)()。(信息論與編碼基礎 離散信道 ? 平均互信息的第三種定義 ? 平均互信息 I(X。yj)的隨機性，成為一個 確定的量 。(jjijijiypyxpjiypxpyxpnimjji yxpyxpYXI ?? ? ?? ?其中信息論與編碼基礎 離散信道 (2) 平均互信息量的物理含義 ① 觀察者站在輸出端 ② 觀察者站在輸入端 ③ 觀察者站在通信系統(tǒng)總體立場上 信息論與編碼基礎 離散信道 ① 觀察者站在輸出端 ? H(X/Y) —信道疑義度 /損失熵。表示收到變量Y后，對隨機變量 X仍然存在的不確定度。 ? H(X) —X的先驗不確定度 /無條件熵 。Y)—收到 Y前、后關于 X的不確定度減少的量。 )/()(l o g)(l o g)(l o g)()。 Y) = H(X) –H(X/Y) ? 平均互信息量為信源熵減掉一個條件熵。 ? 信道上沒有任何干擾或噪聲： I(X。 ① 觀察者站在輸出端 信息論與編碼基礎 離散信道 ② 觀察者站在輸入端 ? H(Y/X)—噪聲熵。如果信道中不存在任何噪聲，發(fā)送端和接收端必存在確定的對應關系，發(fā)出 X后必能確定對應的 Y，而現(xiàn)在不能完全確定對應的 Y，這顯然是由信道噪聲所引起的。X) —發(fā)出 X前、后關于 Y的先驗不確定度減少的量。(1 1)/(121 1)(121 1)()/(2XYHYHyxpyxpyxpXYInimjxypjinimjypjinimjypxypjiijjjij?????? ?? ?? ?? ?? ?? ?信息論與編碼基礎 離散信道 ② 觀察者站在輸入端 ? I (Y。 ? 如果信道上沒有任何干擾或噪聲，則平均每收到一個符號所獲得的信息量即是信宿熵，即 I (X。 信息論與編碼基礎 離散信道 ③ 觀察者站在通信系統(tǒng)總體立場上 ? H(XY)—聯(lián)合熵。即收、發(fā)雙方通信后，整個系統(tǒng)仍然存在的不確定度。Y) —通信前、后整個系統(tǒng)不確定度減少量。 )()()(l o g)(l o g)(l o g)(l o g)()。 Y) = H(X) + H(Y) – H(XY) ? 根據(jù)各種熵的定義，從該式可以清楚看出平均互信息量是一個表征信息流通的量， ? 其物理意義就是信源端的信息通過信道后傳輸?shù)叫潘薅说钠骄畔⒘俊? I (X。 X) = H(Y) – H(Y/X) I(X。Y)，疑義度H(X/Y)，噪聲熵 H(Y/X)，聯(lián)合熵 H(XY)。Y)=H(X)+H(Y)H(XY)=1+= /符號 (6) 疑義度 (7) 噪聲熵 )/() o o o o (l o g)()/(22222121)/(12符號比特??????? ? ?? ?i jyxpji jiyxpYXH)/() o o o o (l o g)()/(22222121)/(12符號比特??????? ? ?? ?i jxypji ijyxpXYH信息論與編碼基礎 離散信道 ?思考題 令 X,Y1,Y2為二進制隨機變量， 1）如果 I(X。 Y2) = 0,可否推出 I(X。 2）如果 I(X。 Y2) = 0，是否可推出 I(Y1。
教學課件相關推薦
鄂ICP備17016276號-1