信息論與編碼第二章(參考版)
2025-05-10 22:26本頁面
【正文】 ()()()/()()/()()(YXIXYHYXHYXIYHXHYXHYHXYHXHXYH??????????)()()()/()/()()/()()/()()。()()()()/(YXIYHXHXYHXYH????)。()/()/()(YXHXYHYHYXIXYHXYHYH?????)。()。? ? ??i kjkikjikjij k zypzxpzyxpzyxp)()()(l o g)(式中 )(kji zyxp滿足 ? ? ? ?i kjij k zyxp 1)( 名稱 符號(hào) 關(guān) 系 圖 示 無 條 件 熵 條 件 熵 條 件 熵 聯(lián) 合 熵 交 互 熵 )/()()()。 )()()(l o g)()(l o g)。 平均條件互信息量 I(X。 定理 ，信源固定以后，用不同的信道來傳輸同一信源符號(hào)時(shí)，在信道輸出端獲得的信息量是不同的。 定理 當(dāng)信源給定，即信源分布概率 )( ixp均互信息量 )。 平均互信息量 定理 ，信道固定時(shí)，對(duì)于不同的信源分布，信道輸出端獲得的信息量是不同的。(jijii jji ypxpyxpyxpYXI ? ???? ??iiijiji jiij xpxypxypxpxyp)()()(l o g)()(定理 當(dāng)信道給定，即信道轉(zhuǎn)移概率 )|( ij xyp 固定， )。( XHYXI ?)()。 )I X Y I Y X?(2)非負(fù)性 : ( 。 平均互信息的性質(zhì) (1)對(duì)稱性： ( 。(1 1XYHYHXHypxp yxpyxpYXIjijijnimji ???? ? ?? ? 其中聯(lián)合熵 H(XY)表示輸入隨機(jī)變量 X，經(jīng)信道傳輸?shù)竭_(dá)信宿，輸出隨機(jī)變量 Y，即收、發(fā)雙通信后，整個(gè)系統(tǒng)仍然存在的不確定度。由于又代表了在信道中的損失的信息，也稱它為 損失熵 。()|()( YXHXH ??說明： 信道上的干擾和噪聲所造成的情況為 —— 收到隨機(jī)變量 Y后，對(duì)隨機(jī)變量 X仍然存在的 平均不確定度 H(X|Y)。下面從三種不同角度具體闡述平均互信息量的含義。 （ 3） 若沒有干擾， Y是 X的確知一一對(duì)應(yīng)函數(shù)，那就 能完全收到 X的信息 H(X)。( YXI 就是在接收端收到 后所能獲得的 關(guān)于 的信息。( ?ji yxI，從而 ? ? 0。( YXI 是 對(duì) 的平均互信息量，簡(jiǎn)稱平均互信，也 Y X稱交互熵。()(。(ji yxI )(XYP中的統(tǒng)計(jì)平均值。同時(shí)，作為一個(gè)測(cè)度，他不能是隨機(jī)量，而是一個(gè)確定的量。(ji yxI ixjy和 的變化而變化的隨機(jī)量，可見， 互信息量還不能從整體上作為信道中信息流通的測(cè)度。( ji yxI 是定量地研究信息流通問題的重要基礎(chǔ)。 以下將研究多個(gè)符號(hào)情況下的平均符號(hào)熵的問題。實(shí)際信源輸出的消息往往是時(shí)間或空間上的一系列符號(hào)，如電報(bào)系統(tǒng)發(fā)出的是一串有無脈沖的信號(hào)，可分別用“ 0”和“ 1”兩個(gè)數(shù)字來表示。, . . . , 1,21121 ??= = = jJj jiiiIi i ppwppw lo glo g ?? ?? ??jJj jIi i ppw lo g00lo g0 ?? ?? ??jJjIi plo g00lo g0 ?? ?? ??= 0 這一性質(zhì)說明可能的事件是無意義或者是無效用的，而有意義或者有效用的時(shí)間是不可能的，這時(shí)的香濃熵為 0，但其提供的加權(quán)熵等于 0。,. . . , ,2121= }0l o g0l o g00l o g00l o g00l o g0{121 rjj ww ??????? ?= 0 加權(quán)熵的確定性表明，不論信源符號(hào)對(duì)收信者有多么重要，只要是確定信源，不含任何不確定性，他就不可能給收信者提供任何信息量。 數(shù) 定義 離散無記憶信源 ? ?WPX 的加權(quán)熵定義為 )1lo g ()(1 iniiiW ppWXH ???加權(quán)熵的基本性質(zhì) （ 1）非負(fù)性： 因?yàn)? 10 ??ip iW ? )2,1( ni ?? 0 所以 0lo gw ?iii pp則有 0)1l o g ()(1?? ?? iniiiW ppWXH（ 2）對(duì)稱性： 有加法交換律率 ??????????WPX=??????????543215432154321wwpppppaaaaa = ??????????WPY = ??????????153241532454321bwwpppppbbbb則有 而 即有 （ 3）均勻性 ), .. . .,。在信息論發(fā)展到基本成熟的今天，出于實(shí)際的需要，與信源符號(hào)的概率因素統(tǒng)籌考慮，構(gòu)建一個(gè)兼顧主觀和客觀兩大因素的綜合度量函數(shù)，“加權(quán)熵”就是在這種背景下的一種探索。在許多場(chǎng)合，通常很難忽略與個(gè)人目的有關(guān)的主觀因素。在實(shí)際中，各種事件雖然已一定的概率發(fā)生，但各種事件的發(fā)生對(duì)不同的人有不同的意義。 聯(lián)合熵 )(l o g)()()()( 21 11 1jinimjjijinimjji yxpyxpyxIyxpXYH ? ?? ?? ?? ????聯(lián)合熵也叫共熵。稱條件熵 H(Y/X)為噪聲熵。這是傳輸失真所造成的。 0)|( ?XYH 下面的推導(dǎo)可以說明條件熵時(shí)要用聯(lián)合概率加權(quán)的理由。 即 ? ? ? ???? i j jii j jijiji yxpyxpyxIyxpYXH )|(l o g)()|()()|(說明： 當(dāng) X,Y 統(tǒng)計(jì)獨(dú)立時(shí)，有 )()()(jiji ypxpyxp ?)()|( iji xpyxp ?則 ? ? ? ?XHxpxpxpxpypYXH iiiij iij ????? ?? ? )(l o g)()(l o g)()(|當(dāng) ? ? 0| ?YXH ， 信源事件 },{21 ?? ixxxX ?和信宿 },{ 21 ?? jyyyY ? 是一一對(duì)應(yīng)的關(guān)系， 中的某個(gè)元素 jy 后，關(guān)于發(fā)送的符 中的某個(gè)元素 ix不再存在疑義度
范文總結(jié)相關(guān)推薦
鄂ICP備17016276號(hào)-1