單符號離散信源ppt課件-wenkub.com
2025-05-03 13:18 本頁面
【正文】 稱： 為 信道轉(zhuǎn)移概率 或信道傳遞概率 簡略證明結(jié)論 1： 的嚴格上凸函數(shù)也是的嚴格上凸函數(shù)是，)()。Y)=H(Y) ? 說明：從平均意義上講，從一個事件提取有關(guān)另一事件的平均信息量，至多是另一事件的熵那么多，不會超過另一事件本身所含的信息量。Y)=I(Y； X) ? （ 2） 非負性 ： I(X。( XYHYHXYHYHXHYXI 和需求又 ?????0 0 1 1 q q 1q 1q X Y ?????????????????????????????????????????????2122211122222212121212111111222112112/1)()(2/1)()(2/)/()()(2/)/()()(2/)/()()(2/)/()()()/()/()/()/(iiiiyxpypyxpypqxypxpyxpqxypxpyxpqxypxpyxpqxypxpyxpqxypqxypqxypqxyp由59 ? 根據(jù)熵的定義式代入得 符號符號/)()。(YXXHYXIYXHYXHXHYXIXHYXIXYX時Ｙ時，數(shù)學(xué)推導(dǎo)證明：的信息量全部傳遞過來，則信道將有關(guān)信源若??????????? （ 1） ? （ 2） 57 ? 例 ,p33： 已知信源含有 2個符號： x1,x2,等概出現(xiàn)，將其通過如下信道傳輸，求 I(X。(0)。 ? (3) I(X。 )/()()()/(])/()[(lo g)()/()(lo g)/()()/()(lo g)()/(lo g)()()/(lo g)()。(2YXIyxIExyIEXYIxpyxpyxpyxIyxpyxIEYXIjiijijiYXjijiYXjiji?????????????????????????????????????????????????????????同理：，54 ? 證明： I(X。([)。Y)=H(Y)H(Y/X) ? （ 3） I(X。 51 ? （ 5）確定性 ? 說明：任一信源，只要其中一個事件為確定事件，則其他事件為不可能事件，故熵為 0。 )( ixp49 ? 例：設(shè)某信源只含 “ 0”、 “ 1”兩個符號，且他們以消息形式向外發(fā)送時均等概出現(xiàn)，畫出該信源的數(shù)學(xué)模型并求他們各自的信息量和信源熵。 ?????????????????????????????YXjijiYXjijijiyxpyxpyxIyxpyxIEXYH,)(lo g)()()()]([)(47 ? 聯(lián)合熵的 可加性 ? 證明： )()(H ( X Y ),)/()()/()(H ( X Y )YHXHYXYXHYHXYHXH????????獨立時，? ??????????? ???? ?????????? ???? ?????YX YXijjiijiYXijijiYXjijixypyxpxpyxpxypxpyxpyxpyxpXYH, ,)/(lo g)()(lo g)()]/()(lo g [)()(lo g)()()/()(1)/()/()/()(log)(XYHXHxypXYHxypxpxpYijX Yijii????????? ?上式?48 ? 信源熵的性質(zhì)： ? （ 1）非負性： H(X) =0。 ? 同理： ? . 又稱噪聲熵。 ? 證明 ： 要證 H(X)=log2n 即證 H(X)log2n=0 ?????????????????X iiXiX iixnpxpnxpxpxpnXH)(1lo g)(lo g)()(1lo g)(lo g)(2222展開exxxxx22 lo g)1(lo g01ln?????? 其中?0log])(1[log)](1[22????????????????????????expnexpnXiXiX右式得證。 ? 記作： H(X) 符號/)(log)()()()]([)(11bi txpxpxIxpxIEXH ni iini iii ?? ??????單位 38 ? 例：已知某信源的數(shù)學(xué)模型為： ， 求信源熵，并討論 H(X)隨 p的變化。 ? 而 平均自信息量 只有在 接收到消息后才能獲得 。 ? 平均自信息量與信源熵，二者等量。(112)/()()。)()/()()/(。 31 ? 互信息量可正可負 )/()(。()(1lo g)()/(lo glo g1)(1)()/(0)(1)/()()/(lo g)。 ji yx , jyix ix信源 X 信道 信宿 Y ix jy29 ? . )()。( jijiji yxIyIxIyxI ???)( jyI )(ixI都出現(xiàn)的不確定度，通信前， ji yx 的不確定度且收端收到通信后，發(fā) ji yx)。( jijiij yxIyIxIxyI ????27 ? 互信息量的其他表達形式及各自的物理意義 ? 從整體通信系統(tǒng)觀察 的信息量。( jiij yxIxyI ?)。I()/()()。(jijijjiypxypxyIyx 的互信息量為：對)/()()。二者一減，得到j(luò)ijjiyxyyx )。根據(jù)信宿的概率出消息：先驗概率。 ? 記作： ? X、 Y相互獨立時 )(lo g)( jiji yxpyxI ??)()()( jiji yIxIyxI ??)()()(lo g(lo g))((lo g ()(lo g)()(()(jijijijijijijiyIxIypxpypxpyxpyxIypxpyxp?????????????????????????????????????????????????????????）））獨立?證明：
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1