單符號離散信源ppt課件-資料下載頁
2025-05-06 13:18本頁面
【正文】 （ 3） I(X。Y)= H(X)+H(Y)H(XY) )。()]。([)]。([)。()()/(lo g)()。()()]。([)。(2YXIyxIExyIEXYIxpyxpyxpyxIyxpyxIEYXIjiijijiYXjijiYXjiji?????????????????????????????????????????????????????????同理：，54 ? 證明： I(X。Y)=H(X)H(X/Y) （式子 1） ? 物理意義：收到 Y之前和之后， X平均不確定度減少的量。減少的這部分平均不確定度（信息量）是由收到的 Y提供的（ Y中含有的有關(guān) X的平均信息量 ），它是通過信道傳遞過來的。也可看作信道傳遞的有關(guān) X的平均信息量。 )/()()()/(])/()[(lo g)()/()(lo g)/()()/()(lo g)()/(lo g)()()/(lo g)()。(YXHXHXHYXHxypxpxpYXHxpxypxpYXHxpyxpyxpyxpxpyxpyxpYXIYijiXiiYXijiiYXjijiYXjiijiYXji?????????????????????????????????????????????????????????????????????????????????????，，證明： 55 ? (2) I(X。Y)=H(Y)H(Y/X) 物理意義：發(fā)送 X之前和之后， Y的平均不確定度減少的量。 也可看作 X中含有的有關(guān) Y的平均不確定度（平均信息量）。 ? (3) I(X。Y)= H(X)+H(Y)H(XY) 物理意義：通信之前和之后，整個系統(tǒng)平均不確定度減少的量。 56 ? 特殊情況 0)。()()/()/()()。(0)。(獨(dú)立時獨(dú)立時數(shù)學(xué)推導(dǎo)證明：的信息量任何有關(guān)信源獨(dú)立，則信道沒有傳遞與???????YXIXHYXHYXHXHYXIYXIXYX)()。(0)/(X)/()()。()()。(YXXHYXIYXHYXHXHYXIXHYXIXYX時Ｙ時，數(shù)學(xué)推導(dǎo)證明：的信息量全部傳遞過來，則信道將有關(guān)信源若??????????? （ 1） ? （ 2） 57 ? 例 ,p33： 已知信源含有 2個符號： x1,x2,等概出現(xiàn)，將其通過如下信道傳輸，求 I(X。Y),H(X/Y)， H(Y/X)和H(XY)。 ? 解： 信道模型：左側(cè)表示 信源 X發(fā)出的符號 ，右側(cè)表示 信宿 Y收到的符號 ，箭頭上的數(shù)字表示 以何種概率接收 。 信源發(fā) 0，接收端收的也是 0的概率為 q 信源發(fā) 0，接收端收的是 1的概率為 1q 信源發(fā) 1，接收端收的是 0的概率為 1q 信源發(fā) 1，接收端收的也是 1的概率為 q 0 0 1 1 q q 1q 1q X Y 圖 BSC信道 （二元對稱， Binary Symmetric Channel） 58 ? 信道轉(zhuǎn)移概率 ： ???????????qxypqxypqxypqxyp)/()/()/()/(22211211)()()()()()。( XYHYHXYHYHXHYXI 和需求又 ?????0 0 1 1 q q 1q 1q X Y ?????????????????????????????????????????????2122211122222212121212111111222112112/1)()(2/1)()(2/)/()()(2/)/()()(2/)/()()(2/)/()()()/()/()/()/(iiiiyxpypyxpypqxypxpyxpqxypxpyxpqxypxpyxpqxypxpyxpqxypqxypqxypqxyp由59 ? 根據(jù)熵的定義式代入得 符號符號/)()。()()/(/)()。()()/(bi tqHYXIYHXYHbi tqHYXIXHYXH??? ????? ??? ?? ???????? ????? ??? ?? ?????1)(1lo glo glo glo g2lo g2lo g2lo g22lo g22lo g22lo g2)(lo g)()(/1)(/1)(22222222222,12,12???????????????????????????qHqqqqqqqqqqqqqqqqqqqqqqyxpyxpXYHb i tXHb i tYHjijiji符號符號符號/)(1)1)((2)()()()。(b itqHqHXYHYHXHYXI??????? ?????? ????????????? ?????? ?????????60 ? 平均互信息的性質(zhì) ? （ 1）對稱性：即 I(X。Y)=I(Y； X) ? （ 2） 非負(fù)性 ： I(X。Y)=0 ? 物理意義：信道上傳遞的平均信息量至少為 0。 ? （ 3）極值性： ? I(X。Y)=H(X) ? I(X。Y)=H(Y) ? 說明：從平均意義上講，從一個事件提取有關(guān)另一事件的平均信息量，至多是另一事件的熵那么多，不會超過另一事件本身所含的信息量。 61 ? (4) I(X。Y)是 的嚴(yán)格上凸函數(shù)； I(X。Y)是 的嚴(yán)格下凸函數(shù)。 稱： 為 信道轉(zhuǎn)移概率 或信道傳遞概率 簡略證明結(jié)論 1： 的嚴(yán)格上凸函數(shù)也是的嚴(yán)格上凸函數(shù)是，)()。()()/(lo g)/()()()/(lo g)()。()()()(1lo g)()(iijiYXijiijiYXjiiiXixpYXIxpyxpxypxpxpyxpyxpYXIxpXHxpxpXH????????????????????????)/( ij xyp)( ixp???)/( ij xyp62
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1