單符號離散信源ppt課件(編輯修改稿)
2025-06-02 13:18 本頁面
【文章內(nèi)容簡介】 pyxpxpxpyxpxpyxpxpyxpyxIyx????????即數(shù)函數(shù)是一個單調(diào)遞增函時，底數(shù)又，大于，相關(guān)，證明???于自信息量。即互信息量不可能大則相關(guān) )()。(, ijiji xIyxIyx ?. 實(shí)際意義： 說明信道上傳遞的信息量不可能大于信源提供的信息量。 31 ? 互信息量可正可負(fù) )/()(。 jiiji yxIxIyx ?????信源 X 信道 信宿 Y ix530分：考河南理工大學(xué) jy二本的錄取分?jǐn)?shù)線是 500 二本的錄取分?jǐn)?shù)線是 540 0)/()(。)()/()()/(。??????????????????????????????????jiijiijiijiijjiyxIxIyxxIyxIxpyxpxyyx因此即的發(fā)生；的出現(xiàn)，有利于為正數(shù)： 0)/()(。)()/()()/(。???????????????????????????????jiijiijiijiijjiyxIxIyxxIyxIxpyxpxyyx因此即的發(fā)生；的出現(xiàn)，不利于為負(fù)數(shù)： 32 ? 例 ,p12： 信源 信宿收到 Y= =”不是晴天 ” ，求 分別與 之間的互信息量。 ? 解 ： ?????? ??????????? 8/18/14/12/1)( 4321 雪雨陰晴 xxxxXP X?????????????????8/1)(8/1)(4/1)(0)(,2/1)(2/1)(1413121143211111yxpyxpyxpyxpxxxyxyypxp包含互不相容，與又 ??1y 1y 4321 , xxxx33 b itxpyxpyxIb itxpyxpyxIb itxpyxpyxIxpyxpyxId ef18/14/1lo g)()/(lo g)(18/14/1lo g)()/(lo g)(14/12/1lo g)()/(lo g)(00lo g)()/(lo g)(41414313132121211111????????????? ?；；；；4/12/18/1)/(4/12/18/1)/(212/14/1)()()/(0)/(14131121211?????????yxpyxpypyxpyxpyxp 互不相容事件34 方法二：利用： )/()()( 11 yxIxIyxI iii ??；b i tyxIxIyxIb i tyxIxIyxIb i tyxIxIyxIb i tyxyxI123)/()()。(123)/()()。(112)/()()。(0)。(1441413313122121111????????????????互不相容和?4/1)/(4/1)/(21)/(141312???yxpyxpyxp???????????8/1)(8/1)(4/1)(2/1)(4321xpxpxpxp?則： 35 熵 ? 信源熵 ? 條件熵 ? 聯(lián)合熵 ? 平均互信息量 36 信源熵 ? 信源熵： ? 信源熵的 def：信源輸出消息的平均不確定度 。 ? cf：平均自信息量：接收端收到消息后，平均每條消息對外提供的信息量。 ? 平均自信息量與信源熵，二者等量。 ? 信源熵：信源熵 H是從整個信源的統(tǒng)計特性來考慮的，它從平均意義上表征信源總體特性。不同的信源因統(tǒng)計特性不同，熵也不同。 ? 因此無論 信源的消息是否接收 ，只要信源有統(tǒng)計特性，就 存在平均不確定度，即熵 。 ? 而 平均自信息量 只有在 接收到消息后才能獲得 。 37 信源熵 ? 信源熵的計算：自信息量的數(shù)學(xué)期望。 ? 即信源輸出的消息被接收后獲得的平均自信息量。 ? 也就是消除信源平均不確定度所需要的信息量。 ? 記作： H(X) 符號/)(log)()()()]([)(11bi txpxpxIxpxIEXH ni iini iii ?? ??????單位 38 ? 例：已知某信源的數(shù)學(xué)模型為： ， 求信源熵，并討論 H(X)隨 p的變化。 ? 解： ?????? ???????? pp xxXp X 1)( 21符號或簡記/)()1,()1lo g ()1(lo g)(lo g)()(21b itpHppHppppxpxpXHiii??????????????????????????????????????????????????1/02/1/10/0)(pb itpb itpb itXH符號，符號，符號，討論：結(jié)論： H(X)是概率分布 p的上凸函數(shù)，說明隨信源分布的不同，信源熵有最大值。 媳婦和老媽掉河里，先救誰？ 39 ? 例：設(shè)某離散信源含 26個英文字母，且每個字母等概出現(xiàn)，求該信源的信源熵。 ? 解： ? 結(jié)論：若離散信源符號集中含有 n個符號，且等概分布，則信源熵為 bit/符號 符號且等概分布/26lo g261lo g26261)(lo g)()(261261)(261b itxpxpXHixpiiii??????????????????????????????????????????nlb?40 exnpxpxnpxpxnpxexxX iiX iii222lo g]1)(1)[()(1lo g)()(1lo g)1(lo g????????令利用? 最大離散熵定理 ： p17,設(shè)信源中有 n個符號，則 H(X)=log2n，當(dāng)且僅當(dāng)?shù)雀艜r取等號。 ? 證明 ： 要證 H(X)=log2n 即證 H(X)log2n=0 ?????????????????X iiXiX iixnpxpnxpxpxpnXH)(1lo g)(lo g)(
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1