單符號離散信源ppt課件-文庫吧資料
2025-05-12 13:18本頁面
【正文】 明隨信源分布的不同，信源熵有最大值。 ? 也就是消除信源平均不確定度所需要的信息量。 37 信源熵 ? 信源熵的計(jì)算：自信息量的數(shù)學(xué)期望。 ? 因此無論 信源的消息是否接收 ，只要信源有統(tǒng)計(jì)特性，就 存在平均不確定度，即熵 。 ? 信源熵：信源熵 H是從整個(gè)信源的統(tǒng)計(jì)特性來考慮的，它從平均意義上表征信源總體特性。 ? cf：平均自信息量：接收端收到消息后，平均每條消息對外提供的信息量。(0)。(123)/()()。???????????????????????????????jiijiijiijiijjiyxIxIyxxIyxIxpyxpxyyx因此即的發(fā)生；的出現(xiàn)，不利于為負(fù)數(shù)： 32 ? 例 ,p12： 信源 信宿收到 Y= =”不是晴天 ” ，求 分別與 之間的互信息量。??????????????????????????????????jiijiijiijiijjiyxIxIyxxIyxIxpyxpxyyx因此即的發(fā)生；的出現(xiàn)，有利于為正數(shù)： 0)/()(。 jiiji yxIxIyx ?????信源 X 信道 信宿 Y ix530分：考河南理工大學(xué) jy二本的錄取分?jǐn)?shù)線是 500 二本的錄取分?jǐn)?shù)線是 540 0)/()(。(, ijiji xIyxIyx ?. 實(shí)際意義： 說明信道上傳遞的信息量不可能大于信源提供的信息量。(:ijiiijiiijiijiijijijixIyxIxpxpyxpxpxpyxpxpyxpxpyxpyxIyx????????即數(shù)函數(shù)是一個(gè)單調(diào)遞增函時(shí)，底數(shù)又，大于，相關(guān)，證明???于自信息量。 jiyx ? jy ixix信源 X 信道 信宿 Y ix jy30 )()。(, ijiji xIyxIyx ?? 則)()/(lo g)。()()/(,:??????iiijijiijijixpxpxpyxpyxIxpyxpyx 獨(dú)立證明 ?實(shí)際意義 ： 獨(dú)立，說明收到的消息 中不包含任何有關(guān) 的信息，所以信道上沒有傳遞任何有關(guān)信源 的信息。( ji yxI)( jiyxI28 ? 互信息量的基本性質(zhì) ? （ 1）對稱性 ? （ 2） 0)。I()()()()。關(guān)是通過信道傳遞過來有這部分消除的不確定度部分，的不確定度被消除了一且收相減，表示通信后，發(fā)。 即 )()()()。()()/(lo g)()(/)(lo g)()(/)(lo g)()/(lo g)。()。( ijjji xyIyIyxI ??)( jyI )(ixI)/( ij xyI的不確定度前，收到發(fā) ji yx 的不確定度后，收到發(fā) ji yx)。二者一減，得到ijijixyxyx )。( ijjij xyIyIxyI ???25 ? 互信息量的其他表達(dá)形式及各自的物理意義 ? 從輸入端觀察 的消息形式體現(xiàn)出來。( ji yxI 信息量中包含的有關(guān) ij xy23 ? 例： 信源 X 信道 信宿 Y ix540分：考河南理工大學(xué) jy二本的錄取分?jǐn)?shù)線是 500 24 互信息量 ? 同理 ??????????)()/(lo g)。I()/()()。以信息量，是通過信道傳遞過來的這部分消除的不確定度部分，的不確定度被消除了一后，相減，表示收到。是信源發(fā)ijjiiixyyxpxxp)/()(則定義： )/()()/(lo g)(lo g)()/(lo g)。 ? 注意： jy)/(lo g)/( jiji yxpyxI ??即： ?????????1)/(,0)/()()/(),()/(相等獨(dú)立相等，獨(dú)立，jijiijiijiyxpyxIYXxpyxpxIyxIYX???????????)()/()()/()()/()()/(ijiijiijijiijiijxIyxIxpyxpxyxIyxIxpyxpxy，此時(shí)的發(fā)生時(shí)，即的發(fā)生不利于當(dāng)，此時(shí)的發(fā)生時(shí)，即的發(fā)生能促進(jìn)當(dāng)注： ix樂于助人 選班長 ji yx /19 ? 三種自信息量之間的關(guān)系： )/()()()/()()/(lo g)(lo g))/()(lo g ()(lo g)(jijjiijiijiijijijiyxIyIyxIxyIxIxypxpxypxpyxpyxI???????????????????????????????????????????????同理：20 信息量 ? 自信息量 ? 聯(lián)合自信息量 ? 條件自信息量 ? 互信息量 21 互信息量 ? 互信息量 ? def：信源發(fā) Xxi ?，信宿收 Yyj ?的概率推測發(fā)端發(fā)的是收到的：后驗(yàn)概率。 大婚 碩士錄取通知 jiyx17 信息量 ? 自信息量 ? 聯(lián)合自信息量 ? 條件自信息量 ? 互信息量 18 ? 條件自信息量 ? def：聯(lián)合集 XY中，事件 在 已經(jīng)發(fā)生的情況下再發(fā)生時(shí)對外提供的自信息量。 ? 定義為：二維聯(lián)合集 XY上的聯(lián)合概率的對數(shù)負(fù)值。 ? 與概率都是反比關(guān)系。 ? 二者等量。 ? 這是因?yàn)橄瞬淮_定性，才獲得了這么多的信息量。0,1)(??????注意：計(jì)算時(shí)定義：，則則IxpIxpii今年是兔年 焦作某旅行團(tuán)中秋節(jié)推出一元環(huán)游全球的活動(dòng) 13 自信息量 ? 自信息量是事件發(fā)生概率的單調(diào)遞減函數(shù) )( ixp14 自信息量 ? 不確定度和自信息量的關(guān)系 ? def：隨機(jī)事件 發(fā)生以前 具有不確定度， 發(fā)生以后 或者收到以后 不確定度消失，但是對外提供了自信息量。 ? I的單位取決于底數(shù) a 出現(xiàn)的概率為其中， iiiaiaixxpxpxpxI)()(1lo g)(lo g)(??????????)(102D e tH a rtn a teb ita單位，單位為，單位為ix11 自信息量 ? 1 nat=log2e= ? 1 Hart=log210= b itb itb ite b itn a texpxpb itxpxpn a tb itxpn a txpiiiiii? ?? ? ?????????????
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1