freepeople性欧美熟妇, 色戒完整版无删减158分钟hd, 无码精品国产vα在线观看DVD, 丰满少妇伦精品无码专区在线观看,艾栗栗与纹身男宾馆3p50分钟,国产AV片在线观看,黑人与美女高潮,18岁女RAPPERDISSSUBS,国产手机在机看影片

正文內(nèi)容

信息論與編碼第二章-wenkub.com

2025-05-04 22:26 本頁(yè)面
   

【正文】 ()/()/()。( XYIYXI ?)/()()()。(kjkikjikikjikji zypzxpzyxpzxpzyxpzyxI ??對(duì)該式在三維空間 XYZ 上求概率加權(quán)平均值,就得到 平均條件互信息 ? ? ? ? ??i kjikjij kzyxIzyxpZYXI )()(??梢?jiàn),對(duì)每一種信源一定存在一種最差的信道,此信道的干擾最大,而使輸出端獲得的信息量最小。因此,對(duì)于每一個(gè)固定信道,一定存在一種信源(一種分布) p(xi), 使輸出端獲得的信息量最大。( YHXYI ?(4)凸函數(shù)性 : )()()(l og)()。 ) ( 。 (3) )()()()()( )(l og)()。 ( 1) ? ?? ?? ?? ?? ?? ???? nimj jijinimj ijinimj ijiji yxpyxpxpyxpxpyxpyxpYXI1 11 11 1 )|(1l og)()(1l og)()()|(l og)()。 YX號(hào)是 , ( 2) 若干擾很大 , Y基本上與 X無(wú)關(guān),或說(shuō) X與 Y相互獨(dú)立, 那時(shí)就收不到任何關(guān)于 X的信息 。 統(tǒng)計(jì)獨(dú)立時(shí) X Y 0)。 平均互信息量定義 定義 ? ?? ? ?? ??i i j ijijijjiji xpyxpyxpyxIyxpYXI)()|(l o g)()。 這種測(cè)度應(yīng)該是從整體的角度出發(fā),在平均意義上度量每通過(guò)一個(gè)符號(hào)流經(jīng)信道的平均信息量。 平均互信息量 前面我們給出了互信息的定義,并 已 清楚互信息量 )。 各種熵之間的關(guān)系 由熵、條件熵、聯(lián)合熵的定義式可導(dǎo)出三者的關(guān)系式 ? ? ? ? ? ? ? ?YXHYHXYHXHXYH |)(| ????X Y當(dāng) , 統(tǒng)計(jì)獨(dú)立時(shí),有 ? ? ? ? )( YHXHXYH ??還可以推出 )|()()|()( XYHYHYXHXH ???共熵與信息熵的關(guān)系 )()()( YHXHXYH ??條件熵與信息熵之間的關(guān)系 )()|( YHXYH ? )()|( XHYXH ?或 離散集的平均互信息量 在前面的章節(jié)中,主要討論的是單符號(hào)信源的情況,這是最簡(jiǎn)單的離散信源。, .. . .,( 2121 nnW pppH= ?????? ????rrwrrwrrw r1l og1...1l og11l og121rrwrrwrrw r l o g. . .l o gl o g 21 ???rr r lo g. . .21 ??????? ???= = ( 4)等重性: 若信源中每個(gè)符號(hào)的權(quán)重系數(shù)相等, nWWW ??? .....21)()( XWHXH W ?即 則 ( 5)確定性 WH ? ?nr ppp . . . ,。例如,在兩個(gè)人博弈的場(chǎng)合,雙方不僅要考慮各種不同博弈方案出現(xiàn)的概率,更要注意這些方案給自己帶來(lái)的厲害得失。 加權(quán)熵 加權(quán)熵的定義 香濃定義信息量和熵并沒(méi)有考慮人的主觀因素,只是信息系統(tǒng)概率的函數(shù),是“客觀信息”。有時(shí)稱(chēng)H(X/Y)為信道疑義度,也稱(chēng)損失熵。 當(dāng) , 信源事件 },{21 ?? ixxxX ?和信宿 },{ 21 ?? jyyyY ? 是一一對(duì)應(yīng)的關(guān)系, 中的某個(gè)元素 jy后,關(guān)于發(fā)送的符 中的某個(gè)元素 ix不再存在疑義度(不 信宿收到 X 號(hào)是否為 Y 確定性)。()1()(]39。X 的差別知識(shí)多了一個(gè)概率接近 于零的事件,其他的概率分布相同,則這兩個(gè)信源 的熵值相同。 信息熵的性質(zhì): 非負(fù)性 : ),. . .,(), . . . ,(l i m 212110 qqqq pppHpppH ???? ???信息熵的非負(fù)性即為 0)( ?XH對(duì)稱(chēng)性 : 當(dāng)信源含有 n 個(gè)離散消息時(shí),信源熵 )(l og)()(1????niii xpxpXH,其中 ). . . . ,2,1(1)(0 nixp i ??? , 1)(1???niixp熵的對(duì)稱(chēng)性是指 )() ,. . . ,(),(2 ni xpxpxp的順序任意互換時(shí),只是求和順序不同,熵的值不變。 )( 1xnp)( 2xnp隨機(jī)摸取 n 次 后總共所獲得的信息量為 )()()()( 2211 xIxnpxIxnp ?而平均隨機(jī)摸取一次所獲得的信息量則為 )(l og)()]()()()([)]()()()([1)( 2122112211 ii ixpxpxIxpxIxpxIxnpxIxnpnXH ????????? 熵是從整個(gè)集合的統(tǒng)計(jì)特性來(lái)考慮的,它是從平均意義上來(lái)表征集合的總體特征的。 【 例 】 一個(gè)布袋內(nèi)放 100個(gè)球,其中 80個(gè)球是紅色的, 20個(gè)球是白色的,若隨機(jī)摸取一個(gè)球,猜測(cè)其顏色,求平均摸取一次所能獲得的自信息量。 (熵) 信息函數(shù) )( ixI 只能表示信源發(fā)某一特定的具體符號(hào) ix所提供的信息量,不同的符號(hào),有不同的自信息量,所以它不足以作為整個(gè)信源的總體信息測(cè)度。yjzk),等于事件 yj出現(xiàn)后所提供的有關(guān) xi的信息量 I( xi。( kjikikji zyxIzxIzyxI ??)/。yj) 條件互信息量 定義 三維 XYZ聯(lián)合集中,在給定條件 zk的情況下, xi與 yj之間的互信息量的定義為 另外,聯(lián)合集合 XYZ中還存在 xi與 yjzk之間的互信息量,其定義式 )|()|(l og)()|(l og)|()|()()|(l og)()|(l og)。yj)=I(yj。在三維 XYZ)()|(lo g)。(21212 b i tapbapbaI ???)(18141l o g)()|(l o g)。當(dāng)收到 1b后,各種天氣發(fā)生的概 率變成后驗(yàn)概率了。( ji yxI)()(lo gijixpyxp互信息 有多重表達(dá)式 )()()()(l o g)。 定義 聯(lián)合集 XY中, 在 事件 yj出現(xiàn)的條件下 ,隨機(jī)事件 事件 xi 發(fā)生 的條件下 概率為 )|( ji yxp則它的條件自信息量定義為條件概率對(duì)數(shù)的負(fù)值: , )|(l o g)|( jiji yxpyxI ??例 :設(shè)在一正方形棋盤(pán)上共有 64個(gè)方格,行、列各 8個(gè)。 )( ixI2l o g21l o g)(6l o g61l o g)(3l o g
點(diǎn)擊復(fù)制文檔內(nèi)容
范文總結(jié)相關(guān)推薦
文庫(kù)吧 www.dybbs8.com
備案圖片鄂ICP備17016276號(hào)-1