freepeople性欧美熟妇, 色戒完整版无删减158分钟hd, 无码精品国产vα在线观看DVD, 丰满少妇伦精品无码专区在线观看,艾栗栗与纹身男宾馆3p50分钟,国产AV片在线观看,黑人与美女高潮,18岁女RAPPERDISSSUBS,国产手机在机看影片

正文內(nèi)容

信息論與編碼第二章-wenkub.com

2025-05-04 22:26 本頁面
   

【正文】 ()/()/()。( XYIYXI ?)/()()()。(kjkikjikikjikji zypzxpzyxpzxpzyxpzyxI ??對該式在三維空間 XYZ 上求概率加權(quán)平均值,就得到 平均條件互信息 ? ? ? ? ??i kjikjij kzyxIzyxpZYXI )()(??梢姡瑢γ恳环N信源一定存在一種最差的信道,此信道的干擾最大,而使輸出端獲得的信息量最小。因此,對于每一個固定信道,一定存在一種信源(一種分布) p(xi), 使輸出端獲得的信息量最大。( YHXYI ?(4)凸函數(shù)性 : )()()(l og)()。 ) ( 。 (3) )()()()()( )(l og)()。 ( 1) ? ?? ?? ?? ?? ?? ???? nimj jijinimj ijinimj ijiji yxpyxpxpyxpxpyxpyxpYXI1 11 11 1 )|(1l og)()(1l og)()()|(l og)()。 YX號是 , ( 2) 若干擾很大 , Y基本上與 X無關(guān),或說 X與 Y相互獨立, 那時就收不到任何關(guān)于 X的信息 。 統(tǒng)計獨立時 X Y 0)。 平均互信息量定義 定義 ? ?? ? ?? ??i i j ijijijjiji xpyxpyxpyxIyxpYXI)()|(l o g)()。 這種測度應(yīng)該是從整體的角度出發(fā),在平均意義上度量每通過一個符號流經(jīng)信道的平均信息量。 平均互信息量 前面我們給出了互信息的定義,并 已 清楚互信息量 )。 各種熵之間的關(guān)系 由熵、條件熵、聯(lián)合熵的定義式可導(dǎo)出三者的關(guān)系式 ? ? ? ? ? ? ? ?YXHYHXYHXHXYH |)(| ????X Y當(dāng) , 統(tǒng)計獨立時,有 ? ? ? ? )( YHXHXYH ??還可以推出 )|()()|()( XYHYHYXHXH ???共熵與信息熵的關(guān)系 )()()( YHXHXYH ??條件熵與信息熵之間的關(guān)系 )()|( YHXYH ? )()|( XHYXH ?或 離散集的平均互信息量 在前面的章節(jié)中,主要討論的是單符號信源的情況,這是最簡單的離散信源。, .. . .,( 2121 nnW pppH= ?????? ????rrwrrwrrw r1l og1...1l og11l og121rrwrrwrrw r l o g. . .l o gl o g 21 ???rr r lo g. . .21 ??????? ???= = ( 4)等重性: 若信源中每個符號的權(quán)重系數(shù)相等, nWWW ??? .....21)()( XWHXH W ?即 則 ( 5)確定性 WH ? ?nr ppp . . . ,。例如,在兩個人博弈的場合,雙方不僅要考慮各種不同博弈方案出現(xiàn)的概率,更要注意這些方案給自己帶來的厲害得失。 加權(quán)熵 加權(quán)熵的定義 香濃定義信息量和熵并沒有考慮人的主觀因素,只是信息系統(tǒng)概率的函數(shù),是“客觀信息”。有時稱H(X/Y)為信道疑義度,也稱損失熵。 當(dāng) , 信源事件 },{21 ?? ixxxX ?和信宿 },{ 21 ?? jyyyY ? 是一一對應(yīng)的關(guān)系, 中的某個元素 jy后,關(guān)于發(fā)送的符 中的某個元素 ix不再存在疑義度(不 信宿收到 X 號是否為 Y 確定性)。()1()(]39。X 的差別知識多了一個概率接近 于零的事件,其他的概率分布相同,則這兩個信源 的熵值相同。 信息熵的性質(zhì): 非負性 : ),. . .,(), . . . ,(l i m 212110 qqqq pppHpppH ???? ???信息熵的非負性即為 0)( ?XH對稱性 : 當(dāng)信源含有 n 個離散消息時,信源熵 )(l og)()(1????niii xpxpXH,其中 ). . . . ,2,1(1)(0 nixp i ??? , 1)(1???niixp熵的對稱性是指 )() ,. . . ,(),(2 ni xpxpxp的順序任意互換時,只是求和順序不同,熵的值不變。 )( 1xnp)( 2xnp隨機摸取 n 次 后總共所獲得的信息量為 )()()()( 2211 xIxnpxIxnp ?而平均隨機摸取一次所獲得的信息量則為 )(l og)()]()()()([)]()()()([1)( 2122112211 ii ixpxpxIxpxIxpxIxnpxIxnpnXH ????????? 熵是從整個集合的統(tǒng)計特性來考慮的,它是從平均意義上來表征集合的總體特征的。 【 例 】 一個布袋內(nèi)放 100個球,其中 80個球是紅色的, 20個球是白色的,若隨機摸取一個球,猜測其顏色,求平均摸取一次所能獲得的自信息量。 (熵) 信息函數(shù) )( ixI 只能表示信源發(fā)某一特定的具體符號 ix所提供的信息量,不同的符號,有不同的自信息量,所以它不足以作為整個信源的總體信息測度。yjzk),等于事件 yj出現(xiàn)后所提供的有關(guān) xi的信息量 I( xi。( kjikikji zyxIzxIzyxI ??)/。yj) 條件互信息量 定義 三維 XYZ聯(lián)合集中,在給定條件 zk的情況下, xi與 yj之間的互信息量的定義為 另外,聯(lián)合集合 XYZ中還存在 xi與 yjzk之間的互信息量,其定義式 )|()|(l og)()|(l og)|()|()()|(l og)()|(l og)。yj)=I(yj。在三維 XYZ)()|(lo g)。(21212 b i tapbapbaI ???)(18141l o g)()|(l o g)。當(dāng)收到 1b后,各種天氣發(fā)生的概 率變成后驗概率了。( ji yxI)()(lo gijixpyxp互信息 有多重表達式 )()()()(l o g)。 定義 聯(lián)合集 XY中, 在 事件 yj出現(xiàn)的條件下 ,隨機事件 事件 xi 發(fā)生 的條件下 概率為 )|( ji yxp則它的條件自信息量定義為條件概率對數(shù)的負值: , )|(l o g)|( jiji yxpyxI ??例 :設(shè)在一正方形棋盤上共有 64個方格,行、列各 8個。 )( ixI2l o g21l o g)(6l o g61l o g)(3l o g
點擊復(fù)制文檔內(nèi)容
范文總結(jié)相關(guān)推薦
文庫吧 www.dybbs8.com
備案圖片鄂ICP備17016276號-1