freepeople性欧美熟妇, 色戒完整版无删减158分钟hd, 无码精品国产vα在线观看DVD, 丰满少妇伦精品无码专区在线观看,艾栗栗与纹身男宾馆3p50分钟,国产AV片在线观看,黑人与美女高潮,18岁女RAPPERDISSSUBS,国产手机在机看影片

正文內(nèi)容

信息論與編碼第二章(編輯修改稿)

2025-06-03 22:26 本頁(yè)面
 

【文章內(nèi)容簡(jiǎn)介】 ??? xpxI如果每次摸出一個(gè)球后又放回袋中,再進(jìn)行下一次摸取,那么如此摸取 次, n 紅球出現(xiàn)的次數(shù)為 次, 白 球出現(xiàn)的次數(shù)為 次。 )( 1xnp)( 2xnp隨機(jī)摸取 n 次 后總共所獲得的信息量為 )()()()( 2211 xIxnpxIxnp ?而平均隨機(jī)摸取一次所獲得的信息量則為 )(l og)()]()()()([)]()()()([1)( 2122112211 ii ixpxpxIxpxIxpxIxnpxIxnpnXH ????????? 熵是從整個(gè)集合的統(tǒng)計(jì)特性來(lái)考慮的,它是從平均意義上來(lái)表征集合的總體特征的。 – 熵表示事件集合中事件發(fā)生后,每個(gè)事件提供的平均信息量; – 熵表示事件發(fā)生前,集合的平均不確定性; 【 例 】 ( 1)信源一: ?????????????)(1011 xxXpX H(X1) = log - log = (比特 /符號(hào)) ( 2)信源二: ?????????????)(1022 xxXpX H(X2) = log log = 1(比特 /符號(hào)) ( 3)信源三 : ?????????????)(321033 xxxxXpX H(X3) = 4 log = log4 = 2(比特 /符號(hào)) ( 4)信源四 : ?????????????10)(1044 xxXpXH(X4) = 0 log 0 –1 log 1 = 0 計(jì)算結(jié)果說(shuō)明確定事件的熵為零 以上四個(gè)信源熵的大小關(guān)系正好是: )()()()( 4123 XHXHXHXH ???總括起來(lái),信源熵有三種物理意義: 信源熵 H( X)表示信源輸出后,每個(gè)離散消息所提供的平均信息量。 信源熵 H( X)表示信源輸出前,信源的平均不確定度。 信源熵 H( X)反映了變數(shù)的隨機(jī)性 。 信息熵的性質(zhì): 非負(fù)性 : ),. . .,(), . . . ,(l i m 212110 qqqq pppHpppH ???? ???信息熵的非負(fù)性即為 0)( ?XH對(duì)稱性 : 當(dāng)信源含有 n 個(gè)離散消息時(shí),信源熵 )(l og)()(1????niii xpxpXH,其中 ). . . . ,2,1(1)(0 nixp i ??? , 1)(1???niixp熵的對(duì)稱性是指 )() ,. . . ,(),(2 ni xpxpxp的順序任意互換時(shí),只是求和順序不同,熵的值不變。 例如,有三個(gè)不同信源的信源空間分別為: ?????????????????216131321 xxxPX?????????????????312161321 yyyPY?????????????????612131321 zzzPZ由于這三個(gè)信源的概率空間的總體結(jié)構(gòu)相同,他們的信息熵相等,即有 ), 216131(H ),612131(H 4 5 9 312161( ?),H= = 比特 /信源符號(hào) 確定性 若信源 X 的概率空間中只要有一個(gè) )( ixp 等于 1時(shí), 其它所有概率分量均等于零,則信源 X 的信息熵一 定等于 0。 即 0)0, . . . ,0,1,0,0()0,0,1,0()0,0,1()0,1( ???? HHHH 擴(kuò)展性: 若信源 X 中有 n 個(gè)事件,而另一個(gè)信源 39。X 中有 1?n個(gè)事件,信源 和 X 39。X 的差別知識(shí)多了一個(gè)概率接近 于零的事件,其他的概率分布相同,則這兩個(gè)信源 的熵值相同。即 ), . . . . . ,(), . . . . . ,(l i m 212110 nnnn pppHpppH ???? ???,它對(duì)其他概率分布 極值性: 可加性:設(shè)有兩個(gè)信源 X和 Y,它們不是相互獨(dú)立的,則二維隨機(jī)變量 ( X,Y)的熵等于 X的無(wú)條件熵加上當(dāng) X已給定時(shí) Y的條件概率定義的熵統(tǒng)計(jì)平均值,即 )|()()( XYHXHXYH ??對(duì)任意兩個(gè)消息數(shù)相同的信源 X、 Y,有 )(l og)()]() ,.. .,(),([121 iniin ypxpxpxpxpH ????其中 1)()(11?? ????niinii ypxp。 任一概率分布 ? ?)(ixp? ?)( iyp 的自信息 ])(1[lo giyp取數(shù)學(xué)期望時(shí),必大于 ? ?)(ixp本身的熵。 最大熵定理: 上凸性: 在離散的情況下,集合 X中的各事件等概率發(fā)生時(shí),熵達(dá)到最大值,即 nnnnHPPPH n l o g)1,...,1,1(), . .. ,( 21 ??),. .. . ,( 21 npppH 是概率分布 ),.. . . ,( 21 nppp的嚴(yán)格上凸函數(shù),即 )39。()1()(]39。)1([ PHPHPPH ???? ?????條件熵 從通信角度來(lái)看,若將 },{21 ?? ixxxX ? 視為信源 },{ 21 ?? jyyyY ? 視為信宿接收符號(hào), )( ji yxI 可看作信宿收到 jy 后,關(guān)于發(fā)送的符號(hào)是否為 ix仍然存在的疑義度(不確定性),那信宿收到 Y后 ,信源 X仍然存在不確定度,就用條件熵度量。 輸出符號(hào), 定義 聯(lián)合集 XY上,條件自信息量 I(y|x)的概率加權(quán)平均值定義為條件熵 。 即 ? ? ? ???? i j jii j jijiji yxpyxpyxIyxpYXH )|(l o g)()|()()|(說(shuō)明: 當(dāng) X,Y 統(tǒng)計(jì)獨(dú)立時(shí),有 )()()(jiji ypxpyxp ?)()|( iji xpyxp ?則 ? ? ? ?XHxpxpxpxpypYXH iiiij iij ????? ?? ? )(l o g)()(l o g)()(|當(dāng) ? ? 0| ?YXH , 信源事件 },{21 ?? ixxxX ?和信宿 },{ 21 ?? jyyyY ? 是一一對(duì)應(yīng)的關(guān)系, 中的某個(gè)元素 jy 后,關(guān)于發(fā)送的符 中的某個(gè)元素 ix不再存在疑義度(不 信宿收到 Y 號(hào)是否為 X
點(diǎn)擊復(fù)制文檔內(nèi)容
范文總結(jié)相關(guān)推薦
文庫(kù)吧 www.dybbs8.com
備案圖片鄂ICP備17016276號(hào)-1