信息編碼期末復(fù)習(xí)ppt課件-文庫(kù)吧資料
2025-05-12 02:43本頁(yè)面
【正文】 13131312161612161313121?????????????31316161616131311P?????????????????2161313121616131212p 對(duì)這類一般對(duì)稱信道有如下定理： 定理 341： 對(duì)于單個(gè)消息離散對(duì)稱信道，當(dāng)且僅當(dāng)信道輸入輸出均為等概率分布時(shí)，信道達(dá)到容量值。 條件②就對(duì)稱而言，比條件①更加本質(zhì)，更加重要。且信道中總的誤差概率 ε＝Pe,它將 ε平均分配給 (n1)個(gè)傳輸?shù)腻e(cuò)誤。( 111 ????? nnHqHYXI ??? ?],),[(l o g)。 第三章 信道與信道容量 ? 類似于對(duì)信源的統(tǒng)計(jì)描述，對(duì)信道而言描述它的三要素是： 信道輸入統(tǒng)計(jì)概率空間：［ XK， p(X)］， 信道輸出的統(tǒng)計(jì)概率空間：［ YK， q(Y)］， 信道轉(zhuǎn)移概率矩陣： P(Y |X)。即用盡可能少的碼符號(hào)傳送盡可能多的信源消息，以提高通信的有效性。不同的信源，其 R(D)是不同的。(m i n)( jiiPPPP PpIVUIDRDjiDji ????? 信息率失真函數(shù) R(D)是假定信源給定的情況下，在用戶可以容忍的失真度內(nèi)再現(xiàn)信源消息所必須獲得的最小平均信息量。 )。( jii PpIVUI ?根據(jù)前面在互信息中已討論過(guò)的性質(zhì)： jiP互信息是 的下凸函數(shù)，其極限值存在。 對(duì)限失真信源，應(yīng)該傳送的最小信息率是R(D)，而不是無(wú)失真情況下的信源熵 H(U). 顯然 H(U)≥R(D). 當(dāng)且僅當(dāng) D=0時(shí)，等號(hào)成立； R(D) )。)1(1211L1L1 ???????YYYY ?信源效率和冗余度 ? 某信源的極限熵 H∞與實(shí)際信息熵 HL的比值稱為信源效率，即 ? 1減去信源效率稱為 信源冗余度 ,即 )()(UHUHL???)()(11UHUHRL????? ? 第二章 限失真信源與信息率失真函數(shù) 失真測(cè)度及其性質(zhì) 0),( ?ji vudji vu ?0),(m i n,??? jiVvUuvudji??? )(0 ji vud 在信號(hào)空間中可以看作一類 “ 距離 ” ，它有性質(zhì) 1〉 當(dāng) 2〉 3〉 ),( ji vud在通信系統(tǒng)的信源和信宿的聯(lián)合空間上定義失真測(cè)度： ]),0([:),( ???? ?RVUvud ji表示信源發(fā)出一個(gè)符號(hào) ui，而在接收端再現(xiàn) vj，所引起的誤差或失真。( 2 ) H ( X )Z)I ( X 。)I ( X 。 定理 145 0)I ( X 。 信息不增性原理 在信息處理中，經(jīng)常要對(duì)所接收到的信息 Y歸并或分類為信息 Z。 信源固定以后，用不同的信道來(lái)傳輸同一信源符號(hào)時(shí)，在信道輸出端獲得的信息量是不同的。 定理 142說(shuō)明 : 信道固定時(shí)，對(duì)于不同的信源分布，信道輸出端獲得的信息量是不同的。 ? 當(dāng)信源給定，即信源分布概率 pi固定，互信息 I(U 。 熵、條件熵、聯(lián)合熵與互信息的關(guān)系 先驗(yàn)熵 接收符號(hào)熵 損失熵 噪聲熵 聯(lián)合熵 互信息的定理 定理 142 ? 當(dāng)信道給定，即信道轉(zhuǎn)移概率 Pji固定，互信息 I(U 。V)的物理意義： 互信息量性質(zhì)的意義 互信息量的對(duì)稱性說(shuō)明對(duì)于信道兩端的隨機(jī)變量 U和 V，由 V提取到的關(guān)于 U的信息量與從 U中提取到的關(guān)于 V的信息量是一樣的。 由第三等式 I(U。V)就是通信過(guò)程中信息熵減少的量，也就是通信過(guò)程中獲得的互信息量 I(U。V)的物理意義： 通信前 ， 隨機(jī)變量 U和隨機(jī)變量 V可視為統(tǒng)計(jì)獨(dú)立 ， 其先驗(yàn)信息熵為 H(U)+ H(V)， 通信后，整個(gè)系統(tǒng)的后驗(yàn)信息熵為 H(U。 由第二等式 I(U。 H(V)是信宿接收到 V所獲得的信息量， H(V︱ U)是發(fā)出消息 U后，由于干擾而使 V存在的信息熵，二者之差 I(U。 對(duì)于強(qiáng)噪信道，有 H(V︱ U)= H(V)，從而 I(U。V)的物理意義： 對(duì)于無(wú)擾信道，有 I(U。 V)的物理意義 由第一等式 I(U。 V)= 0。 V)=H(U)。V)就是在接收過(guò)程中得到的關(guān)于 U,V的互信息量 。()()。V ) ＝ I(V。( ?VUII(U。 )l o g()l o g()l o g()()()。 含義：隨著消息序列長(zhǎng)度的增加，最后一個(gè)消息的條件熵呈遞減趨勢(shì)，即序列所增加的熵越來(lái)越??；只有當(dāng)信源滿足無(wú)記憶條件時(shí)，增加的熵才保持不變 含義：序列的平均消息熵大于等于最后一個(gè)消息的條件熵 )。 離散有記憶信源的序列熵與消息熵 ?????????LlllLlllULLUU111L111)(H1)(H1)(H)(H)(H231UUUU熵與消息熵為：離散序列信源的序列定理定理 133 對(duì)離散、平穩(wěn)、有記憶信源，下列結(jié)論成立 : )(l i m)(l i mL)()()。(H)(H122211UUUUUU??含義：熵不會(huì)因?yàn)楦郊訔l件的增加而有所增加。 的事件數(shù)目是信源其中 Ul o g),. .
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1