單符號離散信源ppt課件(參考版)
2025-05-09 13:18本頁面
【正文】 ()()/(lo g)/()()()/(lo g)()。Y)是 的嚴格下凸函數(shù)。 61 ? (4) I(X。Y)=H(X) ? I(X。Y)=0 ? 物理意義：信道上傳遞的平均信息量至少為 0。(b itqHqHXYHYHXHYXI??????? ?????? ????????????? ?????? ?????????60 ? 平均互信息的性質 ? （ 1）對稱性：即 I(X。()()/(/)()。 信源發(fā) 0，接收端收的也是 0的概率為 q 信源發(fā) 0，接收端收的是 1的概率為 1q 信源發(fā) 1，接收端收的是 0的概率為 1q 信源發(fā) 1，接收端收的也是 1的概率為 q 0 0 1 1 q q 1q 1q X Y 圖 BSC信道 （二元對稱， Binary Symmetric Channel） 58 ? 信道轉移概率 ： ???????????qxypqxypqxypqxyp)/()/()/()/(22211211)()()()()()。Y),H(X/Y)， H(Y/X)和H(XY)。()()。(獨立時獨立時數(shù)學推導證明：的信息量任何有關信源獨立，則信道沒有傳遞與???????YXIXHYXHYXHXHYXIYXIXYX)()。()()/()/()()。Y)= H(X)+H(Y)H(XY) 物理意義：通信之前和之后，整個系統(tǒng)平均不確定度減少的量。 也可看作 X中含有的有關 Y的平均不確定度（平均信息量）。(YXHXHXHYXHxypxpxpYXHxpxypxpYXHxpyxpyxpyxpxpyxpyxpYXIYijiXiiYXijiiYXjijiYXjiijiYXji?????????????????????????????????????????????????????????????????????????????????????，，證明： 55 ? (2) I(X。也可看作信道傳遞的有關 X的平均信息量。Y)=H(X)H(X/Y) （式子 1） ? 物理意義：收到 Y之前和之后， X平均不確定度減少的量。([)。()()/(lo g)()。([)]。Y)= H(X)+H(Y)H(XY) )。Y)=H(X)H(X/Y) ? （ 2） I(X。 ? 即 H(1,0)=H(1,0,… )=H(0,1,0… 0 … .） = H(0,… 0,1,0… 0)=0 ? （ 6）極值性： H(X/Y)=H(X) H(Y/X) =H(Y) H(XY) = H(X)+ H(Y) ? 當且僅當獨立時，等號成立 0)(1)(, ??? XHxpx ii 則52 ? （ 7）信源熵 H(X)是 的嚴格上凸函數(shù)。則 0lo g)(,200lim ??????????????ii xpx)](,),(),([])(),(),(),([211210l i mnnnxpxpxpHxpxpxpxpH????? ?? ?? ????????????????????? ?? ?????即： 彩票中大獎的概率很小，雖然一旦中大獎， 獲得的信息量巨大，但從平均意義上看， 平均每次中獎的可能性很小，即因此它對 每次中獎的貢獻很小，可以忽略不計。 ? 解：該信源的數(shù)學模型為 ???????????????????? 2/12/1 1,0)()( ,)(2121xpxpxxXPX符號/12lo glo g)(1)1()(121lo g)0()(22221b itnXHb itIxIb itIxI?????????????????????????????50 ? （ 4）擴展性 ? 說明：某一事件出現(xiàn)概率很小時，雖然自信息量很大，但是對平均信息量的貢獻卻很小，可以忽略不計。 ? （ 3） 最大離散熵定理 ：設信源中有 n個符號，則 H(X)=log2n，當且僅當?shù)雀艜r取等號。即任何一個離散信源不可能對外提供負信息量。 45 熵 ? 信源熵 ? 條件熵 ? 聯(lián)合熵 ? 平均互信息量 46 ? 聯(lián)合熵 ? def：聯(lián)合自信息量的數(shù)學期望。故信源的信息，條件熵中沒有任何有關，此時達到最大值。 故 H(X/Y)叫信道疑義度。 41 ? 易見：二進制碼的每個符號等概出現(xiàn)時，對外提供的平均信息量最大，最大值為： ? 推廣： n進制碼的每個符號等概出現(xiàn)時，對外提供的平均信息量最大，最大值為： bitlb 12??bitnlb ??42 熵 ? 信源熵 ? 條件熵 ? 聯(lián)合熵 ? 平均互信息量 43 ? 條件熵 ? def：條件自信息量的數(shù)學期望 ? 表示：收到 Y后，信源 X仍具有的平均不確定度。 ? 解： ? 結論：若離散信源符號集中含有 n個符號，且等概分布，則信源熵為 bit/符號 符號且等概分布/26lo g261lo g26261)(lo g)()(261261)(261b itxpxpXHixpiiii??????????????????????????????????????????nlb?40 exnpxpxnpxpxnpxexxX iiX iii222lo g]1)(1)[()(1lo g)()(1lo g)1(lo g????????令利用? 最大離散熵定理 ： p17,設信源中有 n個符號，則 H(X)=log2n，當且僅當?shù)雀艜r取等號。 ? 解： ?????? ???????? pp xxXp X 1)( 21符號或簡記/)()1,()1lo g ()1(lo g)(lo g)()(21b itpHppHppppxpxpXHiii??????????????????????????????????????????????????1/02/1/10/0)(pb itpb itpb itXH符號，符號，符號，討論：結論： H(X)是概率分布 p的上凸函數(shù)，說
教學課件相關推薦
鄂ICP備17016276號-1