連續(xù)信源和信道ppt課件(已修改)
2025-05-17 22:23 本頁面
【正文】 5－ 1 連續(xù)信源和波形信源的微分熵 5－ 2 具有最大熵的連續(xù)信源 5－ 3 連續(xù)信道和波形信道 5－ 4 連續(xù)信道和波形信道的信道容量 第五講 連續(xù)信源和信道 5－ 1 連續(xù)信源和波形信源的微分熵 連續(xù)隨機變量是取值范圍連續(xù)，而時間是離散的，所以也叫做 時間離散的連續(xù)隨機變量 。這種隨機變量 的序列表示的信源為 連續(xù)信源 。 時間 t 隨機變量的取值范圍 （ 符號集 ） x 隨機過程 是取值范圍和時間都是連續(xù)的。隨機 過程表示的信源為 波形信源 。 不同的觀測 一次觀測 樣本函數(shù) 隨機變量 隨機過程在限頻帶 F、限時間 T的情況下 ，可以利用正交函數(shù)系（如 KL變換） 展開為獨立的 有限個時間離散的隨機變量。（王育民書后有附錄） 2FT個自由度－取樣值。抽樣間距 1 / 2F. 隨機波形信源的特點： 消息數(shù)是無限的； 利用概率密度函數(shù)表示。 平穩(wěn)遍歷隨機過程：統(tǒng)計特性不隨時間變化、樣本函數(shù) 遍歷各個樣本值。 確定觀測條件：確定的隨 t 變化的樣本函數(shù)； 確定時間： 隨機變量。 連續(xù)隨機變量的微分熵（差熵） iiiiXiiXiiXiiXiiiXxxxpxxpxpxxpxxpXh??????????????]) [ l o g()]() [ l o g()(l o g)()(?????? ii xx lo g,0??? lo g)(0 Xh? ????? dxxpxpXh XX )(lo g)()(原式的一項的極限定義為連續(xù)隨機變量的 微分熵 ： 一般將上式中的第二項稱為 絕對熵 。以下式表示。 微分熵與離散熵的 不同 ：可以為負值；經(jīng)過變換可能增加 。 （ 例如 KX。 ） 微分熵與離散熵的 相同 ：雖然不再表示集合事件出現(xiàn)的不確定性度量了，但還是有許多和離散熵一樣的性質(zhì)，特別是可以表示兩個集合之間的互信息。 對于聯(lián)合集 ，定義其微分熵 )}(,{ xypXY XY?? ???????? d x d yxypxypXYh )(l o g)()(對于隨機過程的微分熵，可以近似為隨機變量系列。 ?? ???????? d x d yyxpxypYXH C )|(l o g)()|(條件熵： )()|(),()|()|()()|()()(XHYXHYHXYHYXHYHXYHXHXYHCCCCCCCCC??????隨機序列的微分熵和條件熵關(guān)系： )()()()|()|()|()()()(2112121312121NNNNXhXhXhXXXXhXXXhXXhXhXXXhXh?????????????????（ Jensen不等式對于連續(xù)變量也成立。） 例： 令 X是在區(qū)間（ a， b） 上均勻分布的隨機變量， 求 X的微分熵。 解 ： ?????????),(0),(1)(baxbaxabxp?????????????baXXabdxababdxxpxpXh)l og (1l og1)(l og)()(0)(10)(10)(1????????????XhabXhabXhab例： 令 X是期望為 m， 方差為 的正態(tài)隨機變量，
教學課件相關(guān)推薦
鄂ICP備17016276號-1