連續(xù)信源及信源熵ppt課件-閱讀頁
2025-05-14 04:06本頁面
【正文】 ( ) ( )( ) l og ( )l ogl og ( )l og ( )( ) ( ) ( )NNNNNNi i i iiic c NbbNaabbNaab a b aNiiiNiiic c c NH X H X X Xp x p x dx dxdx dxbabaH X H X H X??????????????? ???? ? ??????(2) 高斯分布的連續(xù)信源的熵 ?一維隨機變量 X的取值范圍是整個實數(shù)軸 R， 概率密度函數(shù)呈正態(tài)分布，即 2()222122 2 2 222()[ ] ( )[ ( ) ] ( ) ( )0 ( )xmp x em X m E X x p x d xX E X m x m p x d xm P x p x d xX????????????????????? ? ? ??????是 的 均 值是 的 方 差當 時 ， 就 是 隨 機 變 量 的 平 均 功 率由 這 樣 隨 機 變 量 所 代 表 的 信 源 稱 為 高 斯 分 布 的 連 續(xù) 信 源 。 ?(1) 限 峰值功率 的最大熵定理 ?(2) 限 平均功率 的最大熵定理 ?(3) 均值受限 條件下的最大熵定理 (1) 限 峰值功率 的最大熵定理 ?① 限 峰值功率 的最大熵定理 ?② 證明過程 ?③ 說明 ① 限 峰值功率 的最大熵定理 若代表信源的 N維隨機變量的取值被限制在一定的范圍之內(nèi)，則 在有限的定義域內(nèi)，均勻分布 的連續(xù)信源具有最大熵。這種定義域邊界的平移并不影響信源的總體特性，因此不影響熵的取值； ?此時，隨機變量 Xi(i=1,2, ,…, N)的取值就被限制在 177。此時最大熵值為 2211[ ( ) , ] l o g [ ( ) ] l o g 2NNc i i iiiH p x X b b b??? ? ? ???(2) 限 平均功率 的最大熵定理 ?① 限 平均功率 的最大熵定理 ?② 證明過程 ?③ 說明 ① 限 平均功率 的最大熵定理 ? 若信源輸出信號的平均功率 P和均值 m被限定，則輸出信號幅度的概率密度函數(shù)為 高斯分布 時，信源具有最大熵值。 由 約 束 條 件 知隨 機 變 量 的 方 差當 均 值 時 ， 平 均 功 率 ?對平均功率和均值的限制就等于對方差的限制； ?把平均功率受限的問題變成方差受限的問題來討論； ?把平均功率受限當成是 m=0情況下，方差受限的特例 。 ?兩種功率受限情況與噪聲比較 峰值功率受限、均勻分布的連續(xù)信源熵最大 ； 平均功率受限、均值為零高斯分布的連續(xù)信源熵最大 ； 在這兩種情況下，信源的統(tǒng)計特性與兩種常見噪聲 — 均勻噪聲和高斯噪聲的統(tǒng)計特性相一致。 （ 3）均值受限的最大熵定理 ?連續(xù)信源的均值受到限制時，則輸出信號的幅度呈 指數(shù)分布 時達到最大熵。 ?連續(xù)信源的剩余度 ()P
教學課件相關推薦
鄂ICP備17016276號-1