信息論與編碼第一講-閱讀頁
2025-05-11 13:51本頁面
【正文】 i對輸出端 Y提供相同的互信息，只是概率為 0的除外。 ? 設信道的輸入和輸出信號是隨機過程 x(t) 和 y(t) y(t) = x(t) + n(t) – n(t)：信道的加性高斯白噪聲 ? 一個受加性高斯白噪聲干擾的帶限波形信道的容量，由香農 (1948)正式定義： )},({m a x)(YXICxp?信 道 n(t) x(t) y(t) ? 高斯白噪聲加性信道單位時間的信道容量 )1l o g ()。此時，連續(xù)信源的數學模型為： 其中， R是全實數集，是變量 X的取值范圍。量化單位越小，則所得的離散變量和連續(xù)變量越接近。當 p(x)是 x的連續(xù)函數時，由積分中值定理可知，必存在一個 xi 值使上式成立。連續(xù)信源 X被量化為離散信源： 且 ????????????????)(,)(,)(,2211nnnxpxxpxxpxPX??1)()()(1 )1(1???? ?? ?????????baniiaianii dxxpdxxpxp 這時離散信源 xn 的熵： 當 時，離散隨機變量 xn 趨于連續(xù)隨機變量 X，而離散信源 xn 的熵 H(xn)的極限值就是連續(xù)信源的信息熵。所以避開第二項， 定義 連續(xù)信源的熵 為： ??????????????????????ba niiniiinnndxxpxpxpxpxpXHXHl o gl i m)(l o g)(])([l o gl i m)](l o g)([l i m)(l i m)(0????? R dxxpxpXh )(l o g)()( 由上式可知，所定義的連續(xù)信源的熵并不是實際信源輸出的絕對熵，連續(xù)信源的絕對熵應該還要加上一項無限大的常數項。當確知信源輸出為某值后，所獲得的信息量也將為無限大。在討論熵差時，只要兩者離散逼近時所取的間隔△一致，無限大項常數將互相抵消掉。 同理，可以定義兩個連續(xù)變量 X、 Y的聯(lián)合熵和條件熵，即 ????????????RRRd x d yyxpyxpypYXhd x d yxypxypxpXYhd x d yxypxypXYh)/(l o g)/()()/()/(l o g)/()()/()(l o g)()( 它們之間也有與離散信源一樣的相互關系，并且可以得到有信息特征的互信息： 這樣定義的熵雖然形式上和離散信源的熵相似，但在概念上不能把它作為信息熵來理解。 )/()()/()()。()/()()/()()(XYhYhYXhXhXYIYXIYXhYhXYhXhXYh????????? 最大熵定理 在離散信源中，當信源符號等概率分布時信源的熵取最大值。除存在完備集條件 以外，還有其它約束條件。一般情況，在不同約束條件下，求連續(xù)信源的差熵的最大值，就是在下述若干約束條件。 ?221)()()(1)(KdxxpmxKdxxxpdxxp????????????????? ????? dxxpxpXh )(l o g)()( 通常感興趣的是兩種情況：一種是信源的輸出值受限；另一種是信源的輸出平均功率受限。 （ 1）峰值功率受限條件下信源的最大熵 定理： 若信源輸出的幅度被限定在 [a,b]區(qū)域內，則當輸出信號的概率密度是均勻分布時，信源具有最大熵。 此時， ?????????其它,0,1)(bxaabxp（ 2）平均功率受限條件下信源的最大熵 定理： 若一個連續(xù)信源輸出符號的平均功率被限定為P（這里是指的交流功率，即方差 ）），則其輸出信號幅度的概率密度分布是高斯分布時，信源有最大的熵，其值為 。 上述定理說明，連續(xù)信源在不同的限制條件下有不同的最大熵，在無限制條件時，最大熵不存在。也就是說，高斯白噪聲是最有害的干擾，在一定平均功率下，造成最大數量的有害信息。
教學課件相關推薦
鄂ICP備17016276號-1