信息論基礎——總復習-在線瀏覽
2025-07-16 14:14本頁面
【正文】 依據(jù) 。 可靠性編碼 ：一般 增加信源的冗余 ,有以提高信息傳輸?shù)目煽啃?, 主要是針對信道的統(tǒng)計性進行編碼 ,故也稱為信道編碼 安全性編碼 ：將信源的明文編碼成密文，提高通信的安全性。通信系統(tǒng)消息的傳輸對收信者來說，是一個從不知到知的過程，或者從知之甚少到知之甚多的過程，或是從不確定到部分確定或全部確定的過程。 自信息 ?定義：若事件 x的概率為 p(x)，則稱 或 為事件 x的自信息量，簡稱 x的自信息 . ( ) l og ( )cI x p x??1( ) l o g()cIx px?（自）互信息量定義 ? 互信息量表示先驗的不確定性減去尚存的不確定性，這就是收信者獲得的信息量； ? 互信息量可能為正數(shù)、負數(shù)、 0； xi yj 信道 p(xi): 發(fā)送端發(fā)送 xi 的概率； P(xi|yj): 接收端收到 yj 后，發(fā)送端發(fā)送 xi 的概率 )()|(l o g)|(1l o g)(1l o g)。Y) = H(X) H(X|Y) I(X。Y)=H(X)+H(Y)H(X,Y) ? 表達平均互信息量的熵 I(X。 )()|(l o g),()。(ijij i jijij i ji xpyxpyxpyxIyxpYXI ? ?? ? ??熵的含義 性質 ? 熵是從整個集合的統(tǒng)計特性來考慮的，它是從平均意義上來表征集合的總體特征的。信道中存在噪聲干擾，是減低信道傳信能力的基本原因。Y) H(X|Y) H(Y|X) 各類熵與集合圖的類比 H(X) H(Y) H(
高考資料相關推薦
鄂ICP備17016276號-1