信息論基礎——總復習(編輯修改稿)
2025-06-18 14:14 本頁面
【文章內容簡介】 ? 互信息量表示先驗的不確定性減去尚存的不確定性，這就是收信者獲得的信息量； ? 互信息量可能為正數(shù)、負數(shù)、 0； xi yj 信道 p(xi): 發(fā)送端發(fā)送 xi 的概率； P(xi|yj): 接收端收到 yj 后，發(fā)送端發(fā)送 xi 的概率 )()|(l o g)|(1l o g)(1l o g)。(ijijiiji xpyxpyxpxpyxI ???定義 : 平均互信息量 ? 定義 ? 與其他熵的關系 I(X。Y) = H(X) H(X|Y) I(X。Y)=H(Y) H(Y|X) I(X。Y)=H(X)+H(Y)H(X,Y) ? 表達平均互信息量的熵 I(X。Y), 是確定通過信道的信息量的多少，因此稱它為信道傳輸率或傳信率。 )()|(l o g),()。(),()。(ijij i jijij i ji xpyxpyxpyxIyxpYXI ? ?? ? ??熵的含義 性質 ? 熵是從整個集合的統(tǒng)計特性來考慮的，它是從平均意義上來表征集合的總體特征的。 ? 熵表示事件集合中事件發(fā)生后，每個事件提供的平均信息量； ? 熵表示事件發(fā)生前，集合的平均不確定性； 信道中熵的信息流圖 H(Y|X) :信道散布度； H(X|Y) :信道含糊度； 它們都是由于噪聲干擾的存在而存在的。信道中存在噪聲干擾，是減低信道傳信能力的基本原因。 H(X) H(Y) I(X。Y) H(X|Y) H(Y|X) 各類熵與集合圖的類比 H(X) H(Y) H(X|Y) H(Y|X) I(X。Y) H(X,Y) A B
高考資料相關推薦
鄂ICP備17016276號-1