《通信原理信息》ppt課件-預覽頁
【正文】 ?1符號所攜帶的信息量： log2(1/4)=2bit ?2符號所攜帶的信息量： log2(1/2)=1bit ?消息序列的總信息量：I=3*8+2*5+1*5=39bit 24 [例題 ]（順便引出“信息熵”的概念） ?某信源每天播報某地的天氣預報，此地晴天、多云、陰、雨的概率分別為 1/ 1/ 1/ 1/8 ?求： ? （ 1）晴、多云、陰、雨的各自所含信息量 ? （ 2）信息串“晴 多云 陰 晴 晴 晴 多云 雨”所含的總信息量 ? （ 3）此信源的每個消息的平均信息量（稱為“信息熵”） 25 [例題 ]（順便引出“信息熵”的概念） )(121l og)(l og )1(22 bi tPI ????? 晴晴)(241l og)(l og22 bi tPI ????? 多云多云)(381l og)(l og22 bi tPI ????? 陰陰)(381l og)(l og22 bi tPI ????? 雨雨某信源每天播報某地的天氣預報，此地晴天、多云、陰、雨的概率分別為 1/ 1/ 1/ 1/8 求： （ 1）晴、多云、陰、雨的各自所含信息量 26 [例題 ]（順便引出“信息熵”的概念） )()(2)(4)( )2( 雨陰天多云晴總 IIIII ??????b itb itb itb it 332241 ??????)(14 b it?某信源每天播報某地的天氣預報，此地晴天、多云、陰、雨的概率分別為 1/ 1/ 1/ 1/8 求： （ 2）信息串“晴 多云 陰 晴 晴 晴 多云 雨”所含的總信息量 27 [例題 ]（順便引出“信息熵”的概念） )/()3( 符號符號數(shù)平均信息量 總 bi tII ????稱為信息熵，因為其通用公式為 )(l og)()( 2 iii xpxpxH ???這個公式與物理熱力學中的熵很相似。 解 符號）/(16416483212116l o g16116l o g1618l o g814l o g412l o g2122222b i tI???????????5個符號等概率出現(xiàn)時 )/(3 2 o gl o g 22m a x 符號b itNI ???31 【 例 】 一信息源由 4個符號 A、 B、 C、 D組成，它們出現(xiàn)的概率為 3/ 1/ 1/ 1/8，且每個符號的出現(xiàn)都是獨立的。當信源中符號出現(xiàn)的數(shù)目 m→∞ 時，則上兩種計算方法結(jié)果一樣。 減小或消除符號間的關聯(lián) ， 并使各符號的出現(xiàn)趨于等概 ， 將使離散信源達到最大熵， 從而以最少的符號傳輸最大的信息量 。
教學課件相關推薦
鄂ICP備17016276號-1