【正文】 散平穩(wěn)信源 馬爾科夫信源 * 信源的剩余度與自然語言的熵 離散信源 ：信源輸出的都是單個符號的消息，符號集的取值是有限的或可數(shù)的 且滿足 X為樣本空間 P(x)為每個符號出現(xiàn)的概率，稱為先驗概率 ?????????????)(,),(),(,)( 2121qqaPaPaPaaaxPX??1)(1???qiiaP連續(xù)信源 ：信源輸出的都是單個符號的消息，符號集的取值是連續(xù)的或取值是實數(shù)集 R=(?,?) 或 并滿足 或 ????????????? )(),()( xPbaxPX ??????)(xPR? ?ba dxxp 1)( ? ?R dxxp 1)(平穩(wěn)信源 與 非平穩(wěn)信源 ： 任意兩個不同時刻隨機矢量 X的各維概率分布 都相同 （不相同） N維隨機矢量 ：由 N個符號組成的符號序列 N次擴展信源 ：信源輸出的消息是按一定概率選取的由 N個符號組成的序列，即輸出的是隨機矢量 有記憶信源 與 無記憶信源 ：發(fā)出的符號之間 有 （沒有） 相互依賴關(guān)系 離散信源 連續(xù)信源 平穩(wěn)信源 非平穩(wěn)信源 有記憶信源 無記憶信源 幾種信源分類之間的關(guān)系 信源的自信息 不確定性 I 是概率的函數(shù) 第一次測量獲得的信息量 如果事件 發(fā)生的概率為 ,事件 發(fā)生所含有的信息量，就稱為 自信息量 ，表示為 )]([)]([ 21 xPIxPI ?ia )( iaP ia)]([ xPI)]([ iaPI自信息量的特點 1. 如果 ，則 2. 當 ，則 3. 當 ，則 4. 兩個獨立事件聯(lián)合信息量等于他們分別的信息量之和 自信息量的計算公式 如果事件 發(fā)生的概率為 ,事件發(fā)生的自信息量為 )(1lo g