【正文】 即對任意概率矢量 和 及任意 則有 8） 信息熵的極值性（最大離散熵定理） qqqqHpppH q l o g)1,1,1(),( 21 ?? ??9） 信息熵的上凸性 ),( 21 qppp ??P)(PH?),( 211 qppp ??P ),( 39。香農(nóng) （ Claude Elwood Shannon） 第二章 離散信源及其信息測度 信源的數(shù)學(xué)模型及分類 信源的自信息 * 信息熵及基本性質(zhì) * 離散無記憶擴展信源 離散平穩(wěn)信源 馬爾科夫信源 * 信源的剩余度與自然語言的熵 離散信源 ：信源輸出的都是單個符號的消息，符號集的取值是有限的或可數(shù)的 且滿足 X為樣本空間 P(x)為每個符號出現(xiàn)的概率，稱為先驗概率 ?????????????)(,),(),(,)( 2121qqaPaPaPaaaxPX??1)(1???qiiaP連續(xù)信源 ：信源輸出的都是單個符號的消息，符號集的取值是連續(xù)的或取值是實數(shù)集 R=(?,?) 或 并滿足 或 ????????????? )(),()( xPbaxPX ??????)(xPR? ?ba dxxp 1)( ? ?R dxxp 1)(平穩(wěn)信源 與 非平穩(wěn)信源 ： 任意兩個不同時刻隨機矢量 X的各維概率分布 都相同 （不相同） N維隨機矢量 ：由 N個符號組成的符號序列 N次擴展信源 ：信源輸出的消息是按一定概率選取的由 N個符號組成的序列，即輸出的是隨機矢量 有記憶信源 與 無記憶信源 ：發(fā)出的符號之間 有 （沒有） 相互依賴關(guān)系 離散信源 連續(xù)信源 平穩(wěn)信源 非平穩(wěn)信源 有記憶信源 無記憶信源 幾種信源分類之間的關(guān)系 信源的自信息 不確定性