【正文】 M M M Mp x x x p x p x x p x x x p x x x? ? ?? 信源的分類 —— 無記憶信源 1()Miipx?? ??有記憶信源 ： 信源發(fā)出的各個符號之間不是相互獨立的，是有依賴關系的 。 ? 無記憶信源 ——信源發(fā)出的各個消息符號是相互獨立的，是沒有依賴關系的。 1212( ) ( ) ( )qqx x xXp x p x p xP????? ?????? ??，X： 表示信源的隨機變量； xi：表示信源符號； p(xi)：信源符號 xi出現的概率。 二進制信源： X={0,1} 漢語： X={人 ,口 ,手 ,山 ,水 ,田 ,…} 英語： X={a,b,c,…, x,y,z} 莫爾斯 電報 ： X={? , — ,字符間停頓，詞之間停頓，句子間停頓 } 2022/2/16 計算機科學與技術學院 4 信源的數學模型 ?如何對信源建模？ ?特點：信源可以輸出多個符號，每個符號以一定的概率隨機出現。信息對抗技術研究所 教師：李瓊 哈爾濱工業(yè)大學 第 3章 離散信源 2022/2/16 計算機科學與技術學院 2 主要內容 信源的數學模型及其分類 離散無記憶信源 離散無記憶信源的擴展信源 離散平穩(wěn)信源 馬爾可夫信源 信源的相關性和剩余度 2022/2/16 計算機科學與技術學院 3 信源的數學模型及其分類 編碼器 干擾器 信 源 信 宿 消息 噪聲 信道 信號 +噪聲 信號 譯碼器 消息 ?信息的來源稱為信息源 (Information Source)。 ?信息是抽象的，需要通過消息（ 01序列、漢字、字母、圖像等）來研究信源。 ?因此可以用 概率 來描述信源。 1 1 1 12 4 8 8XP???? ???????????例 ：晴 多 云 雨 冰 雹 1( ) 1 , ( ) 0qiiip x p x????2022/2/16 計算機科學與技術學院 5 ? 根據 信源輸出在時 /空、幅度取值是否 連續(xù)： ? 連續(xù)信源 ——時 /空連續(xù)、幅度連續(xù)（如自然圖像） ? 離散信源 （ 數字信源 ） ——時 /空離散、幅度離散 （如數字圖像） 1212( ) ( ) ( )qqx x xXp x p x p xP????? ?????? ?? ( , )()X a bP p x? ? ? ??? ? ? ?? ? ? ? 信源的分類 —— 離散信源與連續(xù)信源 2022/2/16 6 數字圖像示例 信源的分類 —— 離散信源與連續(xù)信源 2022/2/16 7 信源的分類 正常人 精神病患者 ? 根據 信源輸出是否 獨立 ： ? 有記憶信源 ——信源發(fā)出的各個符號之間不是相互獨立的，是有依賴關系的。 —— 有記憶與無記憶信源 ?無記憶信源 ：信源發(fā)出的各個消息符號是相互獨立的，是沒有依賴關系的。 ? 例如：自然語言、數字圖像等。 ?p(xi | xi1 xi2 … xim) ? 如果只與前 m個符號有關系，則稱 m為記憶長度 ?無限記憶信源 ：信源發(fā)出的消息符號與前面出現的所有符號都有關系。 1( ) 1 , ( ) 0qiiip x p x?????定義 信源中某個事件（消息符號）的 自信息量 I(xi) = log p(xi) ?定義 信源的 平均自信息量 （ 信源熵 ） ?信源熵的單位 ? 信源符號（消息符號）的自信息量表示該符號帶有多少信息量 ? 信源熵表示的是平均每個符號帶有多少信息量 ? 所以當底數為 2時，信源熵的單位為： 比特 /符號 ????????qiiiqiiii xpxpxIxpxIEXH11)(l og)()()())(()(信源輸出哪個符號是不確定的 一旦輸出一個符號，便消除了這種不確定性 即帶來了信息 因此仍然用概率衡量信源包含的信息量的大小 離散無記憶信源 —— 信源的自信息量和平均自信息量 信源熵的例子 ?例 解： 1 2 31 2 3{ , , }1 1 1( ) , ( ) , ( )2 4 4X x x xp x p x p x?? ? ?設 信 源 符 號 集 ， 每 個 符 號 發(fā) 生 的 概 率 為， 求 信 源 熵 。 ?????????????????????ppqpPX11010)()1l og ()1(l og)(pHppppXH???????可以一個符號一個符號的來研究信源，但有時這樣不能滿足實際應用的需要。 ? 英語：更多地考察的是單詞，而不是字母。 ?N次擴展信源：集合中的每一個元素是一個 N維隨機矢量 ? 二進制信源： X={00,01,10,11}, N=2 ? 漢語： X={我們在上課，張三睡著了， …}, N=5 ? 英語： X={the, car, ear, she, you, …}, N=3 離散無記憶信源的擴展信源 ?二次擴展信源（ N=2） ?qN=4=22， q=2， N=2 ?例如： p(01)=p(0)p(1)=p(1p) ?三次擴展信源 （ N=3） ?qN=8=23， q=2， N=3 ?例如： p(011)=p(0)p(1)p(1)=p(1p)2 21 2 3 41 2 3 41 2 3 4( ) ( ) ( ) ( )00 01 10 11( ) ( ) ( ) ( )Xp p p pPp p p p? ? ? ?? ? ? ?? ? ? ??? ????? ????????? ????12i i iaa? ?1 2 1 2( ) ( ) ( )i i i i ip p a p a p p? ??31 2 81 2 81 2 8( ) ( ) ( )00 0 00 1 11 1( ) ( ) ( )Xp p pPp p p? ?? ?? ? ??? ????? ????????? ????1 2 3i i i ia a a? ?1 2 31 2 3( ) ( ) ( ) ( )i i i ii i ip p a p a p ap p p? ??01 21X qP p p? ? ? ???? ? ? ??? ? ? ?二元信源的擴展信源 ?定義 X是一個離散無記憶信源 則 X的 N次擴展 信源 為： ?其中 1212( ) ( ) ( )NNNqqXp p pP? ? ?? ? ?????? ?????? ??1212( ) ( ) ( )qqx x xXp x p x p xP????? ?????? ??12 Ni i i ix x x? ?11( ) ( )kkNNi i ikkp p x p???????NX X X X? ? ? ?離散無記憶信源的 N次擴展 N次擴展信源的熵 ?定義 離散無記憶信源 X的 N次擴展信源 XN的熵等于信源 X的熵的 N倍，即 H(XN) = NH(X) ?證明： 1( ) ( ) l o g ( )NqNiiiH X p p????