【正文】 展過程 ? 信息論的研究內(nèi)容 2021/6/15 2 信息的特征 ? 信息的基本概念在于它的 不確定性 ， 任何已確定的事物都不含信息。 )(l o g)( jiji yxpyxI ??2021/6/15 13 條件自信息量 ? 在事件 yj出現(xiàn)的條件下，隨機事件 xi發(fā)生的條件概率為 p(xi / yj) ，則它的條件自信息量定義為條件概率對數(shù)的負(fù)值： ? 在給定 yj條件下，隨機事件 xi所包含的不確定度在數(shù)值上與條件自信息量相同，但兩者含義不同。 2( | )( 。 ? 信源 X的熵等于接收到的信息量加損失掉的信息量。 ? 符號條件概率 ? 信源在某一時刻出現(xiàn)符號 xj的概率與信源此時所處的狀態(tài) si有關(guān)，用條件概率表示為 p(xj /si)。Y) / t bit /s ? 信道中單位時間傳送的信息量 ? 信道容量 ? 給定轉(zhuǎn)移概率矩陣 P后，平均互信息 I(X。 ② 如果信道輸入符號等概率分布，則信道輸出符號也等概率分布；反之，若信道輸出符號等概率分布時，信道輸入符號也是等概率分布。Y)最大化，即求取信道容量的值，輸入概率集 {p(xi)}必須滿足的充分必要條件是： ? I(xi。 ? 信道容量 C一定時， 帶寬 W增大， 信噪比 SNR可降低，即二者可以互換。 ? 失真函數(shù) d(xi,yj) ? 描述某個信源符號通過傳輸后失真的大小。 ? R(D)在定義域內(nèi)是關(guān)于 D的連續(xù)函數(shù)。 ) ( ) ( / ) l o g()jii j iij jp y xI X Y p x p y xpy? ?? 信道固定 輸入概率分布固定 2021/6/15 55 率失真函數(shù)和信道容量的比較 2021/6/15 56 第 5章 信源編碼 ? 重點掌握 ? 分組碼的屬性 ? 唯一可譯碼的判斷方法 ? 信源編碼定理 ? 香農(nóng)編碼、費諾編碼、哈夫曼編碼 ? 一般了解 ? 編碼的術(shù)語 ? 游程編碼、算術(shù)編碼 2021/6/15 57 分組碼屬性 碼 非分組碼 分組碼 奇異碼 非奇異碼 非唯一可譯碼 唯一可譯碼 非即時碼 即時碼（非延長碼） 2021/6/15 58 碼樹 ? 中間節(jié)點不安排碼字，只在終端節(jié)點安排碼字 ? 每個終端節(jié)點對應(yīng)的碼字由從根節(jié)點出發(fā)到終端節(jié)點走過的路徑上所對應(yīng)的符號組成 ? 當(dāng)?shù)?i階的節(jié)點作為終端節(jié)點，且分配碼字，則碼字的碼長為 i ? 按樹圖法構(gòu)成的碼一定滿足即時碼的定義 ? 樹碼的各個分支都延伸到最后一級端點，則稱為 滿樹 ，否則為 非滿樹 ? 滿樹碼是定長碼，非滿樹碼是變長碼 2021/6/15 59 11inKim ????克勞夫特不等式 ?唯一可譯碼 存在 的充分和必要條件為：各碼字的長度 Ki 應(yīng)滿足下式。最終得到碼 C的所有可能的尾隨后綴的集合 F。 ? 對任意 ε0， δ0，只要 則當(dāng) L足夠大時，必可使譯碼差錯小于 δ； ? 反之，當(dāng) 時，譯碼差錯一定是有限值，而當(dāng) L足夠大時，譯碼幾乎必定出錯。 2021/6/15 69 哈夫曼編碼方法 ? 哈夫曼編碼的步驟 1. 將信源消息符號按其出現(xiàn)的概率大小依次排列 p(x1)≥p(x2)≥…≥ p(xn) 2. 取兩個概率最小的符號分別配以 0和 1，并將這兩個概率相加作為一個新符號的概率，與未分配碼元的符號重新排隊。 ? 哈夫曼碼 對信源的統(tǒng)計特性沒有特殊要求，編碼效率比較高，對編碼設(shè)備的要求也比較簡單，因此綜合性能優(yōu)于香農(nóng)碼和費諾碼。記為 (n, k) ? 卷積碼 ：增加的 r個校驗元既與本組信息元有關(guān)，還與前面 L組信息元有關(guān)。 ? 與信源編碼定理類似，香農(nóng)第二定理只是一個存在性定理 ，它指出信道容量是一個臨界值，只要信息傳輸率不超過這個臨界值，信道就可以幾乎無失真地把信息傳送過去。 ? 反之，當(dāng) R＞ C時，任何編碼的 Pe＞ 0。 ? 碼的最小距離 dmin：在某一碼集 C中，任意兩個碼字之間漢明距離的最小值稱為該碼的最小距離，即 ? ?? ?m i n m in , ,i j i j i jd D C C C C C C? ? ?　 　 　 　C最小碼距是衡量該碼糾錯能力的重要依據(jù) 2021/6/15 74 與差錯控制有關(guān)的基本概念 ? 錯誤圖樣 ? 在二元無記憶 N次擴展信道中，差錯的形式也可以用二元序列來描述，稱為 錯誤圖樣 。 ? 費諾碼和哈夫曼碼的編碼方法都不惟一。 3. 將每一分組再按同樣原則劃分，重復(fù)步驟 2，直至概率不再可分為止。 4. 按 唯一可譯碼判斷法 進(jìn)行判斷。依此下去，直到?jīng)]有一個尾隨后綴是碼字的前綴為止。 )ipxC I X Y?)。 ? R(D)的定義域 ? 率失真函數(shù)的定義域問題就是在信源和失真函數(shù)已知的情況下，討論允許平均失真度 D的最小和最大取值問題，即 [Dmin,Dmax] ? Dmin的計算 ? Dmax的計算 ( ) m in ( 。Y) ? 信道相對冗余度 ? ? ? ?。 ? 當(dāng)歸一化的信噪比小于香農(nóng)限（ ）時，歸一化信道容量為零，即信道完全喪失通信能力。 ? ? ? ?m a x / iC H Y H Y a?? ????xP2021/6/15 40 DMC信道的容量 3. 一般 DMC信道的容量 ? 以輸入符號概率矢量 Px為自變量的函數(shù) I(Px)的極大值，即信道容量。Y)=max H(Y) ?有噪無損信道 ? C=max I(X。 4. 波形信道 ? 輸入是模擬波形，輸出也是模擬波形 ? 連續(xù)無記憶信道和連續(xù)有記憶信道 ? y(t)＝ x(t)＋ n(t) n(t)代表加性噪聲 2021/6/15 35 信道容量的定義 ? 信道傳輸率 R ＝ I (X。Y) ( 。 ) ( ) ( / ) l og()( / )( ) l og()( 。 ? 接收到某消息 yj后獲得的關(guān)于事件 xi的信息量，用 I(xi。 2021/6/15 12 聯(lián)合自信息量 ? 兩個消息 xi， yj同時出現(xiàn)的聯(lián)合自信息量 ? 當(dāng) xi, yj相互獨立時，有 p(xi yj)=p(xi)p(yj)，那么就有 I(xi yj)=I(xi)+I(yj)。 ? 接收者在收到信息之前，對它的內(nèi)容是不知道的，所以信息是新知識、新內(nèi)容 ? 信息是能使認(rèn)識主體對某一事物的未知性或不確定性減少的有用知識 ? 信息可以產(chǎn)生，也可以消失，同時信息可以被攜帶、貯存及處理 ? 信息是可以量度的，信息量有多少的差別 2021/6/15 3 消息、信號和信息 ? 信號最具體，它是一物理量，可測量、可顯示、可描述，同時它又是載荷信息的實體 ? 消息是具體的、非物理的，可描述為語言文字、符號、數(shù)據(jù)、圖片，能夠被感覺到，同時它是信息的載荷體，是信息論中主要描述形式 ? 信息是抽象的、非物理的 哲學(xué)層表達(dá) 信息的物理層表達(dá) 信息的數(shù)學(xué)層表達(dá) 2021/6/15 4 通信系統(tǒng)模型簡介 信道 信源 信源編碼 加密 信道編碼 干擾源 信宿 信源解碼 解密 信道解碼 加密密鑰 解密密鑰 2021/6/15 5 第 2章 信源及信源熵 ? 重點掌握 ? 信源的分類和數(shù)學(xué)描述 ? 自信息量、互信息 ? 離散信源熵 ? 離散序列信源的熵 ? 熵的性質(zhì) ? 一般了解 ? 連續(xù)信源熵 ? 冗余度 2021/6/15 6 信源分類 離散 信源 { 離散 無記憶 信源 離散 有記憶 信源 { { 發(fā)出單個符號的無記憶信源 發(fā)出符號序列的無記憶信源 發(fā)出符號序列的有記憶信源 發(fā)出符號序列的馬爾可夫信源 2021/6/15 7 ? ? ? ? ? ??????????????????nnxpxpxpxxxPX??2121 ? ? ? ? 1,01?? ??n