【正文】 ( / ) ( )LLLLlLllH H X X XH X H X X H X X XH X H XXX???? ? ? ????? ? ? ?1LH XXHL?? ? ? ?1LllH H XX?? ?? ? ? ?H X LH X?2021/6/15 25 離散平穩(wěn)信源 ?結(jié)論 1： H(XL/XL1)是 L的單調(diào)非增函數(shù) ?結(jié)論 2： HL (X) ≥H(XL/XL1) ?結(jié)論 3： HL (X)是 L的單調(diào)非增函數(shù) ?結(jié)論 4：當(dāng) L→∞ 時， H∞(X)稱為極限熵 ? ? ? ? ? ? ? ?0 1 2H X H X H HXX ?? ? ?? ? ? ? ? ?1 2 1l im l im /L L LLLH H H X X XX XX??? ? ? ??2021/6/15 26 馬爾可夫信源 ? 若一個信源滿足下面兩個條件，則稱為 馬爾可夫信源 ： ? 某一時刻信源輸出符號的概率只與當(dāng)前所處的狀態(tài)有關(guān)，而與以前的狀態(tài)無關(guān)； ? 信源的下一個狀態(tài)由當(dāng)前狀態(tài)和下一刻的輸出符號唯一確定。 ? 狀態(tài)轉(zhuǎn)移概率 ? 當(dāng)信源符號 xj出現(xiàn)后，信源所處的狀態(tài)將發(fā)生變化，并轉(zhuǎn)入一個新的狀態(tài)。 2021/6/15 27 狀態(tài)轉(zhuǎn)移圖（香農(nóng)線圖） ? 齊次馬爾可夫鏈可以用其狀態(tài)轉(zhuǎn)移圖（香農(nóng)線圖）表示 ? 每個圓圈代表一種狀態(tài) ? 狀態(tài)之間的有向線代表從某一狀態(tài)向另一狀態(tài)的轉(zhuǎn)移 ? 有向線一側(cè)的符號和數(shù)字分別代表發(fā)出的符號和條件概率 so s1 x2/ x1/ x1/ s2 x2/ x1/ x2/ p(x1/s2)= p(s2/s2)= 2021/6/15 28 i ij jiW p W??? ?l im kij jk pW?? ?穩(wěn)定的馬爾可夫信源 ? 極限概率 Wj ? 一個不可約的、非周期的、狀態(tài)有限的馬爾可夫鏈，其k步轉(zhuǎn)移概率 pij(k)在 k→∞ 時趨于一個和初始狀態(tài)無關(guān)的概率，即 ? 不論起始狀態(tài)如何，這種馬氏鏈都可以最后達(dá)到穩(wěn)定，即所有變量 Xk的概率分布均不變。 ? 平穩(wěn)分布 Wj可用下列方程組求得 1jjW ??2021/6/15 29 馬爾可夫信源的熵 ? M階馬爾可夫信源的極限熵 ? 齊次、遍歷的馬爾可夫信源的熵 1 ( ) ( / )m i iiH p s H X s? ? ?( / ) ( / ) l o g ( / )i j i j ijH X s p x s p x s?? ?處于狀態(tài) si時符號的平均不確定性 ? ? ? ?? ? ? ?1 2 11 1 2 1l i m //LLLm m mH H X X X XHXXX X X H X?? ???????　 2021/6/15 30 第 3章 信道與信道容量 ? 重點(diǎn)掌握 ? 有干擾無記憶信道的數(shù)學(xué)描述 ? 信道容量的定義 ? 對稱和準(zhǔn)對稱 DMC信道的信道容量計算 ? 香農(nóng)公式 ? 一般了解 ? 信道的各種分類 ? 無干擾離散信道的信道容量 ? 信源和信道的匹配 2021/6/15 31 信道的分類 ? 按信道的用戶數(shù)量來劃分 單用戶信道、多用戶信道 ? 按輸入 /輸出之間的關(guān)系來劃分 無反饋信道、反饋信道 ? 按信道參數(shù)與時間的關(guān)系來劃分 固定參數(shù)信道、時變參數(shù)信道 ? 按信道中的噪聲種類來劃分 隨機(jī)差錯信道、突發(fā)差錯信道 ? 按輸入 /輸出信號在幅度和時間上的取值劃分 離散信道、連續(xù)信道、半離散半連續(xù)信道、波形信道 2021/6/15 32 信道模型 ? 根據(jù)干擾和記憶性分類 ? 無干擾（無噪聲）信道 ? 有干擾無記憶信道 ? 有干擾有記憶信道 ? 信道模型 ? 信道的輸入 Xi={a1, a2,…, an} ? 信道的輸出 Yj={b1, b2,…, bm} ? 信道轉(zhuǎn)移概率矩陣 p(Y/X) 信 道 輸入 X 輸出 Y p(Y/X) 2021/6/15 33 信道模型 1. 二進(jìn)制離散信道 ： BSC信道 ? 輸入符號 X取值 {0,1} ? 輸出符號 Y取值 {0,1} 2. 離散無記憶信道 ： DMC信道 ? 輸入符號集 X={a1, a2,…, an} ? 輸出符號集 Y={b1, b2,…, bm} 11pppPp???? ?????11 12 121 22 212mmn n nmp p pp p pppPp?????????2021/6/15 34 信道模型 3. 離散輸入、連續(xù)輸出信道 ? 輸入符號集： X={a1, a2,…, an} ? 輸出未經(jīng)量化，即 Y={∞,∞} ? 輸出特性由離散輸入 X、連續(xù)輸出 Y以及一組條件概率密度函數(shù) p( y /X=ai) 來決定。Y) bit/符號 ? 信道中平均每個符號能傳送的信息量 ? 信息傳輸速率 Rt ＝ I (X。Y)是概率矢量 Px的上凸函數(shù)。 ? ? ? ? ? ?? ?( ) ( ) 11/m a x ( 。Y)=log n ?無噪有損信道 ? C=max I(X。Y)=max H(X) 2021/6/15 38 DMC信道的容量 1. 對稱 DMC信道的性質(zhì) ① 對稱信道的條件熵 H(Y/X)與信道輸入符號的概率分布無關(guān)。 ③ 當(dāng)信道輸入符號等概率分布時，對稱 DMC信道達(dá)到其信道容量。 ) l o g / iC I X Y m H Y a? ? ? ?xP2021/6/15 39 ? ?121l o g , , l o grs k kkC n H p p p N M?? ? ?? ? ? ?DMC信道的容量 2. 準(zhǔn)對稱 DMC信道的容量 ? 如果轉(zhuǎn)移概率矩陣 P的輸入對稱而輸出不對稱，則稱該信道是 準(zhǔn)對稱 DMC信道 。 ? 矩陣分解法：將轉(zhuǎn)移概率矩陣劃分成若干個互不相交的對稱子矩陣。 ? 為了使 I(X。Y)＝ C，對于所有滿足 p(xi)＞ 0條件的 i ? I(xi。XLL PlC I C l CY LlX?? ? ??2021/6/15 42 連續(xù)信道 ? 連續(xù)單符號加性信道 ? 信道的輸入和輸出都是取值連續(xù)的一維隨機(jī)變量，加入信道的噪聲是均值為零、方差為σ2的加性高斯噪聲。 ? 受加性高斯白噪聲干擾的帶限波形信道 ? 輸入 x(t)、輸出 y(t)和噪聲 n(t)：模擬波形 2021/6/15 43 香農(nóng)公式 ? 香農(nóng)公式 ? W：頻帶寬度，簡稱帶寬 ? SNR (信噪比 )：表示信號功率與噪聲功率的比值 ? 加性白噪聲的功率譜密度為 N0 /2 ? Pav：信號的平均功率 ? 香農(nóng)限 ? 每傳輸 1比特信息所需的能量。 ? ?0l o g 1 l o g 1avPC W W S N RWN??? ? ? ?????2021/6/15 44 ? ?0l o g 1 l o g 1SPC W W S N RWN??? ? ? ?????香農(nóng)公式的討論 ? 帶寬 W一定時， 信道容量 C 隨 信噪比 SNR的增加而單調(diào)增加，因此增大信號功率、減小信道噪聲可以增加信道容量。 ? 如果 輸入信號功率 PS固定， 信道容量 C 隨 帶寬 W的增加而增加。 2021/6/15 45 信源與信道的匹配 ? 符號匹配 ? 信源輸出的符號必須是信道能夠傳送的符號，這是實現(xiàn)信息傳輸?shù)谋匾獥l件。 ? 信道冗余度 ? 信道絕對冗余度＝ C－ I(X。1C I X Y I X YCC?? ? ?2021/6/15 46 第 4章 信息率失真函數(shù) ? 重點(diǎn)掌握 ? 失真函數(shù)、平均失真 ? 保真度準(zhǔn)則 ? 信息率失真函數(shù)的定義域 ? 信息率失真函數(shù)與信道容量的比較 ? 一般了解 ? 信