信息論總結與復習ppt課件-資料下載頁
2025-05-06 02:45本頁面
【正文】 R(D)=H(X)H(D)Dlog(r1) H(X)== 當 D= ， H(D)== 最小傳信率： R()==； 所以 D max = min [ , , ]= 計算 Dmax： ↓ ↓ ↓ ? ? ? 各列相加 第四部分、限失真信源編碼 ：率失真函數(shù) 第四部分、限失真信源編碼 ：香農(nóng)三定理 香農(nóng)三個定理： 三個定理各有自己管轄的范圍，各指出信息率的一個理論極限： 第一定理 負責無失真信源編碼； 用信息含量更濃的代碼序列代替原先有冗余的信源序列。定理指出 無失真信源編碼的極限信息率 R ≤log m， 這里 m是編碼的符號個數(shù)。 第二定理 負責信道編碼； 信道編碼通過添加冗余來檢錯糾錯，結果差錯減少而傳信率降低。 定理指出零差錯傳輸?shù)?極限傳信率 R ≤ C， 這里 C是信道容量。 第三定理 負責限失真信源編碼； 通過削減次要信息使傳信率降低。 但是要 滿足指定的保真度，限失真信源編碼的極限傳信率 R≤ R(D)， R (D)是信源的率失真函數(shù)。 第五部分、典型題目 計算題： 1． 一階馬爾可夫信源的狀態(tài)圖如右，信源 X的符號集為{0,1,2}，圖中 。分別求： (1)平穩(wěn)后的信源概率分布； (2)信源熵 H∞； (3)求 p=1時實際信源的熵，并說明所得結果的理由。 解 ： (1) 一階馬爾可夫信源 ， 狀態(tài)為單個符號 ， 信源符號集為 X={0,1,2}，E1=0,E2=1,E3=2,穩(wěn)態(tài)概率滿足 ： Q(0)=p Q(0)＋ (1p) Q(1) Q(1)=p Q(2)＋ (1p)Q(1) 且 ， Q(0)+Q(1)＋ Q(2)＝ 1 解方程： Q(0)＝ 1/3； Q(1)＝ 1/3； Q(2)＝ 1/3； (2) (3) 實際信源熵為 H∞。 p=0時 ， 理由：因為每種狀態(tài)都只發(fā)兩個符號，當一種符號概率為 1時，另一個必然為 0，實際上只發(fā)一種確定的符號，成為確定事件，其自信息為 0。三種狀態(tài)下發(fā)出符號的自信息均為 0，平均值也一定為 0。因此不確定性為 0，所以信源熵為 0。 a、 b兩個符號 ， 概率分別為 ， 試用 三次擴展信源 進行編碼 。 解：根據(jù) p(x1x2x3)=p(x1)p(x2)p(x3) 不難求出 三次擴展信源的概率空間為： 按 8個符號的概率排隊 ， 進行赫付曼編碼 第五部分、典型題目 bbb bba bab abb () () baa aba aab () () aaa () root 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1011 1010 1001 1000 011 010 11 00 碼字 4 4 4 4 3 3 2 2 碼長 第五部分、典型題目 碼字 00 11 010 011 1000 1001 1010 1011 碼長 2 2 3 3 4 4 4 4 碼字平均長度： LN=； 信源符號平均編碼長度： 信源信息熵 : H(X)== 編碼效率： η=第五部分、典型題目 全面復習 重點掌握 重視概念 細心運算 動手動腦 不存僥幸 祝大家取得滿意的考試成績！
教學課件相關推薦
鄂ICP備17016276號-1