信息論總結(jié)與復(fù)習(xí)ppt課件-免費(fèi)閱讀
【正文】 三種狀態(tài)下發(fā)出符號(hào)的自信息均為 0，平均值也一定為 0。 第二定理 負(fù)責(zé)信道編碼； 信道編碼通過(guò)添加冗余來(lái)檢錯(cuò)糾錯(cuò)，結(jié)果差錯(cuò)減少而傳信率降低。 ? R錯(cuò)兩位以上：查表法， 查 RC對(duì)照來(lái)譯碼。 第三部分、信道編碼 線性分組碼 N 維錯(cuò)誤格式矢量 E 發(fā)送碼字為 C，接收碼字為 R ， 三者的關(guān)系是： E = C ?R； R = C ? E； C =R ? E； 伴隨子向量 S = R 第三部分、信道編碼 信道編碼理論 (2)在上面最佳信源分布下，按最大似然譯碼準(zhǔn)則確定其譯碼規(guī)則，并計(jì)算錯(cuò)誤概率。 （ 3） 節(jié)點(diǎn)參與排隊(duì)放在與自己概率相等符號(hào)后面 。 定義相對(duì)信息率： μ = H∞ /H 0 信源冗余度 （ 或剩余度 ） ： γ =1μ 怎樣將這些冗余壓縮掉 ？ 尋找一種更短的代碼序列 ， 在不損失信息的前提下 ， 替代原來(lái)的符號(hào)序列 。Y) = H(X) – H(X|Y)= H(Y) – H(Y|X)= H(X) +H(Y)–H(XY) （ 2）平均互信息與信息熵之間的關(guān)系： 第一部分、信息論基礎(chǔ) 信道的信息理論 第一部分、信息論基礎(chǔ) 信道的信息理論 5. 信道容量 [例 2]已知信源先驗(yàn)概率 p(x)={, }， 信道傳輸 矩陣 ；試計(jì)算各信息熵和互信息 。 傳輸矩陣 : 信道的分類： （ 1）無(wú)噪無(wú)損信道： ai與 bj是一一對(duì)應(yīng)的， p (bj|ai ) =δ ij ，傳輸矩陣為單位方陣。信息論與編碼 總結(jié)與復(fù)習(xí) 本課程 主要內(nèi)容 一個(gè)理論和三個(gè)編碼 : 理論 香農(nóng)信息論 編碼 信源編碼 信道編碼 保密編碼 第一部分、信息論基礎(chǔ) 信源的信息理論 : 信息的定義： （ 1）自信息 I = log(1/p) =log p （ 2） 信息量 =通信所消除掉的不確定度 =通信前的不確定度 通信后的不確定度 （ 3）信息的單位：對(duì)數(shù)的底取 2時(shí)， 自信息的單位叫比特 (bit)。 （ 2） 有噪有損信道： ai與 bj多 多對(duì)應(yīng)的 ， 傳輸矩陣中所有的矩陣元都有可能不為零 。 H(XY)= – – – –– = bit/符號(hào) 解 :(1)先驗(yàn)熵： H(X)= – = ( –)/lg2 = bit/符號(hào) (2)聯(lián)合熵： 第一部分、信息論基礎(chǔ) 信道的信息理論 H(Y | X)= – – – – –– = bit/符號(hào) (4)接收符號(hào)熵： 由 P(Y)=（ +， +， +） = （ , , ） H(Y)= = bit/符號(hào) (3)噪聲熵： 由 和 第一部分、信息論基礎(chǔ) 信道的信息理論 H(X|Y)= (7/11) …… (9/44)= bit/符號(hào) 或： H(X|Y)=H(XY)H(Y)== bit/符號(hào) (6)平均互信息： I(X。 ?應(yīng)當(dāng) 盡量使所找的編碼序列各個(gè)碼元相互獨(dú)立且等概 ， 就會(huì)使單位符號(hào)信息含量更多 ， 代碼就比原來(lái)更短 。 （ 4）重復(fù)這個(gè)過(guò)程直到合并完全部符號(hào)。 解 :（ 1） 最佳輸入為等概率分布。HT S= R 糾錯(cuò)能力不等式： 2 r ≥Cn0 +Cn1 + Cn2 +……+ Cnt 完備碼：上式取等號(hào)的情況。 定理指出零差錯(cuò)傳輸?shù)?極限傳信率 R ≤ C， 這里 C是信道容量。因此不確定性為 0，
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1