《信息論總結(jié)與復習》ppt課件-文庫吧
2025-04-21 02:45 本頁面
【正文】 信源的信息理論 因此 ， 穩(wěn)態(tài)符號熵 =1bit/符號 。 第一部分、信息論基礎(chǔ) 信道的信息理論 信道的信息理論 : 信道的數(shù)學模型： 進入廣義信道的符號為 ai∈ A；從廣義信道出來的符號 bj ∈ B；其前向概率為 pij=p(bj|ai)。 傳輸矩陣 : 信道的分類： （ 1）無噪無損信道： ai與 bj是一一對應的， p (bj|ai ) =δ ij ，傳輸矩陣為單位方陣。 （ 2） 有噪有損信道： ai與 bj多 多對應的 ， 傳輸矩陣中所有的矩陣元都有可能不為零 。 特例是 BSC信道 。 （ 3） 有噪無損信道 分組一對多 （ 彌散 ） ， 傳輸矩陣應具有一行多列的分塊對角化形式 。 （ 4）無噪有損信道： 分組多對一（歸并）， 其傳輸矩陣應具有多行一列的分塊對角化形式。 （ 5） 對稱信道： 傳輸矩陣的各行都是一些相同元素的重排 ，各列也是一些相同元素的重排 。 第一部分、信息論基礎(chǔ) 信道的信息理論 第一部分、信息論基礎(chǔ) 信道的信息理論 信道有關(guān)的信息熵： （ 1）信源熵 (先驗熵 )： （ 2） 噪聲熵 (散布度 )： （ 3） 聯(lián)合熵： （ 4）接收符號熵： （ 5） 損失熵 (后驗熵 )： 第一部分、信息論基礎(chǔ) 信道的信息理論 4. 平均互信息 （ 1） 平均互信息的定義： ?系統(tǒng)完成一個符號從發(fā)到收的通信過程后 ， 關(guān)于符號 ai的不確定度的變化為： ?統(tǒng)計平均而言，平均每收發(fā)一對符號信宿所獲得的 信息量為： H(X|Y) I (X。Y) H(Y|X) 損失熵 平均互信息 噪聲熵 H(XY) H(X) H(Y) 信源熵 接收符號熵 計算公式： I (X。Y) = H(X) – H(X|Y)= H(Y) – H(Y|X)= H(X) +H(Y)–H(XY) （ 2）平均互信息與信息熵之間的關(guān)系： 第一部分、信息論基礎(chǔ) 信道的信息理論 第一部分、信息論基礎(chǔ) 信道的信息理論 5. 信道容量 [例 2]已知信源先驗概率 p(x)={, }， 信道傳輸 矩陣 ；試計算各信息熵和互信息 。 H(XY)= – – – –– = bit/符號 解 :(1)先驗熵： H(X)= – = ( –)/lg2 = bit/符號 (2)聯(lián)合熵： 第一部分、信息論基礎(chǔ) 信道的信息理論 H(Y | X)= – – – – –– = bit/符號 (4)接收符號熵： 由 P(Y)=（ +， +， +） = （ , , ） H(Y)= = bit/符號 (3)噪聲熵： 由 和 第一部分、信息論基礎(chǔ) 信道的信息理論 H(X|Y)= (7/11) …… (9/44)= bit/符號 或： H(X|Y)=H(XY)H(Y)== bit/符號 (6)平均互信息： I(X。Y)=H(X)H(X|Y)= –= bit/符號 (5)損失熵 ： 第一部分、信息論基礎(chǔ) 信道的信息理論 第一部分、信息論基礎(chǔ) 信道的信息理論 （ 2） 信道容量的定義： 對于給定的信道 ， 既然總存在一個信源能使互信
教學課件相關(guān)推薦
鄂ICP備17016276號-1