信息論與編碼ppt課件-展示頁
2025-05-15 02:45本頁面
【正文】 )()()。 )/()(l o gl o g)。( iji xIyxI ?? 互信息量的三種不同表達(dá)式 ? 觀察者站在輸出端 ? 自信息量： 對(duì) yj一無所知的情況下 xi存在的不確定度； ? 條件自信息量： 已知 yj 的條件下 xi 仍然存在的不確定度； ? 互信息量： 兩個(gè)不確定度之差是不確定度被消除的部分， 即等于自信息量減去條件自信息量。( 8/1 4/12)( )/(214 4 14 比特??? xp yxpyxI信息論與編碼基礎(chǔ) 離散信道 ? 互信息量的三種不同表達(dá)式 ? 觀察者站在輸出端 )/()(l o gl o g)。( 8/1 4/12)( )/(213 3 13 比特??? xp yxpyxI)(1l o gl o g)。()/(12)(12)()/(2jiiyxpxpxpyxpjiyxIxImjniyxIjiiiii?????????信息論與編碼基礎(chǔ) 離散信道 ? 舉 例 ? 某地二月份天氣構(gòu)成的信源為 ? 收到消息 y1：“今天不是晴天” ? 收到 y1后： p(x1/y1)=0， p(x2/y1)=1/2， p(x3/y1)=1/4， p(x4/y1)=1/4 ?????????????????818141214321 )()()()()( ，雪，雨，陰，晴 xxxxXPX信息論與編碼基礎(chǔ) 離散信道 ? 計(jì)算 y1與各種天氣之間的互信息量 ? 對(duì)天氣 x1，不必再考慮 ? 對(duì)天氣 x2， ? 對(duì)天氣 x3, ? 對(duì)天氣 x4 ? 結(jié)果表明從 y1分別得到了各 1比特的信息量； ? 或者說 y1 使 x2， x3， x4的不確定度各減少量 1比特。 )/()(l o gl o g),2,1。 ? 后驗(yàn)概率： 信宿收到 yj后推測信源發(fā)出 xi的概率 p(xi / yj )。, . . . ,2,1( sjri ??2）轉(zhuǎn)移矩陣 ?????????????rsrrssPPPPPPPPPP. . ...... . .. . .2122221112113）轉(zhuǎn)移概率圖 ),. . .2,1(10riPsjij ????單符號(hào)離散信道 X Y 0 1 0 1 p p 1p 1p a0 ar b0 bs P(bj|ai) 信息論與編碼基礎(chǔ) 離散信道 一定比例的 bit被刪 除，并且接收者知 道是那些 bit已經(jīng)被 刪除。信息論與編碼基礎(chǔ) 信息論與編碼基礎(chǔ) 離散信道 信息論與編碼基礎(chǔ) 離散信道 一、信道模型及分類 二、信道疑義度與平均互信息 三、平均互信息的性質(zhì) 四、離散無記憶的擴(kuò)展信道 五、信道容量 六、信源與信道的匹配 信息論與編碼基礎(chǔ) 離散信道 一、信道模型及分類 二、信道疑義度與平均互信息 三、平均互信息的性質(zhì) 四、離散無記憶的擴(kuò)展信道 五、信道容量 六、信源與信道的匹配 信息論與編碼基礎(chǔ) 離散信道 信道的分類 離散信道的數(shù)學(xué)模型 單符號(hào)離散信道 信息論與編碼基礎(chǔ) 離散信道 信道的分類 離散信道的數(shù)學(xué)模型 單符號(hào)離散信道 離散信道 a、根據(jù)輸入、輸出信號(hào)的時(shí)間特性和取值特性 離散信道 連續(xù)信道 半離散或半連續(xù)信道 波形信道 信息論與編碼基礎(chǔ) 信道的分類 數(shù)字信道 b、根據(jù)輸入集合與輸出集合的個(gè)數(shù) 單用戶信道 多用戶信道 一對(duì)多、多對(duì)一 多對(duì)多 信息論與編碼基礎(chǔ) 離散信道 c、 根據(jù)信道轉(zhuǎn)移概率的性質(zhì) 無噪信道 有噪信道 信道的分類 實(shí)際的通信信道幾乎都是有擾信道 無記憶信道 有記憶信道 實(shí)際信道一般都是有記憶的，信道中的記憶現(xiàn)象來源于物理 信道中的慣性，如電纜信道中的電感或電容、無線信道中電 波傳播的衰落現(xiàn)象等。 d、 按信道統(tǒng)計(jì)特性 恒參信道 變參信道 衛(wèi)星信道 短波信道 e、根據(jù)信道噪聲的性質(zhì) 高斯噪聲信道 非高斯噪聲信道 信息論與編碼基礎(chǔ) 離散信道 信道的分類 離散信道的數(shù)學(xué)模型 單符號(hào)離散信道 信息論與編碼基礎(chǔ) 離散信道 離散信道的數(shù)學(xué)模型 信道 X1212( , , . . . , ): ( , , . . . , )NirX X X XX a a a??Y1212( , , .. ., ): ( , , .. ., )NisY Y Y YY b b b??( | )P y x{ , ( | ), }X P y x Y無擾（無噪）信道 有擾信道 1 , ( )( | )0 , ( )y f xP y xy f x???? ??無記憶信道 有記憶信道 11 1( | ) ( . . . | . . . ) ( | )NN N i iiP y x P y y x x P y x??? ?信息論與編碼基礎(chǔ) 離散信道 信道的分類 離散信道的數(shù)學(xué)模型 單符號(hào)離散信道 信息論與編碼基礎(chǔ) 離散信道 信道 X12: ( , , ..., )rX a a a?Y12: ( , , . . . , )sY b b b?( | )P y x單符號(hào)離散信道 例 1 BSC信道 BSC(p)信道 是實(shí)際中幾乎所有重要的二進(jìn)制脈沖傳輸系統(tǒng)的模型 p為交叉 (crossover)概率 等于解調(diào)器 /檢測器出現(xiàn)硬判決譯碼錯(cuò) 誤的概率 信息論與編碼基礎(chǔ) 離散信道 1）條件轉(zhuǎn)移概率 ijijij PabPaxbyPxyP ????? )|()|()|( ), . . . ,2,1。 例 2 二進(jìn)制刪除信道 單符號(hào)離散信道 1
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1