多符號離散信道(1)(參考版)
2025-05-19 01:58本頁面
【正文】 這就是香農(nóng)無失真信源編碼理論，它使信源和信道達到匹配，傳輸?shù)男畔⒘窟_到最大，提高了信息傳輸?shù)挠行?。?們 也 可 以 用相 對 剩 余 度來 描 述 信 源 與 信 道 的 匹 配 程 度 。 ) ( 。 )( 。否則認為信道有剩余。這時，信道的信息傳輸率還有提高的可能。 ? 一般情況下信源與信道連接時，其信息傳輸率R=I(X。 ? 只有當輸入符號的概率分布 P(x)滿足一定條件時才能達到信道容量 C。 HUST Furong WANG Information and Coding Theory 38 信源和信道匹配 ? 信源發(fā)出的消息符號一般要通過信道來傳輸。設 X、 Y、 Z滿足馬氏鏈的性質(zhì)。當 串 聯(lián) 級 數(shù) 增 加 時 ， 損 失 的 信 息 越 大 。 ... 當 時 ， 串 聯(lián) 信 道 退 化 為 一 個 二 元 對 稱 信 道 ，其 平 均 互 信 息 量 等 于 曲 線 ；當 時 ， 曲 線 等 于 曲 線 。 。 。 。 ) 1 [ 3 ( 1 ) ]I X W H p p p? ? ? ?( 。 ) 1 [ 2 ( 1 ) ]如 果 設 、 、 為 馬 爾 可 夫 鏈 ，則 串 聯(lián) 信 道 的 總 的 信 道 矩 陣 為于 是 ， 根 據(jù) 平 均 互 信 息 的 定 義 ， 可 以 算 出??? ? ? ???? ? ? ???? ? ? ???? ? ????? ? ???? ? ? ? ?X Y Zp p p pp p p pp p p pp p p pI X Y H p I X Z H p pP P PHUST Furong WANG Information and Coding Theory 32 n個二元對稱信道串聯(lián) ? 如果在兩個二元對稱信道串聯(lián)之后再增加一個級聯(lián)環(huán)節(jié)，可得 ? 依次類推， n個二元對稱信道經(jīng)串聯(lián)后，其平均互信息量如下圖所示。 ) 1 ( ) 。 ? 設第一個二元對稱信道的輸入符號的概率空間，以及兩個二元對稱信道的信道矩陣為 120 1 1。它深刻地反映了信息的物理意義。 ? 如果一旦在某一過程中丟失一些信息，以后的系統(tǒng)不管如何處理，如不觸及到丟失信息過程的輸入端，就不能再恢復已丟失的信息。如 果 信 道 是 數(shù) 據(jù) 處 理 系 統(tǒng) ，則 對 接 收 到 的 數(shù) 據(jù) 進 行 處 理 后 ， 無 論 變 量 是 的 確 定對 應 關(guān) 系 還 是 概 率 關(guān) 系 ， 均 不 會 減 少 關(guān) 于 的 不 確 定 性 。??HUST Furong WANG Information and Coding Theory 28 數(shù)據(jù)處理定理（續(xù)） ? ? ? ?||XY Z YXp x y p x z??若 要 使 數(shù) 據(jù) 處 理 后 獲 得 的 關(guān) 于 的 平 均 互 信 息 保 持 不 變 ，必 須 滿 足 。?p x y p x z x y z信道 I 信道 II X Y Z( / )p y x ( / )p z xy( / ) 1p y x ?? ( / ) 1p z x y ??如 果 信 道 是 無 損 一 一 對 應 信 道 時 ， 這 個 條 件 顯 然 滿 足 。若 隨 機 變 量 、 、 構(gòu) 成 一 個 馬 爾 可 夫 鏈 ， 則 有該 定 理 表 明 ： 通 過 串 聯(lián) 信 道 的 傳 輸 只 會 丟 失 信 息 ，不 會 增 加 信 息 ， 至 多 保 持 原 來 的 信 息 量 。 。 。HUST Furong WANG Information and Coding Theory 26 數(shù)據(jù)處理定理 ZYX X Y Z如 果 輸 出 隨 機 變 量 僅 依 賴 于 隨 機 變 量 ， 而 與 前 面的 無 關(guān) , 則 意 味 著 隨 機 變 量 、 、 構(gòu) 成 一 個 一 階馬 爾 可 夫 鏈 。是 接 收 到 后 獲 得 關(guān) 于 變 量 的 信 息 量 。 ( / ) ( / )。 ) ( 。 ) 。X 信道 I 信道 II Y Z( / )p y x ( / )p z xy( / ) 1?? p y x ( / ) 1?? p z x yHUST Furong WANG Information and Coding Theory 25 定理 ? 級聯(lián)信道中的平均互信息滿足以下關(guān)系 ? ?? ?? ? ( 。 HUST Furong WANG Information and Coding Theory 23 級聯(lián)信道（串聯(lián)信道）的模型 ? 信道 I和信道 II都是離散無記憶信道 ? ?? ?? ?? ?12121212I, , ,nmmlX x xY y yY y yZ z z z?信 道輸 入 隨 機 變 量 為 ， 它 取 值 于 輸 入 符 號 集 … ,x ；輸 出 隨 機 變 量 為 ， 它 取 值 于 符 號 集 … ,y ；信 道 II輸 入 隨 機 變 量 為 ， 它 取 值 于 符 號 集 … ,y ；輸 出 隨 機 變 量 為 ， 它 取 值 于 輸 出 符 號 集 。例如： ? 積信道 ：待發(fā)送的消息比較多時，可能要用兩個或多個信道并行地傳送，香農(nóng)稱這種信道為積信道； ? 級聯(lián)信道： 有時消息會依次地通過幾個信道串行地傳送，稱此為級聯(lián)信道； ? 和信道： 有時將兩個以上信道聯(lián)合起來，這類信道香農(nóng)稱為和信道。分析了二元對稱信道的二次擴展信道的統(tǒng)計特性； ? 對于一般離散信道，關(guān)于傳輸 N長隨機序列所獲得的平均互信息，給出了兩個重要的定理。 121... NN N kkC C C C C?? ? ? ? ? ?HUST Furong WANG Information and Coding Theory 21 小結(jié) ? 首先介紹了離散無記憶信道中各種熵、信道疑義度及平均互信息
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1