離散信道ppt課件-在線瀏覽
2025-06-16 02:43本頁面
【正文】 1b1= 0b2= 1pp1 p1 pppPpp??????? 信道疑義度和噪聲熵 ? 定義 41 稱輸入空間 X對輸出空間 Y的條件熵 為 信道疑義度 。 ? 這種不確定性是由信道干擾引起的。 ? H(X|Y)≤H(X)：收到輸出符號 Y以后，總能消除一些對 X的不確定性，獲得一些信息。 ? 信道疑義度的含義是觀察到信道的輸出之后仍然保留的關(guān)于信道輸入的平均不確定性。 ( | ) ( ) l o g ( | )i j i jXYH X Y p x y p x y?? ? 平均互信息 ? 定義 43 原始信源熵與信道疑義度之差稱為平均互信息 。Y)=H(X)H(X|Y) ? 平均互信息具有非負性。 ( | ) ( | )( 。 )( ) ( )XY XYp x y p y xI X Y p x y p x y I Y Xp x p y?????兩個定理 ? 定理 41 對于固定的信道，平均互信息 I(X。 ?固定信道：信道傳遞概率 p(y|x)不變 ? 定理 42 對于固定的信源分布，平均互信息 I(X。 ?固定信源：信源概率分布 p(x)不變 p ( y | x )I ( X 。 Y )( | ) ( | )( 。 ) ( 。 ? 定理 43 若隨機變量 X,Y,Z構(gòu)成一個馬爾可夫鏈（ p(z|xy)=p(z|y)），則有 I(X。Y) I(X。Z) ? 定理 43叫做 數(shù)據(jù)處理定理 ，它的含義是通過串聯(lián)信道的傳輸，只會丟失信息，不會增加信息，至多保持原來的消息量。 信道 I p(y|x) 信道 II p(z|xy) X Y Z 例 47 兩個二元對稱信道串聯(lián) ? 一個馬爾可夫鏈，則串聯(lián)信道總的信道矩陣為 ? 則 I(X。Z)=1H(2p(1p)) ? 從圖中能夠看出 I(X。Y) 011 / 2 1 / 2XP? ? ? ??? ? ? ?? ? ? ? 1211ppPPpp??????? ???2212 22( 1 ) 2 ( 1 )2 ( 1 ) ( 1 )p p p pP P Pp p p p??? ? ?????? ? ???? 例 48 ? 信道 I和信道 II的信道矩陣分別為 ? X,Y,Z構(gòu)成一個馬爾可夫鏈，則 1 / 31 / 31 / 31 / 21 / 22 / 31 / 31 / 32 / 31X Y Z1 / 31 / 31 / 21 / 6X Z1 / 31 / 3||111 1 0 03330 2 / 3 1 / 3110 0 1 / 3 2 / 322Y X Z YPP?? ???? ???????? ????????| | |1 1 11111 0 03 3 33330 2 / 3 1 / 31 1 1110 0 1 / 3 2 / 32 6 322Z X Y X Z YP P P??????????
教學課件相關(guān)推薦
鄂ICP備17016276號-1