電工膠布使用方法ppt課件-在線瀏覽
2025-03-04 05:05本頁(yè)面
【正文】 率 R bit/sign 信息論與編碼基礎(chǔ) 離散信道 非負(fù)性 )|()()。(( ) ( )l o g ( ) l o g 1 0()XYP x P yP x yP x y? ? ??信源 加密 信道 解密 信宿 密鑰源 全損信道 信息論與編碼基礎(chǔ) 離散信道 極值性 )()。 0≤I(X。()。 ) ( ) l o g( ) ( )XYP x yI X Y P x yP x P y? ?()( ) l o g ( 。 ) ( ) l o g()XYP x yI X Y P x yPx? ?()( ) l o g( ) ( )XYP x yP x yP x P y? ?( | )( ) l o g()XYP y xP x yPy? ?( ) ( | )H X H X Y??信息論與編碼基礎(chǔ) 離散信道 損失熵 ( ) ( ) ( )H X H Y H XY? ? ?( ) ( | )H Y H Y X??噪聲熵 散布度：表示信道輸入信號(hào)由于干擾作用 在輸出端表現(xiàn)的散布范圍。( ?YXI)()()。Y) H(XY) H(X) H(Y) 信息論與編碼基礎(chǔ) 離散信道 )。(??xxyPxPyP )|()()(? ??XYxxyPxPxyPxyPxPYXI)|()()|(l o g)|()()。 定理 在信道轉(zhuǎn)移概率 )|( xyP 給定的條件下，平均互信息 )。 X Y 0 1 0 1 p p 1p 1p 0 1 ω I(X。( YXI 是信道轉(zhuǎn)移概率分布 的 ? 型凸函數(shù)。 ) ( ) ( )I X Y H p p H p??? ? ?當(dāng) p = 0時(shí) ( 。 ) ( ) ( 1 ) ( )I X Y H H H??? ? ?當(dāng) p = 1/2時(shí) ( 。Y) H(ω) 信息論與編碼基礎(chǔ) 離散信道 思考題 假定馬爾科夫鏈 (非平穩(wěn) )起始于 n個(gè)狀態(tài)中的一個(gè)，然后 第二步受到限制，只能轉(zhuǎn)移到 k個(gè)狀態(tài)之一 (kn)，第三 步又放寬，可以轉(zhuǎn)移到 m個(gè)狀態(tài)中的一個(gè) (mk)。X3)≤logk。X3)的值，并進(jìn)行瓶頸效應(yīng)分析。( NNNNN YXHXHYXI ??)|()( NNN XYHYH ??( | )( ) l o g()xyP y xP x yPy? ?NN YXyx , ???( | )( ) l o g()xyP x yP x yPx? ?()( ) l o g( ) ( )xyP x yP x yP x P y? ?bit/Nsign b)性質(zhì) NN YX ,引理 設(shè)信道的輸入輸出分別為 ，其中 ). ..(),. ..( 11 NNNN YYYXXX ?? ，則： ???NiiiNN XYHXYHI1)|()|()僅當(dāng)信道無(wú)記憶時(shí)等式成立。()。 ) ( ) ( | )N N N N NI X Y H Y H Y X??證明： b)性質(zhì) ???NiiiNN XYHXYH1)|()|(1( ) ( | )NNiiiH Y H Y X??? ?1 1 1( 。其中 X的熵為 H, 計(jì)算 )。(HYXI NN ?)。(信息論與編碼基礎(chǔ) 離散信道 定理 對(duì)于無(wú)記憶信源，則 ???NiiiNN YXIYXI1)。(平均互信息 b)性質(zhì) 證明： ( 。 ) ( ) ( | )N N Ni i i i ii i iI X Y H X H X Y? ? ???? ? ????NiiiNN YXHYXH1)|()|(僅當(dāng) ???Niii yxPyxP1)|()|( ??時(shí)成立 信息論與編碼基礎(chǔ) 離散信道 例 設(shè)無(wú)記憶信源 X的熵為 H， X的 5次擴(kuò)展源為 5X信道為如下面矩陣所示的置換信道 1 2 3 4 5 3 2 5 1 4 計(jì)算 ??51)。(55 YXI信息論與編碼基礎(chǔ) 離散信道 總結(jié)： 1）當(dāng)信源無(wú)記憶時(shí) ???NiiiNN YXIYXI1)。(2）當(dāng)信道無(wú)記憶時(shí) ???NiiiNN YXIYXI1)。(3）當(dāng)信源、信道均無(wú)記憶時(shí) 1( 。 )NNNiiiI X Y I X Y?? ?信息論與編碼基礎(chǔ) 離散信道 D Q D Q D Q a(t) b0 b1 b2 思考題 假定某信源的符號(hào)集為 A = {0,1}，其中 p0=p1=，則 H(A) = 1。如果輸入序列為 a(t) = {101001011000001100111011} 并且寄存器的初始值為 b = 5(=101)，求輸出序列。 信息論與編碼基礎(chǔ) 離散信道 一、信道模型及分類 二、信道疑義度與平均互信息 三、平均互信息的性質(zhì) 四、離散無(wú)記憶的擴(kuò)展信道 五、信道容量 六、信源與信道的匹配 信息論與編碼基礎(chǔ) 離散信道 平均互信息 I(X。 ? ??XYxxyPxPxyPxyPxPYXI)|()()|(l o g)|()()。( YXI 是輸入信源概率分布 )(xP 的 ? 型凸函數(shù)。( YXI 的最大值。(max)(YXICxP?說(shuō)明： bit/sign 1）信道給定后， p(y|x)就固定， C僅與 p(y|x)有關(guān)，而與 P(x)無(wú)關(guān) 2） C是信道傳輸?shù)淖畲笮畔⒙省?{m a x )()( s i gnbi trXHYXIC xPxP ???信息論與編碼基礎(chǔ) 離散信道 b、有噪無(wú)損信道 ?????????????????1000000101103530000002121P1a1b2b2a3b4b5b3a6b)/(l og)}({m a x)}。({m a x )()( s i gnbi tsYHYXIC xPxP ???簡(jiǎn)單離散信道的信道容量 信息論與編碼基礎(chǔ) 離散信道 總結(jié)： 1）若嚴(yán)格區(qū)分，凡損失熵等于 0的信道稱為無(wú)損信道； 凡噪聲熵等于 0的信道稱為無(wú)噪信道。 ) l o g ( / )PxC I X Y r b it sig n??3）無(wú)噪信道 ()m a x ( 。 ) ( ) ( | )I X Y H Y H
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1