葉中行信息論課件第五章(編輯修改稿)
2025-06-19 21:59 本頁面
【文章內(nèi)容簡(jiǎn)介】 ． 27 ? 但是，如果要求得到明顯的解析表達(dá)式，則比較困難，通常只能用參量形式來表達(dá)．即便如此，除簡(jiǎn)單情況外，實(shí)際計(jì)算仍然是相當(dāng)困難的．尤其是第三個(gè)約束條件，它是求解 R(D)函數(shù)最主要的障礙． ? 因?yàn)閼?yīng)用拉格朗日乘子法解得的一個(gè)或某幾個(gè) P(x^|x)很可能是負(fù)的．在這情況下，必須假設(shè)某些 P(x^|x) =0，然后重新計(jì)算，這就使得計(jì)算復(fù)雜化了． ? 目前，可采用收斂的迭代算法在電子計(jì)算機(jī)上求解 R(D)函數(shù)． ? 下面介紹用拉格朗日乘子法求解 R(D)函數(shù)，并用 λ作為參量來表述率失真函數(shù) R(D)和失真函數(shù) D(λ)： 28 ? 由式 (1)知，當(dāng)信源的概率分布 P(x)固定，平均互信息僅僅是試驗(yàn)信道 P(x^|x)的函數(shù) . ? 若先不考慮式 (2)的約束，約束條件式 (3)包含 n個(gè)等式，取拉格朗日乘子 α 分別與之對(duì)應(yīng)；并取拉氏乘子 λ 與式 (4)對(duì)應(yīng) . 由此構(gòu)成輔助函數(shù)： ?? ?( 。 ) ( | ) ( 5 )xJ I X X P x x D??? ? ???( | ) 0P x x ????( | ) 1xXP x x?????? ?( ) ( | ) ( , )xX xXD P x P x x d x x D? ?????(2) (3) (4) ??1?( | )? ?( , ) ( ) ( | ) l og?( ) ()|)(1rxX xXiP x xI X X P x P x xP x P x x? ??? ???29 求極值 ， 就是求輔助函數(shù)一階導(dǎo)數(shù)等于零的方程組的解 . 即求： ?( | ) 0?(|0, )w h e n P x x le t JP x x? ???所以原則上只需求解式 (6)、 (3)和 (4)的方程組，即可求出I(U。V)在約束條件下的極小值． ?( | ) ?( ) l o g ( , ) ( ) 0? ? (( | ( ))) 6J P x xP x d x x xP x x P x ????? ? ? ? ???? ??( ) ( ) l og ()x P x x? ??令 代入（ 6）得到 30 ?( , )? ?( | ) ( ) ( ) ( * )d x xP x x P x x e ???對(duì) x^求和，得 ?1 ( , )??( ) ( ) ( * * )d x xxx P x e ?? ? ? ??( , )?( , )??()?( | )?()d x xd x xxP x eP x xP x e??? ?將（ **）代入（ *）得到 乘 P(x),對(duì) x求和，最后同除以 P(x^)得到 31 ?( , )?( , )?() 1?()d x xd x xx xp x eq x e?? ?? ?| ,?( ) 0Pxw xhe n ??( , )?( , )?() 1?()d x xd x xx xp x eq x e?? ?? ?解方程組可以求得 P(x^). 從而，代入（ **）式求出β (x),從而將其代入 （ *）式得到 P(x^|x). 32 ? 由式 (1)知，當(dāng)信源的概率分布 P(x)固定，平均互信息僅僅是試驗(yàn)信道 P(x^|x)的函數(shù)。 ? 若先不考慮式 (2)的約束，約束條件式 (3)包含 n個(gè)等式，取拉格朗日乘子 α 分別與之對(duì)應(yīng)；并取拉氏乘子 λ 與式 (4)對(duì)應(yīng) . 由此構(gòu)成輔助函數(shù)： ?? ?( 。 ) ( | ) ( 5 )xJ I X X P x x D??? ? ???( | ) 0P x x ????( | ) 1xXP x x?????? ?( ) ( | ) ( , )xX xXD P x P x x d x x D? ?????(2) (3) (4) ??1?( | )? ?( , ) ( ) ( | ) l og?( ) ()|)(1rxX xXiP x xI X X P x P x xP x P x x? ??? ???33 得到率失真函數(shù)和平均失真函數(shù)： ?( , )??( , )? ?( ) ( ) ( ) ( ) ( , ) d x xx x X XD P x P x x d x x e ?????? ?( ) ( ) ( ) l o g ( )xXR D P x x? ? ? ???? ?34 注：這時(shí)所得的結(jié)果是以 λ 為參量的表達(dá)式 ， 而不是顯式表達(dá)式 ， 因而所得到的 R(D)的表達(dá)式也是以 λ為參量的表達(dá)式 ． 參量 λ對(duì)應(yīng)的限制條件為式 (4)， 它與允許的失真度D有關(guān) ， 所以以 λ為參量就相當(dāng)于以 D為參量 ． 35 例題 設(shè)信源 ，相應(yīng)的概率分布為 ? ?0 ,1, 2X ?漢明失真 求此信源 的 ，并給出其率失真分布． 解： 利用 式子 計(jì)算 ()x?范例展示 ( 0) ( 1 ) 0. 4 , ( 2) 0. 2p p p? ? ??0,?( , )?1,xxD x xxx??? ???()RD36 ?( , )? ?( | ) ( ) ( ) ( * )d x xP x x P x x e ???對(duì) x^求和，得 ?1 ( , )??( ) ( ) ( * * )d x xxx P x e ?? ? ? ??( , )?( , )??()?( | )?()d x xd x xxP x eP x xP x e??? ?將（ **）代入（ *）得到 乘 P(X),對(duì) x求和，最后同除以 P(x^)得到 兩端同乘 P(x)，對(duì) x求和： ?( , )( ) ( ) 1d x xxXx P x e ?????37 解得： 1[ 0 . 4 ( 0 ) , 0 . 4 ( 1 ) , 0 . 2 ( 2 ) ] ( 1 ) ( 1 , 1 , 1 )1eeeeee??????? ? ? ?55( 0) ( 1 ) , ( 2)2( 1 2 ) 1 2ee??? ? ?? ? ???利用 結(jié)果 （ **），可得 38 ?( , )? ?( | ) ( ) ( ) ( * )d x xP x x P x x e ???對(duì) x^求和，得 ?1 ( , )?(*?) ( ) *( )d x xxx P x e ?? ? ? ??( , )?( , )??()?( | )?()d x xd x xxP x eP x xP x e??? ?將（ **）代入（ *）得到 乘 P(X),對(duì) x求和，最后同除以 P(x^)得到 39 解得： 1[ 0 . 4 ( 0 ) , 0 . 4 ( 1 ) , 0 . 2 ( 2 ) ] ( 1 ) ( 1 , 1 , 1 )1eeeee
高考資料相關(guān)推薦
鄂ICP備17016276號(hào)-1