【正文】 b3表示 ， 由 得到聯(lián)合概率矩陣： )|()(),(ijiji abpapbap ?????????? )1()1()1(??????69 ? Eg. 求信道容量 ???????方法一 （ 續(xù) ） ：由 ??i jijbapbp ),()(???????????????????)1()()1()()1()(321????????bpbpbp) n ()() n ()()|(ln)|()()(ln)()|()()。(????????????????? ??????iijjijijjj abpabpapbpbpXYHYHYXI70 ? Eg. 求信道容量 ???????方法一 （ 續(xù) ） ：由 得 0)。( ??? ? YXI符號(hào)/0 3 )。(ma x b i tYXIC ??) n () n (.20 ??????? ?? 求得 α=1/2， 71 當(dāng) p(a1)＝ p(a2)＝ 1/2時(shí)， p(b1)＝ p(b2)＝ ()/2＝ C=H(Y)H(Y/X)=? 方法二： 將轉(zhuǎn)移概率矩陣劃分成若干個(gè)互不相交的對(duì)稱的子集，輸入分布為等概率時(shí)，信道容量 ????? rkkks MNpppHnC121 l og)39。,39。,39。(l og ? n為 輸入符號(hào)集中符號(hào)的個(gè)數(shù) ； p1’， p2’， …p s’是轉(zhuǎn)移概率矩陣 P中一行的元素，即 H(p1’， p2’， …p s’)＝ H(Y/ai)； Nk是第 k個(gè)子矩陣中行元素之和， Mk是第 k個(gè)子矩陣中列元素之和， r是互不相交的子集個(gè)數(shù)； 72 ? 方法二（續(xù)） ??????? ???????????? , 符號(hào)/ o o ),(2l o g222b itHC?????????? rkkks MNpppHnC121 l og)39。,39。,39。(l og ?73 ? Eg. 求信道容量 ??????? 3/16/13/16/1 6/16/13/13/11P符號(hào)/)6161(l o g61)3131(l o g31)6131(l o g)6131()61,61,31,31(2l o g2222b i tHC??????????解：首先將 P1分解成若干不相交的對(duì)稱子集 ， 如何分 ？ 74 ? 一般 DMC信道 以輸入信號(hào)概率矢量 Px求函數(shù) I(Px)的最大值（信道容量），可以看作是規(guī)劃問題，最常用的方法是： 1972年由 法，現(xiàn)在稱為 BlahutArimoto算法。 I(X。Y)最大化的充要條件為： ? I(ai。Y) = C 對(duì)于所有滿足 p(ai ) 0條件的 i ? I(ai。Y) ? C 對(duì)于所有滿足 p(ai ) = 0條件的 i 當(dāng)信道平均互信息達(dá)到信道容量時(shí)，輸入符號(hào)概率集 {p(ai)}中每一個(gè)符號(hào) ai對(duì)輸出端 Y提供相同的互信息，只有概率為零的符號(hào)除外； 75 離散序列信道及其容量 ? 離散序列信道 信道 p(Y/X) Y X X=(X1X2… XL) Xl?{a1,a2,…, an} Y=(Y1Y2… YL) Yl ?{b1,b2,… ,bm} 76 離散序列信道及其容量 ? 離散無記憶序列信道，信道轉(zhuǎn)移概率為： ????LlllLL XYpXXYYpp111 )/()/()/( ??XY1 進(jìn)一步信道是平穩(wěn)的 )/()/( xypp L?XY????????)()/(l o g)()/()()()/(l o g)()/()()。(YXYXYXYXXYYXpppXYHYHpppYXHXHILLLLLL77 離散序列信道及其容量 ? 離散無記憶序列信道 1 如果信道無記憶 如果輸入矢量 X中的各個(gè)分量相互獨(dú)立 ???Llll YXII1)。()。( YX ???Llll YXII1)。()。( YX??????????LlLlllPLlllPPLlCYXIYXIICX 111)()。(m a x)。(m a x)。(m a xXXYX當(dāng)信道平穩(wěn)時(shí) CL=LC1，一般情況下， I(X。Y) ? LC1 如果信道無記憶且矢量 X中的各分量獨(dú)立 78 離散序列信道及其容量 1 BSC的二次擴(kuò)展信道 X?{00,01,10,11}， Y?{00,01,10,11}，二次擴(kuò)展無記憶信道的序列轉(zhuǎn)移概率p(00/00)=p(0/0)p(0/0)=(1p)2，p(01/00)=p(0/0)p(1/0)=p(1p)，p(10/00)=p(1/0)p(0/0)=p(1p)，p(11/00)=p(1/0)p(1/0)=p2 00 10 11 01 00 01 10 11 擴(kuò)展信道 如果對(duì)離散單符號(hào)信道進(jìn)行 L次擴(kuò)展，就形成了 L次離散無記憶序列信道 79 離散序列信道及其容量 ? 擴(kuò)展信道 1 ???????????????????????????22222222)1()1()1()1()1()1()1()1()1()1()1()1(ppppppppppppppppppppppppP]),1(),1(,)1[(4l o g 2222 ppppppHC ?????若 p＝ ，則 C2＝ 2－ ＝ /序列 p＝ BSC單符號(hào)信道的容量 C1＝ 1－ H()＝ 比特 /序列，為 C2的 1/2. 小結(jié) :四種信道 H(X)=I(X。Y) H(Y) H(Y/X) ≠ 0 H(Y)=I(X。Y) H(X) H(X/Y) ≠ 0 無噪有損信道 H(Y/X)=0 有噪無損信道 H(X/Y)=0 I(X。Y) H(Y) H(X) I(X。Y)=H(X)H(X/Y) I(X。Y)=H(Y)H(Y/X) 定理：一般離散信道的平均互信息 I(X。Y)達(dá)到極大值 (即等于信道容量 )的充要條件是輸入概率分布 Pi滿足 : 1 I(ai。Y)=C 對(duì)于所有 i,其 Pi≠0 2 I(ai。Y) ≤C 對(duì)于所有 i,其 Pi=0 這時(shí) 常數(shù) C就是所求的信道容量。 離散無記憶 N次擴(kuò)展信道的信道容量 ()( ) ( ) ( )1 1 1m a x ( 。 ) m a x { ( , ) } m a x ( , )N N NNi i i i iP x P x P xi i iC I X Y I X Y I X Y C? ? ?? ? ? ?? ? ?當(dāng)各分信源同時(shí)取得最佳分布時(shí)： ()m a x ( , )i i iPxC I X Y?離散無記憶信道的 N次擴(kuò)展信道的信道容量 信 道 ),( 21 NXXXX ?? ),( 21 NYYYY ??NCCYXIXPYXIXPCYXIYXINiNiiiiNNiii?????? ??? ??1 1m a xm a x1)。()()。()()。()。(?離散無記憶 N次擴(kuò)展信道的信道容量等于原單符號(hào)離散信道的信道容量的 N倍，且只有當(dāng)輸入信源是無記憶的，并且每一輸入變量的分布各自達(dá)到最佳分布時(shí)，才能達(dá)到這個(gè)信道容量值 NC。 ()NC N C?因?yàn)楦髯兞吭谕恍诺乐袀鬏?，所以有? , 1 , 2 ,iC C i N??… 信源與信道的匹配 定義 設(shè)信道的信息傳輸率為： 信道容量為 C，則定義信道剩余度為： ( 。 )I X Y( 。 ) ( 。 )1C I X Y I X YCC? ??當(dāng)信道為無損信道時(shí) ()m a x { ( 。 ) } m a x ( ( ) ) l o g /PxC I X Y H X r b i t s i g n? ? ?則剩余度為： ( 。 ) ( )11l o gI X Y H XCr? ? ?定理設(shè)離散信道的輸入序列為 通過信道傳輸，接收到的隨機(jī)序列為 ，而信道的轉(zhuǎn)移概率為 。 12() NX X X X?12()NY Y Y Y?( | )P y x若信道是無記憶的，則有： 1( 。 ) ( 。 )NiiiI X Y I X Y?? ?當(dāng)信道無記憶時(shí)，拆開傳輸相當(dāng)于此信源無記憶，那么此時(shí)獲取的信息顯然是比捆綁在一起傳輸要大。 1( 。 ) ( 。 )NiiiI X Y I X Y?? ?若信源是無記憶 的，則有： 當(dāng)信源無記憶時(shí) ， 則主要考慮信道的情況 ， 那么顯然捆綁在一起傳輸時(shí)在信道中的損失要 比單個(gè)傳輸時(shí)損失得少 ， 所以此時(shí)捆綁在一起得互信息要大些 。 信源與信道都是無記憶的，則有： 1( 。 ) ( 。 )NiiiI X Y I X Y?? ? 小結(jié)：信息論的研究意義 信息論對(duì)信道編碼的指導(dǎo)意義 信道編碼定理：每一個(gè)信道具有確定的信道容量 C，對(duì)于任何小于 C的信息傳輸率 R，總存在一個(gè)碼長為 n，碼率等于 R的分組碼，若采用最大似然譯碼，則其譯碼錯(cuò)誤概率 PE滿足 PE?AenE(R) 其中： A是常數(shù)， E（ R)為誤差函數(shù) 錯(cuò)誤概率 PE越小，傳輸可靠性越高。增大碼長n也可提高傳輸可靠性 誤差函數(shù) E（ R)與信息傳輸率 R的關(guān)系曲線： E（ R)是關(guān)于 R的單調(diào)遞減函數(shù)，同樣的 R，信道容量 C不同時(shí)， E（ R）也不同， C越大， E（ R)值也越大。 c1 c2 0 R E(R) C2C1 信道容量的計(jì)算： C=W?log(1+PS/(WN0)) W為信道帶寬， PS是為信號(hào)平均功率， N0高斯噪聲功率譜 令 PS=Rt .Eb ， Rt 為信息傳輸速率， Eb 為傳輸每一比特信息所需平均功率。 C=W?log(1+（ Rt/W） ? （ Eb /N0)) 每赫茲帶寬傳輸每比特信息所需信噪功率比。 在信道帶寬不受限制的情況下，信道容量僅取決于信噪比。 Eb/N0=（ 2C/W1） / （ Rt/W） W??, Rt ?C,最小信噪比： （ Eb/N0） min=lim （ 2C/W1） / （ C/W） =ln2= W?? 稱為香農(nóng)限 信息論對(duì)信源編碼的指導(dǎo)意義 有效性是指在一定時(shí)間內(nèi)如何傳輸盡可能多的信息量。或在每一個(gè)傳送符號(hào)內(nèi)攜帶盡可能多的信息量。 對(duì)信源進(jìn)行高效編碼，去除信源中多余度。 信源多余度有：統(tǒng)計(jì)多余度、結(jié)構(gòu)多余度、視覺多余度、時(shí)間多余度、空間多余度等，需要采用不同方法消除。 香農(nóng)信息論討論的是統(tǒng)計(jì)多余度。 統(tǒng)計(jì)多余度包括信源前后符號(hào)間相關(guān)性帶來的多余度和信源符號(hào)分布不均勻?qū)е碌亩嘤喽取? 香農(nóng)第一定理和第三定理分別從理論上給出無失真信源編碼與限失真信源編碼的壓縮極限。