信息論與編碼總復(fù)習(xí)-免費(fèi)閱讀
【正文】 當(dāng) N→∞時(shí)， Pe→1 。 ? 設(shè)發(fā)送碼字為 C=(c1c2… )，接收碼字為R=(r1r2… rn)，兩者的差別為 ? 分組碼 ：每個(gè)碼字中增加的 r 個(gè)校驗(yàn)元只由本組的 k個(gè)信息元產(chǎn)生，與其他信息組的信息元無(wú)關(guān)。 ? 費(fèi)諾碼 比較適合于對(duì)分組概率相等或接近的信源編碼。 4. 信源符號(hào)所對(duì)應(yīng)的碼字即為費(fèi)諾碼。 只有唯一可譯碼判斷法能確切判斷是否是唯一可譯碼 2021/6/15 62 ? ?? ?1212, , , , ,LkKk j mY Y Y YY b b b b??Y無(wú)失真信源編碼 ? 設(shè)信源符號(hào)序列的長(zhǎng)度為 L ? 變換成由 KL個(gè)符號(hào)組成的 碼序列（ 碼字 ） ? 變換要求 ? 能夠無(wú)失真或無(wú)差錯(cuò)地從 Y 恢復(fù) X，也就是能正確地進(jìn)行反變換或譯碼 ? 傳送 Y 時(shí)所需要的信息率最小 ? ?? ?1212, , , , ,lLl i nX X X XX a a a a??Xl ogLKKmL?2021/6/15 63 定長(zhǎng)編碼定理 ? 定長(zhǎng)編碼定理 ：由 L個(gè)符號(hào)組成的、每個(gè)符號(hào)的熵為 HL(X)的無(wú)記憶平穩(wěn)信源符號(hào)序列 X1X2… Xl… XL，可用 KL個(gè)符號(hào) Y1, Y2,…, Yk,… YKL（每個(gè)符號(hào)有 m種可能值）進(jìn)行定長(zhǎng)編碼。 ? 按照上述步驟將次短碼字、 … 等等所有碼字可能產(chǎn)生的尾隨后綴全部列出。(m i n)( YXIDRDP?( / )( 。 )DPR D I X Y?m a x 1 , 21m in ( ) ( , )ni i jjmiD p a d a b? ?? ?2021/6/15 53 信息率失真函數(shù)的性質(zhì) 1. R(D)是非負(fù)的實(shí)數(shù)， 0≤R(D)≤H(X) 定義域?yàn)?0≤Dmin≤D≤Dmax 當(dāng) D＞ Dmax時(shí)， R(D)≡0 2. R(D)是關(guān)于 D的下凸函數(shù) ? R(D)在定義域內(nèi)是失真度 D的 U型下凸函數(shù)。1C I X Y I X YCC?? ? ?2021/6/15 46 第 4章 信息率失真函數(shù) ? 重點(diǎn)掌握 ? 失真函數(shù)、平均失真 ? 保真度準(zhǔn)則 ? 信息率失真函數(shù)的定義域 ? 信息率失真函數(shù)與信道容量的比較 ? 一般了解 ? 信息率失真函數(shù)的性質(zhì) ? 連續(xù)信源的平均失真 2021/6/15 47 失真函數(shù) ? 單符號(hào)失真函數(shù)定義為： ? 將所有的 d(xi,yj)排列起來(lái)，用矩陣表示為 0( , )0 ijijijxyd x yxy?????? ??? 1 1 11( , ) ( , )( , ) ( , )mn n md a b d a bd a b d a b?????????dd 稱(chēng)為失真矩陣 2021/6/15 48 1( , ) ( , )llLijld d x y?? ?ijxy失真函數(shù) ? 如果假定離散信源輸出符號(hào)序列 X=(X1X2… Xl … XL), Xl∈ A={a1,… an}， 其中 L長(zhǎng)符號(hào)序列 xi=(xi1xi2… xiL)，經(jīng)信源編碼后輸出符號(hào)序列 Y=(Y1Y2… Yl… YL) ，Yl∈ B={b1,… bm}， 其中 L長(zhǎng)符號(hào)序列 yj = (yj1yj2… yjL)， 序列失真函數(shù)定義為 式中， d(xil , yjl)表示信源輸出符號(hào)序列 xi的第 l個(gè)符號(hào)和編碼輸出符號(hào)序列 yj的第 l個(gè)符號(hào)之間的失真函數(shù) 信源序列的失真度等于序列中對(duì)應(yīng)單個(gè)符號(hào)的失真度之和 2021/6/15 49 平均失真 ? 將失真函數(shù)的數(shù)學(xué)期望或統(tǒng)計(jì)平均值稱(chēng)為 平均失真 。 ? ?0l o g 1 l o g 1avPC W W S N RWN??? ? ? ?????2021/6/15 44 ? ?0l o g 1 l o g 1SPC W W S N RWN??? ? ? ?????香農(nóng)公式的討論 ? 帶寬 W一定時(shí)， 信道容量 C 隨 信噪比 SNR的增加而單調(diào)增加，因此增大信號(hào)功率、減小信道噪聲可以增加信道容量。 ? 為了使 I(X。Y)=max H(X) 2021/6/15 38 DMC信道的容量 1. 對(duì)稱(chēng) DMC信道的性質(zhì) ① 對(duì)稱(chēng)信道的條件熵 H(Y/X)與信道輸入符號(hào)的概率分布無(wú)關(guān)。Y) bit/符號(hào) ? 信道中平均每個(gè)符號(hào)能傳送的信息量 ? 信息傳輸速率 Rt ＝ I (X。 ) ( ) ( / )( ) ( / )( ) ( ) ( )I X Y H X H X YH Y H Y XH X H Y H X Y????? ? ?( ) ( ) ( / )( ) ( / )( ) ( ) ( )( ) ( / )( ) ( / )H X Y H X H Y XH Y H X YH X Y H X H YH X H X YH Y H Y X????????2021/6/15 23 離散無(wú)記憶信源的序列熵 ? 設(shè)信源輸出的隨機(jī)序列為 X =(X1X2… Xl… XL) ? 序列中的變量 Xl∈ {x1,x2,… xn} ? 信源的序列熵可以表示為 ? 信源序列中，平均每個(gè)符號(hào)的熵為 ? 離散無(wú)記憶信源平均每個(gè)符號(hào)的符號(hào)熵 HL(X)等于單個(gè)符號(hào)信源的符號(hào)熵 H(X) ? ? ? ? ? ?1LH H H XLXX??? ? ? ? ? ?1LllH H X L XX H????無(wú)記憶 無(wú)記憶、平穩(wěn) 2021/6/15 24 離散有記憶信源的序列熵 ? 若信源輸出一個(gè) L長(zhǎng)序列，則信源的序列熵為 ? 平均每個(gè)符號(hào)的熵為 ? 信源無(wú)記憶時(shí) ? 滿足平穩(wěn)時(shí) 121 2 1 1 11( ) ( )( ) ( / ) ( / )( / ) ( )LLLLlLllH H X X XH X H X X H X X XH X H XXX???? ? ? ????? ? ? ?1LH XXHL?? ? ? ?1LllH H XX?? ?? ? ? ?H X LH X?2021/6/15 25 離散平穩(wěn)信源 ?結(jié)論 1： H(XL/XL1)是 L的單調(diào)非增函數(shù) ?結(jié)論 2： HL (X) ≥H(XL/XL1) ?結(jié)論 3： HL (X)是 L的單調(diào)非增函數(shù) ?結(jié)論 4：當(dāng) L→∞ 時(shí)， H∞(X)稱(chēng)為極限熵 ? ? ? ? ? ? ? ?0 1 2H X H X H HXX ?? ? ?? ? ? ? ? ?1 2 1l im l im /L L LLLH H H X X XX XX??? ? ? ??2021/6/15 26 馬爾可夫信源 ? 若一個(gè)信源滿足下面兩個(gè)條件，則稱(chēng)為 馬爾可夫信源 ： ? 某一時(shí)刻信源輸出符號(hào)的概率只與當(dāng)前所處的狀態(tài)有關(guān)，而與以前的狀態(tài)無(wú)關(guān)； ? 信源的下一個(gè)狀態(tài)由當(dāng)前狀態(tài)和下一刻的輸出符號(hào)唯一確定。 ) ijj j j i jj i j iijijij ip x yp y I X y p y p x ypxp x yp x ypxI X Y??????平均互信息（量） ? ? ? ? ? ? ? ? ? ? ? ?,l o g l /o g /i i i j i ji i jp x p x p x y p HXx Yy XH? ? ? ? ???2021/6/15 19 平均互信息量的物理意義 ? H(X/Y)：信道 疑義度，損失熵 ? 信源符號(hào)通過(guò)有噪信道傳輸后引起的信息量損失。 yj)表示。 ? xi yj所包含的不確定度在數(shù)值上也等于它們的自信息量。2021/6/15 1 第 1章 緒論 ? 重點(diǎn)掌握 ? 信息的特征 ? 信息、消息、信號(hào)的聯(lián)系和區(qū)別 ? 通信系統(tǒng)的物理模型 ? 一般了解 ? 信息論理論的形成和發(fā)
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1