信息論與編碼chappt課件-文庫吧在線文庫
【正文】 1eP ?與無失真信源編碼定理 (香農(nóng)第一定理 )類似，香農(nóng)第二定理只是一個存在性定理，它指出信道容量是一個臨界值，只要信息傳輸率不超過這個臨界值，信道就可幾乎無失真地把信息傳送過去，否則就會產(chǎn)生失真。Y)＝ H(X)，因而 ： 無損 信 道 的相對 剩余度 = rXHlog)(1?? 上式說明提高無損信道信息傳輸率就等于減少信源的剩余度。由此可見，當信道確定后，信道的信息傳輸率與信源分布是密切相關(guān)的。一般電話信號的帶寬為 3300Hz。 輸入信號 X是 10個相互統(tǒng)計獨立、均值為零、方差為 Psi的高斯變量，且： 由常數(shù) ?的約束條件，得： )(11WPNisi ???? ?. . .1011011?????????????? ??NiniPP?解： 比較得： Ps7 = ， Ps8 = ， Ps9 = ，Ps10 = ， 可見，最后四個信道應(yīng)排除，即令： Ps7 =0， Ps8 =0 ， Ps9 =0 ， Ps10 =0 Pn1 =， Pn2 = ， Pn3 = ， Pn4 = ， Pn5 = ， Pn6 =， Pn7 = ， Pn8 = ， Pn9 = ， Pn10 = （單位為 W） 再計算常數(shù) ?（此時 N = 6） ，得： ? ? . . . 61???????????? ?? ??iniPP?比較得： Ps6 = ，可見，第六個信道也應(yīng)排除，令： Ps6 =0 再計算常數(shù) ?（此時 N = 5） ，得： ? ? . . . 51???????????? ?? ??iniPP?可見，第五個信道也應(yīng)排除，令： Ps5 =0 ? ? . . . 41???????????? ?? ??iniPP?所以，功率分配為 ： Ps1 =， Ps2 = ， Ps3 = ， Ps4 = Pn1 =， Pn2 = ， Pn3 = ， Pn4 = ， Pn5 = ， Pn6 =， Pn7 = ， Pn8 = ， Pn9 = ， Pn10 = （單位為 W） (比特／ 10個自由度 ) 本例結(jié)果表明， 噪聲分量平均功率小的信道分配得到的相應(yīng)信號分量的平均功率要大一些， 那些太壞的信道就不去用它，可使總的信道容量最大。 ? 因此，得 平均功率受限高斯加性信道 的信道容量 (每個自由度 )為： 2020 l o g212l o g2l o g????PeePC ???)1l o g (21)1l o g (21 2nssPPP ?????二、多維無記憶高斯加性連續(xù)信道 ??????? NiiNiii npxypxypnp11)()/()/()(??? Niii YXIYXI1)。Y） ? NC 即： CN = NC 所以，對于 一般的離散無記憶信道的 N次擴展信道 ，其 信道容量 是： ()()1()11m a x ( 。,39。 它是對稱離散信道的特例。 損失熵 H(X/Y)=0， 但噪聲熵 H(Y/X)≠0 其信道矩陣： 所以 ： I(X。 即存在一個最大的信息傳輸率 定義為 信道容量 C )}。 假若信源是無記憶的 ，則有： ),(),(1iiNiYXII ???YX),(),(),(1YXNIYXII iiNi?? ??YX其中 Xi和 Yi是隨機序列 X和 Y中的第 i 位隨機變量。 由于是 無記憶信道 ，可 求得 二次擴展信道的傳遞概率 ： 信道矩陣 ： ???????????????22222222ppppppppppppppppppppppppΠ2112131241( / ) ( 0 0 / 0 0 ) ( 0 / 0 ) ( 0 / 0 )( / ) ( 0 1 / 0 0 ) ( 0 / 0 ) ( 1 / 0 )( / ) ( 1 0 / 0 0 ) ( 1 / 0 ) ( 0 / 0 )( / ) ( 1 1 / 0 0 ) ( 1 / 0 ) ( 1 / 0 )P P P P pP P P P p pP P P P p pP P P P p????????? ? ?? ? ?? ? ?? ? ? 根據(jù)平均互信息的定義，可得 無記憶信道的 N次擴展信道的平均互信息 ： )。 ? （ 2） 對于每一個固定信道，一定存在有一種信源 (某一種概率分布 P(x))，使輸出端獲得的平均信息量為最大。Y) = I(Y。Y) = 0 當 X、 Y統(tǒng)計獨立時等式成立。 ? 接收到 Y后不可能消除有關(guān)輸入端 X的任何不確定性，所以獲得的信息量等于零。Y)。Y) = H(Y) H(Y|X) I(X。 I(X。 yj)的 統(tǒng)計平均。 )|(1l o g)|()|(jXjj bxPbxPbXH ??)/()()]/([)|(1jsjjj bXHbPbXHEYXH ?????????ri jijisjj baPbaPbP11 )|(1l o g)|()()|(1lo g)(, yxPxyPYX??互信息量 I(xi 。 ? 轉(zhuǎn)移矩陣 : 1??????? pppp1 0 1 0 1 1－ p a1=0 0=b1 1－ p a2=1 1=b2 p p 符號“ 2”表示接收到了“ 0”、“ 1”以外的特殊符號 ????????qqpp1001 0 2 1 0 1 p 0 0 1－ p 1 1 q 1－ q 2 [例 2]二元刪除信道。 ? 信道中有干擾 (噪聲 )存在，可以用傳遞概率 P(bj/ai) 來描述干擾影響的大小。即： y ＝ f (x) ??????)(0)(1)|(xfyxfyxyP(2)有干擾無記憶信道 ? 信道輸入和輸出之間的條件概率是一般的概率分布。 信道的數(shù)學(xué)模型和分類 等效信道 干擾源 物理信道 解調(diào)器 編碼器 譯碼器 信宿 信源 調(diào)制器 實際信道 編碼信道 圖 數(shù)字通信系統(tǒng)的一般模型 信道的數(shù)學(xué)模型和分類 一、信道的分類 根據(jù)載荷消息的媒體不同 根據(jù)信息傳輸?shù)姆绞? 郵遞信道 電信道 光信道 聲信道 輸入和輸出信號的形式 信道的統(tǒng)計特性 信道的用戶多少 根據(jù)信息傳輸?shù)姆绞椒诸愔? 根據(jù)信道的用戶多少：兩端 (單用戶 )信道 多端 (多用戶 )信道 根據(jù)信道輸入端和輸出端的關(guān)聯(lián)： 無反饋信道 反饋信道 根據(jù)信道的參數(shù)與時間的關(guān)系： 固定參數(shù)信道 時變參數(shù)信道 根據(jù)輸入和輸出信號的特點： 離散信道 連續(xù)信道 半離散或半連續(xù)信道 波形信道 二、離散信道的數(shù)學(xué)模型 條件概率 P(y/x) 描述了輸入信號和輸出信號之間統(tǒng)計依賴關(guān)系。 三、單符號離散信道 ? 單符號離散信道： ?輸入符號為 X，取值于 {a1,a2, …,a r}。 r=s=2， a1=b1=0； a2=b2=1。 一、信道疑義度 信道輸入信源 X的熵 H(X)是在接收到輸出 Y以前，關(guān)于輸入變量 X的先驗不確定性，稱為 先驗熵
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1