【正文】
2023/1/20 1 思維世界的發(fā)展,在某種意義上說,就是對驚奇的不斷擺脫。 愛因斯坦(美國) 2023/1/20 2 離散信道容量的一般計算方法 (1) 離散信道容量的計算方法 (2) 用拉格朗日乘子法求信道容量 (3) 一般離散信道容量計算步驟 (4) 舉例 2023/1/20 3 (1) 離散信道容量的計算方法 ? 對一般離散信道求信道容量,就是在固定信道條件下,對所有可能的輸入概率分布 p(xi) ,求平均互信息的極大值。 ? 由于 I(X。Y)是輸入概率分布 p(xi)的上凸函數(shù),所以極大值一定存在。 ? 因為 I(X。Y)是 n個變量 {p(x1),p(x2),…, p(xn)}的多元函數(shù),并滿足 ,所以可用拉格朗日乘子法計算這個條件極值。 ?? ?ni ixp1 1)(2023/1/20 4 (2) 用拉格朗日乘子法求信道容量 ? 引進一個新函數(shù) 其中 λ為拉格朗日乘子,解方程組 可得一般信道容量 C。 1( 。 ) ( ) 1 ( 0)n iiI X Y p x????? ? ? ??????1( 。 ) ( ) 1( ) ( ) 0niiiiI X Y p xp x p x??????? ? ???????????? ()()1( ) ( ) ( / ) ( . 22 ) ( / )jin dp yj i j i j idp xip y p x p y x p y x????由 有()2023/1/20 5 ? 將 I(X。Y)的表達式代入 ()得 ? 整理得 ? ? ??? ?????? ????????????????????????????mjijijmjijjijniniiijmjijimjjjxpxypxypexypypxypxpxypxypxpypypi121221 12112)(0)/(log)/(log)/()(log)/(01)()/(log)/()()(log)(???求偏導得( / )22 ()11( / )2 2 2()1 1 1( / ) lo g lo g( / ) 1 ( )( ) ( / ) lo g ( ) ( lo g ) lo g ( )jijjijmp y xji pyjmj i ijn m np y xi j i ipyi j ip y x ep y x p xp x p y x p x e e?????? ? ????? ? ? ???? ? ?其 中 上 式 兩 邊 乘 以 并 求 和()(2) 用拉格朗日乘子法求信道容量 2023/1/20 6 ? 式 ()左邊為平均互信息的極大值,即 22211212211lo g( ) ( )( / ) lo g ( / ) ( / ) lo g ( )( / ) [ lo g ( ) ]lo g ( ) ( )( / ) lo g ( / ) ( / ) ( )( )mmj i j i j i jjjmj i jjjjmmj i j i j i jjjjCep y x p y x p y x p y Cp y x p y Cp y Cp y x p y x p y x???????????????????????式 代 入 得令則由 和 信 道 矩 陣 求 出 , 再 由 ( )( ) 2 ( )jCjpy? ??得()(2) 用拉格朗日乘子法求信道容量 2023/1/20 7 1 1 121( ) 2 2 1 , 2 2lo g 2 ( 9 )( 2 ) ( )jjjm m mCCjj j jmjij p yCpx????? ? ??? ? ? ???? ????? ? ??上 式 兩 邊 對 求 和 得求 出 信 道 容 量再 根 據(jù) 求 出 對 應(yīng) 對 輸 入 概 率 分 布 。1( ) ( ) ( / ) ( . 22 )nj i j iip y p x p y x?? ?(2) 用拉格朗日乘子法求信道容量 2023/1/20 8 (3) 一般離散信道容量計算步驟 ? 一般離散信道容量對計算步驟總結(jié)如下: 。求④由;,求③由;,求②由;,求①由)(,)/()()()(2)(2log)/(log)/()/(112121iniijijjCjmjjmjijijmjjijxpxypxpypypypCCxypxypxypjj?????????????????????????2023/1/20 9 ? 注意: ?在第②步信道容量 C被求出后,計算并沒有結(jié)束,必須解出相應(yīng)的 p(xi) ,并確認所有的 p(xi)≥0時,所求的 C才存在。 ?在對 I(X。Y)求偏導時,僅限制 ,并沒有限制 p(xi)≥0 ,所以求出的 p(xi)有可能為負值,此時 C就不存在,必須對 p(xi)進行調(diào)整,再重新求解 C。 ?近年來人們一般采用計算機,運用迭代算法求解。 ???niixp11)((3) 一般離散信道容量計算步驟 2023/1/20 10 (4) 舉 例 [例 ]有一信道矩陣 ,求信道容量 C。 ?????? ??? 1 0121111 2 2 212 2 2 21221( / ) ( / ) l og ( / ) 0( 1 ) l og ( 1 ) l og ( 1 )l og l og ( 1 ) l og ( 1 )1l og 2 l og 1 ( 1 )jmmj i j j i j ijjmjp y x p y x p y xCC????????? ? ? ? ? ? ??? ? ? ? ???????????? ? ? ? ? ???? ? ? ? ???????? ??? ? ? ????????????① 由 , 有② 由 , 有 解: 2023/1/20 11 因為 ε是條件轉(zhuǎn)移概率 p(y1/x2) ,所以 0≤ε≤1,從而有 p(x1)≥0, p(x2) ≥0 ,保證了 C的存在。 ?????????????????????????????????? ?11211111222111)1(1)1()(,)1(1)1()()1)(()(,)()()(,)/()()(xpxpxpypxpxpypxypxpypniijij解得④由11111 2 111( ) 2 21 ( 1 )( ) 2 , ( ) 1 ( )1 ( 1 ) 1 ( 1 )jmmCjjjCpyp y p y p y????????? ? ? ???????????? ? ? ? ?? ? ? ???③ 由 ,有(4) 舉 例 2023/1/20 12 多符號離散信道 如果在不同時刻有多個來自于同一信源的隨機變量(多符號信源)通過離散信道傳輸,稱這種信道為 多符號離散信道 。 多符號離散信道的數(shù)學模型 離散無記憶信道和獨立