【正文】 者可以互換。 ? 當歸一化的信噪比小于香農限（ ）時，歸一化信道容量為零，即信道完全喪失通信能力。 ? 多維無記憶加性連續(xù)信道 ? 可等價成 L個獨立的并聯(lián)高斯加性信道 ? 注水法：噪聲小的子信道分配到的輸入功率大，傳輸?shù)谋忍財?shù)多。Y)≤C，對于所有滿足 p(xi)＝ 0條件的 i 每一個概率不為 0的輸入符號對輸出提供相同的互信息 2021/6/15 41 離散序列信道及其容量 ? ? ? ? ? ?111/ / /LL L l llp p Y Y X X p Y XYX??? ?信 道 輸入 X 輸出 Y p(Y/X) X=(X1, X2,…, XL) Xl={a1, a2,…, an} Y=(Y1,Y2,…, YL) Yl={b1, b2,…, bm} 獨立、無記憶、平穩(wěn) 離散序列信道的信道容量為： 無記憶 離散序列信道的轉移概率為： ? ? ? ? ? ?1m a x 。Y)最大化，即求取信道容量的值，輸入概率集 {p(xi)}必須滿足的充分必要條件是： ? I(xi。 ? ? ? ?m a x / iC H Y H Y a?? ????xP2021/6/15 40 DMC信道的容量 3. 一般 DMC信道的容量 ? 以輸入符號概率矢量 Px為自變量的函數(shù) I(Px)的極大值，即信道容量。 ? 當信道輸入符號等概率分布時，準對稱 DMC信道達到其信道容量 C。 ? ?m a x ( 。 ② 如果信道輸入符號等概率分布，則信道輸出符號也等概率分布；反之，若信道輸出符號等概率分布時，信道輸入符號也是等概率分布。Y)=max H(Y) ?有噪無損信道 ? C=max I(X。 ) m a x / l ogiinm jii j ip a p aij jp b aC I X Y p a p b apb???? ??2021/6/15 36 離散單符號信道 離散單個符號信道 無干擾離散信道 有擾離散信道 對稱 DMC信道 準對稱 DMC信道 一般 DMC信道 無噪無損信道 無噪有損信道 有噪無損信道 2021/6/15 37 無干擾離散信道 ?無噪無損信道 ? C=max I(X。 ? I(Px)的極大值就是 信道容量 。Y) / t bit /s ? 信道中單位時間傳送的信息量 ? 信道容量 ? 給定轉移概率矩陣 P后，平均互信息 I(X。 4. 波形信道 ? 輸入是模擬波形，輸出也是模擬波形 ? 連續(xù)無記憶信道和連續(xù)有記憶信道 ? y(t)＝ x(t)＋ n(t) n(t)代表加性噪聲 2021/6/15 35 信道容量的定義 ? 信道傳輸率 R ＝ I (X?？梢杂?P這一矩陣充分描述穩(wěn)定的馬氏鏈。這種狀態(tài)的轉移可用狀態(tài)轉移概率p(sj /si)表示。 ? 符號條件概率 ? 信源在某一時刻出現(xiàn)符號 xj的概率與信源此時所處的狀態(tài) si有關，用條件概率表示為 p(xj /si)。Y) ( 。 ? ? ? ? ? ?? ? ? ? ? ?。 ? 輸出端信源 Y的熵 H(Y)等于接收到關于 X的信息量 I(X。 ? 信源 X的熵等于接收到的信息量加損失掉的信息量。 ) ( ) ( / ) l og()( / )( ) l og()( 。 ) ( / ) l o g(( 。 yj)在 X集合上的統(tǒng)計平均值為 ? I(X。 2( | )( 。 ? 接收到某消息 yj后獲得的關于事件 xi的信息量，用 I(xi。 ? 聯(lián)合熵、信源熵和條件熵之間的關系 2,( ) ( ) ( ) ( ) l o g ( )i j i j i j i ji j i jH X Y p x y I x y p x y p x y? ? ???? ? ? ? ? ?? ? ? ? ? ?//H X Y H X H Y XH X Y H Y H X Y????2021/6/15 17 互信息 ? 定義： xi的后驗概率與先驗概率比值的對數(shù) ? 事件 xi是否發(fā)生具有不確定性，用 I(xi)度量。 ? 條件熵 H(X/Y)表示已知 Y后， X的不確定度。 )(l o g)( jiji yxpyxI ??2021/6/15 13 條件自信息量 ? 在事件 yj出現(xiàn)的條件下，隨機事件 xi發(fā)生的條件概率為 p(xi / yj) ，則它的條件自信息量定義為條件概率對數(shù)的負值： ? 在給定 yj條件下，隨機事件 xi所包含的不確定度在數(shù)值上與條件自信息量相同，但兩者含義不同。 2021/6/15 12 聯(lián)合自信息量 ? 兩個消息 xi， yj同時出現(xiàn)的聯(lián)合自信息量 ? 當 xi, yj相互獨立時，有 p(xi yj)=p(xi)p(yj)，那么就有 I(xi yj)=I(xi)+I(yj)。 ? ? ? ? ? ?12112121 / ??? LLLL XXXXpXXXpXXXp ???? ? ? ? ? ?1212211221 // ????? LLLLL XXXXpXXXXpXXXp ???? ? ? ? ? ? ? ?1 2 1 3 1 2 1 2 1/ / /LLp X p X X p X X X p X X X X ???2021/6/15 9 信源的數(shù)學描述 1 2 1 1( / ) ( / )L L L L m Lp X X X X p X X X? ? ??1 2 31 2 1 3 1 2 1 2 2 11 2 1 3 2 1 2 1()( ) ( / ) ( / ) ( / )( ) ( / ) ( / ) ( / ) ( / )LL L LL L L Lp X X X Xp X p X X p X X X p X X X X Xp X p X X p X X p X X p X X??? ? ???? 一階馬爾可夫信源 ? m階馬爾可夫信源 2021/6/15 10 自信息量 ? 隨機事件的自信息量定義為其概率對數(shù)的負值，即 ? ? ? ? ? ?iii xpxpxI l og1l og ???? I (xi) 含義 : ? 當事件 xi發(fā)生以前，表示事件 xi發(fā)生的 不確定性 ? 當事件 xi發(fā)生以后，表示事件 xi所含有的 信息量 2021/6/15 11 自信息量的特性 ? I (xi)是非負值 ? 當 p(xi) = 1時， I(xi) = 0 ? 當 p(xi) = 0時， I(xi) =∞ ? I(xi)是先驗概率 p(xi)的單調遞減函數(shù)，即 當 p(x1)＞ p(x2)時， I (x1)＜ I (x2) ? 兩個獨立事件的 聯(lián)合信息量 等于它們分別的信息量之和。 ? 數(shù)學模型 ? 符號序列無記憶信源 ? 很多實際信源輸出的消息往往是由一系列符號組成，這種用每次發(fā)出 1組含 2個以上符號的符號序列來代表一個消息的信源叫做 發(fā)出符號序列的信源 。2021/6/15 1 第 1章 緒論 ? 重點掌握 ? 信息的特征 ? 信息、消息、信號的聯(lián)系和區(qū)別 ? 通信系統(tǒng)的物理模型 ? 一般了解 ? 信息論理論的形成和發(fā)展過程 ? 信息論的研究內容 2021/6/15 2 信息的特征 ? 信息的基本概念在于它的 不確定性 ， 任何已確定的事物都不含信息。 ? 接收者在收到信息之前，對它的內容是不知道的，所以信息是新知識、新內容 ? 信息是能使認識主體對某一事物的未知性或不確定性減少的有用知識 ? 信息可以產(chǎn)生，也可以消失，同時信息可以被攜帶、貯存及處理 ? 信息是可以量度的，信息量有多少的差別 2021/6/15 3 消息、信號和信息 ? 信號最具體，它是一物理量，可測量、可顯示、可描述，同時它又是載荷信息的實體 ? 消息是具體的、非物理的，可描述為語言文字、符號、數(shù)據(jù)、圖片，能夠被感覺到，同時它是信息的載荷體，是信息論中主要描述形式 ? 信息是抽象的、非物理的 哲學層表達 信息的物理層表達 信息的數(shù)學層表